🤖 AI

When Entropy Is Not Enough: Reclaiming Lost Semantics in LLM Output Length Prediction

Este artigo apresenta o ESTP, um framework leve que melhora a previsão de comprimento de saída de LLMs ao combinar a entropia de tokens com pontuações de importância semântica baseadas em atenção para permitir um escalonamento mais eficiente e consciente do comprimento e reduzir a sobrecarga computacional.

Autores originais: Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen

Publicado 2026-08-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, os grandes modelos de linguagem atuam como motores poderosos que geram texto, respondendo a perguntas e resolvendo problemas ao prever a próxima palavra em uma frase. Para executar esses motores de forma eficiente no hardware do computador, os engenheiros frequentemente agrupam muitas solicitações juntas, de forma muito semelhante a um ônibus transportando vários passageiros. No entanto, surge uma ineficiência persistente porque o hardware deve tratar cada solicitação em um grupo como se fosse a mais longa, preenchendo as respostas mais curtas com espaços vazios para que elas caibam. Esse espaço desperdiçado retarda todo o sistema, particularmente quando o modelo é solicitado a realizar raciocínios complexos ou gerar respostas longas e detalhadas. Para corrigir isso, pesquisadores há muito buscam uma maneira de prever exatamente quão longa será uma resposta antes que ela seja totalmente escrita, permitindo que o sistema aloque recursos com precisão. Por algum tempo, o principal método para fazer essas previsões baseou-se na medição da incerteza do modelo, um conceito conhecido como entropia, que essencialmente mede o quão incerto o modelo está sobre sua próxima palavra.

Um novo estudo desafia a suposição de que a incerteza, por si só, é o melhor guia para essa tarefa. Os pesquisadores descobriram que, embora a incerteza seja útil, ela ignora uma camada crucial de significado. No processo de geração de texto, o modelo produz uma vasta gama de sinais, alguns dos quais indicam confusão ou hesitação, enquanto outros destacam os fatos, números ou instruções mais importantes. Os métodos anteriores, que focavam pesadamente na incerteza, frequentemente tratavam as palavras incertas e de transição como as mais críticas, enquanto inadvertidamente subestimavam os tokens factuais sólidos que realmente determinam a extensão e a estrutura da resposta. Isso é como tentar navegar em uma cidade prestando atenção apenas aos cruzamentos com neblina e ignorando as placas de sinalização claras; o resultado é uma previsão que é frequentemente errada porque perde o conteúdo central.

Para resolver isso, a equipe introduziu um novo framework chamado ESTP, que combina a medida de incerteza com um olhar direto sobre a importância de cada palavra. Em vez de apenas perguntar o quão incerto o modelo está, o novo método também pergunta quanta atenção o modelo está dedicando a uma palavra específica. Na arquitetura desses modelos, a atenção atua como um holofote, mostrando quais palavras estão atualmente direcionando o processo de pensamento. Os pesquisadores descobriram que palavras que carregam o maior peso semântico — como entidades-chave, números específicos e instruções centrais — frequentemente recebem alta atenção, mesmo quando o modelo está muito confiante sobre elas. Ao fundir essa importância baseada na atenção com o sinal tradicional de incerteza, o novo sistema cria uma visão equilibrada do texto. Ele aprende a valorizar a informação crítica que define a extensão da resposta, enquanto ainda reconhece as partes incertas que sinalizam a necessidade de mais elaboração.

Os pesquisadores testaram essa abordagem em uma variedade de tarefas desafiadoras, incluindo raciocínio matemático complexo e cenários de amostragem dinâmica, utilizando diversos modelos de linguagem de grande escala diferentes. Eles descobriram que seu método combinado previa consistentemente o comprimento da saída de forma mais precisa do que as melhores técnicas anteriores. Em muitos casos, a taxa de erro caiu significativamente, particularmente nas tarefas de raciocínio complexo onde os métodos anteriores mais enfrentavam dificuldades. O estudo mostrou que uma parte substancial dos tokens que eram anteriormente supervalorizados pelo sistema antigo eram, na verdade, palavras de preenchimento de baixo valor, enquanto muitos dos tokens subvalorizados eram justamente os fatos que ditavam a extensão final. Ao corrigir esse desalinhamento, o novo sistema forneceu um sinal muito mais claro para o hardware do computador.

Quando integrado a um sistema completo projetado para gerenciar essas solicitações de IA, a melhoria traduziu-se em benefícios tangíveis no mundo real. O sistema foi capaz de agendar tarefas de forma mais eficiente, reduzindo a quantidade de espaço vazio desperdiçado que precisava ser preenchido com preenchimento (padding). Isso levou a um aumento perceptível na velocidade com que o hardware pode processar solicitações e uma diminuição no tempo necessário para concluir os trabalhos. O método alcançou esses ganhos sem exigir memória extra ou desacelerar o modelo, porque reutilizou os sinais internos que o próprio modelo já estava gerando. Os resultados sugerem que, para que os sistemas de IA se tornem verdadeiramente eficientes, eles devem olhar além das simples medidas de incerteza e aprender a reconhecer a importância semântica das palavras que estão processando. Essa mudança permite que a tecnologia lide com o raciocínio longo e complexo com um nível de precisão que antes era inalcançável, pavimentando o caminho para serviços de IA mais rápidos e confiáveis.

Resumo Técnico: Quando a Entropia Não é Suficiente: Recuperando a Semântica Perdida na Predição de Comprimento de Saída de LLMs

Problema

O serviço eficiente de Grandes Modelos de Linguagem (LLMs) é frequentemente limitado pelo "efeito barril" (barrel effect), onde sequências mais curtas em um lote são preenchidas com padding para igualar a sequência mais longa, desperdiçando recursos computacionais e degradando o throughput. Embora o escalonamento consciente do comprimento possa mitigar isso ao prever o comprimento da saída antecipadamente, os métodos de predição existentes enfrentam limitações significativas.

As abordagens atuais de estado da arte, como o Agrupamento de Tokens Guiado por Entropia (EGTP), dependem primariamente da entropia por token para determinar a importância. No entanto, este artigo identifica um ponto cego sistemático: a entropia mede a incerteza de geração, não a importância semântica. Consequentemente, tokens com alto valor semântico (ex: entidades chave, restrições e instruções) frequentemente exibem baixa entropia (alta confiança) e são subponderados. Por outro lado, palavras de transição ou de preenchimento com alta entropia são sobreamplificadas. Esse desalinhamento leva à perda de sinais semânticos críticos, reduzindo a confiabilidade das predições de comprimento, particularmente em cenários de raciocínio complexo e Reinforcement Learning (RL) dinâmico.

Metodologia: Estrutura ESTP

Os autores propõem o ESTP (Entropy-and-Semantic Token Pooling), uma estrutura leve projetada para recuperar a semântica perdida sem introduzir um overhead computacional significativo. O método opera em três estágios principais:

Modelagem de Importância Semântica Baseada em Atenção:
Em vez de depender apenas da entropia, o ESTP calcula um peso semântico ( $S_j$ ) para cada token $j$ através da média dos valores de atenção recebidos de todos os outros tokens válidos na camada final do LLM. Isso aproveita a observação de que tokens com alta atenção frequentemente correlacionam-se com a importância semântica.
$S_j = \frac{1}{N} \sum_{i=1}^{N} A_{ij}$
onde $A_{ij}$ é o peso de atenção do token $i$ para o token $j$ .
Fusão de Pesos Conjunta Semântica-Entropia:
A estrutura combina o escore semântico ( $S_i$ ) com a entropia do token ( $H_i$ ) para produzir um escore de importância unificado ( $T_i$ ):
$T_i = \lambda_1 S_i + \lambda_2 H_i$
Esses escores são normalizados via uma função softmax para gerar os pesos de agrupamento finais ( $e_i$ ), onde um coeficiente de temperatura $\alpha$ é introduzido para ajustar o grau de concentração da distribuição:
$e_i = \frac{\exp(T_i)}{\sum_{j=1}^{n}\exp(T_j)}$
Essa fusão permite que o modelo equilibre sinais de incerteza com conteúdo semântico.
Regressão de Distribuição de Soft-Label:
Para lidar com a natureza de cauda pesada das distribuições de comprimento de saída, o ESTP utiliza uma cabeça de predição que trata a predição de comprimento como um problema de distribuição. Os comprimentos alvo são discretizados em bins, e uma distribuição de probabilidade suave é gerada. O modelo é otimizado usando uma função de perda combinada de Cross-Entropy (para estabilidade de classificação) e Mean Squared Error (para regressão precisa), permitindo que ele aprenda tanto a forma da distribuição quanto a expectativa exata do comprimento.

Crucialmente, o ESTP reutiliza os estados ocultos e os pesos de atenção gerados durante a fase padrão de prefill do LLM, adicionando um overhead de VRAM e latência de inferência negligenciável.

Principais Contribuições

Verificação Empírica de Desalinhamento: O artigo fornece evidências quantitativas de que a entropia e a importância semântica estão frequentemente desalinhadas. Em um estudo diagnóstico, descobriu-se que mais de 20% dos tokens no grupo de 40% de alta entropia possuíam baixa importância semântica, enquanto uma proporção similar de tokens de baixa entropia carregava alto valor semântico.
A Estrutura ESTP: Um mecanismo de agrupamento inovador e leve que funde a entropia com escores semânticos baseados em atenção. Ele recupera sinais semânticos que os métodos baseados apenas em entropia perdem, alcançando isso com custo mínimo ao reutilizar as ativações internas do LLM.
Avaliação Abrangente: Experimentos extensos em quatro backbones de LLM (Qwen2.5-3B/7B, Llama3.2-1B/3B) e três cenários desafiadores (Sequência Longa, Raciocínio Complexo, Amostragem de RL Dinâmico) no benchmark ForeLen.

Resultados Experimentais

Precisão de Predição: No benchmark ForeLen, o ESTP supera consistentemente os baselines, incluindo EGTP, TRAIL e modelos auxiliares externos (SSJF-Reg/MC). Ele atinge o menor Erro Médio Absoluto (MAE) entre todos os modelos, reduzindo o MAE médio em mais de 9 pontos em comparação ao EGTP, com melhorias superiores a 20 pontos em cenários de RL.
Robustez: O ESTP demonstra um Root Mean Square Error (RMSE) menor, indicando um melhor tratamento de grandes desvios de predição.
Eficiência do Sistema: Quando integrado a um escalonador consciente do comprimento em testes de sistema de ponta a ponta (usando vLLM), o ESTP melhora significativamente o throughput e reduz a razão de padding. Por exemplo, em cenários de Raciocínio, a razão de padding caiu de 1.18 (EGTP) para 0.37 (ESTP), e o Tempo Médio de Conclusão de Job (JCT) foi reduzido.
Estudos de Ablação: Experimentos confirmam que tanto a entropia quanto as características semânticas são essenciais; o uso de apenas uma delas produz resultados inferiores em comparação à abordagem conjunta.

Significância e Limitações

O artigo posiciona o ESTP como um bloco de construção prático e eficaz para sistemas de serviço de LLM conscientes do comprimento. Ao abordar o ponto cego semântico dos métodos baseados apenas em entropia, ele permite uma alocação de recursos e escalonamento mais precisos, melhorando diretamente a utilização de hardware e o throughput.

Os autores reconhecem limitações específicas:

O proxy baseado em atenção para importância semântica é correlacional, não causal.
O método depende de ativações internas, limitando sua aplicabilidade imediata a modelos de código fechado onde esses estados são inacessíveis.
Sugere-se que trabalhos futuros explorem atribuição causal, adaptação de caixa-preta e fusão de múltiplos recursos para uma robustez mais ampla de cenários.