💬 NLP

EAGer: Entropy-Aware GEneRation for Adaptive Inference-Time Scaling

EAGer é um método de escalonamento no momento da inferência, livre de treinamento e consciente da entropia, que aloca dinamicamente recursos computacionais ramificando caminhos de raciocínio apenas em tokens de alta incerteza, reduzindo assim o uso de tokens em até 64% enquanto melhora significativamente o desempenho Pass@k em benchmarks complexos de raciocínio.

Autores originais: Daniel Scalena, Leonidas Zotos, Elisabetta Fersini, Malvina Nissim, Ahmet Üstün

Publicado 2026-05-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Daniel Scalena, Leonidas Zotos, Elisabetta Fersini, Malvina Nissim, Ahmet Üstün

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um professor aplicando um teste de matemática para uma turma de alunos IA. O objetivo é obter a resposta correta.

Tradicionalmente, para garantir que a IA acerte a resposta, você diz a ela: "Não me dê apenas uma resposta. Escreva 32 soluções diferentes para cada pergunta, não importa quão fácil ou difícil seja a questão." Em seguida, você analisa todas as 32 respostas e escolhe a melhor delas.

Isso é chamado de Amostragem Paralela Completa. Funciona, mas é incrivelmente desperdiçador.

O Problema: Se a pergunta for simples (como "2+2=?"), a IA provavelmente escreverá exatamente a mesma resposta 32 vezes. Você desperdiçou 31 conjuntos de capacidade cerebral em uma pergunta que precisava de apenas uma.
O Custo: Isso consome uma quantidade massiva de eletricidade e tempo de computador, especialmente quando a IA está presa em um problema muito difícil e precisa tentar muitos caminhos diferentes para encontrar a solução.

Entra o EAGER: O Professor Inteligente e Adaptativo

O artigo apresenta o EAGER (Geração Consciente de Entropia). Pense no EAGER como um professor inteligente que observa o "medidor de confiança" da IA enquanto ela pensa.

Veja como o EAGER funciona, usando uma analogia simples:

1. O Medidor de Confiança (Entropia)

Imagine que a IA está caminhando por um labirinto.

Baixa Entropia (Alta Confiança): A IA está caminhando por um corredor reto e bem iluminado. Ela sabe exatamente para onde ir. Está dizendo: "Tenho certeza de que este é o caminho."
Alta Entropia (Baixa Confiança): A IA encontra uma bifurcação na estrada envolta em neblina. Ela não tem certeza para onde ir. Está dizendo: "Hmm, poderia ir para a esquerda, ou talvez para a direita? Não tenho certeza."

2. A Estratégia: Ramificar Apenas Quando Preso

Em vez de escrever cegamente 32 respostas, o EAGER diz à IA:

Quando a IA está confiante (Baixa Entropia): "Continue caminhando em linha reta. Não desperdice tempo tentando novos caminhos. Apenas termine esta frase."
Quando a IA está confusa (Alta Entropia): "Pare! Este é um ponto complicado. Vamos ramificar. Crie algumas novas versões da resposta exatamente aqui para explorar diferentes possibilidades."

Isso é como um detetive resolvendo um crime. Se as pistas são óbvias, eles não precisam investigar cada beco. Mas quando encontram uma pista confusa, eles de repente se separam e enviam vários detetives por ruas diferentes para ver o que descobrem.

3. O Truque do "Orçamento"

O artigo menciona um "orçamento" de poder computacional.

Método Antigo: Gastar todo o orçamento em cada pergunta, mesmo nas mais fáceis.
Método EAGER: Como o EAGER ignora o trabalho desnecessário em perguntas fáceis, ele economiza uma grande fatia de seu orçamento.
A Realocação: O EAGER pega essa energia economizada e a entrega às perguntas difíceis. Se uma pergunta for realmente difícil, o EAGER usa a energia "economizada" para permitir que a IA tente ainda mais caminhos do que o habitual, especificamente onde é mais provável que ela fique presa.

O Que Eles Descobriram?

Os pesquisadores testaram isso em problemas difíceis de matemática, ciência e programação usando vários modelos de IA. Aqui estão os resultados em português claro:

É Mais Rápido e Barato: O EAGER usou até 64% menos palavras (tokens) para gerar respostas em comparação com o método antigo. Isso significa que economiza uma quantidade massiva de poder computacional.
É Mais Inteligente: Mesmo usando menos poder, ele na verdade obteve mais respostas corretas.
- Em um cenário onde a IA podia verificar seu próprio trabalho (como um teste de matemática com um gabarito), ele melhorou a taxa de sucesso em 37%.
- Mesmo sem um gabarito (apenas chutando), ele ainda melhorou o sucesso em 12%.
Funciona em Todo Lugar: Funcionou bem em modelos de IA pequenos e grandes, e em tarefas de matemática, ciência e programação.

A Conclusão

O EAGER é um método "livre de treinamento", o que significa que você não precisa reensinar à IA como pensar. Você apenas lhe dá um novo conjunto de regras sobre quando tentar múltiplos caminhos.

Resumo da Analogia:
Se o método antigo era como enviar 32 clones idênticos para resolver cada quebra-cabeça, o EAGER é como enviar um explorador inteligente que só se divide em múltiplos clones quando o caminho fica nebuloso e confuso. Isso economiza energia nas partes fáceis e concentra toda essa energia extra nas partes difíceis, levando a melhores resultados com menos desperdício.

Resumo Técnico: EAGER – Geração Consciente de Entropia para Escalonamento Adaptativo no Tempo de Inferência

1. Declaração do Problema

O surgimento de modelos de linguagem de raciocínio (LLMs) e métodos de escalonamento no tempo de teste estabeleceu um paradigma onde a geração de múltiplas sequências candidatas a partir de um único prompt melhora o desempenho ao explorar caminhos de raciocínio diversos. No entanto, abordagens padrão como amostragem PARALELA TOTAL alocam um orçamento computacional fixo (um número fixo de sequências, $M$ ) para cada prompt, independentemente da dificuldade.

Essa alocação uniforme introduz ineficiências inerentes:

Cálculo Redundante: Para prompts simples, as sequências de raciocínio frequentemente convergem para soluções idênticas ou quase idênticas. A regeneração de prefixos idênticos em múltiplos caminhos paralelos desperdiça capacidade computacional.
Exploração Insuficiente: Para prompts complexos, o orçamento fixo pode ser insuficiente para descobrir a solução correta, pois o modelo requer uma exploração mais extensa de caminhos de raciocínio alternativos.
Ineficiência em Cadeias de Pensamento Longas (CoT): As sequências de raciocínio são longas, e uma parte significativa dos tokens gerados são continuições previsíveis em vez de pontos de decisão genuínos.

O problema central é a falta de um mecanismo adaptativo para alocar recursos computacionais com base na incerteza e dificuldade específicas de cada prompt durante a geração.

2. Metodologia: EAGER

Os autores propõem o EAGER (Geração Consciente de Entropia), um método de geração sem treinamento que aproveita a incerteza do modelo, medida via entropia token a token, para guiar dinamicamente a alocação de recursos. O método opera em duas etapas:

2.1. Quantificação de Incerteza via Entropia de Token

O EAGER utiliza a entropia dos top- $K$ tokens como um proxy para a incerteza do modelo. Em cada etapa de geração $t$ , a entropia $H^{(K)}_t$ é calculada sobre os $K$ tokens mais prováveis (onde $K=20$ ).

Alta Entropia: Indica alta incerteza e um potencial ponto de decisão onde múltiplos caminhos de raciocínio são plausíveis.
Baixa Entropia: Indica alta confiança e continuições previsíveis.
Correlação: A análise empírica (Figura 2) revela uma correlação negativa significativa ( $\rho \approx -0,55$ ) entre os picos de entropia de token durante a geração e a Taxa de Sucesso final. Picos de alta entropia correlacionam-se com desempenho inferior, sugerindo que estes são momentos críticos que exigem exploração adicional.

2.2. Etapa 1: EAGER-init (Economia de Cálculo)

O EAGER-init modifica o processo de geração para evitar cálculo redundante:

Ramificação Dinâmica: Em vez de gerar $M$ sequências independentes desde o início, o EAGER-init começa com uma única sequência.
Lógica de Limiar: Em cada etapa de token, se a entropia $H^{(K)}_t$ exceder um limiar predefinido $\theta$ , a sequência atual ramifica-se em dois novos candidatos. O modelo reutiliza a distribuição de tokens, mas seleciona os dois tokens mais prováveis para garantir divergência.
Reutilização de Prefixo: Se a entropia estiver abaixo de $\theta$ , a geração continua linearmente. Crucialmente, os tokens gerados antes de um ponto de ramificação são compartilhados entre todos os ramos subsequentes, eliminando a necessidade de regenerar prefixos idênticos.
Terminação: A ramificação continua até que o número total de sequências ativas atinja o limite $M$ . Para prompts fáceis, o processo pode terminar com muito menos de $M$ sequências, economizando capacidade computacional significativa.

2.3. Etapa 2: EAGER-adapt e EAGER Completo (Realocação de Orçamento)

O orçamento computacional economizado pelo EAGER-init (a diferença entre o máximo teórico $M \times |D|$ e as sequências realmente geradas) é realocado para melhorar o desempenho em prompts difíceis. Duas estratégias são definidas com base na disponibilidade de rótulos:

EAGER-adapt (Tempo de Teste, Sem Rótulos): Na ausência de verdade fundamental, o método identifica "prompts saturados"—aqueles que atingem o limite de $M$ sequências durante o EAGER-init. Estes são assumidos como desafiadores. O orçamento economizado é realocado para esses prompts para permitir exploração adicional.
EAGER Completo (Treinamento/RLVR, Com Rótulos): Quando rótulos-alvo estão disponíveis (por exemplo, em pipelines de Aprendizado por Reforço com Recompensas Verificáveis), o método identifica prompts onde o EAGER-init falhou em produzir uma solução correta (Pass@k = 0). O orçamento economizado é realocado para esses prompts falhos específicos.
- Para prompts subutilizados, o limiar de entropia $\theta$ é reduzido para encorajar ramificação mais precoce.
- Para prompts saturados, o limite de geração é estendido para $M + b_i$ (onde $b_i$ é o orçamento alocado).

3. Contribuições Principais

Validação Empírica da Entropia como Proxy: O artigo demonstra que picos de entropia token a token servem como um indicador online eficaz da dificuldade do prompt e da necessidade de exploração, mostrando uma forte correlação negativa com a Taxa de Sucesso do modelo.
Decodificação Adaptativa Sem Treinamento: O EAGER introduz um método de decodificação inovador que reduz dinamicamente os custos computacionais (até 65% menos tokens) enquanto mantém ou melhora os benefícios do escalonamento no tempo de inferência.
Alocação Adaptativa de Orçamento: O trabalho demonstra que realocar capacidade computacional economizada de prompts fáceis para prompts difíceis maximiza a utilidade do escalonamento no tempo de inferência, gerando ganhos de desempenho sem aumentar o orçamento computacional global.

4. Resultados Experimentais

Os autores avaliaram o EAGER em múltiplos modelos de código aberto (de 3B a 20B parâmetros) e benchmarks diversos (Matemática: AIME 2024/2025, HMMT 2025; Ciência: GPQA-Diamond; Código: HumanEval Plus).

Eficiência: O EAGER-init reduziu consistentemente o uso de tokens em 40% a 80% em comparação com a amostragem PARALELA TOTAL. Em muitos casos, a contagem total de tokens foi menos da metade da linha de base.
Desempenho (Com Rótulos): Em configurações onde rótulos-alvo são acessíveis (simulando pipelines RLVR), o EAGER Completo alcançou até +37% de melhoria no Pass@k no AIME 2025, utilizando 59% menos tokens.
Desempenho (Tempo de Teste): Em configurações de tempo de teste sem rótulos, o EAGER-adapt resultou em +12% de melhoria no Pass@k e 64% menos tokens em comparação com a linha de base.
Robustez: O método mostrou melhorias consistentes em diferentes tamanhos de modelos e domínios. O limiar de entropia $\theta$ mostrou-se robusto, exigindo apenas um pequeno conjunto de calibração (10 exemplos) para generalizar em tarefas fora da distribuição.
Frente de Pareto: A escalabilidade do limite máximo de sequência $M$ mostrou que o EAGER desloca a frente de Pareto desempenho-eficiência, alcançando maior precisão com custos de tokens menores em comparação com a amostragem de orçamento fixo.

5. Significado e Afirmações

O artigo afirma que o EAGER aborda uma ineficiência fundamental nos paradigmas atuais de escalonamento no tempo de teste: a alocação "tamanho único" de capacidade computacional. Ao fundamentar a estratégia de geração na incerteza do modelo, o EAGER:

Reduz Redundância: Evita regenerar prefixos previsíveis e de baixa entropia, que constituem uma grande parte das longas sequências de Cadeia de Pensamento.
Melhora a Exploração: Direciona recursos computacionais para regiões de alta incerteza onde o modelo é propenso a falhar ou onde caminhos de raciocínio diversos são necessários.
Reduz Barreiras: Ao reduzir significativamente o custo computacional da geração de traços de raciocínio de alta qualidade, o EAGER torna capacidades avançadas de raciocínio mais acessíveis a pesquisadores e profissionais com orçamentos computacionais limitados.
Eficiência Energética: A redução na geração de tokens traduz-se diretamente em menores custos de energia e infraestrutura associados a cargas de trabalho de escalonamento no tempo de teste.

Os autores posicionam o EAGER não como uma mudança na arquitetura do modelo, mas como uma camada de geração de propósito geral, sem treinamento, que pode ser aplicada a modelos de raciocínio existentes para melhorar sua eficiência e eficácia.