Entropy Centroids as Intrinsic Rewards for Test-Time Scaling

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais escalonados em tempo de teste amostrando múltiplas respostas candidatas ($N$ trajetórias) e selecionando a melhor (por exemplo, seleção "Melhor-de-N"). Os métodos atuais de seleção enfrentam dois desafios principais:

• Modelos de Recompensa Externos: Confiar em modelos de recompensa externos exige o treinamento de um modelo separado e de alta qualidade, introduzindo uma sobrecarga computacional significativa.
• Sinais Intrínsecos Ruidosos: Sinais intrínsecos existentes (por exemplo, confiança ao nível de token, entropia ou divergência KL) são frequentemente muito ruidosos para serem confiáveis. Métricas ao nível de token falham em capturar a estrutura temporal do raciocínio; por exemplo, um modelo pode exibir alta confiança em tokens de cálculo mesmo enquanto está fundamentalmente incerto sobre a etapa geral de raciocínio. Além disso, agregações simples (como a média) ignoram a dinâmica temporal de exploração versus exploração.

O artigo busca um sinal de recompensa intrínseco robusto, derivado exclusivamente do próprio processo de geração do modelo, que possa selecionar efetivamente trajetórias de alta qualidade em diversas tarefas (matemática, código, lógica, agentes) sem supervisão externa.

2. Metodologia

Os autores propõem uma estrutura inovadora baseada na observação de que tokens de alta entropia (indicando incerteza) tendem a se agrupar em grupos consecutivos durante a inferência, em vez de aparecerem aleatoriamente.

A. Fase de Alta Entropia (HEP)

Para ir além de sinais ruidosos ao nível de token, os autores definem uma Fase de Alta Entropia (HEP) como a unidade básica de incerteza.

• Definição: Uma HEP é um segmento de comprimento variável da trajetória.
• Gatilho: Começa quando a entropia de um token excede um limite alto ($\theta_{high}$).
• Terminação: Termina apenas quando $k$ tokens consecutivos caem abaixo de um limite baixo ($\theta_{low}$).
• Significado: Isso agrupa tokens incertos consecutivos em uma "fase" coerente, filtrando ruídos isolados e capturando o estado de exploração ou confusão do modelo como uma unidade inteira.

B. Centroide de Entropia

Inspirado pelo conceito físico de centro de massa, os autores definem o Centroide de Entropia para codificar a posição temporal dessas fases de incerteza.

• Massa ($m_n$): O número de tokens na $n$-ésima HEP.
• Posição ($p_n$): O ponto médio da $n$-ésima HEP dentro da trajetória total.
• Cálculo: O centroide $C$ é a posição média ponderada de todas as HEPs ao longo da trajetória, normalizada pelo comprimento total da sequência $L$:
  $$C = \frac{\sum_{n=1}^{N} m_n \cdot p_n}{L \cdot \sum_{n=1}^{N} m_n}$$
• Interpretação:
  • Centroide Baixo: Indica que a incerteza (exploração) ocorreu no início do processo de raciocínio, seguida por uma geração confiante (baixa entropia). Isso correlaciona-se com raciocínio de alta qualidade (explorar cedo, convergir depois).
  • Centroide Alto: Indica que a incerteza persistiu ou surgiu tardiamente na trajetória, sugerindo que o modelo lutou para resolver o problema ou ficou confuso perto do final.

C. Estratégia de Seleção do Menor Centroide

O método de seleção proposto, Menor Centroide, simplesmente seleciona a trajetória com o menor valor de centroide de entropia entre os $N$ candidatos amostrados.

• Pré-processamento: Uma etapa de filtragem de outliers remove trajetórias com terminação anormal ou nonsense antes da seleção.
• Vantagem: Não requer treinamento, não requer rótulos externos e funciona para qualquer tipo de tarefa (incluindo codificação aberta e tarefas de agentes onde a votação majoritária falha).

3. Principais Contribuições

1. Modelagem Temporal da Incerteza: O artigo identifica que o padrão temporal da incerteza é mais informativo do que a magnitude da incerteza em tokens individuais. Isso é formalizado através da Fase de Alta Entropia (HEP).
2. Métrica de Centroide de Entropia: Introduz uma métrica inspirada na física (Centroide) que agrega HEPs em um único sinal de recompensa escalar representando o "timing" da incerteza do modelo.
3. Recompensa Intrínseca de Propósito Geral: Demonstra que este sinal intrínseco é eficaz em uma ampla gama de escalas de modelo (14B a 480B) e domínios (Matemática, Código, Lógica, Agentes), superando baselines existentes sem exigir modelos de recompensa externos.
4. Robustez: O método mostrou-se robusto às escolhas de hiperparâmetros (limites para detecção de HEP) e estável à medida que o tamanho do modelo aumenta.

4. Resultados Experimentais

Os autores avaliaram o método em quatro benchmarks: AIME 2025/Minerva (Matemática), Synlogic (Lógica), BigCodeBench/LiveCodeBench (Código) e $\tau^2$-Bench (Agentes).

• Ganhos de Desempenho: O método Menor Centroide superou consistentemente as baselines (Pass@1, Decodificação Gananciosa, Auto-Confiança, Confiança da Cauda, Janela Inferior) em todas as 30 combinações de modelo-conjunto de dados.
  • Melhoria Média: +5,3% sobre o Pass@1.
  • Tarefas de Agentes: +6,8% de melhoria média (por exemplo, o GPT-OSS-120B teve um ganho de +10,1%).
  • Matemática/Lógica: Ganhos significativos, por exemplo, +11,0% no AIME 2025 para o GPT-OSS-120B.
• Comparação com Baselines:
  • Diferentemente da "Auto-Confiança" ou "Confiança da Cauda", que mostraram desempenho instável (às vezes degradando resultados), o Menor Centroide forneceu ganhos confiáveis em todas as configurações.
  • Superou a Votação Majoritária em tarefas de resposta curta e, crucialmente, é aplicável a tarefas de formato longo (codificação, agentes) onde a Votação Majoritária é inaplicável.
• Comportamento de Escalonamento: O método exibe escalonamento persistente sem saturação precoce. À medida que o número de trajetórias amostradas ($N$) aumenta, a precisão continua a subir de forma estável, enquanto outros métodos frequentemente atingem platô ou flutuam.
• Escala do Modelo: O método funciona efetivamente de 14B a 480B parâmetros, provando sua generalidade.

5. Significado e Conclusão

Este trabalho fornece uma abordagem leve, livre de anotação e generalizável para o escalonamento em tempo de teste. Ao deslocar o foco do ruído ao nível de token para a estrutura temporal da incerteza (via HEPs e Centroides), os autores oferecem uma solução prática para selecionar caminhos de raciocínio de alta qualidade.

• Impacto Prático: Elimina a necessidade de modelos de recompensa externos caros, tornando o escalonamento em tempo de teste mais acessível e eficiente.
• Insight Teórico: Valida a hipótese de que o raciocínio de alta qualidade segue um padrão temporal específico: exploração precoce (alta entropia) seguida por convergência confiante (baixa entropia).
• Potencial Futuro: O Centroide de Entropia pode servir não apenas como uma métrica de seleção, mas também como um sinal de recompensa intrínseco para treinamento (por exemplo, em Aprendizado por Reforço) ou para diagnosticar o comportamento do modelo em geração de formato longo.

Em resumo, o artigo demonstra com sucesso que analisar o timing da incerteza do modelo é um sinal intrínseco poderoso para melhorar o desempenho de LLMs em tempo de teste.