Resumo Técnico: ExTra - Otimização de Trajetória Exploratória para Aprendizado por Reforço de Modelos de Linguagem

1. Definição do Problema

O artigo aborda modos de falha críticos no Aprendizado por Reforço com Recompensas Verificáveis (RLVR) para o raciocínio de modelos de linguagem, especificamente dentro da estrutura de Otimização de Política de Grupo Relativo (GRPO). Os autores identificam duas fraquezas estruturais nos extremos de dificuldade da tarefa:

• Prompts Fáceis (Colapso de Diversidade): Quando os problemas são fáceis, o modelo gera respostas corretas quase uniformes. Isso faz com que a variância da recompensa dentro do grupo colapse para próximo de zero, resultando em sinais de gradiente insignificantes. Consequentemente, a política otimiza excessivamente um conjunto estreito de padrões de raciocínio, suprimindo a diversidade das trajetórias. Essa degradação prejudica diretamente as métricas de escalonamento em tempo de inferência, como o pass@k (para $k > 1$), que dependem da amostragem de soluções corretas diversas.
• Prompts Difíceis (Perda de Sinal): Quando os problemas são difíceis, o modelo pode falhar em gerar qualquer resposta correta dentro de um grupo de rollouts. Nesse cenário, todas as vantagens desaparecem, não fornecendo à política nenhum sinal de gradiente.

Estratégias de mitigação existentes, como a filtragem de dados baseada em dificuldade (ex: DAPO), tentam resolver isso descartando problemas com taxas de aprovação extremas ou reamostrando até encontrar um grupo "Goldilocks" (ideal). Os autores argumentam que essa abordagem é ineficiente: ela descarta problemas difíceis (que contêm sinais de aprendizado densos para o raciocínio de fronteira) e ainda falha em prevenir o colapso de diversidade nos problemas fáceis retidos. Além disso, a reamostragem do zero ignora estruturas intermediárias potencialmente úteis já codificadas em trajetórias falhas.

2. Metodologia: Estrutura ExTra

O ExTra (Otimização de Trajetória Exploratória) é uma estrutura compatível com GRPO projetada para extrair sinais de exploração diretamente dos próprios rollouts do modelo, sem exigir modelos de recompensa adicionais ou supervisão além da correção binária. Ele opera através de dois mecanismos complementares:

A. Recompensas Intrínsecas Baseadas em Novidade (Abordando Prompts Fáceis)

Para combater o colapso de diversidade em problemas fáceis, o ExTra introduz uma recompensa de novidade baseada em embeddings.

• Mecanismo: Para cada prompt, o sistema mantém uma memória de embeddings de sentenças de respostas anteriores. Uma nova resposta $y$ recebe uma recompensa intrínseca $r_{int}$ apenas se for correta e semanticamente nova em relação à memória.
• Formulação: $r_{int}(y) = \mathbb{1}[R(x,y)>0] \cdot (1 - \max_{z' \in \Phi(x)} \cos(z, z'))$.
• Integração: Crucialmente, este bônus de novidade é adicionado após a normalização de grupo do GRPO. Isso evita que o sinal de exploração seja distorcido pela média e variância do grupo, garantindo que a recompensa de tarefa binária permaneça o principal motor, enquanto o termo de novidade incentiva estratégias corretas diversas.
• Restrição: A porta de correção (correctness gate) garante que a política nunca seja incentivada a produzir falhas diversas.

B. Regeneração de Prefixo Guiada por Entropia (Abordando Prompts Difíceis)

Para recuperar o sinal de prompts difíceis onde nenhuma resposta correta é gerada, o ExTra propõe regenerar trajetórias a partir de etapas intermediárias promissoras em vez de reamostrar do zero.

• Heurística: O método utiliza a Entropia de Token Médio (MTE) como um proxy não supervisionado para a qualidade de um prefixo de raciocínio. A hipótese é que cadeias de raciocínio coerentes são geradas com menor incerteza (menor entropia) do que cadeias erráticas ou inconsistentes.
• Processo:
  1. Para um prompt difícil, todas as etapas intermediárias de raciocínio (prefixos) do grupo de rollout são extraídas.
  2. A MTE é computada para cada prefixo.
  3. As pontuações são suavizadas usando similaridade semântica para reduzir o ruído.
  4. O prefixo com a menor MTE suavizada é selecionado como um "prompt guiado".
  5. Novos sufixos são amostrados condicionados a este prefixo ($y_{>t} \sim \pi_\theta(\cdot | x, p^*)$).
• Eficiência: A perda do gradiente da política é computada apenas nos novos tokens de sufixo gerados, enquanto o prefixo fixo serve como contexto. Isso foca a exploração em um estado que o modelo já alcançou com alta confiança, efetivamente encolhendendo o espaço de busca.

3. Principais Contribuições

1. Identificação de Modos de Falha: O artigo caracteriza formalmente o "colapso de diversidade" em tarefas fáceis e a "perda de sinal" em tarefas difíceis como limitações estruturais do GRPO padrão.
2. Algoritmo Inovador (ExTra): Uma estrutura que combina recompensas de novidade pós-normalização e regeneração de prefixo guiada por entropia para otimizar trajetórias tanto para diversidade (em tarefas fáceis) quanto para promessa estrutural (em tarefas difíceis).
3. Supervisão Intermediária Não Supervisionada: A validação da Entropia de Token Médio (MTE) como um forte preditor não supervisionado de qualidade de prefixo. Experimentos mostram que a MTE supera outras métricas, incluindo aquelas que exigem respostas de verdade fundamental (ground-truth), na identificação de prefixos que provavelmente levarão a conclusões corretas.
4. Justificativa Teórica: Uma análise do espaço de busca (Proposição 1) demonstrando que, se existir um prefixo "acima da média", a regeneração aumenta estritamente a taxa de sucesso por tentativa e reduz o número esperado de tentativas para encontrar uma solução em comparação com a amostragem do zero.

4. Resultados Experimentais

Os autores avaliaram o ExTra em seis benchmarks de raciocínio matemático (MATH-500, AMC23, Minerva, OlympiadBench, AIME24, AIME25) usando Qwen3-1.7B e Nemotron-1.5B.

• Ganhos de Desempenho:
  • Qwen3-1.7B: O ExTra melhorou o pass@1 médio em +4.9 pontos e o pass@16 médio em +6.8 pontos em relação ao GRPO padrão.
  • Benchmarks Difíceis: As melhorias foram mais pronunciadas em conjuntos de dados difíceis como AIME24 (+8.0 pass@1, +20.0 pass@16) e AIME25.
  • Estudos de Ablação:
    • ExTra-N (Apenas Novidade): Melhorou tanto o pass@1 quanto o pass@16, confirmando o valor das recompensas de diversidade.
    • ExTra-R (Apenas Regeneração): Melhorou o pass@1, mas reduziu ligeiramente o pass@16, indicando que a regeneração sozinha pode estreitar o espaço de busca sem o buffer de diversidade fornecido pelas recompensas de novidade.
    • ExTra Completo: Mostrou um efeito super-aditivo, onde a combinação de ambos os mecanismos rendeu maiores ganhos do que a soma de seus componentes individuais.
• Métricas de Diversidade: O ExTra alcançou valores menores de Self-BLEU e maiores scores de LogDet comparado ao GRPO e DAPO, indicando uma cobertura semântica mais ampla das trajetórias de raciocínio.
• Eficiência de Amostragem: O ExTra alcançou scores de pass@16 mais altos que o DAPO utilizando significativamente menos instâncias de prompts gerados (136k vs. 392k), demonstrando que ele extrai mais sinal por rollout sem o overhead de reamostragem dinâmica.

5. Significância e Alegações

O artigo afirma que o ExTra oferece uma abordagem mais eficiente e robusta para RLVR ao otimizar explicitamente as trajetórias para serem simultaneamente diversas e estruturalmente promissoras. Sua significância reside em:

• Simplicidade Operacional: Opera inteiramente dentro do loop padrão do GRPO, não exigindo modelos de recompensa adicionais, anotação humana ou overhead computacional pesado além dos logits de geração padrão.
• Extração de Sinal: Demonstra que sinais de exploração valiosos (diversidade e estrutura intermediária) estão latentes no próprio processo de geração do modelo e podem ser colhidos sem descartar dados difíceis ou reamostrar cegamente.
• Escalabilidade: Ao melhorar tanto a precisão de amostra única quanto a cobertura em tempo de inferência (pass@k), o método suporta o escalonamento das capacidades de raciocínio através de estratégias de votação majoritária ou amostragem best-of-N.

Os autores mantêm um tom modesto, observando que, embora a MTE seja um forte preditor, a correlação é moderada devido à natureza inerentemente ruidosa da avaliação de prefixo de Monte Carlo, e que o método depende da existência empírica de prefixos "acima da média" que a MTE identifica com sucesso.