Resumo Técnico: Localizando o Crédito na Divergência

1. Definição do Problema

O artigo aborda um gargalo fundamental na Aprendizagem por Reforço com Recompensas Verificáveis (RLVR) para Grandes Modelos de Linguagem (LLMs): a atribuição de crédito ao nível de token.

Em pipelines padrão de RLVR (ex: GRPO), um grupo de rollouts é amostrado, pontuado por um verificador e atualizado com base em uma vantagem escalar. Este escalar é idêntico para cada token em uma trajetória. Consequentemente, embora o modelo aprenda que uma trajetória falhou, ele não consegue identificar onde a falha se originou. Uma longa trilha de raciocínio pode conter uma configuração correta, um único passo algébrico errôneo e uma resposta final derivada desse erro; o escalar de recompensa trata toda a sequência de forma uniforme, falhando em penalizar o ponto específico de divergência.

A autodestilação on-policy tenta resolver isso usando o modelo tanto como aluno (condicionado ao prompt) quanto como professor (condicionado ao prompt mais um contexto privilegiado, tipicamente a resposta verdadeira $a^\star$). A divergência de Kullback-Leibler (KL) entre as distribuições do professor e do aluno fornece um gradiente denso por token.

No entanto, os autores identificam uma falha crítica na escolha padrão de contexto privilegiado ($c = a^\star$): o Gargalo de Contexto de Extremidade (Endpoint Context Bottleneck).

• Em tarefas com respostas concisas (ex: AIME, onde a resposta é um número de 3 dígitos), a resposta verdadeira restringe apenas o intervalo de tokens finais.
• Ela não fornece informações sobre o caminho de raciocínio intermediário necessário para chegar a essa resposta.
• Empiricamente, professores condicionados à resposta produzem um "silêncio" (deslocamento preditivo próximo de zero) ao longo da maior parte da cadeia de raciocínio, com sinais aparecendo apenas perto da resposta final. Isso deixa o modelo sem orientação exatamente nas posições onde a correção do nível de caminho é mais necessária.

2. Metodologia: Autodestilação com Hindsight (HSD)

Os autores propõem a Autodestilação com Hindsight (HSD), um método que desloca o contexto privilegiado de um ponto final (a resposta) para um caminho (uma trajetória de um par bem-sucedida).

Mecanismo Central

Em vez de condicionar o professor unicamente na resposta verdadeira $a^\star$, o HSD condiciona o professor em uma trajetória de um par bem-sucedida ($o^+$) extraída do mesmo grupo de treinamento, juntamente com a resposta.

• Entrada: Para um rollout falho $o_i$, se o grupo contiver um rollout bem-sucedido $o^+$, o professor é condicionado em $c_i = (a^\star, o^+)$.
• Fallback: Se nenhum par no grupo tiver sucesso ($S_i = \emptyset$), o método recorre ao contexto de extremidade padrão $c_i = a^\star$.
• Custo: Isso não requer amostragem adicional. O par bem-sucedido já foi gerado como parte do processo padrão de amostragem relativa ao grupo (ex: o grupo de $G$ rollouts do GRPO).

Justificativa Teórica

• Crédito Ideal: O crédito ideal por token deve favorecer tokens que aumentem a probabilidade de sucesso eventual do verificador.
• Informação de Nível de Caminho: Um par bem-sucedido $o^+$ é uma amostra exata da política condicionada ao sucesso $\pi^+$. Ao fornecer $o^+$ como contexto, o professor ganha acesso ao caminho completo de raciocínio bem-sucedido.
• Localização: Quando um rollout falho $o_i$ e um par bem-sucedido $o^+$ compartilham um prefixo até um ponto de divergência $\tau$:
  • Pré-divergência ($t < \tau$): O professor e o aluno veem o mesmo prefixo. O crédito é próximo de zero (o "piso de silêncio").
  • Na divergência ($t = \tau$): O professor vê a continuação bem-sucedida $o^+_{\tau}$, enquanto o aluno gera o token falho. A divergência KL tem um pico, criando um sinal de gradiente forte e localizado exatamente no ponto de erro.
  • Pós-divergência ($t > \tau$): O sinal decai à medida que o prefixo do aluno se afasta da demonstração.

3. Principais Contribuições

1. Diagnóstico da Falha do Contexto de Extremidade: O artigo demonstra que a autodestilação condicionada à resposta falha em benchmarks de respostas concisas porque a resposta impõe um teto de informação ($\log V_k$) que é insuficiente para restringir caminhos de raciocínio intermediários. O professor permanece "silencioso" nos passos de raciocínio que são mais importantes.
2. Autodestilação com Hindsight (HSD): Uma modificação mínima e de uma única linha no loop de treinamento que condiciona o professor em uma trajetória bem-sucedida de um par. Isso transforma o panorama de atribuição de crédito, localizando o sinal de gradiente na posição de divergência $\tau$.
3. Validação Empírica: Comparações controladas em Qwen3-8B e Qwen3-32B através de benchmarks de matemática (MATH, GSM8K, AIME) e código (APPS, LiveCodeBench).
   • O HSD atinge resultados de estado da arte contra variantes de GRPO e baselines de destilação on-policy (OPSD, SDPO, RLSD).
   • Os ganhos são mais pronunciados em tarefas de resposta concisa (ex: AIME), onde o contexto de extremidade é mais fraco. Por exemplo, o HSD supera o baseline GRPO em >5 pontos no AIME-24 e >7 pontos no AIME-24 para o modelo 32B.
   • O perfil de crédito empírico confirma a teoria: valores próximos de zero em prefixos compartilhados e um pico agudo no ponto de divergência.

4. Resultados e Análise

• Desempenho: O HSD supera todos os baselines em benchmarks de matemática e código em ambas as escalas de modelos. A melhoria sobre o baseline mais forte não-HSD (um híbrido de GRPO e OPSD) é consistente, sugerindo que a supervisão baseada em caminho adiciona valor além de combinações lineares de recompensas esparsas e destilação de extremidade.
• Localização de Crédito: A análise do perfil de crédito por token mostra que o HSD concentra aproximadamente 55% de sua massa de crédito dentro de ±8 tokens do ponto de divergência $\tau$. Em contraste, métodos baseline (OPSD) espalham o crédito uniformemente ou permanecem na banda de silêncio.
• Cobertura: A eficácia do HSD depende da existência de um par bem-sucedido. A probabilidade de ter um par bem-sucedido atinge o pico quando a taxa de sucesso do grupo $p$ é moderada (cerca de 0,25 para um tamanho de grupo de 8). Isso se alinha com a observação de que o HSD produz os maiores ganhos no AIME (onde as taxas de sucesso são baixas a moderadas) em comparação ao HumanEval+ (onde as taxas de sucesso são altas, deixando menos rollouts falhos para supervisão).
• Custo Computacional: O HSD incorre em um overhead modesto (aproximadamente 25% mais tempo de execução por passo do que o OPSD) devido ao contexto mais longo do professor, mas não requer rollouts adicionais.

5. Significância e Alegações

O artigo afirma que a limitação primária da destilação on-policy atual não é o método de destilação, mas a escolha do contexto privilegiado. Ao mover-se de um contexto de extremidade (resposta) para um contexto de caminho (par bem-sucedido), o HSD desbloqueia a capacidade de localizar a atribuição de crédito sem exigir modelos de recompensa externos ou amostragem adicional.

Os autores posicionam o HSD como uma modificação simples e eficaz que resolve o "silêncio" dos professores em tarefas de resposta concisa. O trabalho sugere que o "hindsight" de um par bem-sucedido dentro do mesmo grupo de treinamento é um sinal suficiente e poderoso para guiar modelos de raciocínio, efetivamente transformando o mecanismo de amostragem relativa ao grupo em uma fonte de supervisão densa ao nível do caminho.

Limitações Reconhecidas:

• O HSD depende da existência de um par bem-sucedido; se todo o grupo falhar, ele recorre ao sinal de extremidade mais fraco.
• O método é avaliado em matemática e código com verificadores programáticos; sua aplicabilidade a recompensas ruidosas, interações de múltiplos turnos ou pontos de partida ajustados por instrução ainda não foi estabelecida.
• A "cauda difícil" de dificuldade (onde as taxas de sucesso são extremamente baixas) pode sofrer de baixa cobertura, uma área potencial para trabalhos futuros envolvendo o buffer de sucessos passados.