Resumo Técnico: O Papel do Alinhamento de Feedback na Autodestilação

Declaração do Problema

O pós-treinamento de grandes modelos de linguagem (LLMs) para raciocínio geralmente depende de Aprendizado por Reforço com Recompensas Verificáveis (RLVR), como a Otimização de Política Relativa ao Grupo (GRPO). Embora eficaz, o RLVR sofre de atribuição de crédito esparsa: uma recompensa escalar única para a resposta final não indica onde no traço de raciocínio o modelo errou. Por outro lado, a destilação de conhecimento oferece supervisão densa ao nível de token, mas requer acesso aos logits de um modelo professor mais forte, o que muitas vezes é indisponível ou custoso.

A autodestilação tenta preencher essa lacuna usando o mesmo modelo como aluno e professor sob diferentes contextos. O aluno condiciona-se apenas na pergunta, enquanto o "auto-professor" condiciona-se na pergunta mais um contexto adicional (ex: soluções de referência ou feedback). No entanto, trabalhos anteriores trataram esse contexto majoritariamente como uma escolha fixa, sem investigar como a estrutura do feedback influencia o sinal de aprendizado. Este artigo questiona: Que forma de feedback produz o auto-professor mais eficaz para a autodestilação?

Metodologia

Os autores implementam uma configuração solver–critic para estudar a autodestilação no domínio do raciocínio matemático.

1. Configuração: Um solver treinável ($\pi_\theta$) gera traços de raciocínio para problemas matemáticos. Um crítico congelado ($\pi_{critic}$) analisa esses traços e produz feedback. O solver é então atualizado via autodestilação, minimizando a divergência entre sua distribuição de saída (condicionada apenas à pergunta) e a distribuição do auto-professor (condicionada à pergunta mais o feedback do crítico).
2. Condições Experimentais: O estudo compara três contextos de feedback distintos:
   • GRPO: Uma linha de base padrão de RLVR usando recompensas binárias (correto/incorreto) sem autodestilação.
   • RefSol (Solução de Referência): O auto-professor é condicionado a uma solução de referência (cadeia de pensamento) de um modelo mais forte.
   • StepAlignFB (Crítica Alinhada por Passo): O auto-professor é condicionado a uma crítica gerada pelo crítico. Crucialmente, esta crítica é estruturalmente alinhada ao traço de raciocínio específico do solver. O crítico é instruído a copiar os passos corretos do solver literalmente e apenas modificar os passos específicos onde ocorrem erros, preservando o estilo e a notação do solver para as partes corretas.
3. Análise de Mecanismo: Os autores analisam a "vantagem por token" (a razão logarítmica de probabilidades entre o professor e o aluno) para entender como diferentes tipos de feedback alteram o comportamento do modelo. Eles também investigam o papel dos "cabeças de indução" (mecanismos que copiam padrões de contexto) em como o modelo processa repetições literais no feedback.

Principais Contribuições e Descobertas

1. O Feedback Alinhado por Passo Supera as Soluções de Referência

A condição StepAlignFB produz os maiores ganhos de desempenho, superando tanto o GRPO quanto a autodestilação condicionada a RefSol.

• Resultados: No conjunto de dados OpenMathReasoning (métrica Avg@12), o StepAlignFB alcançou 35,83, comparado a 30,56 para RefSol e 19,72 para GRPO.
• Significância: Apesar de nunca ter visto a derivação da verdade fundamental (ground-truth), o StepAlignFB supera o RefSol. Isso sugere que o alinhamento do feedback ao trajeto específico do solver é mais crítico do que a mera presença de uma solução correta.

2. Supervisão de Processo Implícita via Alinhamento Estrutural

A análise de vantagem por token revela o mecanismo por trás do sucesso do StepAlignFB:

• Localização: O feedback alinhado por passo concentra as mudanças distributivas (vantagens negativas) especificamente nos tokens onde o raciocínio falha. Ele reforça os passos corretos ao preservá-los literalmente (produzindo vantagens positivas). Isso mimetiza o comportamento de um Modelo de Recompensa de Processo (PRM), mas é derivado inteiramente de feedback em linguagem natural sem treinar um modelo de recompensa separado.
• Difusão em RefSol: Em contraste, condicionar em uma solução de referência cria um "sinal supressivo difuso". Mesmo quando o passo do solver é correto, a solução de referência frequentemente utiliza frases ou notações diferentes. Isso faz com que o auto-professor penalize tokens corretos simplesmente porque diferem da referência, diluindo o sinal de aprendizado com discordâncias estilísticas.

3. O Papel da Cópia por Cabeça de Indução

O artigo identifica um padrão de design crítico para o feedback do crítico, denominado a "convenção do escriba fiel" (faithful-scribe convention):

• Repetição Literal Total: Se o crítico repetir toda a tentativa do solver (incluindo erros) literalmente, as cabeças de indução do modelo ancorar-se-ão nos tokens incorretos, fazendo com que o professor reproduza o erro.
• Omissão: Se o crítico omitir inteiramente os passos corretos do solver, a distribuição do professor se afastará do raciocínio correto do solver.
• Repetição Parcial (A Solução): A estratégia ideal é repetir os passos corretos do solver literalmente até o erro, substituir o passo errôneo por uma correção e continuar. Isso aproveita a cópia da cabeça de indução para reforçar os prefixos corretos enquanto permite que a correção governe o local do erro.

Significância e Alegações

O artigo argumenta que a principal vantagem da autodestilação não é meramente o acesso a contexto adicional, mas o acesso a um contexto cuja estrutura corresponde ao trajeto de raciocínio do aluno.

• Alinhamento Estrutural > Qualidade do Feedback: Uma derivação de referência completa e correta é um sinal forte, mas, na autodestilação, ela falha porque diverge do traço do solver em sua forma superficial. A crítica alinhada por passo tem sucesso porque aborda o traço real do solver, concentrando o sinal exatamente onde o raciocínio falha.
• PRM Implícito: O feedback alinhado por passo fornece uma forma de supervisão de processo implícita, localizando erros sem o custo computacional de treinar um modelo de recompensa por passo.
• Compromisso Prático: Embora o StepAlignFB seja superior, os autores observam que ele requer um modelo de crítica capaz de gerar feedback de alta qualidade e alinhado por passo, o que aumenta os custos de treinamento e a complexidade do sistema em comparação com o condicionamento simples por solução de referência ou recompensas binárias.

O estudo é limitado ao conjunto de dados OpenMathReasoning e ao raciocínio matemático; os autores afirmam explicitamente que trabalhos futuros são necessários para determinar se esses benefícios se transferem para outros domínios, tamanhos de modelo ou configurações de solver-crítico.