Resumo Técnico: TRACE - Destilando Onde Importa via Alinhamento Auto-Baseado Roteado por Token

1. Declaração do Problema

O artigo aborda as limitações da Auto-Destilação em Política (Self-OPD) quando aplicada ao Aprendizado por Reforço com Recompensas Verificáveis (RLVR) de longo horizonte, particularmente em tarefas de raciocínio matemático. Embora os métodos Self-OPD (por exemplo, SDPO, SRPO) densifiquem o sinal de recompensa esparsa ao usar um instantâneo da política como professor para guiar o aluno, os autores identificam um modo de falha crítico no treinamento de longo horizonte:

• Incompatibilidade de Granularidade: Os métodos existentes aplicam a perda de Destilação de Conhecimento (KL) em todos os tokens de uma resposta. No entanto, a análise mostra que ~97% da massa de probabilidade em trajetórias corretas já é compartilhada entre aluno e professor, o que significa que a maioria dos gradientes KL é redundante.
• O "Imposto de Destilação Uniforme": Aplicar KL a todos os tokens força o modelo a gastar gradientes em posições que não precisam de correção. Isso leva a:
  • Vazamento de Informação Privilegiada: O aluno absorve correlações presentes no contexto privilegiado (por exemplo, traços verificados) que estão ausentes na inferência, causando degradação Fora de Distribuição (OOD).
  • Aumento de Entropia e Colapso do Raciocínio: Os autores observam um "colapso de três sintomas" no treinamento de longo horizonte: os comprimentos das respostas encurtam drasticamente, a entropia do ator por token aumenta (frequentemente >4× a linha de base) e a precisão de validação cai significativamente.
• A Questão Central: A unidade correta de destilação não é a resposta inteira, mas o pequeno subconjunto de tokens de raciocínio decisivos onde a distribuição do aluno realmente precisa de correção.

2. Metodologia: TRACE

Os autores propõem o TRACE (Alinhamento Roteado por Token para rEasoning Crítico), um método que roteia sinais de destilação apenas para faixas específicas de tokens, em vez de aplicá-los uniformemente.

Componentes Principais

1. Auto-OPD Roteado por Token: Em vez de uma perda KL global, o TRACE usa um anotador privilegiado ($\pi_A$) para identificar faixas específicas em uma trajetória:

   • Faixas Chave ($K_y$): Passos decisivos de raciocínio em trajetórias corretas (Recompensa=1).
   • Faixas de Erro ($E_y$): Erros de raciocínio de causa raiz em trajetórias incorretas (Recompensa=0).
   • Não-Faixas ($N_y$): Todos os tokens restantes.
   • Restrição: A cobertura total de faixas é limitada a $\alpha = 0.25$ (25% dos tokens) para limitar a exposição à informação privilegiada.

2. Roteamento Diagnóstico Grosseiro:

   • O anotador emite um rótulo de tipo grosseiro (por exemplo, case_split, missed_case), mas não o texto da faixa ou o conteúdo completo da trajetória.
   • O Professor ($\pi_T$) recebe o problema e este rótulo grosseiro como um prefixo diagnóstico privado. Ele calcula logits causalmente no prefixo gerado pelo aluno, mas não vê as localizações ou o conteúdo específicos da faixa.
   • O Aluno ($\pi_S$) é treinado usando uma perda roteada onde o termo KL é aplicado apenas às faixas mascaradas.

3. Roteamento de Divergência Assimétrica:

   • KL Direto (FKL) em Faixas Chave: Aplicado a trajetórias corretas. O FKL ($KL(\pi_T \parallel \pi_S)$) fornece um "impulso" aos tokens que o aluno sub-aloca, independentemente da massa de probabilidade atual do aluno.
   • KL Reverso (RKL) em Faixas de Erro (Opcional): Aplicado a trajetórias incorretas. O RKL ($KL(\pi_S \parallel \pi_T)$) suprime tokens sobre os quais o aluno está excessivamente confiante, mas que o professor desfavorece.
   • Sem KL em Não-Faixas: Esses tokens dependem exclusivamente da perda padrão GRPO (Otimização de Política Relativa de Grupo).

4. Cronograma de Exposição Finita:

   • O peso do KL ($\lambda_k$) é annealed para zero após um curto aquecimento (por exemplo, 40 passos).
   • Isso garante que a exposição cumulativa a gradientes privilegiados permaneça finita ao longo do horizonte de treinamento, prevenindo o acúmulo de longo prazo de correlações degradantes OOD.

3. Análise Teórica

O artigo fornece justificação teórica para a estratégia de roteamento:

• Pressão Ponto a Ponto Assimétrica (Corolário 2):
  • O FKL é eficaz para tokens sub-alocados (onde a probabilidade do aluno $p \ll$ probabilidade do professor $q$) porque a pressão do gradiente escala com a lacuna $(q-p)$ e não desaparece quando $p \to 0$.
  • O RKL é eficaz para tokens confiantes-errados (onde $p \gg q$) porque o gradiente escala com a superconfiança do aluno ($p$).
• Limite de Exposição Cumulativa (Proposição 3): Ao combinar mascaramento de faixas (limitando a largura de banda a $\alpha$) e decaimento do KL (limitando a duração), o TRACE limita a exposição cumulativa a gradientes privilegiados a $O(\alpha \Lambda^2)$, prevenindo o crescimento ilimitado observado nas linhas de base persistentes de KL em todos os tokens.
• Sinal vs. Vazamento: O método maximiza o sinal de alinhamento nas faixas chave enquanto minimiza o risco de vazar informações privilegiadas que causam correlações espúrias.

4. Contribuições Principais

1. Diagnóstico: Identificação de um "imposto de destilação uniforme" no Self-OPD em todos os tokens, ligando o aumento da entropia, a supressão epistêmica e o vazamento de gradientes privilegiados a uma incompatibilidade de granularidade.
2. Método e Teoria: Introdução do TRACE, que roteia $\{FKL, RKL, \emptyset\}$ com base na classe de token (Chave, Erro, Não-faixa) e decai o canal privilegiado. A teoria explica por que o FKL é dominante para faixas chave em regimes de base forte e por que o canto ótimo se desloca para RKL para faixas de erro em regimes de base mais fraca.
3. Evidência Empírica:
   • Desempenho: No Qwen3-8B, o TRACE melhora a média de 5 benchmarks em 2,76 pontos percentuais sobre o GRPO.
   • Estabilidade: Diferente do SDPO/SRPO, o TRACE preserva o desempenho OOD do modelo base no GPQA-Diamond, onde as linhas de base degradam.
   • Auto-Anotação: O método funciona com um anotador auto-on-line (a própria política do aluno), recuperando ~69% do ganho de um anotador externo forte via API, provando que os ganhos vêm do mecanismo de roteamento, não apenas da capacidade externa.
   • Adaptação Cross-Escala: Em uma base mais fraca (Qwen3-1.7B), o canto de roteamento dominante inverte naturalmente de FKL-em-Chave para RKL-em-Erro, correspondendo às previsões teóricas.

5. Resultados

• Qwen3-8B (Base Forte): O TRACE (FKL em Faixas Chave) alcança 81,51% de precisão média em 5 benchmarks (MATH-500, AIME 24/25, AMC 23, GPQA-Diamond), superando o GRPO (78,75%) e a linha de base Self-OPD mais forte anterior RLSD (78,99%). Crucialmente, mantém a pontuação do modelo base no GPQA-Diamond (58,33% vs 58,27% base), enquanto GRPO e linhas de base em todos os tokens caem significativamente.
• Qwen3-1.7B (Base Mais Fraca): O TRACE (RKL em Faixas de Erro) alcança 60,16% de média, sendo o único método treinado a exceder o modelo base (58,77%). Linhas de base em todos os tokens (SDPO/SRPO) colapsam, caindo 11–19 pontos abaixo do GRPO.
• Estudos de Ablação:
  • Localização de Máscara: Substituir as máscaras de faixa específicas do TRACE por máscaras aleatórias de 25% ou KL em todos os tokens resulta em quedas de desempenho, confirmando que quais tokens são selecionados importa mais do que a quantidade.
  • Qualidade do Anotador: Usar o aluno em treinamento ativo como seu próprio anotador rende +1,90 pontos, demonstrando que o método não depende da importação de capacidades de raciocínio "super-humanas" externas.

6. Significado e Alegações

O artigo alega que o TRACE oferece uma solução geométrica de perda para a instabilidade do Self-OPD de longo horizonte, em vez de uma correção específica de domínio. Seu significado reside em:

• Desacoplar Destilação da Instabilidade: Ao restringir o sinal "privilegiado" a faixas críticas e decaí-lo, o TRACE evita o aumento da entropia e o colapso do raciocínio observados no SDPO e SRPO.
• Roteamento Adaptativo: Demonstra que a direção ótima de destilação (FKL vs. RKL) não é um hiperparâmetro fixo, mas depende do perfil de erro do modelo base (sub-alocação vs. superconfiança).
• Viabilidade Prática: Prova que destilação de alta qualidade pode ser alcançada sem professores externos ou rubricas por consulta caras, dependendo, em vez disso, de uma anotação diagnóstica grosseira e leve que pode ser auto-gerada.

Os autores enfatizam que o TRACE é um "framework roteado por canto" em vez de uma receita fixa, onde a ação de roteamento específica (FKL vs. RKL) deve ser escolhida com base no modo de erro residual do modelo base.