Resumo Técnico: Orientação Residual Ancorada para Destilação On-Policy Privilegiada

1. Definição do Problema

O artigo aborda um modo de falha específico na Destilação On-Policy Privilegiada (Privileged OPD). Na OPD padrão, um modelo estudante aprende com as previsões de um professor sobre estados gerados pelo próprio estudante, mitigando o viés de exposição do ajuste fino supervisionado (SFT). A Privileged OPD aprimora isso utilizando um "auto-professor" (o mesmo modelo base) aumentado com informação privilegiada (ex: traços de oráculo, soluções de ouro) para fornecer supervisão densa e direcionada à resposta.

No entanto, os autores identificam que tratar este professor totalmente privilegiado como um alvo de imitação absoluto cria um "descompasso de alcançabilidade" (reachability mismatch). Como o professor de visão total condiciona no contexto futuro completo (incluindo a resposta final), sua distribuição de probabilidade incorpora informação enviesada por retrospectiva (hindsight-biased information).

• A Consequência: O estudante é incentivado a pular etapas válidas de raciocínio intermediário em favor de "atalhos localmente não suportados" para corresponder à distribuição enviesada pela retrospectiva.
• A Patologia: Isso leva ao vazamento de informação privilegiada (privileged-information leakage), onde o modelo parece "trapacear" ao antecipar respostas que não consegue derivar logicamente de seu estado atual, um fenômeno que piora conforme a extensão da trajetória aumenta (deriva de longo horizonte).

2. Metodologia: Destilação On-Policy Residual Ancorada (AR-OPD)

Para resolver o descompasso entre o suporte preditivo local do estudante e a distribuição enviesada pela retrospectiva do professor, os autores propõem a AR-OPD, uma estrutura de visão dupla que desmembra a supervisão privilegiada em dois componentes: um Âncora Localmente Compatível e um Resíduo Direcionado ao Destino.

Mecanismo Central

Em vez de forçar o estudante a imitar o professor totalmente privilegiado ($q_{full}$), a AR-OPD constrói uma distribuição alvo ($q_\lambda$) usando a seguinte decomposição no espaço de log-probabilidade:

$$\log q_\lambda(v | s_t) = \underbrace{\log q_{part}(v | s_t)}_{\text{Âncora}} + \lambda \underbrace{(\log q_{full}(v | s_t) - \log q_{part}(v | s_t))}_{\text{Resíduo}} - C_t$$

1. A Âncora ($q_{part}$): Um professor parcialmente privilegiado é construído truncando deterministicamente o contexto privilegiado (ex: mantendo os primeiros 50% do traço de raciocínio, $\rho=0.5$). Este professor fornece um alvo causalmente alcançável que isola o estudante do viés de resposta da retrospectiva, mantendo a orientação estrutural.
2. O Resíduo: A diferença entre o professor de visão total e o professor de visão parcial representa a previsão marginal (o sinal "direcionado ao destino").
3. O Parâmetro de Controle ($\lambda$): Este coeficiente escala o resíduo.
   • Se $\lambda = 0$, o método reduz-se à OPD privilegiada parcial.
   • Se $\lambda = 1$, ele recupera o alvo privilegiado total.
   • Os autores descobriram que $\lambda < 1$ (regime de contração) é o ideal, mantendo o alvo ancorado entre as visões parcial e total para evitar a sobretransferência de informação de retrospectiva.

Objetivo de Treinamento

O estudante é treinado via divergência KL direta para minimizar a distância entre sua política e este alvo de resíduo ancorado $q_\lambda$ em estados visitados pelo estudante, em vez do alvo monolítico de visão total.

3. Principais Contribuições

1. Diagnóstico de Vazamento de Retrospectiva: O artigo fornece evidência mecanística de que a OPD privilegiada monolítica induz patologias de otimização ao puxar os estudantes para tokens fora de seu suporte preditivo local, particularmente em trajetórias de longo horizonte (>768 tokens).
2. Estrutura AR-OPD: A introdução de um método de destilação de visão dupla que operacionaliza a separação entre alcançabilidade local (Âncora) e orientação futura (Resíduo).
3. Validação Empírica: Demonstração de que o controle do resíduo de visão total melhora o desempenho tanto em relação ao SFT quanto à OPD privilegiada total, especificamente reduzindo eventos de atalho e mitigando a deriva de estágio tardio.

4. Resultados Experimentais

Os autores avaliaram a AR-OPD em quatro domínios: Matemática (MATH500, AMC23), Código (HumanEval, MBPP), Ciência (SciKnowEval) e QA Médica (MedQA, MedCQA), utilizando o Qwen2.5-7B-Instruct como modelo base.

• Ganhos de Desempenho: A AR-OPD alcançou a pontuação média mais alta (70.3) em todos os benchmarks.
  • +12.1 pontos sobre o modelo base.
  • +7.9 pontos sobre o Ajuste Fino Supervisionado (SFT).
  • +2.3 pontos sobre a forte linha de base de Full Privileged OPD.
• Especificidades de Domínio: Os ganhos foram mais pronunciados no raciocínio matemático, onde a AR-OPD atingiu 74.6 no MATH500 (superando a Full OPD em 3.6 pontos).
• Robustez de Longo Horizonte: Em trajetórias superiores a 768 tokens, a AR-OPD superou a Full OPD em 7.2 pontos, demonstrando maior estabilidade em tarefas de raciocínio estendido.
• Verificação de Mecanismo:
  • Redução de Atalhos: A AR-OPD reduziu "eventos de atalho" (instâncias de vazamento de informação privilegiada) em 21.7% em comparação com a Full OPD.
  • Confiabilidade do Sinal: Diagnósticos mostraram que a visão privilegiada parcial retém quase tanto poder preditivo para a correção final (ROC-AUC 0.766) quanto a visão total (0.779), enquanto o sinal marginal (total menos parcial) é significativamente mais fraco (0.585), justificando a abordagem de resíduo.

5. Significância e Alegações

O artigo afirma que a utilidade da informação privilegiada na destilação não é uma escolha binária (usar vs. descartar), mas um problema de design de alvo.

• Reenquadramento do Privilégio: Os autores argumentam que as distribuições de oráculo de visão total contêm sinais úteis direcionados ao destino, mas são perigosas quando tratadas como alvos absolutos devido ao viés de retrospectiva.
• Orientação Controlada: Ao ancorar o alvo a um estado localmente alcançável e injetar a previsão como um resíduo controlado, a AR-OPD permite que os modelos se beneficiem de "ver mais" sem sacrificar a integridade causal do processo de raciocínio.
• Escalabilidade: O método é particularmente significativo para o raciocínio de longo horizonte, onde a confiabilidade dos alvos de visão total degrada e o risco de deriva induzida pela retrospectiva é mais alto.

Os autores concluem que a AR-OPD oferece uma receita robusta para modelos de raciocínio pós-treinamento, equilibrando a densidade da supervisão privilegiada com a compatibilidade local necessária para um aprendizado on-policy estável.