Resumo Técnico: Sobre o Viés de Posição na Destilação On-Policy

Declaração do Problema

A Destilação On-Policy (OPD) aumenta a eficiência do aprendizado de Aprendizado por Reforço (RL) para Grandes Modelos de Linguagem (LLMs) ao fornecer supervisão densa, ao nível de token, de um modelo professor para um modelo aluno que gera seus próprios rollouts. No entanto, os objetivos padrão da OPD realizam uma média uniforme das perdas ao nível de token (tipicamente via divergência KL), assumindo implicitamente um valor igual para todos os tokens em uma sequência.

Os autores identificam um Viés de Posição crítico nesta abordagem: à medida que os rollouts do aluno se estendem, a trajetória gerada desvia-se cada vez mais da distribuição do professor. Consequentemente, a qualidade da supervisão do professor degrada-se em posições posteriores. Observações empíricas revelam que:

1. Assimetria no Valor da Supervisão: Treinar usando apenas os primeiros 30% dos tokens (prefixo) produz um desempenho comparável ou superior ao uso de todos os tokens, enquanto treinar nos últimos 30% (sufixo) fornece benefícios de aprendizado insignificantes.
2. Divergência Persistente: Mesmo após a convergência, a divergência KL entre o professor e o aluno permanece significativa, sugerindo que a OPD otimiza o aluno apenas dentro de uma pequena região local do espaço de política.
3. Ineficiência: O peso uniforme de todos os tokens desperdiça o orçamento limitado de atualização de gradiente em tokens posteriores onde o aluno já derivou para regiões Fora da Distribuição (OOD) em relação ao professor, tornando o sinal de supervisão ruidoso ou inútil.

Metodologia: Destilação On-Policy com Pesagem por Importância (IW-OPD)

Para abordar este viés, os autores propõem a Destilação On-Policy com Pesagem por Importância (IW-OPD), um método que ajusta dinamicamente os pesos dos tokens com base na discrepância acumulada entre as distribuições do aluno e do professor.

Fundamentação Teórica

Os autores enquadram a OPD como um problema de otimização restrita (uma projeção local) onde a política do aluno é atualizada dentro de uma região de confiança definida por um orçamento de divergência KL $\rho$.

• Derivação da Política Ótima: Resolver a minimização restrita de $D_{KL}(q \| \pi_T)$ sujeito a $D_{KL}(q \| \pi_\theta) \leq \rho$ resulta em uma política ótima de forma fechada $q^\star$.
• Redesenho por Razão de Verossimilhança: A solução $q^\star$ repondera a política do aluno $\pi_\theta$ pela razão de verossimilhança $(\pi_T / \pi_\theta)^\alpha$. Isso implica que tokens onde a probabilidade do professor é significativamente maior que a do aluno (alta compatibilidade) devem receber maior peso, enquanto tokens onde o aluno derivou (baixa razão) devem ser penalizados.

Implementação Prática

O uso direto da razão de verossimilhança bruta é numericamente instável devido à acumulação exponencial de probabilidades ao longo de sequências longas. A IW-OPD introduz uma discrepância de prefixo cumulativa não assinada estável como um proxy para o peso de importância:

1. Discrepância Acumulada: Em vez da razão bruta, o método soma as vantagens absolutas ao nível de token ($|A^{OPD}_k|$) desde o início da sequência até o token atual $t$. Isso captura o "desvio" total do caminho preferido pelo professor.
2. Normalização: A discrepância acumulada é padronizada dentro de cada amostra para um intervalo $[0, 1]$, garantindo uma escala estável.
3. Interpolação: Para evitar a remoção completa da supervisão para tokens que derivaram, o peso final é uma interpolação entre o sinal padrão da OPD (peso 1) e o peso de importância derivado da discrepância.
   • Fórmula: $\tilde{r}^{IW-OPD}_t = 1 + \gamma \cdot (1 - \frac{\sum_{k<t} |A^{OPD}_k|}{\sum_{k<T} |A^{OPD}_k|})$.
   • Aqui, $\gamma$ controla a contribuição da pesagem por importância.

Esta abordagem naturalmente aumenta o peso dos tokens iniciais (onde o prefixo é compatível com o professor) e reduz o peso dos tokens posteriores (onde o desvio acumulado é grande), realocando efetivamente o orçamento de gradiente para as partes mais informativas da trajetória.

Principais Contribuições

1. Identificação do Viés de Posição: O artigo demonstra empiricamente e explica teoricamente que a OPD sofre de um viés de posição onde os tokens iniciais fornecem supervisão significativamente mais valiosa do que os tokens posteriores devido ao desvio de distribuição.
2. Perspectiva de Otimização Restrita: Os autores fornecem uma compreensão fundamentada da OPD como uma projeção local restrita, derivando que a estratégia de atualização ideal requer inerentemente o redesenho baseado em razão.
3. Algoritmo IW-OPD: Eles propõem a IW-OPD, um algoritmo prático e estável que estima a importância do token usando a discrepância de prefixo cumulativa não assinada. Não requer avaliações adicionais do professor além da OPD padrão.
4. Validação Empírica: Experimentos extensos mostram que a IW-OPD converge mais rápido e alcança um desempenho final superior ao da OPD padrão em várias escalas de modelos e configurações de professor-aluno.

Resultados Experimentais

Os autores avaliaram a IW-OPD utilizando modelos Qwen3 (0.6B, 1.7B, 4B, 30B e 235B) como professores e alunos em tarefas de raciocínio matemático (AIME-2024, AIME-2025, HMMT-2025) e geração de código (HumanEval+, MBPP+) benchmarks.

• Ganhos de Desempenho: A IW-OPD supera consistentemente a OPD padrão.
  • No cenário de aluno Qwen3-1.7B com professor Qwen3-30B, a IW-OPD melhorou a precisão do AIME-2025 em +6.9 pontos no passo 10 e +1.7 pontos na convergência.
  • Em todas as escalas de aluno (0.6B a 30B) e configurações de professor, a IW-OPD melhorou a pontuação de desempenho média.
• Eficiência de Amostra: A IW-POD converge significativamente mais rápido. Em vários casos, o checkpoint da IW-POD no passo 10 igualou ou excedeu o desempenho final da OPD padrão.
• Efeitos de Escala:
  • Professores Mais Fortes: A IW-POD torna os professores mais fortes mais eficientes em termos de amostra. Enquanto a OPD padrão tem dificuldade inicialmente com grandes lacunas professor-aluno (exigindo mais passos para beneficiar-se do professor mais forte), a IW-POD aproveita imediatamente o sinal do professor mais forte.
  • Alunos Menores: Os ganhos relativos da IW-POD aumentam conforme o modelo aluno se torna menor (ex: +9.5% de ganho relativo para o aluno 0.6B vs. +1.8% para o aluno 4B), indicando que é particularmente eficaz em destilação de escalas cruzadas, onde o desvio é mais severo.

Significância e Alegações

O artigo afirma que a supervisão on-policy eficaz deve considerar o contexto da trajetória, não apenas o desacordo ao nível de token. Ao reconhecer que a supervisão do professor não é uniformemente confiável ao longo de uma trajetória gerada pelo aluno, a IW-POD realoca o orçamento finito de gradiente para prefixos "compatíveis com o professor".

Os autores concluem que esta modificação simples — reduzir o peso dos tokens onde o aluno derivou da distribuição do professor — melhora significamente tanto a eficiência de amostra quanto o desempenho final da destilação on-policy. Este insight sugere que métodos on-policy futuros devem considerar o histórico cumulativo do rollout (o prefixo) ao atribuir pesos de crédito ou supervisão, em vez de tratar todos os tokens em uma trajetória como independentes e igualmente valiosos.