On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity

Resumo Técnico: A Autodestilação On-Policy com Demonstrações Amostradas Reduz a Diversidade de Saída

Declaração do Problema
A autodestilação on-policy (SDSD) emergiu como uma técnica poderosa para melhorar o desempenho de Grandes Modelos de Linguagem (LLMs), particularmente para alcançar alta precisão pass@1. Neste paradigma, um único modelo atua tanto como professor quanto como aluno; o professor é condicionado a uma demonstração correta "privilegiada" (frequentemente um rollout correto gerado pelo próprio aluno) para fornecer feedback denso ao nível do token. Embora métodos recentes como SDPO, SDFT e OPSD tenham demonstrado um forte desempenho médio, este artigo investiga um custo oculto: uma redução significativa na diversidade de rollouts. Os autores observam que os modelos SDSD frequentemente exibem curvas pass@k achatadas, o que significa que gerar rollouts adicionais falha em resolver novos problemas ou cobrir estratégias de solução diversas. Isso contrasta com métodos de Aprendizado por Reforço (RL) on-policy (ex: GRPO), onde o aumento do número de amostras normalmente gera melhorias acentuadas na cobertura de problemas. O problema central é que o SDSD pode trocar a diversidade funcional e semântica por precisão média, levando a uma baixa generalização em cenários fora da distribuição (OOD) que exigem estratégias diversas.

Metodologia e Análise Teórica
O artigo formaliza o mecanismo por trás desse colapso de diversidade através de uma derivação teórica da política de autodestilação ótima.

1. Estrutura Teórica:

   • RL Padrão: A política ótima para RL regularizado por KL é uma versão inclinada (tilted) da distribuição base, modulada pela função de recompensa. Crucialmente, se dois rollouts possuem a mesma probabilidade base e a mesma recompensa, sua razão de probabilidade permanece inalterada na política ótima.
   • Política Ótima de SDSD: Os autores derivam que a política ótima para autodestilação com demonstrações amostradas (SDSD-KL) inclina a distribuição base não pela recompensa, mas pela Informação Mútua Condicional Ponto a Ponto (PCMI) esperada entre o rollout do aluno e a demonstração amostrada.
   • O Mecanismo de Afunilamento (Sharpening): A PCMI mede o quanto o professor considera um rollout específico mais provável quando condicionado a uma demonstração. Se um rollout já é mais provável sob a política base, é mais provável que ele seja amostrado como uma demonstração. Consequentemente, o professor (que compartilha os vieses do modelo base) atribui maior probabilidade a rollouts semelhantes a essa demonstração. Isso cria um ciclo de feedback de "o rico fica mais rico": o termo PCMI amplifica as lacunas de probabilidade existentes, tornando rollouts prováveis ainda mais prováveis e suprimindo soluções menos comuns, porém igualmente corretas. Ao contrário do RL padrão, que preserva as razões entre rollouts igualmente corretos, o SDSD pode afunilar a distribuição, levando ao colapso de modo (mode collapse).

2. Configuração Experimental:

   • Busca de Caminhos em Grafos Controlados: Os autores introduzem uma tarefa sintética envolvendo a busca de caminhos em grafos com cadeias de conceitos (ex: pássaros, frutas). A tarefa é desenhada com múltiplos caminhos válidos (diversidade semântica), mas com dados de treinamento enviesados para favorecer caminhos mais curtos e fáceis. Isso permite a medição precisa da "diversidade semântica" (número de distintas categorias de conceitos exploradas) e da "diversidade funcional" (inclinação da curva pass@k).
   • Benchmarks de Science QA: Experimentos são conduzidos em tarefas de raciocínio verificáveis do SciKnowEval (Biologia, Química, Ciência dos Materiais, Física) usando modelos Qwen3 e Olmo.
   • Baselines: O estudo compara SDSD (condicionado em rollouts corretos amostrados) contra GRPO padrão e GRPO com uma recompensa de diversidade explícita. As variantes incluem o uso de demonstrações externas diversas para testar se a origem da demonstração mitiga o problema.

Principais Contribuições

1. Caracterização Teórica: O artigo prova que a política SDSD ótima inclina a distribuição base pela PCMI esperada em vez da recompensa. Demonstra que esse mecanismo inerentemente amplifica desequilíbrios de probabilidade entre rollouts igualmente corretos, uma propriedade ausente nos objetivos de RL padrão.
2. Novas Métricas de Diversidade: Os autores argumentam que a entropia ao nível do token é insuficiente para capturar a diversidade. Eles introduzem e utilizam a diversidade funcional (medida pela inclinação das curvas pass@k) e a diversidade semântica (medida pela variedade de estratégias de alto nível ou categorias de conceitos utilizadas) para diagnosticar o colapso.
3. Evidência Empírica de Colapso: Através de experimentos em busca de caminhos em grafos e Science QA, o artigo mostra que, embora o SDSD iguale ou exceda o RL em precisão pass@1, ele exibe substancialmente menor diversidade funcional e semântica. Modelos SDSD falham em tarefas OOD (ex: grafos mais difíceis que exigem estratégias diversas) que modelos baseados em RL conseguem resolver.
4. Robustez à Origem da Demonstração: O estudo demonstra que o colapso da diversidade persiste mesmo quando se utilizam demonstrações externas diversas. O próprio mecanismo de autodestilação, e não a fonte da demonstração, é o que impulsiona a perda de diversidade.

Resultos

• Busca de Caminhos em Grafos: Modelos SDSD alcançaram alto pass@1 em dados dentro da distribuição (in-distribution), mas mostraram curvas pass@k quase planas, indicando que rollouts adicionais não resolviam novos problemas. Em contraste, o GRPO mostrou uma melhoria acentuada de pass@k. Modelos SDSD falharam completamente em tarefas OOD de "Grafos Mais Difíceis" que exigiam exploração diversa, enquanto o GRPO teve sucesso. Os escores de diversidade semântica para o SDSD foram os mais baixos entre todos os métodos.
• Science QA: Variantes de SDSD alcançaram maior pass@1 do que o GRPO, mas significativamente menor pass@16. As curvas pass@k para o SDSD achataram rapidamente, confirmando a baixa diversidade funcional.
• Análise de Entropia: A entropia ao nível do token foi considerada uma métrica não confiável. Em alguns casos (tarefas de QA), o SDSD apresentou maior entropia de token do que o GRPO, apesar de possuir menor diversidade funcional e pior desempenho de pass@k.

Significância e Alegações
O artigo alega que a autodestilação on-policy com demonstrações amostradas introduz vieses compostos que reduzem progressivamente a diversidade de rollouts. A significância reside no fato de que uma alta precisão média (pass@1) pode mascarar uma falha crítica na exploração e generalização. Os autores argumentam que o "custo oculto" do SDSD é uma curva pass@k achatada, tornando os modelos frágeis em cenários que exigem estratégias diversas.

Os autores concluem que a precisão média isoladamente é insuficiente para avaliar métodos de autodestilação. Eles afirmam que a diversidade funcional e semântica correm risco de colapso e devem ser explicitamente monitoradas durante o treinamento e a implantação. O trabalho sugere que, embora o SDSD seja eficaz para refinar soluções conhecidas, ele pode ser inerentemente inadequado para tarefas que exigem a descoberta de novas estratégias de solução, a menos que a diversidade seja explicitamente reforçada através de mecanismos externos (como recompensas de diversidade em RL), o que o SDSD carece nativamente. O artigo não propõe um novo algoritmo para corrigir isso, mas sim fornece um diagnóstico teórico e empírico do fenômeno.