Resumo Técnico: Destilação de Dados Offline Corrigida por Distribuição para Modelos de Linguagem Grandes

Declaração do Problema

O artigo aborda o desafio de transferir capacidades complexas de raciocínio de grandes e fortes "modelos professor" (LLMs) para modelos "aluno" menores e com recursos limitados. Embora a destilação offline (treinar um aluno em traços de raciocínio fixos gerados por um professor) seja eficiente em amostras e forneça supervisão de alta qualidade, ela sofre de uma deriva distribucional fundamental.

Durante o treinamento, o modelo aluno é condicionado a prefixos gerados pelo professor. No entanto, durante a inferência, o aluno deve gerar seus próprios prefixos de forma autoregressiva. À medida que os tokens gerados pelo aluno se desviam da trajetória do professor, ele entra em regiões do espaço de tokens sub-representadas nos dados de treinamento. Isso leva a erros cumulativos e comportamento não confiável ao longo de trajetórias de raciocínio longas, uma limitação que objetivos de destilação refinados existentes (por exemplo, minimização da divergência KL bidirecional) não resolvem completamente, pois ainda otimizam contra uma distribuição fornecida pelo professor.

Por outro lado, os métodos on-policy (por exemplo, GRPO, RLHF) mitigam essa deriva ao treinar em dados auto-gerados, mas incorrem em altos custos computacionais para amostragem online e frequentemente lutam com traços de baixa qualidade nos estágios iniciais do treinamento.

Metodologia: DISCORD

Os autores propõem o DISCORD (Destilação Corrigida por Distribuição), um framework offline principiado que mantém a eficiência dos dados gerados pelo professor enquanto corrige o desajuste distribucional. O mecanismo central envolve o reponderamento adaptativo da supervisão de tokens do professor com base no suporte atual do aluno (sua probabilidade de gerar aquele token).

Componentes Técnicos Principais:

1. Reponderamento Consciente do Suporte do Aluno:
   O método introduz uma razão de densidade para reponderar trajetórias de treinamento $\{x, y \sim \pi_T(x; c)\}$:
   $$\frac{\bar{\pi}_\theta(y|x)}{\bar{\pi}_T(y|x;c)}$$
   onde $\pi_\theta$ é o aluno, $\pi_T$ é o professor, e a barra denota uma operação de stop-gradient. Essa razão prioriza tokens do professor que o aluno tem probabilidade de encontrar durante a inferência.

2. Transformação Estabilizada:
   A aplicação direta da razão de densidade causa instabilidade no treinamento devido a valores ilimitados e alta variância em sequências longas. Os autores aplicam duas estabilizações:

   • Transformação Sigmoidal: O logaritmo da razão de densidade é passado por uma função sigmoidal $\sigma(\tau \cdot \log(\dots))$ para mapear a correção em uma faixa limitada $(0, 1)$, preservando a ordenação da razão enquanto previne a explosão.
   • Aproximação em Nível de Token: Para mitigar o viés de comprimento (onde sequências mais longas acumulam pesos agregados maiores), a correção é aplicada em nível de token. Para cada token $y_t$ em uma trajetória, o peso é:
     $$r_t = \sigma\left(\tau \log \frac{\bar{\pi}_\theta(y_t | x; y_{<t})}{\bar{\pi}_T(y_t | x; c; y_{<t})}\right)$$
     Este peso é aplicado como um multiplicador de gradiente durante o treinamento do objetivo base (por exemplo, SFT ou divergência KL).

3. Interpretação:
   O peso de correção $r_t$ (com $\tau=1$) é interpretado como a probabilidade posterior de que um token tenha sido extraído da distribuição do aluno em vez da distribuição do professor, assumindo uma priori uniforme. Isso conecta o método aos princípios de decodificação contrastiva, mas os aplica durante o treinamento para priorizar a aprendizagem em regiões que o aluno pode habitar de forma confiável.

Contribuições Principais

• Um Framework Offline Principiado: O DISCORD é o primeiro método a corrigir efetivamente a deriva distribucional professor-aluno usando apenas dados offline fornecidos pelo professor, eliminando a necessidade de rollouts online custosos do aluno.
• Integração Flexível: O mecanismo de reponderamento em nível de token é compatível com várias bases de destilação offline, incluindo Ajuste Fino Supervisionado (SFT) padrão e objetivos baseados em divergência KL.
• Técnicas de Estabilização: A introdução da transformação sigmoidal e da aproximação em nível de token aborda os problemas de variância e instabilidade inerentes a correções baseadas em razão de densidade para sequências longas.

Resultados Experimentais

O método foi avaliado em benchmarks de raciocínio matemático (GSM8K, MATH, MATH500) e tarefas mais difíceis de competição mantidas separadas (AMC, AIME, OlympiadBench, Omni-Math) usando modelos Qwen2.5 e Llama-3.2.

• Ganhos de Desempenho: O DISCORD supera consistentemente bases offline fortes (SFT, ToDi, KL Simétrica) em tarefas intra-domínio e extra-domínio (OOD). Por exemplo, na destilação Qwen2.5-7B $\to$ 3B, o DISCORD melhorou a precisão no MATH500 em 4,60 pontos sobre o SFT padrão e em 2,60 pontos sobre a KL Simétrica.
• Robustez à Deriva de Prefixo: Avaliações usando ExAccErr (divergência distribucional) mostram que, enquanto o desempenho do SFT padrão degrada significativamente à medida que o comprimento do prefixo aumenta (prefixos gerados pelo aluno divergem do professor), o DISCORD mantém um desempenho estável, indicando redução de erros cumulativos.
• Eficiência vs. Métodos Online: O DISCORD alcança desempenho comparável a métodos de rollout online do aluno (como GKD), mas com custo computacional significativamente menor. Na configuração 7B $\to$ 3B, o DISCORD exigiu apenas 3,12 horas de GPU em comparação com 49,56 horas de GPU para o GKD, sem usar tokens online do aluno.
• Qualidade do Raciocínio: A análise qualitativa revela que o DISCORD produz traços mais limpos, concisos e logicamente coerentes. Ele reduz modos de falha comuns, como repetição, continuação após a resposta e múltiplas respostas finais distintas. Crucialmente, em casos de "recuperação de falha", o DISCORD preserva a estrutura matemática subjacente da solução do professor, mesmo quando não imita a formatação superficial do professor.

Significado e Alegações

O artigo afirma que o treinamento leve e consciente da correção distribucional pode fortalecer substancialmente a destilação de raciocínio offline sem exigir interação online.

• Ponte da Lacuna: O trabalho demonstra que é possível estreitar a lacuna de desempenho entre métodos de destilação offline e online reponderando inteligentemente dados offline existentes, em vez de gerar novos dados.
• Generalizabilidade: Embora os experimentos foquem no raciocínio matemático, os autores postulam que o método é aplicável a outras configurações de geração de longo horizonte, incluindo geração de código e raciocínio científico.
• Implantação Prática: Ao evitar os altos custos computacionais da amostragem online, o DISCORD oferece um caminho viável para implantar modelos de raciocínio capazes em ambientes com recursos limitados.

Os autores permanecem modestos, observando que, embora seu método melhore as bases offline anteriores, métodos online como o GKD ainda mantêm uma vantagem em alguns benchmarks específicos intra-domínio devido à sua observação direta da distribuição de rollout do aluno. No entanto, o DISCORD oferece uma compensação superior entre desempenho e eficiência computacional.