Resumo Técnico: Tornando o Raciocínio Especialista Aprendível com Autodestilação

Declaração do Problema

Grandes Modelos de Raciocínio (LRMs) tipicamente melhoram suas capacidades através de Aprendizado por Reforço com Recompensas Verificáveis (RLVR). No entanto, esta abordagem enfrenta um gargalo crítico: em problemas extremamente difíceis, os modelos frequentemente falham em amostrar uma solução correta durante a fase de rollout. Consequentemente, o sinal de recompensa, vantagem e gradiente é zero, impedindo o aprendizado das instâncias mais desafiadoras.

Uma alternativa é alavancar soluções humanas especialistas de alta qualidade. Contudo, o aprendizado de imitação ingênuo (Fine-Tuning Supervisionado) sobre essas soluções falha. As soluções especialistas são fundamentalmente fora da distribuição (OOD) em relação ao processo de raciocínio pós-treinamento do modelo. Elas são frequentemente "didáticas", omitindo etapas intermediárias granulares que são implícitas para leitores humanos, mas essenciais para modelos computacionais. Além disso, as soluções especialistas carecem da dinâmica de busca explícita (ex: backtracking, autocorreção) característica de modelos treinados com RLVR. O ajuste fino direto nesses dados força o modelo a encurtar seu raciocínio interno, levando a uma severa degridação de desempenho. Adicionalmente, dados especialistas de alta qualidade são escassos e caros, necessitando de métodos de treinamento com eficiência de amostragem.

Metodologia: Aprendizado de Imitação Alinhado à Distribuição (DAIL)

Os autores propõem o Aprendizado de Imitação Alinhado à Distribuição (DAIL), um framework de autodestilação de dois passos projetado para preencher a lacuna de distribuição entre as soluções especialistas e o processo de raciocínio do modelo estudante.

1. Gerando Raciocínio Aprendível Dentro da Distribuição

O primeiro passo transforma soluções especialistas comprimidas e OOD em traços de raciocínio detalhados e dentro da distribuição. Isso é alcançado via um processo de rollout de política mista envolvendo um "professor" (uma instância congelada do modelo estudante condicionada à solução especialista) e o "estudante" (o modelo sendo otimizado).

• Mecanismo: Para cada token em uma geração, o estudante amostra um token. O professor verifica este token contra o contexto da solução especialista. Se a probabilidade do professor para o token exceder um limiar $\tau$, o token do estudante é aceito; caso contrário, o professor amostra um token.
• Objetivo: Este processo expande a solução especialista em uma cadeia de raciocínio detalhada que preenche "atalhos didáticos" (etapas puladas) enquanto preserva o fluxo de raciocínio natural do estudante e evita referências diretas à solução especialista que ocorreriam em uma amostragem ingênua.

2. Objetivo de Aprendizado Contrastivo

O segundo passo aborda o risco de que os traços gerados possam conter "atalhos de racionalização" — pontes lógicas deficientes onde o modelo força uma derivação para corresponder a um resultado intermediário conhecido da solução especialista. O erro de Log-Likelihood Negativa (NLL) padrão penalizaria indiscriminadamente o modelo por não imitar esses atalhos falhos.

Para mitigar isso, o DAIL emprega um objetivo contrastivo:

• Referência Negativa: Um modelo $M_{NR}$ é construído usando os mesmos parâmetros do estudante, mas condicionado apenas a uma "solução parcial" ($\tilde{s}$). Esta solução parcial consiste em marcos de grão grosso (resultados numéricos/simbólicos chave) com o raciocínio intermediário removido.
• Função de Perda: O objetivo minimiza a divergência KL entre o estudante e o professor de informação completa enquanto maximiza a divergência entre o estudante e a referência negativa.
  $$L(\theta) = \mathbb{E} \left[ \sum_{t} \left( D_{KL}(M_\theta \parallel M_T) - \gamma D_{KL}(M_\theta \parallel M_{NR}) \right) \right]$$
• Efeito: Isso penaliza o modelo por imitar o comportamento de atalho (saltar entre marcos sem derivação lógica) enquanto o incentiva a seguir a lógica detalhada, passo a passo, do professor.

Principais Contribuições

1. Framework DAIL: Um novo método de pós-treinamento que permite aos modelos aprenderem de soluções especialistas de alta qualidade, transformando-as em traços dentro da distribuição e aplicando um objetivo contrastivo para evitar o aprendizado de atalhos.
2. Eficiência de Amostragem: Demonstra que melhorias significativas no raciocínio podem ser alcançadas com menos de 1.000 soluções especialistas de alta qualidade, um regime onde o RLVR padrão frequentemente falha devido à escassez de recompensa.
3. Lidando com Problemas Não-Verificáveis: Aplica-se com sucesso a problemas de prova não-verificáveis (ex: provas de Olimpíadas) onde o RLVR padrão baseado em correção é inaplicável sem um modelo de recompensa generativo.
4. Eficiência e Generalização: Mostra que o DAIL melhora a eficiência do raciocínio (alcançando desempenho similar com 2$\times$ menos tokens) e generaliza para tarefas fora do domínio (ex: GPQA-Diamond) sem esquecimento catastrófico.

Resultados Experimentais

Os autores avaliaram o DAIL no Qwen2.5-Instruct (não-raciocínio) e nos modelos Qwen3 (raciocínio) usando conjuntos de dados de matemática de competição e provas de Olimpíadas.

• Ganhos de Desempenho: No Qwen2.5-Instruct, o DAIL alcançou até 31% de ganhos em pass@128 em benchmarks como AIME 2024/2025, BeyondAIME e IMO-AnswerBench comparado ao modelo base. Superou tanto os métodos RLVR padrão (GRPO, NuRL) quanto os baselines de imitação ingênua (Direct SFT, STaR).
• Comparação com RLVR: Enquanto métodos RLVR frequentemente sofrem overfitting para sucessos estocásticos ou degradam em problemas difíceis devido a sinais de recompensa zero, o DAIL forneceu melhorias consistentes através de diferentes valores de $k$.
• Eficiência de Inferência: Modelos treinados com DAIL igualaram ou excederam o desempenho de modelos não treinados enquanto utilizavam 2$\times$ menos tokens, indicando caminhos de raciocínio mais eficientes.
• Generalização: O DAIL manteve ou melhorou o desempenho no benchmark fora de domínio GPQA-Diamond, sugerindo que as estratégias de raciocínio aprendidas são robustas e não sofreram overfitting ao domínio de treinamento.
• Estudos de Ablação:
  • Contrastivo vs. NLL: O objetivo contrastivo superou consistentemente o NLL padrão, confirmando sua necessidade para evitar o aprendizado de atalhos de racionalização.
  • Política Mista vs. Amostragem Direta: Rollouts de política mista foram cruciais para modelos de raciocínio (Qwen3) para evitar que o modelo referencie diretamente a solução especialista, enquanto a amostragem direta foi suficiente para modelos de não-raciocínio.

Significância e Alegações

O artigo afirma ser a primeira demonstração de melhoria da capacidade de raciocínio de modelos de cadeia de pensamento longa (CoT) aprendendo diretamente de soluções especialistas. Argumenta-se que, para problemas extremamente difíceis onde um modelo não consegue gerar sequer um caminho parcialmente correto, expandir soluções especialistas em traços construtivos e dentro da distribuição é um precursor necessário para um aprendizado eficaz.

Os autores posicionam o DAIL como uma solução para o "gargalo de exploração" no RLVR, oferecendo um caminho para alavancar dados de alto valor e não-verificáveis em domínios onde os sinais de recompensa são esparsos ou indefinidos. Eles enfatizam que esta abordagem permite que modelos de fronteira aprendam com a expertise humana sem exigir um "professor" mais forte que ainda não existe, estendendo as capacidades dos modelos atuais através de uma autodestilação eficiente e com alta eficiência de amostragem.