Resumo Técnico: Distilação Guiada por Crítica para Raciocínio Robusto via Refinamento

Declaração do Problema

O Ajuste Fino Supervisionado (SFT) permanece a abordagem dominante para adaptar Modelos de Linguagem Grandes (LLMs) a tarefas downstream. No entanto, o SFT padrão frequentemente resulta em modelos que imitam saídas de especialistas sem internalizar os processos de raciocínio subjacentes, levando a uma generalização pobre fora da distribuição, aumento de alucinações e dificuldade em escalar para instâncias de problemas mais difíceis.

Paradigmas alternativos que aproveitam crítica e revisão (por exemplo, Self-Refine, Reflexion) mostram promessa, mas incorrem em custos substanciais de inferência devido ao prompting em múltiplas passagens. O Ajuste Fino por Crítica (CFT) tenta mover a geração de críticas para a fase de treinamento, mas introduz desvantagens significativas: treinar modelos para gerar críticas frequentemente leva a desvio no formato de saída e esquecimento catastrófico de capacidades gerais (por exemplo, seguimento de instruções). Além disso, métodos de distilação existentes frequentemente condicionam-se a explicações genéricas do professor sobre soluções corretas, em vez de abordar erros específicos do aluno, ou dependem de sinais de supervisão implícitos (como probabilidades de tokens) que carecem de informações diagnósticas acionáveis.

Metodologia: Distilação Guiada por Crítica (CGD)

Os autores propõem a Distilação Guiada por Crítica (CGD), um framework de treinamento que desacopla o consumo de crítica da geração de crítica. A intuição central é que um modelo aluno pode internalizar capacidades de autocorreção ao ser treinado com críticas fornecidas pelo professor sobre seus próprios erros, sem precisar gerar essas críticas ele mesmo.

Procedimento de Treinamento

O pipeline CGD consiste em três etapas por amostra de treinamento:

1. Geração de Resposta do Aluno: O modelo aluno ($S_{\theta_{init}}$) gera uma resposta inicial, potencialmente falha ($y'$), para um prompt ($x$).
2. Geração de Crítica: Um modelo professor ($T_\phi$) analisa $y'$ e gera uma crítica textual ($c$) identificando erros específicos, concepções equivocadas ou lacunas no raciocínio.
3. Geração de Resposta Refinada: O modelo professor produz uma resposta refinada de padrão-ouro ($\hat{y}$) condicionada ao prompt, à resposta inicial do aluno e à crítica.

O aluno é então ajustado finamente no conjunto de dados aumentado $((x, y', c), \hat{y})$ usando um objetivo padrão de modelagem de linguagem para minimizar o log-verossimilhança negativa da resposta refinada:
$$\mathcal{L}(\theta) = \mathbb{E}_{(x,y',c,\hat{y})}[-\log S_\theta(\hat{y} \mid x, y', c)]$$

Comportamento de Inferência

Crucialmente, as críticas são usadas apenas durante o treinamento. No momento da inferência, o modelo recebe apenas o prompt ($x$) e gera uma resposta refinada em uma única passagem forward. O modelo não gera críticas, nem as requer como entrada. Este design garante zero sobrecarga arquitetônica e mantém o formato padrão de inferência, evitando o desvio de formato observado no CFT.

Contribuições Principais

1. Novo Framework de Treinamento: Introdução da CGD, que treina modelos para consumir feedback explicativo para refinar suas próprias respostas, em vez de treiná-los para gerar críticas.
2. Desacoplamento de Papéis: O framework separa os papéis de geração de crítica (professor) e consumo de crítica (aluno), permitindo que o aluno internalize o raciocínio consciente de erros sem a latência de inferência de loops de autocorreção.
3. Preservação de Capacidades Gerais: Diferentemente do CFT, que degrada habilidades de seguimento de instruções, a CGD preserva capacidades gerais enquanto impulsiona significativamente o desempenho de raciocínio.
4. Generalização entre Famílias: O método demonstra robustez através de diversas famílias de modelos (LLaMA, Qwen, S1.1, Mixtral, OLMo) e escalas, alcançando resultados state-of-the-art mesmo com professores de código aberto.
5. Análise Empírica: Estudos de ablação abrangentes caracterizando o papel da especificidade, relevância e correção da crítica, bem como análises diagnósticas de mecanismos de atenção internos e normas de gradiente.

Resultados Experimentais

Os autores avaliaram a CGD em cinco famílias de modelos e múltiplos benchmarks, comparando-a com SFT Padrão, SFT Distilado e Ajuste Fino por Crítica (CFT).

• Raciocínio Matemático: A CGD supera consistentemente as linhas de base. No LLaMA3.1-8B, alcançou uma melhoria média de +5,4% em benchmarks de raciocínio matemático sobre o CFT, com ganhos específicos de +15,0% no AMC23 e +12,2% no MATH-500. No modelo S1.1-3B, os ganhos atingiram +7,2% sobre o CFT.
• Capacidades Gerais: Enquanto o CFT causou uma queda catastrófica no desempenho de seguimento de instruções (a precisão do IFEval caiu de 76,9% para 55,6%), a CGD manteve o desempenho (76,1%), preservando efetivamente as capacidades gerais.
• Transferência Fora da Distribuição: Apesar de ser treinada em dados sem código, os modelos CGD transferiram-se para tarefas de geração de código (HumanEval), alcançando uma melhoria de +4,9% sobre o modelo base, superando o CFT.
• Qualidade de Raciocínio vs. Busca: Em benchmarks competitivos desafiadores (AIME24), a CGD mostrou ganhos substanciais em orçamentos de amostragem baixos (Pass@1 melhorou de 3,3% para 16,7%), indicando melhoria na qualidade de raciocínio por amostra em vez de dependência de busca extensiva. Os modelos também produziram cadeias de raciocínio significativamente mais longas (4,4x mais longas no AIME).
• Insights de Ablação:
  • Necessidade da Crítica: Remover a crítica do contexto de treinamento causou degradação de desempenho de até 114% no AMC23, confirmando que a crítica atua como um andaime de aprendizado crítico.
  • Especificidade e Relevância: Críticas específicas e relevantes superaram placeholders genéricos. Críticas irrelevantes (específicas, mas erradas para o problema) enganaram ativamente o modelo, performando pior do que placeholders genéricos.
  • Robustez: Modelos treinados em uma mistura balanceada de respostas de alunos corretas e incorretas (50/50) mostraram a maior robustez, desenvolvendo uma capacidade interna de distinguir orientação válida de inválida.

Significado e Alegações

O artigo posiciona a CGD como um paradigma de treinamento intermediário prático e eficiente em computação para tarefas centradas em raciocínio. Seu significado principal reside em alcançar melhorias substanciais no raciocínio sem introduzir sobrecarga de tempo de inferência ou mudanças arquitetônicas.

Os autores afirmam que a CGD aborda com sucesso as limitações tanto do SFT padrão (imitação superficial) quanto do CFT (desvio de formato e degradação de capacidade). Ao tratar críticas como um andaime semântico apenas no tempo de treinamento, a CGD permite que os modelos internalizem a transformação de erro para correção. Os resultados sugerem que esta abordagem oferece uma alternativa supervisionada e estável ao Aprendizado por Reforço (RL) para tarefas de raciocínio, com os autores notando que CGD e RL podem ser complementares em vez de abordagens concorrentes. O método é destacado como particularmente eficaz para ambientes com recursos restritos, alcançando forte desempenho com custos de computação significativamente menores em comparação com métodos de raciocínio baseados em RL.