On the Role of Reasoning Patterns in the Generalization Discrepancy of Long Chain-of-Thought Supervised Fine-Tuning

Título: Sobre o Papel dos Padrões de Raciocínio na Discrepância de Generalização do Ajuste Fino Supervisionado (SFT) de Longas Cadeias de Pensamento (CoT)

1. O Problema

O Ajuste Fino Supervisionado (SFT) em trajetórias longas de Cadeia de Pensamento (CoT) tornou-se uma fase fundamental para construir Modelos de Raciocínio de Grande Escala (LRMs). A prática comum envolve coletar trajetórias de raciocínio de modelos "professores" (LRMs avançados), verificar sua correção e usá-las para treinar modelos "alunos" (base models).

No entanto, surge uma questão aberta: como trajetórias de CoT de diferentes fontes influenciam a performance de generalização dos modelos?
O artigo identifica um paradoxo surpreendente:

• Modelos treinados com dados do DeepSeek-R1-0528 apresentam uma perda de treinamento (loss) significativamente menor.
• Contudo, esses mesmos modelos exibem uma performance de generalização muito pior em benchmarks de raciocínio matemático em comparação com modelos treinados com dados do gpt-oss-120b, mesmo quando ambos os conjuntos de dados cobrem o mesmo conjunto de problemas e garantem respostas corretas.

O objetivo do trabalho é investigar por que uma perda de treinamento mais baixa não se traduz em melhor generalização e quais propriedades intrínsecas das trajetórias de raciocínio causam essa discrepância.

2. Metodologia

Os autores realizaram um estudo comparativo controlado e uma análise multifacetada:

• Configuração Experimental Controlada:

  • Dados: ~500.000 problemas matemáticos complexos.
  • Professores: DeepSeek-R1-0528 e gpt-oss-120b. Para cada problema, ambas as gerações foram verificadas para garantir a resposta final correta.
  • Alunos: Quatro modelos base de diferentes famílias e escalas (Qwen2.5-7B/32B, Llama3.1-8B, Qwen3-8B).
  • Controles: Mesmos hiperparâmetros, mesmo número de passos de treinamento e verificação de que a discrepância não é causada por subtreinamento ou limitação de contexto.

• Análise Multifacetada:

  1. Análise de Perda em Nível de Token: Investigação da distribuição de perda (loss) e identificação dos tokens-chave que fornecem sinais de otimização.
  2. Análise de Comportamento de Raciocínio (Nível de Etapa): Uso do modelo DeepSeek-V3.2 para anotar automaticamente cada passo de raciocínio em quatro comportamentos discretos:
     • Propose (Propor): Explorar novas ideias ou ramificar para caminhos alternativos.
     • Deduce (Deducir): Executar inferências lógicas lineares e contínuas.
     • Verify (Verificar): Checar cálculos intermediários.
     • Backtrack (Recuar): Corrigir erros ou abandonar um caminho.
  3. Experimentos de Intervenção:
     • Deleção Aleatória: Remoção de 10%, 20% e 30% dos passos de raciocínio nas trajetórias de treinamento para testar a redundância estrutural.
     • Filtragem de Dados (Curação): Proposta de filtrar trajetórias com base em métricas de "ramificação frequente" (branching) para melhorar o SFT.

3. Contribuições Principais

1. Exposição da Discrepância de Generalização: O trabalho demonstra empiricamente que, sob condições controladas, trajetórias do DeepSeek-R1 geram modelos com perda de treinamento mais baixa, mas com generalização inferior àquelas treinadas com o gpt-oss-120b.
2. Identificação de Padrões de Raciocínio Divergentes vs. Convergentes:
   • DeepSeek-R1: Adota um padrão divergente e exploratório, caracterizado por ramificações frequentes (Propose) sem dedução profunda imediata. Isso cria muitas trajetórias exploratórias redundantes.
   • gpt-oss-120b: Adota um padrão convergente e dedutivo, focando em cadeias lineares e profundas de inferência (Deduce).
   • Transferência: Os modelos alunos herdam esses padrões. Os treinados com dados do R1 tendem a ficar presos em ramificações exploratórias redundantes, desperdiçando contexto e falhando em convergir para a solução correta.
3. Solução Prática (Filtragem de Dados): Propõe uma estratégia simples e eficaz: filtrar as trajetórias que contêm ramificações frequentes do conjunto de dados do DeepSeek-R1. Isso força o modelo a aprender caminhos de raciocínio mais dedutivos e eficientes.

4. Resultados Chave

• Discrepância de Perda vs. Generalização:

  • O DeepSeek-R1 atingiu uma perda de treinamento de ~0.2-0.3, enquanto o gpt-oss-120b estagnou em ~0.6.
  • Apesar da perda menor, os modelos treinados com R1 tiveram desempenho inferior em todos os benchmarks (MATH500, AIME24/25, BeyondAIME, HMMT25).
  • Exemplo: No modelo Llama3.1-8B, a precisão média caiu de 50.5% (gpt-oss) para 29.5% (DeepSeek-R1).

• Análise de Tokens e Comportamento:

  • A perda baixa do R1 é um "efeito de diluição": uma grande proporção de tokens de baixa perda (cálculos rotineiros) mascara a falta de densidade nos tokens-chave de transição lógica.
  • O DeepSeek-R1 apresenta 33.3% de passos do tipo Propose (vs. 22.5% do gpt-oss) e uma alta probabilidade de transição Propose → Propose (0.53 vs. 0.34), indicando exploração contínua sem profundidade.

• Validação via Deleção de Passos:

  • Remover 10% dos passos aleatoriamente prejudicou severamente os modelos treinados com gpt-oss (que dependem de cadeias densas).
  • Os modelos treinados com R1 sofreram degradação mínima ou até melhoria de performance, confirmando que os dados do R1 contêm redundância estrutural significativa.

• Melhoria com Filtragem (Proxy Metrics):

  • Ao filtrar as trajetórias do DeepSeek-R1 que mais se ramificam (usando métricas como a diferença no número de passos em relação ao gpt-oss ou a presença de palavras-chave de ramificação), a performance aumentou significativamente:
    • +5.1% no AIME25.
    • +5.5% no BeyondAIME.
    • Média de +3.6% em cinco benchmarks.

5. Significado e Conclusão

Este trabalho desafia a noção de que uma menor perda de treinamento em SFT de CoT longo é sinônimo de melhor qualidade de dados. Ele revela que a estrutura intrínseca do raciocínio (padrões de ramificação vs. dedução linear) é um fator crítico para a generalização.

• Implicação Teórica: A eficiência do raciocínio não é apenas sobre chegar à resposta correta, mas sobre a trajetória percorrida. Padrões excessivamente exploratórios e redundantes podem induzir o modelo a aprender comportamentos ineficientes que prejudicam a inferência em novos problemas.
• Implicação Prática: Para construir melhores modelos de raciocínio via SFT, não basta coletar respostas corretas de modelos poderosos. É necessário curar os dados para priorizar trajetórias dedutivas e convergentes, filtrando ativamente a "exploração redundante". A simples remoção de trajetórias com ramificação excessiva pode levar a ganhos substanciais de performance sem a necessidade de re-treinamento complexo ou RL (Reinforcement Learning).

Em suma, o artigo estabelece que a qualidade do padrão de raciocínio é tão importante quanto a correção da resposta final para o sucesso do ajuste fino de modelos de raciocínio.