How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data

1. O Problema

O ajuste fino supervisionado (SFT) é uma estratégia comum para melhorar modelos de linguagem menores (alunos) utilizando dados sintéticos gerados por modelos maiores e mais capazes (professores). No entanto, para modelos de raciocínio emergentes (como o Qwen3-8B), essa abordagem tradicional falha frequentemente.

• Falha na Transferência: Ao treinar um modelo de raciocínio com dados gerados puramente por um professor mais forte (ex: GPT-OSS-120B), observa-se uma queda substancial no desempenho, em vez de melhoria.
• Causa Raiz: O artigo identifica que a principal causa não é a qualidade do raciocínio do professor, mas a divergência estilística entre os dados do professor e a distribuição nativa do aluno.
• Esquecimento Catastrófico: Modelos de raciocínio já possuem padrões de estilo e processos de pensamento internos bem definidos (ex: frases de transição como "Vamos ver", "Ok", "Hmm"). Forçar o aluno a adotar o estilo do professor durante o SFT introduz conflitos distribucionais que levam ao esquecimento catastrófico e à degradação da capacidade de raciocínio.

2. Metodologia: Framework TESSY

Para resolver esse problema, os autores propõem o TESSY (Teacher–Student Cooperation Data Synthesis), um framework que sintetiza dados de treinamento alternando a geração de tokens entre o modelo professor e o modelo aluno.

Conceito Central

A ideia é decompor a resposta do modelo em dois tipos de tokens:

1. Tokens de Capacidade (Capability Tokens): Contêm o raciocínio lógico, código, fórmulas e a solução do problema. Devem ser gerados pelo Professor para garantir alta qualidade.
2. Tokens de Estilo (Style Tokens): Contêm conectivos, transições, hesitações e o tom da conversa (ex: "Ok, vamos ver", "Por exemplo"). Devem ser gerados pelo Aluno para manter a consistência com sua distribuição nativa.

Mecanismo de Funcionamento

O TESSY opera em um processo iterativo e alternado:

1. Geração Alternada: O processo começa com o aluno gerando um segmento de estilo. Em seguida, o professor gera um segmento de capacidade. O aluno gera mais estilo, o professor gera mais capacidade, e assim por diante, até a conclusão do raciocínio.
2. Estratégia "Generate-then-Rollback" (Gerar e Reverter): Um desafio crítico é definir onde termina um segmento de estilo e começa um de capacidade (e vice-versa).
   • O modelo gera um bloco fixo de tokens (ex: $k$ tokens).
   • Um Preditor de Fronteira (Boundary Predictor), treinado como um modelo de classificação binária por token, analisa o bloco gerado.
   • O preditor identifica o último token válido do tipo desejado (estilo ou capacidade) e descarta (reverte) os tokens subsequentes que não pertencem a essa categoria.
3. Resposta Final: A geração da resposta final (o código ou solução direta) é delegada inteiramente ao modelo aluno para garantir consistência total no output final.

3. Contribuições Chave

• Identificação do Problema de Estilo: Demonstra empiricamente que a incompatibilidade de estilo é um fator mais crítico do que a qualidade do raciocínio para o SFT de modelos de raciocínio.
• Framework TESSY: Propõe um método inovador de síntese de dados offline que preserva a inteligência do professor enquanto mantém a "personalidade" e distribuição de dados do aluno.
• Preditores de Fronteira: Introduz o uso de preditores leves para controlar granularmente a troca de responsabilidades entre modelos durante a geração de texto.
• Dados Abertos: Disponibiliza um conjunto de dados de 80k exemplos (TESSY-Code-80K) e o código no GitHub.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando GPT-OSS-120B como professor e Qwen3-8B como aluno, com foco em geração de código.

• Desempenho vs. Baseline "Teacher-Only":
  • O método tradicional (apenas dados do professor) causou uma queda de 3,25% no LiveCodeBench-Pro e 10,02% no OJBench.
  • O TESSY resultou em ganhos significativos: +11,25% no LiveCodeBench-Pro e +6,68% no OJBench.
• Generalização: O método funcionou bem com diferentes professores (DeepSeek-R1, Qwen3-235B) e diferentes alunos (incluindo o modelo MoE Qwen3-30B-A3B).
• Eficiência: As respostas sintetizadas pelo TESSY foram significativamente mais curtas (menos tokens) do que as geradas apenas pelo professor, mantendo a qualidade, o que reduz custos de inferência e treinamento.
• Validação em Domínios Fora de Distribuição: O TESSY manteve ou melhorou o desempenho em tarefas de matemática e ciências (GPQA, AIME), enquanto métodos baseados apenas no professor degradaram o desempenho nessas áreas.

5. Significado e Conclusão

O trabalho oferece uma mudança de paradigma na forma como se realiza o ajuste fino de modelos de raciocínio.

• Conclusão Principal: Para modelos de raciocínio, a consistência distribucional (estilo) é tão importante quanto a capacidade cognitiva. Ignorar o estilo do aluno leva ao fracasso do SFT.
• Impacto Prático: O TESSY permite que organizações utilizem modelos proprietários ou de ponta (professores) para treinar modelos menores e mais eficientes sem perder a "identidade" ou a estabilidade do modelo base.
• Aviso Importante: Os autores alertam que tentar ajustar modelos de raciocínio a partir de modelos base (sem a etapa de raciocínio prévia) é menos eficaz do que ajustar o próprio modelo de raciocínio, pois o conhecimento prévio de raciocínio é valioso e não deve ser descartado.

Em resumo, o TESSY resolve o dilema de "como ensinar um modelo a pensar melhor sem fazê-lo esquecer como ele pensa", criando uma ponte eficiente entre a capacidade superior do professor e a distribuição natural do aluno.