How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data

1. El Problema: La Brecha de Distribución en Modelos de Razonamiento

El ajuste fino supervisado (SFT) utilizando datos sintéticos generados por un modelo "maestro" más potente es una estrategia común para mejorar modelos más pequeños. Sin embargo, los autores identifican un problema crítico al aplicar esto a modelos de razonamiento emergentes (como Qwen3-8B):

• Fallo en la mejora: A diferencia de los modelos base o instruct, el uso de datos generados exclusivamente por un maestro (ej. GPT-OSS-120B) para entrenar a un estudiante de razonamiento a menudo resulta en una caída significativa del rendimiento (hasta un 10.02% en benchmarks de código).
• Causa Raíz: La causa no es la calidad del razonamiento del maestro, sino una divergencia estilística y de distribución. Los modelos de razonamiento tienen patrones de pensamiento únicos (frases de transición, tono, estructura de "pensamiento en voz alta") aprendidos durante su pre-entrenamiento interno.
• Conflicto de Distribución: Cuando un modelo estudiante se ve forzado a aprender datos con un estilo ajeno al suyo, sufre de "olvido catastrófico" o conflictos de distribución que degradan su capacidad de razonamiento original, en lugar de mejorarla.

2. Metodología: Marco TESSY (Teacher-Student Cooperation Data Synthesis)

Para resolver esto, los autores proponen TESSY, un marco que sintetiza datos de entrenamiento que combinan la capacidad de razonamiento del maestro con la consistencia estilística del estudiante.

Concepto Central: Separación de Tokens

El marco divide la secuencia de salida en dos tipos de tokens:

1. Tokens de Capacidad ($\mathcal{T}_{Cap}$): Contenido relacionado con la solución (código, fórmulas, lógica matemática).
2. Tokens de Estilo ($\mathcal{T}_{Sty}$): Contenido irrelevante para la tarea pero crucial para el flujo (ej. "Okay, let's see", "Wait", "Hmm", transiciones).

La objetivo es generar datos donde los tokens de capacidad provengan del maestro y los de estilo del estudiante.

Algoritmo de Generación Alternada

TESSY genera respuestas de forma iterativa y alternada entre el modelo maestro y el estudiante:

1. Inicio: El modelo estudiante genera el primer segmento (generalmente una frase de introducción estilística).
2. Alternancia:
   • El estudiante genera un segmento de estilo.
   • El maestro genera un segmento de capacidad (razonamiento).
   • El proceso se repite, alternando roles.
3. Respuesta Final: La respuesta final (el código o solución concreta) es generada exclusivamente por el estudiante para mantener la consistencia estilística total.

Estrategia "Generar y Revertir" (Generate-then-Rollback)

Un desafío técnico es determinar dónde termina un segmento de estilo y comienza uno de capacidad. TESSY utiliza predictores de límites entrenados:

• Generación: El modelo actual genera un bloque fijo de $k$ tokens (ej. 20 tokens).
• Predicción de Límite: Un predictor binario (entrenado para identificar si un token es de estilo o de capacidad) analiza el bloque generado.
• Recorte (Rollback): Si el predictor detecta que el modelo ha comenzado a generar el tipo de token incorrecto (ej. el estudiante empieza a generar lógica compleja o el maestro empieza a hablar), se descartan los tokens sobrantes y se corta la secuencia en el límite correcto.
• Cambio de Rol: Una vez cortado, el rol de generación cambia al otro modelo.

3. Contribuciones Clave

1. Identificación del Problema de Estilo: Demostración empírica de que la divergencia estilística entre modelos de razonamiento es un factor más crítico para el fracaso del SFT que la calidad intrínseca de los datos generados.
2. Marco TESSY: Una arquitectura novedosa que permite la colaboración maestro-alumno a nivel de token, no solo a nivel de respuesta completa.
3. Herramientas de Control: Implementación de predictores de límites de tokens para separar finamente la capacidad del estilo en tiempo de síntesis de datos.
4. Datos Públicos: Liberación de un conjunto de datos de 80k muestras sintetizadas (TESSY-Code-80K) y el código fuente.

4. Resultados Experimentales

Los experimentos se centraron en la generación de código, utilizando GPT-OSS-120B como maestro y Qwen3-8B como estudiante.

• Rendimiento vs. Baselines:
  • Teacher-Only (Solo Maestro): Causó caídas de rendimiento de 3.25% en LiveCodeBench-Pro y 10.02% en OJBench.
  • TESSY: Logró mejoras de 11.25% en LiveCodeBench-Pro y 6.68% en OJBench.
• Generalización:
  • El método funcionó consistentemente con diferentes maestros (DeepSeek-R1, Qwen3-235B) y diferentes estudiantes (Qwen3-30B-A3B).
  • Mostró mejoras también en tareas fuera de dominio (matemáticas, ciencias) sin degradar el rendimiento.
• Eficiencia:
  • Las respuestas generadas por TESSY fueron significativamente más cortas que las del maestro puro (reducción de ~7,000 a ~9,000 tokens promedio), lo que sugiere que el estudiante guía al maestro a terminar el razonamiento antes, evitando redundancias.
• Análisis de Distribución:
  • La visualización de la distribución de datos (PCA) mostró que TESSY desplaza la distribución de los datos generados hacia la del estudiante, mitigando el conflicto de distribución.

5. Significado e Impacto

• Cambio de Paradigma en SFT: El trabajo desafía la noción de que "más capacidad del maestro es siempre mejor". Sugiere que para modelos de razonamiento, la consistencia de la distribución es tan importante como la calidad del contenido.
• Optimización de Recursos: Permite aprovechar la inteligencia de modelos grandes (maestros) para entrenar modelos más pequeños sin incurrir en el costo de reentrenar al maestro para que se adapte al estilo del estudiante, ni sufrir las penalizaciones de un estilo forzado.
• Guía para la Industria: Ofrece una ruta práctica para mejorar modelos de razonamiento propietarios o de código abierto sin necesidad de acceso a los datos privados originales de pre-entrenamiento, resolviendo el problema del "olvido catastrófico" en tareas de razonamiento complejo.

En resumen, TESSY demuestra que la clave para ajustar fino un modelo de razonamiento no es simplemente copiar sus respuestas, sino co-crear datos donde el maestro aporta la lógica y el estudiante aporta la voz, preservando así su identidad y capacidad de razonamiento original.