On the Role of Reasoning Patterns in the Generalization Discrepancy of Long Chain-of-Thought Supervised Fine-Tuning

Título: Sobre el Papel de los Patrones de Razonamiento en la Discrepancia de Generalización del Ajuste Fino Supervisado (SFT) de Cadenas de Pensamiento (CoT) Largas

1. El Problema

El ajuste fino supervisado (SFT) sobre trayectorias largas de Cadena de Pensamiento (CoT) se ha convertido en una fase fundamental para construir Modelos de Razonamiento a Gran Escala (LRMs). Sin embargo, surge una pregunta crítica: ¿cómo influyen las trayectorias de CoT de diferentes fuentes (modelos "maestros") en el rendimiento de generalización de los modelos "estudiantes"?

El estudio identifica una paradoja contraintuitiva:

• Al entrenar modelos base con datos de DeepSeek-R1-0528, se logra una pérdida de entrenamiento (loss) significativamente menor en comparación con el uso de datos de gpt-oss-120b.
• Contrariamente a la intuición de que una menor pérdida implica mejor aprendizaje, los modelos entrenados con DeepSeek-R1 exhiben un rendimiento de generalización notablemente inferior en benchmarks de razonamiento matemático (como AIME25, BeyondAIME) en comparación con los entrenados con gpt-oss-120b.
• Este fenómeno ocurre incluso cuando ambos conjuntos de datos provienen de las mismas preguntas y garantizan respuestas correctas, descartando problemas de distribución de datos o corrección factual.

2. Metodología

Los autores realizaron un estudio comparativo controlado y un análisis multifacético para desentrañar las causas de esta discrepancia:

• Configuración Experimental Controlada:

  • Se utilizaron ~500k problemas matemáticos complejos idénticos.
  • Se generaron trayectorias de CoT verificadas (respuestas correctas) usando dos modelos maestros: DeepSeek-R1-0528 y gpt-oss-120b.
  • Se aplicó SFT a cuatro modelos base de diferentes familias y escalas (Qwen2.5-7B/32B, Llama3.1-8B, Qwen3-8B).
  • Se evaluó el rendimiento en cinco benchmarks: MATH500, AIME24, AIME25, BeyondAIME y HMMT25.

• Análisis a Nivel de Token (Pérdida SFT):

  • Se examinó la distribución de la pérdida a nivel de token. Se observó una distribución de "cola larga" severa, donde la mayoría de los tokens tienen pérdida cercana a cero.
  • Se identificaron los tokens de alta pérdida (los que aportan la señal de optimización principal) y se analizaron semánticamente.

• Análisis de Comportamiento de Razonamiento (Estructura):

  • Se utilizó un LLM potente (DeepSeek-V3.2) para anotar automáticamente cada paso de razonamiento en cuatro comportamientos discretos:
    1. Propose (Proponer): Explorar nuevas ideas o ramificar a un camino alternativo (divergencia).
    2. Deduce (Deducir): Ejecutar operaciones matemáticas o inferencias lógicas lineales (convergencia).
    3. Verify (Verificar): Revisar cálculos intermedios.
    4. Backtrack (Retroceder): Corregir errores o abandonar un camino muerto.
  • Se construyeron matrices de transición de Markov para analizar cómo evolucionan estos comportamientos.

• Experimentos de Intervención:

  • Eliminación Aleatoria de Pasos: Se eliminó el 10% de los pasos de razonamiento aleatoriamente en las trayectorias de entrenamiento y se reentrenaron los modelos.
  • Filtrado de Datos (Curación): Se propuso filtrar las trayectorias de DeepSeek-R1 basándose en métricas de "ramificación frecuente" (uso excesivo de tokens de propuesta sin deducción profunda).

3. Contribuciones Clave

1. Exposición de la Discrepancia de Generalización: Demostraron que, bajo condiciones controladas, un menor loss de entrenamiento no garantiza una mejor generalización. Los datos de DeepSeek-R1 generan un loss más bajo pero modelos peores.
2. Identificación de Patrones de Razonamiento Ineficientes:
   • DeepSeek-R1: Tiende a un patrón divergente y exploratorio. Genera muchas ramificaciones ("Propose") sin una deducción profunda inmediata, creando rutas exploratorias redundantes.
   • gpt-oss-120b: Muestra un patrón convergente y deductivo. Se enfoca en cadenas lineales de deducción ("Deduce") profundas y continuas.
   • Transferencia: Los modelos estudiantes heredan estos patrones. Los entrenados con R1 se quedan atrapados en ramas exploratorias redundantes, desperdiciando contexto y fallando en converger a la solución correcta.
3. Estrategia de Mejora (Filtrado): Propusieron un método simple pero efectivo: filtrar las trayectorias que ramifican con mayor frecuencia del conjunto de datos de DeepSeek-R1. Esto elimina el "ruido" estructural y mejora la generalización.

4. Resultados

• Análisis de Pérdida: La menor pérdida de DeepSeek-R1 se debe a una alta proporción de tokens "rutinarios" de baja pérdida, mientras que los tokens clave de transición lógica tienen una pérdida similar a la de gpt-oss. La diferencia es un efecto de dilución.
• Análisis de Comportamiento:
  • DeepSeek-R1 tiene un 33.3% de pasos de "Propose" frente al 22.5% de gpt-oss.
  • La transición Propose → Propose es mucho más frecuente en R1 (0.53) que en gpt-oss (0.34), indicando una exploración continua sin profundizar.
• Experimento de Eliminación de Pasos:
  • Al eliminar pasos aleatorios, los modelos entrenados con gpt-oss sufrieron caídas drásticas de rendimiento (su cadena es densa y dependiente).
  • Los modelos entrenados con DeepSeek-R1 mostraron mínima degradación o incluso mejoras, confirmando que sus trayectorias contenían redundancia estructural.
• Resultados del Filtrado (Filtrado de Ramificación):
  • Al entrenar con subconjuntos de DeepSeek-R1 filtrados (eliminando las trayectorias más ramificadas), se lograron mejoras significativas:
    • +5.1% en AIME25.
    • +5.5% en BeyondAIME.
    • Promedio de +3.6% en cinco benchmarks.
  • Curiosamente, el grupo de control (mantener solo las trayectorias más ramificadas) empeoró el rendimiento respecto a la línea base.

5. Significado e Impacto

Este trabajo es fundamental para el campo de los Modelos de Razonamiento a Gran Escala (LRMs) porque:

• Cuestiona la métrica de "Loss": Advierte que una pérdida de entrenamiento baja en SFT no es un indicador fiable de la calidad de la generalización si la estructura del razonamiento es ineficiente.
• Define la Calidad de los Datos: Establece que la estructura del razonamiento (divergencia vs. convergencia) es un factor intrínseco más crítico que la mera corrección de la respuesta final.
• Guía para la Curación de Datos: Proporciona una receta práctica y escalable para mejorar el SFT: no se trata de tener más datos, sino de tener datos con menos redundancia exploratoria. Filtrar las trayectorias que "piensan en círculos" o ramifican excesivamente sin deducir permite a los modelos aprender cadenas lógicas más robustas y eficientes.
• Implicaciones para la Distilación: Sugiere que al distilar capacidades de razonamiento, la selección del modelo maestro debe basarse en la calidad estructural de sus trayectorias, no solo en su precisión final.