Resumen Técnico: TrajFusion para el Escalamiento del Razonamiento Matemático

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLMs) han logrado avances significativos en el razonamiento matemático, principalmente a través del Ajuste Fino Supervisado (SFT) sobre trayectorias de solución de alta calidad. El paradigma dominante para la construcción de estos datos es el Ajuste Fino por Muestreo de Rechazo (RFT). En RFT, un modelo profesor genera múltiples trayectorias de razonamiento candidatas para un problema dado, y solo aquellas con respuestas finales correctas se retienen para el entrenamiento; todas las trayectorias incorrectas se descartan.

Aunque es efectivo, este enfoque trata la supervisión como un filtro binario. Excluye sistemáticamente los errores generados por el modelo profesor, creando una brecha en cómo se modelan los fallos de razonamiento durante el entrenamiento. Los autores argumentan que las trayectorias incorrectas contienen información diagnóstica valiosa —como deslizamientos computacionales comunes, supuestos omitidos o caminos de argumentación lógicamente plausibles pero inválidos— que podrían ayudar a los modelos a reconocer y evitar modos de fallo específicos, particularmente en tareas de razonamiento de formato largo o ambiguas. Los métodos actuales tratan estos errores como ruido para ser descartado en lugar de como supervisión estructurada para ser aprovechada.

Metodología: TrajFusion

El artículo propone TrajFusion, una estrategia de ajuste fino que replantea el RFT de un mecanismo de filtrado binario a un proceso de construcción de supervisión estructurada. TrajFusion integra trayectorias de razonamiento incorrectas seleccionadas con las correctas en un único ejemplo de entrenamiento fusionado, modelando explícitamente un proceso de razonamiento de ensayo y error.

Componentes Principales

1. Muestreo y Análisis: Para cada problema $x$, el modelo profesor muestrea $K$ trayectorias. Estas se particionan en conjuntos de correctas ($Y^+$) e incorrectas ($Y^-$) utilizando un verificador automático.
2. Selección Adaptativa: El método determina adaptativamente cuántas trayectorias incorrectas incluir basándose en dos estadísticas:
   • Tasa de Error ($r(x)$): La frecuencia de intentos incorrectos.
   • Diversidad de Error ($u(x)$): El número de respuestas finales únicas entre los intentos incorrectos (medido mediante la entropía de Shannon o el recuento de respuestas únicas).
     El número de trayectorias incorrectas retenidas $k(x)$ se calcula como:
     $$k(x) = \min(k_{max}, \lfloor \alpha \cdot r(x) \cdot u(x) \rfloor)$$
     Esto asegura que los problemas con errores diversos y frecuentes reciban una supervisión más rica, mientras que los problemas con errores escasos o poco informativos degeneran naturalmente hacia un RFT convencional.
3. Construcción de la Muestra Fusionada: Las trayectorias incorrectas seleccionadas se intercalan con la trayectoria correcta utilizando prompts de reflexión fijos (por ejemplo, "Espera... eso no parece correcto. Intentémoslo de nuevo."). La estructura final es:
   $$T(x) = [y_{e1}, \rho_1, \dots, y_{ek}, \rho_k, y^*]$$
   donde $y_{ei}$ son caminos incorrectos, $\rho_i$ son prompts de reflexión y $y^*$ es la solución correcta.
4. Entrenamiento: Las secuencias fusionadas se entrenan utilizando la predicción del siguiente token estándar (SFT) sin cambios en la arquitectura del modelo ni en el objetivo de entrenamiento.

Contribuciones Clave

• Formalización de una Brecha de Supervisión: Los autores identifican y formalizan la exclusión sistemática de las trayectorias incorrectas generadas por el profesor en el RFT, argumentando que estos errores proporcionan un valor diagnóstico para el modelado de fallos de razonamiento.
• Marco de Trabajo TrajFusion: Un marco de supervisión estructurada que fusiona adaptativamente trayectorias incorrectas y correctas. Trata la diversidad del error como una señal de control explícita, permitiendo que el método escale robustamente a través de problemas de diversa dificultad sin requerir modelos auxiliares, generadores de crítica o etiquetas de dificultad externas.
• Validación Empírica: El método demuestra mejoras consistentes sobre el RFT convencional a través de múltiples modelos base (LLaMA3-8B, DeepSeekMath-7B), regímenes de datos (15K a 100K ejemplos) y longitudes de contexto (hasta 32K).

Resultados Experimentales

Los autores evaluaron TrajFusion en seis benchmarks de razonamiento matemático (GSM8K, MATH, CollegeMath, DeepMind-Mathematics, OlympiadBench, TheoremQA) y conjuntos de datos de nivel de competición (AIME24, AIME25, MATH-500).

• Ganancias de Rendimiento: TrajFusion superó consistentemente al RFT convencional. En el conjunto de datos MATH con LLaMA3-8B (100K datos), TrajFusion logró un 51.4% de precisión frente al 48.5% de RFT. Con DeepSeekMath-7B, alcanzó un 52.3% frente a un 50.2%.
• Impacto en la Complejidad: Las mejoras fueron más pronunciadas en los benchmarks de razonamiento de formato largo y desafiantes (MATH, OlympiadBench, TheoremQA), donde los caminos de razonamiento son más largos y los modos de fallo son más diversos. Las ganancias en conjuntos de datos más simples como GSM8K fueron menores pero también positivas.
• Eficiencia de Datos: TrajFusion logró resultados competitivos con solo 15K ejemplos de entrenamiento, superando a los baselines que utilizaron conjuntos de datos significativamente más grandes (por ejemplo, MMIQC con 2.3M de ejemplos).
• Escalabilidad a Contexto Largo: Al aplicarse a una versión de 32K de contexto de Qwen2.5-Math-7B utilizando datos de formato largo destilados de DeepSeek-R1, TrajFusion mejoró el Pass@1 en AIME24 del 40.0% (RFT) al 43.3%.
• Estudios de Ablación:
  • Aumentar el número de errores fusionados ($k_{max}$) mejoró el rendimiento hasta cierto punto (se observaron rendimientos decrecientes en $k_{max}=6$).
  • Seleccionar errores basados en la diversidad (HighDiv) produjo mejores resultados que seleccionarlos basándose únicamente en la frecuencia (LowDiv), lo que sugiere que los modos de fallo estructuralmente distintos son más informativos.
  • Los modelos entrenados con TrajFusion inicialmente generaron secuencias más largas, pero gradualmente se volvieron más concisos mientras aumentaban la frecuencia de los tokens de reflexión, indicando un uso más eficiente de los patrones estructurales.

Significado y Reivindicaciones

El artículo afirma que TrajFusion ofrece una forma simple pero efectiva de escalar el razonamiento matemático aprovechando las señales de supervisión que normalmente se descartan. Al replantear el muestreo de rechazo como un proceso de construcción de trayectorias estructuradas de ensayo y error, el método proporciona una supervisión más rica sin modificaciones arquitectónicas o pipelines complejos de aprendizaje por refuerzo.

Los autores enfatizan que TrajFusion es particularmente valioso para problemas de razonamiento desafiantes y de formato largo, donde distinguir el razonamiento válido del fallido es esencial. Afirman que la naturaleza adaptativa de TrajFusion garantiza su robustez: enriquece la supervisión cuando los errores son informativos y regresa de forma segura al comportamiento estándar de RFT cuando no lo son. Este enfoque cierra la brecha entre el filtrado binario de corrección y la realidad matizada de los fallos de razonamiento, permitiendo que los modelos aprendan de sus propios errores en un entorno supervisado.