Resumen Técnico: La Paradoja Calidad-Utilidad en el Razonamiento Matemático de Modelos Pequeños

Declaración del Problema

El paradigma predominante para entrenar Modelos de Lenguaje Pequeños (SLM) en razonamiento matemático se basa en la destilación de conocimiento desde modelos "Oráculo" más fuertes. El supuesto estándar es que las trazas de razonamiento con puntuaciones de modelos de recompensa más altas —que indican una mayor calidad, rigor o corrección percibida— proporcionan una supervisión superior para el SLM objetivo. Sin embargo, este artículo identifica un fenómeno contraintuitivo denominado la Paradoja Calidad-Utilidad: los datos refinados o sintetizados por un Oráculo potente, a pesar de lograr puntuaciones de recompensa significativamente más altas, rinden consistentemente por debajo de las trazas generadas por el propio SLM y seleccionadas mediante muestreo de rechazo (RFT).

El problema central no es que el refinamiento del Oráculo sea intrínsecamente perjudicial, sino que los criterios actuales de selección de datos confunden dos efectos distintos:

1. Reparación Lógica: La mejora de los pasos de razonamiento y la corrección.
2. Deriva Distribucional: El desplazamiento de la traza de razonamiento fuera de la distribución nativa del SLM, manifestándose a menudo como "Compactación Sintáctica" (por ejemplo, el reemplazo de espacios naturales y delimitadores verbales por operadores simbólicos densos).

Esta deriva aumenta el costo de adaptación del modelo objetivo, lo que puede superar los beneficios de una mejor presentación lógica.

Metodología

Los autores establecen un marco experimental controlado para aislar el impacto de la representación de los datos de la dificultad del problema.

• Construcción de Datos: Utilizando un conjunto de problemas fijo derivado del conjunto de datos NuminaMath, se construyen cuatro flujos de datos paralelos:
  1. SLM-RFT: Soluciones válidas generadas por el SLM objetivo (por ejemplo, Qwen2.5-Math-1.5B) y filtradas mediante un proceso conservador para eliminar artefactos mientras se preserva el estilo nativo.
  2. Refinado por Oráculo: Soluciones de SLM-RFT reescritas por un Oráculo potente (GPT-5.2) para reparar la lógica y el formato.
  3. Sintetizado por Oráculo: Soluciones generadas desde cero por el Oráculo.
  4. Subconjunto NuminaMath: Soluciones de verdad fundamental recuperadas mediante coincidencia inversa.
• Paradigmas de Entrenamiento: Los experimentos utilizan tanto el Ajuste Fino Supervisado (SFT) estándar como el Ajuste Fino Dinámico (DFT) para asegurar que los hallazgos no sean artefactos de un objetivo de optimización específico.
• Evaluación: Los modelos se evalúan en un espectro de evaluaciones matemáticas (MATH500, AIME24, AMC23, Minerva, OlympiadBench) utilizando la precisión Avg@1 la de 16. La calidad percibida se mide a través de múltiples modelos de recompensa (Qwen2.5-Math-RM, Skywork-Reward, Nemotron-Reward).
• Análisis de Mecanismo:
  • Desplazamiento de la Distribución de Tokens: El análisis de las frecuencias de unigramas de tokens revela que el refinamiento del Oráculo suprime los tokens de "andamiaje nativo" (por ejemplo, barras invertidas con espacio y delimitadores naturales como "the" o "of") en favor de operadores densos sin espacios.
  • Perplejidad (PPL): Utilizada como un proxy del costo de adaptación. Una PPL más baja indica una mayor compatibilidad entre la distribución de los datos de entrenamiento y la distribución nativa del modelo objetivo.
  • Preservación Semántica: Un protocolo de LLM-como-Juez evalúa qué tan de cerca los candidatos a soluciones preservan los átomos informativos de la trayectoria original del SLM, independientemente del formato.
• Intervención: Los autores introducen el Refinamiento Alineado con el Estilo, una intervención basada en prompts donde el Oráculo es instruido para corregir errores lógicos mientras emula estrictamente el estilo lingüístico y el espaciado nativo del SLM.

Contribuciones Clave

1. Identificación de la Paradoja Calidad-Utilidad: El artículo demuestra que en la destilación de razonamiento matemático, los datos con mayores puntuaciones de modelos de recompensa pueden producir un rendimiento posterior inferior al de los datos generados por el propio aprendiz.
2. Mecanismo de Deriva Distribucional: Los autores muestran que el refinamiento del Oráculo introduce un problema de compatibilidad donde la reparación lógica se acopla con un cambio en la forma de la representación (compactación sintáctica). Esto aumenta el costo de adaptación del SLM objetivo, como lo evidencia la mayor perplejidad y la menor utilidad posterior.
3. Refinamiento Alineado con el Estilo: El artículo propone y valida una intervención que desacopla la rectificación lógica de la deriva estilística. Al preservar la trayectoria nativa del SLM mientras se retienen las reparaciones lógicas, este método reduce el costo de adaptación y restaura la utilidad posterior.

Resultados

• Desajuste de Rendimiento: Bajo SFT y DFT, los datos SLM-RFT (puntuaciones de recompensa más bajas, por ejemplo, 1.47) superaron consistentemente a los datos Refinados por Oráculo (puntuaciones más altas, por ejemplo, 1.70) y Sintetizados por Oráculo (puntuaciones más altas, por ejemplo, 1.88). Por ejemplo, en el modelo Qwen2.5-Math-1.5B con DFT, el SLM-RFT logró una precisión Avg@16 del 37.06%, mientras que el Refinado por Oráculo logró 34.06% y el Sintetizado por Oráculo 30.02%.
• Robustez: La paradoja se mantiene a través de diferentes escalas de modelos (1.5B, 3B, 7B), familias de modelos (Qwen, LLaMA, DeepSeek) e hiperparámetros de entrenamiento.
• Costo de Adaptación: Los datos Refinados por Oráculo exhibieron una Perplejidad Global significativamente mayor (1.85) en comparación con el SLM-RFT (1.52), indicando una mayor carga para que el modelo se adapte a la nueva distribución. La fase Q1 (iniciación) mostró la pérdida de atribución más significativa hacia marcadores sintácticos (por ejemplo, \( ) en los datos del Oráculo frente a iniciadores de lenguaje natural (por ejemplo, "To", "the") en los datos del SLM.
• Éxito de la Intervención: El refinamiento Alineado con el Estilo (Qwen) logró la perplejidad más baja (1.46, incluso menor que el SLM-RFT nativo) y la precisión posterior más alta (39.12%), superando a todos los baselines. Notablemente, estos datos de alto rendimiento recibieron las puntuaciones de recompensa más bajas (1.37), reforzando la desconexión entre la percepción del modelo de recompensa y la capacidad de aprendizaje.
• Validación Cruzada de Modelos: La paradoja fue confirmada a través de tres modelos de recompensa diferentes, lo que indica que la infravaloración de las trazas de la distribución nativa es un problema sistémico en la modelación de recompensa actual, no específico de un único evaluador.

Significado y Reivindicaciones

El artículo afirma que la destilación efectiva del razonamiento matemático para los SLM debe optimizar conjuntamente la calidad de la solución percibida y la compatibilidad de los datos con el aprendiz. Depender únicamente de las puntuaciones de los modelos de recompensa para seleccionar datos de entrenamiento es insuficiente y potencialmente perjudicial.

Los autores argumentan que la "Paradoja Calidad-Utilidad" surge porque los modelos más fuertes suelen expresar el razonamiento reparado a través de representaciones que son eficientes para ellos mismos o preferidas por los modelos de recompensa (sintaxis densa y compacta) pero que son costosas para que los modelos objetivos más pequeños las imiten e interioricen. El estudio sugiere que la compatibilidad distribucional —específicamente la preservación de la trayectoria de razonamiento nativa del aprendiz— es un factor crítico y a menudo pasado por alto en la destilación.

Los hallazgos implican que las estrategias de destilación futuras deberían priorizar intervenciones que alineen las propiedades estilísticas y sintácticas de la salida del profesor con la distribución nativa del estudiante, en lugar de maximizar la calidad lógica bruta o las puntuaciones de recompensa de forma aislada. El trabajo es modesto en su alcance, centrándose en el razonamiento matemático dentro del régimen de los SLM, y reconoce que la generalizabilidad a modelos más grandes o dominios no matemáticos sigue siendo una pregunta abierta.