Resumen Técnico: Hacer que el razonamiento experto sea aprendible mediante la autodestilación

Planteamiento del problema

Los Modelos de Razonamiento Grandes (LRM) suelen mejorar sus capacidades a través del Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). Sin embargo, este enfoque enfrenta un cuello de botella crítico: en problemas extremadamente difíciles, los modelos suelen fallar al muestrear una solución correcta durante la fase de despliegue (rollout). En consecuencia, la señal de recompensa, ventaja y gradiente es cero, lo que impide el aprendizaje en las instancias más desafiantes.

Una alternativa es aprovechar las soluciones expertas humanas de alta calidad. Sin embargo, el aprendizaje de imitación ingenuo (Ajuste Fino Supervisado o SFT) sobre estas soluciones falla. Las soluciones expertas son fundamentalmente fuera de la distribución (OOD) en relación con el proceso de razonamiento de post-entrenamiento del modelo. A menudo son "didácticas", omitiendo pasos intermedios granulares que son implícitos para los lectores humanos pero esenciales para los modelos computacionales. Además, las soluciones expertas carecen de la dinámica de búsqueda explícita (por ejemplo, retroceso o autocorrección) característica de los modelos entrenados con RLVR. El ajuste fino directo sobre tales datos obliga al modelo a tomar atajos en su razonamiento interno, lo que provoca una degradación severa del rendimiento. Adicionalmente, los datos expertos de alta calidad son escasos y costosos, lo que requiere métodos de entrenamiento con eficiencia de muestreo.

Metodología: Aprendizaje de Imitación Alineado con la Distribución (DAIL)

Los autores proponen el Aprendizaje de Imitación Alineado con la Distribución (DAIL), un marco de autodestilación de dos pasos diseñado para cerrar la brecha de distribución entre las soluciones expertas y el proceso de razonamiento del modelo estudiante.

1. Generación de razonamiento aprendible dentro de la distribución

El primer paso transforma las soluciones expertas comprimidas y OOD en trazas de razonamiento detalladas y dentro de la distribución. Esto se logra mediante un proceso de despliegue de política mixta que involucra a un "maestro" (una instancia congelada del modelo estudiante condicionada en la solución experta) y el "estudiante" (el modelo que se está optimizando).

• Mecanismo: Para cada token en una generación, el estudiante muestrea un token. El maestro verifica este token contra el contexto de la solución experta. Si la probabilidad del maestro para el token supera un umbral $\tau$, el token del estudiante es aceptado; de lo contrario, el maestro muestrea un token.
• Objetivo: Este proceso expande la solución experta en una cadena de razonamiento detallada que rellena los "atajos didácticos" (pasos omitidos) mientras preserva el flujo de razonamiento natural del estudiante y evita referencias directas a la solución experta que ocurrirían en un muestreo ingenuo.

2. Objetivo de Aprendizaje Contrastivo

El segundo paso aborda el riesgo de que las trazas generadas contengan "atajos de racionalización": puentes lógicos deficientes donde el modelo fuerza una derivación para coincidir con un resultado intermedio conocido de la solución experta. El error de log-verosimilitud negativa (NLL) estándar penalizaría indiscriminadamente al modelo por no imitar estos atajos defectuosos.

Para mitigar esto, DAIL emplea un objetivo contrastivo:

• Referencia Negativa: Se construye un modelo $M_{NR}$ utilizando los mismos parámetros que el estudiante pero condicionado únicamente en una "solución parcial" ($\tilde{s}$). Esta solución parcial consiste en hitos de grano grueso (resultados numéricos/simbólicos clave) con el razonamiento intermedio eliminado.
• Función de Pérdida: El objetivo minimiza la divergencia KL entre el estudiante y el maestro de información completa, mientras maximiza la divergencia entre el estudiante y la referencia negativa.
  $$L(\theta) = \mathbb{E} \left[ \sum_{t} \left( D_{KL}(M_\theta \parallel M_T) - \gamma D_{KL}(M_\theta \parallel M_{NR}) \right) \right]$$
• Efecto: Esto penaliza al modelo por imitar el comportamiento de atajo (saltar entre hitos sin derivación lógica) mientras lo incentiva a seguir la lógica detallada paso a paso del maestro.

Contribuciones Clave

1. Marco DAIL: Un nuevo método de post-entrenamiento que permite a los modelos aprender de soluciones expertas de alta calidad transformándolas en trazas dentro de la distribución y aplicando un objetivo contrastivo para prevenir el aprendizaje de atajos.
2. Eficiencia de Muestreo: Demuestra que se pueden lograr mejoras significativas en el razonamiento con menos de 1,000 soluciones expertas de alta calidad, un régimen donde el RLVR estándar suele fallar debido a la escasez de recompensas.
3. Manejo de Problemas No Verificables: Se aplica con éxito a problemas de demostración no verificables (por ejemplo, demostraciones de olimpiadas) donde el RLVR estándar basado en la corrección es inaplicable sin un modelo de recompensa generativo.
4. Eficiencia y Generalización: Muestra que DAIL mejora la eficiencia del razonamiento (logrando un rendimiento similar con $2\times$ menos tokens) y se generaliza a tareas fuera del dominio (por ejemplo, GPQA-Diamond) sin olvido catastrófico.

Resultados Experimentales

Los autores evaluaron DAIL en modelos Qwen2.5-Instruct (no razonamiento) y Qwen3 (razonamiento) utilizando conjuntos de datos de matemáticas de competición y demostraciones de olimpiadas.

• Ganancias de Rendimiento: En Qwen2.5-Instruct, DAIL logró hasta un 31% de ganancias en pass@128 en benchmarks como AIME 2024/2025, BeyondAIME e IMO-AnswerBench en comparación con el modelo base. Superó tanto a los métodos de RLVR estándar (GRPO, NuRL) como a los baselines de imitación ingenuos (Direct SFT, STaR).
• Comparación con RLVR: Mientras que los métodos RLVR a menudo se sobreajustan a éxitos estocásticos o se degradan en problemas difíciles debido a señales de recompensa cero, DAIL proporcionó mejoras consistentes a través de los valores de $k$.
• Eficiencia de Inferencia: Los modelos entrenados con DAIL igualaron o superaron el rendimiento de los modelos no entrenados utilizando $2\times$ menos tokens, indicando rutas de razonamiento más eficientes.
• Generalización: DAIL mantuvo o mejoró el rendimiento en el benchmark fuera de dominio GPQA-Diamond, sugiriendo que las estrategias de razonamiento aprendidas son robustas y no están sobreajustadas al dominio de entrenamiento.
• Estudios de Ablación:
  • Contrastivo vs. NLL: El objetivo contrastivo superó consistentemente al NLL estándar, confirmando su necesidad para prevenir el aprendizaje de atajos de racionalización.
  • Política Mixta vs. Muestreo Directo: Los despliegues de política mixta fueron cruciales para los modelos de razonamiento (Qwen3) para evitar que el modelo hiciera referencia directa a la solución experta, mientras que el muestreo directo fue suficiente para los modelos de no razonamiento.

Significado y Reivindicaciones

El artículo afirma ser la primera demostración de la mejora de la capacidad de razonamiento de los modelos de cadena de pensamiento largo (CoT) aprendiendo directamente de soluciones expertas. Argumenta que para problemas extremadamente difíciles donde un modelo no puede generar ni siquiera una vía parcialmente correcta, expandir las soluciones expertas en trazas constructivas y dentro de la distribución es un precursor necesario para un aprendizaje efectivo.

Los autores posicionan a DAIL como una solución al "cuello de botella de la exploración" en RLVR, ofreciendo un camino para aprovechar datos de alto valor y no verificables en dominios donde las señales de recompensa son escasas o indefinidas. Enfatizan que este enfoque permite que los modelos de frontera aprendan de la experiencia humana sin requerir un modelo "maestro" más fuerte que aún no existe, extendiendo así las capacidades de los modelos actuales mediante una autodestilación eficiente y con eficiencia de muestreo.