Resumen Técnico: Destilación en Línea con Múltiples Despliegues Mediante Éxitos y Fracasos de Pares

Enunciado del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) se post-entrenan frecuentemente utilizando aprendizaje por refuerzo con recompensas verificables (RLVR). En este paradigma, las soluciones muestreadas son puntuadas por verificadores de respuestas, pruebas unitarias o verificadores específicos de la tarea. Aunque efectivos, estos recompensas suelen ser escasas: indican si una trayectoria completa tiene éxito o fracasa, pero ofrecen una guía limitada sobre qué tokens o pasos de razonamiento específicos causaron el resultado.

La Destilación en Línea (OPD) aborda la desviación de distribución inherente a la destilación fuera de línea al entrenar al estudiante sobre trayectorias muestreadas desde su propia política, convirtiendo los juicios del profesor en señales densas a nivel de token. Sin embargo, los métodos existentes de OPD sufren de una ineficiencia crítica: tratan cada despliegue de forma independiente. Cuando se generan múltiples despliegues para el mismo prompt, la señal del profesor para una trayectoria se calcula sin acceso a los otros intentos muestreados desde el mismo estudiante. Este diseño descarta la estructura local del grupo de despliegues. Para tareas intensivas en razonamiento, esta estructura local es altamente informativa; los despliegues exitosos revelan estrategias de solución válidas, mientras que los despliegues fallidos exponen caminos de razonamiento plausibles pero incorrectos, restricciones omitidas o errores de ejecución. Tratar los despliegues de forma aislada impide que el profesor compare alternativas para identificar dónde una trayectoria sin éxito se desvía de una exitosa.

Metodología: Destilación en Línea con Múltiples Despliegues (MOPD)

Los autores proponen la Destilación en Línea con Múltiples Despliegues (MOPD), un marco de destilación condicionado por pares que utiliza explícitamente el grupo local de despliegues del estudiante para construir señales de profesor más informativas.

Mecanismo Central

Para cada prompt $x$, el estudiante muestrea un grupo de $N$ trayectorias en línea, $Y(x) = \{y^{(i)}\}_{i=1}^N$. Estas son puntuadas por un verificador $R$ y se dividen en conjuntos de éxito ($Y^+$) y fracaso ($Y^-$) basándose en un umbral $\tau$.

Al supervisar un despliegue objetivo $y^{(i)}$, MOPD condiciona la distribución del profesor $q_\phi$ no solo sobre el prompt y el prefijo del objetivo, sino también sobre despliegues de pares del mismo grupo (excluyendo al objetivo mismo). La distribución del profesor se convierte en:
$$q_{\text{peer}}^\phi(\cdot \mid x, y^{(i)}_{<t}) = q_\phi(\cdot \mid x, C_i(x), y^{(i)}_{<t})$$
donde $C_i(x)$ es el contexto de pares construido a partir de $Y^+_{-i}(x)$ y $Y^-_{-i}(x)$.

Estrategias de Construcción del Contexto de Pares

El artículo investiga dos estrategias principales para construir $C_i(x)$:

1. Imitación de Pares Positivos: El profesor se condiciona únicamente sobre las trayectorias de pares exitosas. Esto trata los despliegues exitosos como "expertos de pares", proporcionando evidencia positiva de patrones de razonamiento válidos y anclando al estudiante a múltiples estilos de derivación válidos en lugar de una sola referencia.
2. Condicionamiento Contrastivo Éxito-Fracaso: El profesor se condiciona sobre tanto las trayectorias de pares exitosas como las fallidas. Los pares exitosos indican a qué debe parecerse el objetivo, mientras que los pares fallidos sirven como evidencia negativa estructurada, identificando caminos de solución engañosos a evitar. Este enfoque contrastivo ayuda al profesor a distinguir entre trayectorias correctas e incorrectas superficialmente similares, particularmente en tareas con recompensas terminales escasas.

El objetivo de entrenamiento minimiza la divergencia (KL inverso para matemáticas, Jensen-Shannon para otros) entre la distribución del estudiante y la distribución del profesor condicionada por pares a lo largo de la secuencia de tokens.

Contribuciones Clave

1. Innovación del Marco: MOPD es el primer marco que condiciona explícitamente al profesor sobre el espacio local de prueba y error de un grupo de múltiples despliegues de un estudiante, transformando la supervisión de trayectorias independientes en un proceso de aprendizaje comparativo.
2. Utilización de Evidencia Dual: El método aprovecha tanto a los pares exitosos (evidencia positiva) como a los pares fallidos (evidencia negativa). Los autores demuestran que los pares fallidos no son meramente ruido, sino que proporcionan señales estructuradas sobre errores plausibles, restricciones y errores de formato.
3. Análisis de Calidad de la Señal: El artículo introduce un análisis directo de la calidad de la señal del auto-profesor, midiendo qué tan bien las diferentes construcciones de contexto alinean las puntuaciones del profesor con las recompensas del verificador de verdad fundamental. Esto evita confusos asociados con pruebas simples de recuperación de respuestas.
4. Validación Empírica: Experimentos extensos en programación competitiva, razonamiento matemático, preguntas y respuestas científicas y uso de herramientas demuestran mejoras consistentes sobre las líneas base en línea estándar (GRPO, SDPO).

Resultados Experimentales

Los autores evaluaron MOPD en cuatro familias de tareas:

• Razonamiento Matemático (AIME2024/2025, HMMT25): MOPD mejoró sustancialmente el mean@8 en comparación con SDPO. Cabe destacar que SDPO, que depende de retroalimentación ambiental rica, tuvo un rendimiento inferior en tareas matemáticas donde solo están disponibles recompensas binarias del verificador, mientras que la supervisión aumentada por pares de MOPD demostró ser altamente efectiva.
• Programación Competitiva (LiveCodeBench v6): MOPD logró resultados de vanguardia entre los métodos comparados, alcanzando un mean@8 de 61.82 y un pass@8 de 67.23 en Qwen3-8B, superando a SDPO y GRPO.
• Preguntas y Respuestas Científicas y Uso de Herramientas: MOPD logró el mejor rendimiento en todos los subdominios (Biología, Química, Física, Materiales) y en las pruebas de uso de herramientas.

Hallazgos Clave del Análisis

• Superioridad del Contexto Mixto: El contexto "2 Éxitos + 1 Fracaso" logró consistentemente la mayor alineación con las recompensas del verificador en métricas de clasificación (Spearman, Kendall's $\tau$) y discriminación (Precisión Pareada, AUC de Éxito).
• Rol de los Fracasos: Aunque los pares exitosos son el motor principal de la calidad de la señal, añadir un par fallido a un contexto solo de éxitos agudiza significativamente los límites de decisión (por ejemplo, aumentando la Precisión Pareada de 0.32 a 0.40).
• Diversidad: MOPD genera soluciones con una diversidad léxica (Distinct-1/2) y estructural (distancia Jaccard AST) significativamente mayor en comparación con las líneas base, lo que sugiere que el condicionamiento por pares fomenta la exploración de diversas estrategias de solución.
• Eficiencia: La sobrecarga computacional de MOPD es moderada, con un aumento del tiempo total por paso de solo 9.1% en LiveCodeBench y 33.3% en Science QA en comparación con SDPO.

Significado y Afirmaciones

El artículo argumenta que la destilación en línea efectiva debe explotar el comportamiento de prueba y error de múltiples despliegues del estudiante en lugar de tratar los despliegues como muestras aisladas. Al condicionar al profesor sobre los éxitos y fracasos de los pares, MOPD convierte al profesor en un modelo de diagnóstico local capaz de reconocer errores específicos de la instancia y distinguir fracasos plausibles de soluciones correctas.

Los autores afirman que las ganancias surgen de una supervisión más fiel y adaptativa a la instancia. El contexto mixto de éxito-fracaso alinea mejor las puntuaciones del profesor con las recompensas del verificador, lo que indica que el método aprovecha con éxito la información estructurada disponible dentro de un único grupo de muestreo. Este enfoque cierra la brecha entre el aprendizaje por refuerzo (que utiliza ventajas relativas al grupo) y la destilación (que utiliza supervisión a nivel de token), ofreciendo una vía para mejorar las capacidades de razonamiento en modelos más pequeños sin necesidad de profesores externos más grandes o modelado de recompensas complejo.

El trabajo concluye que, aunque el condicionamiento por pares introduce una longitud de contexto adicional, las mejoras resultantes en corrección, diversidad y estabilidad de entrenamiento justifican el costo, particularmente en dominios donde las recompensas verificables están disponibles pero son escasas.