Resumen Técnico: Destilación On-Policy con Selección de Despliegues del Profesor Mejor de N (BRTS)

1. Declaración del Problema

La destilación on-policy (OPD) ha surgido como un método de post-entrenamiento eficiente en datos para Modelos de Lenguaje Grandes (LLM), donde un modelo estudiante es supervisado sobre sus propias trayectorias muestreadas utilizando los log-probabilidades por token del profesor. Aunque OPD mitiga el sesgo de exposición al alinear la supervisión con los estados que el estudiante visita realmente, las implementaciones estándar sufren de señales de supervisión de alta varianza.

La limitación central identificada es doble:

1. Contextos de Estudiante Ruidosos: La supervisión se calcula sobre prefijos generados por un estudiante imperfecto, que pueden desviarse hacia estados de razonamiento ruidosos donde la retroalimentación local del profesor es menos informativa.
2. Despliegues Estocásticos del Profesor: La OPD estándar depende típicamente de un único despliegue del profesor por prompt. Dado que el profesor es estocástico, una única trayectoria muestreada puede ser incorrecta, poco informativa o estar mal alineada con el comportamiento de razonamiento actual del estudiante. Esto resulta en una guía poco fiable, particularmente en prompts difíciles donde las salidas muestreadas del profesor varían significativamente en corrección y estilo.

En consecuencia, la OPD estándar corre el riesgo de propagar señales erróneas del profesor o de no exponer al estudiante a caminos de razonamiento completos y correctos, limitando su efectividad en benchmarks de razonamiento desafiantes.

2. Metodología: Marco BRTS

Los autores proponen BRTS (Selección de Despliegues del Profesor Mejor de N), un marco diseñado para curar trayectorias de profesores fiables antes de que se utilicen para la supervisión dentro del bucle OPD. BRTS complementa la destilación estándar de contexto de estudiante con una rama de supervisión de contexto del profesor construida a partir de una trayectoria de profesor seleccionada y de alta calidad.

2.1 Curación de Trayectorias Consciente de Corrección y Alineación

Para cada prompt, BRTS muestrea un grupo de $N$ despliegues del profesor sin condición ($\{y_{T,i}\}_{i=1}^N$). El proceso de selección sigue una jerarquía de prioridades:

1. Prioridad 1: Corrección. El sistema filtra los despliegues donde la respuesta final extraída coincide con la verdad fundamental ($y^*$).
2. Prioridad 2: Alineación con el Estudiante. Si existen múltiples despliegues correctos, BRTS selecciona aquel con la mayor superposición a nivel de token con el conjunto de los $K$ mejores candidatos del estudiante. Esto asegura que la trayectoria seleccionada sea compatible con la distribución de razonamiento actual del estudiante.
3. Recuperación Guiada por Verdad Fundamental (Nivel 2). Si todas las muestras del profesor sin condición fallan (es decir, ninguna es correcta), BRTS invoca un paso de recuperación. Construye un prompt modificado que inyecta silenciosamente la respuesta de verdad fundamental como una señal de validación mientras instruye al profesor para producir una derivación natural. Se muestrea un nuevo despliegue; si es correcto, se selecciona. Si esto también falla, el sistema recurre al despliegue sin condición con la mayor superposición con el estudiante.

2.2 Supervisión de Contexto del Profesor

El objetivo de entrenamiento combina dos componentes de pérdida:

• Pérdida de Contexto de Estudiante ($L_{stu-ctx}$): El objetivo estándar de OPD, que minimiza la divergencia KL inversa entre las distribuciones del estudiante y del profesor condicionadas al prefijo generado por el estudiante. Esto corrige al estudiante en los estados que realmente visita.
• Pérdida de Contexto del Profesor ($L_{tea-ctx}$): Una pérdida auxiliar calculada sobre la trayectoria de profesor seleccionada ($y'$). Aquí, tanto las distribuciones del estudiante como del profesor se condicionan al prefijo del profesor. Esto expone al estudiante a un camino de razonamiento coherente y correcto que puede estar fuera de la región de alta probabilidad actual del estudiante.

La pérdida total se define como:
$$L_{total} = L_{stu-ctx} + \lambda L_{tea-ctx}$$
donde $\lambda$ es un coeficiente de ponderación (empíricamente establecido en 10).

2.3 Dirección de los $K$ Mejores Candidatos

Para implementar estas pérdidas de manera eficiente, BRTS utiliza la agregación de los $K$ mejores:

• Para la rama de contexto de estudiante, el conjunto de tokens candidatos se deriva de los $K$ mejores tokens del estudiante bajo el prefijo del estudiante.
• Para la rama de contexto del profesor, el conjunto de candidatos se deriva de los $K$ mejores tokens del profesor bajo el prefijo del profesor seleccionado. Esto permite que la rama auxiliar supervise tokens preferidos por el profesor que el estudiante podría no considerar actualmente, manteniendo al mismo tiempo un conjunto de candidatos compacto.

3. Contribuciones Clave

El artículo resume sus contribuciones de la siguiente manera:

1. Identificación de Supervisión de Alta Varianza: Los autores destacan que la supervisión estándar de contexto de estudiante en OPD está limitada por prefijos de estudiantes ruidosos y despliegues estocásticos del profesor, lo que hace que la señal del profesor sea poco fiable en prompts difíciles.
2. Introducción de BRTS: Un marco ligero para seleccionar y destilar trayectorias de profesores fiables. Emplea una regla de selección "corrección primero, alineación segunda" e incluye una recuperación guiada por verdad fundamental para muestras sin condición fallidas.
3. Mejora Empírica: BRTS supera significativamente a la OPD estándar en benchmarks de razonamiento difíciles. El artículo proporciona análisis diagnósticos que demuestran cómo la calidad de los candidatos del profesor, la cobertura de recuperación y las elecciones de la arquitectura base influyen en el rendimiento.

4. Resultados Experimentales

Los experimentos se realizaron en AIME 2024, AIME 2025 y AMC 2023 utilizando un modelo estudiante de 1.5B (DeepSeek-1.5B) y varias configuraciones de profesores (JustRL-1.5B y DeepSeek-R1-Distill-Qwen-7B).

• Ganancias de Rendimiento: BRTS mejora consistentemente sobre la línea base de solo estudiante. Las ganancias son más pronunciadas en el conjunto de datos más difícil AIME 2025. Por ejemplo, en AIME 2024, el uso de cuatro candidatos de profesores logró una precisión promedio de 0.4000 en comparación con 0.3917 para la línea base.
• Impacto de la Recuperación de Nivel 2: El paso de recuperación guiado por verdad fundamental (Nivel 2) proporciona mejoras sustanciales en prompts difíciles donde el muestreo sin condición falla. En AIME 2025, añadir el Nivel 2 aumentó la precisión de voto mayoritario de 0.2748 (solo Nivel 1) a 0.3133.
• Picos Tempranos en el Entrenamiento: BRTS alcanza un pico de rendimiento más alto en las etapas tempranas del entrenamiento en comparación con las líneas base, lo que sugiere una convergencia más rápida y una mejor relación entre costo computacional y rendimiento.
• Robustez: El método sigue siendo efectivo al intercambiar arquitecturas base de profesores (por ejemplo, usando un profesor de 7B para un estudiante de 1.5B) y no es frágil ante perturbaciones leves de prompts, las cuales en realidad ayudan a descorrelacionar las muestras del profesor.
• Costo Computacional: La sobrecarga es modesta; aumentar el grupo de candidatos de profesores de 1 a 2 añade aproximadamente 59 segundos por paso de entrenamiento en 8×GPUs B200, lo cual se considera aceptable dadas las ganancias de rendimiento.

5. Significado y Afirmaciones

El artículo afirma que BRTS aborda un cuello de botella crítico en la destilación on-policy: la falta de fiabilidad de las señales estocásticas del profesor en tareas difíciles. Al estructurar la supervisión del profesor para que sea tanto consciente de la corrección (filtrando errores) como consciente de la alineación (coincidiendo con la distribución del estudiante), BRTS transforma los despliegues estocásticos del profesor en una supervisión estructurada y de alta calidad.

Los autores posicionan a BRTS no como un reemplazo de OPD, sino como una ampliación necesaria que permite a los estudiantes aprender de caminos de razonamiento completos y fiables sin incurrir en el olvido catastrófico a menudo asociado con el ajuste fino supervisado estándar o la alta varianza de la OPD estándar. El método se presenta como una extensión escalable y ligera que mejora las capacidades de razonamiento, particularmente en dominios donde las respuestas de verdad fundamental están disponibles para verificación.