🤖 AI

Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning

El artículo propone la Destilación On-Policy a Nivel de Paso (SOPD, por sus siglas en inglés), un método novedoso que interpola entre el Ajuste Fino Supervisado y la Destilación On-Policy para proporcionar correcciones completas a nivel de paso en las trayectorias generadas por el estudiante, superando así sustancialmente a ambos enfoques convencionales en tareas de razonamiento y de agentes.

Autores originales: Changhui Sun, Lanbo Liu, Hang Lei, Tong Ling, Jiahang Xie, Zhiyong Zheng, Yujia Wang, Hao Liu, Feng Xiao, Lu Liu, Yanlong Du, Zifeng Cheng, Ziwei Jiang, Qing Gu

Publicado 2026-08-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Changhui Sun, Lanbo Liu, Hang Lei, Tong Ling, Jiahang Xie, Zhiyong Zheng, Yujia Wang, Hao Liu, Feng Xiao, Lu Liu, Yanlong Du, Zifeng Cheng, Ziwei Jiang, Qing Gu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, los grandes modelos de lenguaje suelen compararse con estudiantes que deben aprender de un profesor. Durante años, la forma estándar de enseñar a estos estudiantes digitales ha sido mostrarles ejemplos perfectos escritos por un experto y pedirles que memoricen la secuencia. Este método, conocido como ajuste fino supervisado, es efectivo pero rígido; asume que el estudiante siempre seguirá el camino del experto a la perfección, ignorando los errores que el estudiante es propenso a cometer realmente. Un enfoque más nuevo, llamado destilación on-policy, intenta solucionar esto permitiendo que el estudiante genere sus propias respuestas para luego corregirlo token por token a medida que avanza. Si bien esto permite al estudiante aprender de sus propios errores, crea un problema diferente: las correcciones son tan fragmentadas que el estudiante nunca ve un camino completo y coherente hacia la respuesta correcta. Es como intentar aprender a conducir recibiendo una instrucción de una sola palabra cada vez que tocas el volante, en lugar de que se te muestre cómo navegar una curva completa.

Los investigadores han desarrollado ahora un nuevo método de entrenamiento que cierra esta brecha, combinando lo mejor de ambos mundos. Al introducir una técnica llamada Destilación On-Policy a Nivel de Paso (Step-Level On-Policy Distillation), el equipo permite que el estudiante complete un pensamiento completo o una secuencia de acciones por su cuenta, y luego le pide al profesor que proporcione una corrección única y coherente para cada paso importante de ese trayecto. Este enfoque fue probado en tareas complejas que van desde la resolución de problemas matemáticos difíciles hasta la navegación en entornos domésticos virtuales. Los resultados muestran que este método ayuda al estudiante a aprender de manera significante más rápida y precisa que las técnicas anteriores, alcanzando tasas de éxito que antes estaban fuera del alcance de modelos de este tamaño. El descubrimiento clave es que, al dividir el proceso de aprendizaje en fragmentos naturales y significativos en lugar de palabras individuales o correcciones aleatorias, el modelo puede entender no solo cuál es la respuesta correcta, sino cómo llegar allí desde los errores específicos que cometió.

El núcleo de este nuevo método reside en cómo gestiona la interacción entre el modelo estudiante y el profesor. En el enfoque tradicional de la destilación on-policy, el profesor observa el trabajo del estudiante y ofrece una pequeña corrección por cada palabra generada. Si el estudiante comete un error al principio, el profesor intenta corregirlo palabra por palabra, pero el estudiante sigue atrapado en un estado de confusión, intentando seguir un camino roto. El nuevo método, la Destilación On-Policy a Nivel de Paso, cambia el ritmo de esta interacción. Primero, se permite al estudiante generar una respuesta completa o una secuencia completa de acciones sin interrupciones. Una vez que el estudiante ha terminado, el sistema descompone esa respuesta en pasos naturales, como una oración completa en una demostración matemática o un turno completo de conversación en un juego.

En este punto, el profesor interviene, pero no para reescribir toda la historia. En su lugar, el profesor observa el punto de partida del estudiante para cada paso específico y genera una versión única y correcta de ese paso. El estudiante aprende entonces a igualar este paso correcto manteniendo el resto de su propio contexto original. Esto significa que el estudiante aprende a corregir su propia trayectoria sin que el profesor tome el control de todo el proceso. El profesor proporciona una guía clara y local para cada parte del viaje, asegurando que el estudiante vea un camino lógico y completo desde el lugar exacto donde se equivocó. Esto preserva la experiencia del estudiante de cometer errores mientras le brinda una forma estructurada de corregirlos.

Los investigadores probaron este enfoque en dos entornos muy diferentes para ver si resistía la presión. La primera prueba involucró a un agente navegando en un hogar simulado, una tarea conocida como ALFWorld. En este entorno, el modelo tenía que descubrir cómo realizar tareas como encontrar una llave o limpiar una habitación interactuando con un mundo basado en texto. El equipo utilizó un modelo profesor potente para guiar a un modelo estudiante más pequeño. Cuando compararon el nuevo método con el antiguo estilo de corrección token por token, los resultados fueron sorprendentes. El estudiante entrenado con el nuevo método mejoró su tasa de éxito en más de 18 puntos porcentuales en tareas que ya había visto y en más de 21 puntos porcentuales en tareas que nunca había visto. Además, completó estas tareas en menos intentos, lo que demuestra que no solo estaba adivinando mejor, sino que aprendía formas más eficientes de resolver problemas.

La segunda prueba se centró en el razonamiento matemático, un dominio donde la consistencia lógica es primordial. Aquí, se pidió a los modelos que resolvieran problemas matemáticos de nivel de competición. Los investigadores descubrieron que el nuevo método permitía al estudiante organizar su pensamiento en pasos más claros y estructurados. A medida que el entrenamiento progresaba, el estudiante comenzaba a generar pasos de razonamiento más distintos, y las correcciones del profesor se volvían más ricas y detalladas. En cuatro bancos de pruebas matemáticos diferentes, el estudiante entrenado con este nuevo método superó al mejor enfoque anterior por un amplio margen, mejorando su precisión promedio en casi 10 puntos porcentuales. Esto demostró que el método no era solo una técnica para tareas simples, sino una forma robusta de mejorar el razonamiento complejo.

Una de las ventajas más prácticas de esta nueva técnica es que no requiere que el profesor revele sus cálculos internos. En muchos métodos anteriores, el estudiante necesitaba acceso a las puntuaciones de probabilidad bruta del profesor para cada palabra, lo cual es a menudo imposible si el profesor es un sistema de caja negra cerrada. El nuevo método solo requiere que el profesor genere texto, lo que lo hace mucho más fácil de aplicar en escenarios del mundo real donde los mejores modelos no son totalmente abiertos. Además, debido a que el profesor solo genera un paso a la vez basándose en el trabajo existente del estudiante, el proceso es más rápido y evita los retrasos causados por esperar a que el entorno reaccione a cada movimiento.

El estudio confirma que la forma en que estructuramos el aprendizaje importa tanto como la calidad del profesor. Al alejarse de las correcciones fragmentadas palabra por palabra y avanzar hacia una guía coherente a nivel de paso, los investigadores han creado una dinámica de entrenamiento que respeta el propio camino del estudiante mientras proporciona un mapa claro para la corrección. Este enfoque combina con éxito la flexibilidad de aprender de los propios errores con la claridad de la guía de un experto. Los hallazgos sugieren que, para que la inteligencia artificial sea más capaz y confiable, especialmente en tareas compleas e interactivas, debemos diseñar métodos de entrenamiento que permitan a los modelos ver el panorama completo de sus errores y aprender cómo repararlos en un solo movimiento lógico.

Resumen Técnico: Destilación On-Policy a Nivel de Paso (SOPD)

1. Planteamiento del Problema

El artículo aborda las limitaciones de los paradigmas actuales de Destilación On-Policy (OPD) y Ajuste Fino Supervisado (SFT) para el entrenamiento de Modelos de Lenguaje de Gran Escala (LLMs), particularmente en tareas de razonamiento y agentes.

Limitaciones de la OPD Estándar: Aunque la OPD alinea un modelo estudiante con la distribución de logits de un profesor sobre trayectorias generadas por el estudiante (evitando el desajuste de la distribución de estados de los métodos off-policy), opera a nivel de token. Esto resulta en "correcciones fragmentadas". Cuando un estudiante comete un error, el profesor proporciona una guía de un solo token condicionada al prefijo erróneo. En consecuencia, el profesor no puede desplegar un camino de reparación completo y coherente; los objetivos subsiguientes permanecen condicionados a la trayectoria errónea original del estudiante en lugar de a una corregida.
Limitaciones de la SFT Estándar: La SFT proporciona una supervisión coherente de largo alcance, pero es inherentemente off-policy. Entrena sobre trayectorias generadas por el profesor, lo que crea un desajuste entre la distribución de estados de entrenamiento y los estados realmente visitados por el estudiante durante la inferencia.
Limitaciones de los Enfoques Híbridos Existentes: Métodos como DAgger o la Corrección de Experto On-Policy (OEC) intentan cerrar esta brecha insertando respuestas del profesor en las trayectorias del estudiante. Sin embargo, estos enfoques alteran inherentemente la trayectoria que el estudiante produciría, cambiando la distribución de estados y debilitando la naturaleza on-policy del entrenamiento.

2. Metodología: Destilación On-Policy a Nivel de Paso (SOPD)

Los autores proponen la Destilación On-Policy a Nivel de Paso (SOPD), un método que interpola entre la corrección de largo alcance de la SFT y las ventajas on-policy de la OPD.

Mecanismo Central

SOPD opera sobre trayectorias completas generadas por el estudiante, pero las particiona en pasos naturales (por ejemplo, párrafos de razonamiento en matemáticas, o turnos de interacción con el entorno en agentes).

Rollout del Estudiante: El modelo estudiante $\pi_\theta$ genera una trayectoria completa $\tau_S = (s_1, s_2, \dots, s_K)$ , donde cada $s_k$ es un paso natural. Se registra la secuencia de prefijos $h_k$ (el estado antes del paso $k$ ).
Consulta al Profesor: Después de que el estudiante completa la trayectoria, se consulta al modelo profesor una vez por paso. Para cada prefijo registrado $h_k$ $h_{k}$ , el profesor genera un único paso objetivo $\tilde{s}_k \sim q_T(\cdot | h_k)$ $\tilde{s}_{k} \sim q_{T} (\cdot ∣ h_{k})$ .
- Crucialmente, el profesor genera este objetivo de forma independiente basándose únicamente en el prefijo del estudiante $h_k$ . No ve los outputs anteriores del profesor, ni su salida altera la trayectoria del estudiante.
- Esto preserva la ocupación de estados del estudiante ( $h_k \sim d_{\pi_\theta}$ ) mientras proporciona un camino de corrección coherente de múltiples tokens para ese paso específico.
Objetivo de Entrenamiento: El estudiante es entrenado para predecir el paso generado por el profesor $\tilde{s}_k$ dado el prefijo $h_k$ . La función de pérdida es una entropía cruzada balanceada por paso:
$L_{SOPD} = \frac{1}{|S_B|} \sum_{(h_k, \tilde{s}_k) \in S_B} \frac{1}{|\tilde{s}_k|} \sum_{j=1}^{|\tilde{s}_k|} -\log \pi_\theta(\tilde{s}_{k,j} | h_k, \tilde{s}_{k,<j})$
Esta formulación promedia la pérdida dentro de cada paso y luego promedia a través de todos los pasos, evitando que los pasos largos del profesor dominen las actualizaciones del gradiente.

Detalles de Implementación

Máscara de Atención Empaquetada: Para garantizar la eficiencia, el prompt de entrada, la trayectoria completa del estudiante y todos los pasos objetivo del profesor se empaquetan en una sola secuencia. La máscara de atención asegura que cada objetivo del profesor solo pueda atender al prompt, a su correspondiente prefijo del estudiante y a sus propios tokens causales. Los futuros pasos del estudiante y otros objetivos del profesor están enmascarados.
Compatibilidad de Caja Negra: SOPD requiere únicamente texto generado por el profesor, no los logits del mismo. Esto lo hace aplicable a escenarios de destilación de caja negra.
Generación en Paralelo: Dado que las consultas al profesor son condicionalmente independientes (basadas en prefijos fijos del estudiante), pueden generarse en paralelo después de completar el rollout del estudiante, evitando la latencia de las interacciones secuenciales profesor-entorno.

Límites Teóricos

Los autores demuestran que SOPD conecta dos límites de granularidad:

Límite de un Paso: Si toda la respuesta se trata como un único paso, SOPD se reduce a la SFT de Secuencia estándar.
Límite de un Token: Si cada paso es un único token, SOPD aproxima un objetivo de Forward-KL OPD muestreado.

3. Contribuciones Clave

Propuesta de SOPD: Un nuevo paradigma de destilación que combina la cobertura de estados on-policy de la OPD con la supervisión coherente de múltiples tokens de la SFT.
Aplicabilidad de Caja Negra: A diferencia de la OPD estándar que requiere los logits del profesor, SOPD solo requiere la generación de texto del profesor, lo que lo hace adecuado para profesores de caja negra.
Unificación Teórica: El artículo establece que SOPD se reduce matemáticamente a SFT o aproxima la Forward-KL OPD dependiendo de la longitud del paso, ofreciendo una perspectiva unificada sobre estos paradigmas de destilación.
Validación Empírica: Demostró la superioridad sobre tanto la SFT como la Vanilla OPD en tareas de razonamiento y de agentes.

4. Resultados Experimentales

Los autores evaluaron SOPD en dos dominios distintos: ALFWorld (tareas de agentes interactivos) y Razonamiento Matemático.

ALFWorld (Interacción de Agentes)

Configuración: Destilando un estudiante de 3B (Qwen2.5-3B) de un profesor de RL de 7B (Qwen2.5-7B-RL).
Resultados: SOPD logró una tasa de éxito del 84.29% en tareas "Valid Seen" y del 82.09% en "Valid Unseen".
- Esto representa una mejora de +18.57 y +21.64 puntos sobre la Vanilla OPD, respectivamente.
- SOPD también redujo el número medio de rondas de interacción con el entorno en aproximadamente 3.5 a 4.3 en comparación con OPD, indicando políticas más eficientes.
- En tareas "Hard", SOPD mantuvo la trayectoria de interacción más corta entre los métodos de estudiantes mientras alcanzaba la tasa de éxito más alta.

Razonamiento Matemático

Configuración: Destilando un estudiante de 4B sin pensamiento de un profesor de RL de 4B (Qwen3-4B-Non-Thinking-RL-Math) utilizando el conjunto de datos DeepMath.
Benchmarks: AIME24, AIME25, HMMT25 (Feb), y HMMT25 (Nov).
Resultados: SOPD superó significativamente a la Vanilla OPD en todos los benchmarks.
- Precisión Promedio: SOPD logró una precisión promedio del 57.7% comparado con el 47.7% de la OPD (una ganancia de aproximadamente 10 puntos porcentuales).
- Las ganancias específicas incluyeron +9.9 puntos en AIME24 y +13.1 puntos en HMMT25-Nov.
Dinámicas de Entrenamiento: El análisis mostró que a medida que el entrenamiento progresaba, el modelo estudiante generaba más pasos de razonamiento naturales, y el profesor proporcionaba una supervisión más rica (más tokens) por paso, indicando que el modelo aprendió a organizar procesos de razonamiento más estructurados.

5. Significado y Reivindicaciones

El artículo afirma que SOPD ofrece una nueva perspectiva sobre los métodos de destilación al resolver el compromiso entre el alineamiento de la distribución de estados (OPD) y la supervisión coherente (SFT).

Corrección Coherente: A diferencia de la OPD a nivel de token, SOPD permite que el profesor proporcione un camino de corrección completo y ejecutable para un segmento específico de la trayectoria de un estudiante sin alterar la trayectoria misma.
Eficiencia: Al desacoplar la generación del profesor de la interacción del estudiante con el entorno (en tareas de agentes) y permitir consultas en paralelo, SOPD reduce el costo práctico de la destilación de caja negra para que sea comparable a la SFT estándar.
Efectividad General: Los resultados sugieren que la supervisión a nivel de paso es un mecanismo robusto para mejorar tanto las capacidades de razonamiento como las políticas de interacción de agentes, superando a las líneas base de destilación y ajuste fino de vanguardia.

Los autores concluyen que SOPD convierte efectivamente los estados intermedios visitados por el estudiante en consultas de caja negra para el profesor, proporcionando una supervisión densa y local mientras preserva la integridad de la distribución de estados del estudiante.