💬 NLP

Data-Efficient Autoregressive-to-Diffusion Language Models via On-Policy Distillation

Este artículo presenta OPDLM, un marco de trabajo eficiente en datos que transforma modelos de lenguaje autorregresivos en modelos de lenguaje de difusión mediante destilación on-policy, eliminando eficazmente el desajuste entre entrenamiento e inferencia y preservando el conocimiento previo al tiempo que reduce los requisitos de tokens de entrenamiento hasta en 7,000 veces.

Autores originales: Xingyu Su, Jacob Helwig, Shubham Parashar, Atharv Chagi, Lakshmi Jotsna, Degui Zhi, James Caverlee, Dileep Kalathil, Shuiwang Ji

Publicado 2026-06-08

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xingyu Su, Jacob Helwig, Shubham Parashar, Atharv Chagi, Lakshmi Jotsna, Degui Zhi, James Caverlee, Dileep Kalathil, Shuiwang Ji

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un chef brillante y de clase mundial (el Modelo Autoregresivo, o ARLM) que ha pasado años perfeccionando su oficio cocinando un plato a la vez, paso a paso, mirando siempre lo que acaba de echar a la olla para decidir el siguiente ingrediente. Este chef es increíblemente rápido y sabe mucho, pero solo sabe cocinar en línea recta.

Ahora, imagina que quieres que este chef aprenda un nuevo estilo de cocina revolucionario llamado Difusión (el Modelo de Lenguaje de Difusión, o DLM). En este nuevo estilo, en lugar de cocinar paso a paso, el chef comienza con un cuenco de ingredientes aleatorios e irreconocibles (una secuencia "enmascarada") y los refina gradualmente hasta convertirlos en una comida perfecta de una sola vez. Este nuevo estilo es estupendo porque puede adivinar varios ingredientes al mismo tiempo, lo que permite cocinar potencialmente más rápido.

El Problema: La Brecha de "Traducción"
El artículo explica que los intentos anteriores de convertir al chef que cocina paso a paso en el chef que cocina "todo a la vez" tuvieron dos grandes problemas:

La Pérdida de Memoria: Cuando obligas al chef a dejar de cocinar paso a paso y empezar a adivinar el plato completo de una vez, tiende a olvidar los miles de recetas que aprendió durante sus años de entrenamiento. Es como decirle a un pianista maestro que de repente toque con los ojos cerrados y en una clave diferente; podría perder su toque.
El Desajuste entre la Práctica y el Rendimiento: En el método antiguo, el chef practicaba lanzando ingredientes al azar en un cuenco e intentando arreglarlos (enmascaramiento aleatorio). Pero en el mundo real (inferencia), el chef en realidad refina el plato basándose en qué tan seguro está de sus conjeturas. La práctica no coincidía con el rendimiento, por lo que el chef siempre estaba un poco oxidado cuando más importaba.

La Solución: OPDLM (El Mentor "On-Policy")
Los autores presentan un nuevo método llamado OPDLM (Modelo de Lenguaje de Difusión On-Policy). Piensa en esto como un campo de entrenamiento inteligente que resuelve ambos problemas utilizando una técnica llamada Destilación On-Policy.

Así es como funciona, usando una analogía simple:

El Estudiante y el Maestro: El "Estudiante" es el nuevo chef de Difusión. El "Maestro" es el chef original de paso a paso, que permanece congelado (se mantiene en una vitrina, sin cambios).
El Giro "On-Policy": En lugar de practicar con cuencos de ingredientes desordenados y aleatorios (la forma antigua), el estudiante chef tiene permitido cocinar una comida completa usando su propio nuevo estilo "todo a la vez". Genera su propio camino desde un cuenco desordenado hasta un plato terminado.
La Destilación: Una vez que el estudiante termina una comida, el maestro chef (que está congelado) observa esa misma comida exacta y dice: "Si yo hubiera cocinado este plato específico, esto es exactamente lo que habría dicho para cada ingrediente faltante".
El Aprendizaje: El estudiante compara su conjetura con la respuesta del maestro y aprende de ella.

Por qué esto cambia las reglas del juego
Debido a que el estudiante practica con comidas que él mismo genera (coincidiendo con el rendimiento real) y es corregido por el experto original, no olvida su conocimiento previo y aprende mucho más rápido.

El artículo afirma que este método es increíblemente eficiente:

Ahorro de Datos: Requiere de 15 a 7,000 veces menos ejemplos de entrenamiento que los métodos anteriores. Si otros métodos necesitaran leer una biblioteca de mil millones de libros para aprender, este método podría solo necesitar unas pocas docenas.
Sin Costo de "Pre-entrenamiento": No necesitas entrenar a un nuevo chef de Difusión desde cero (lo cual es costoso y lento). Solo tomas a un experto existente, le das este entrenamiento específico, y se transforma.
Mantener la Magia: El nuevo modelo conserva las habilidades de "pensamiento" y "multilingüismo" del chef original, aunque no se le enseñaron explícitamente durante la transformación. Es como si el chef recordara naturalmente hablar francés o resolver acertos complejos porque el entrenamiento preservó su cerebro original.

El Resultado
El artículo muestra que este nuevo chef "OPDM" rinde tan bien como los mejores chefs existentes en tareas de matemáticas, programación y conocimientos generales, pero llegó allí con una fracción mínima del esfuerzo y los datos. Convierte el difícil proceso de cambiar el "cerebro" de un modelo en una actualización de post-entrenamiento simple y eficiente.

Resumen Técnico: Modelos de Lenguaje de Difusión de Eficiencia de Datos mediante Destilación On-Policy (Autoregressive-to-Diffusion)

1. Planteamiento del Problema

El artículo aborda los desafíos inherentes a la transformación de Modelos de Lenguaje Autorregresivos (ARLM) preentrenados en Modelos de Lenguaje de Difusión (DLM). Mientras que trabajos recientes han intentado convertir ARLMs en DLMs reemplazando la atención causal por atención bidireccional y reentrenando con un objetivo de difusión, los autores identifican dos "desajustes de distribución" críticos que limitan la eficiencia de entrenamiento y el rendimiento:

Desajuste de Retención de Conocimiento: La transición de un objetivo de predicción del siguiente token (ARLM) a un objetivo de difusión (DLM) puede debilitar o descartar el conocimiento sustancial adquirido durante el preentrenamiento original del ARLM.
Desajuste de Estado entre Entrenamiento e Inferencia: Los DLMs estándar se entrenan en secuencias corrompidas mediante enmascaramiento aleatorio uniforme (proceso forward). Sin embargo, durante la inferencia, el modelo genera secuencias mediante trayectorias de desenmascaramiento inverso guiadas por heurísticas de decodificación basadas en la confianza. Los estados encontrados durante la inferencia difieren significativamente de los estados aleatorios vistos durante el entrenamiento, lo que conduce a un aprendizaje subóptimo.

Los métodos de conversión existentes suelen tratar esto como una continuación del preentrenamiento, fallando al no abordar explícitamente estos desajustes o requiriendo conjuntos de datos prohibitivamente grandes (billones de tokens) para preentrenar DLMs desde cero.

2. Metodología: Modelos de Lenguaje de Difusión On-Policy (OPDLM)

Los autores proponen OPDLM, un marco que convierte ARLMs en DLMs utilizando Destilación On-Policy (OPD). Este enfoque redefine la conversión como un problema de post-entrenamiento en lugar de uno de preentrenamiento.

Mecanismo Central

OPDLM emplea una estrategia de "auto-OPD" donde el modelo estudiante genera sus propios datos de entrenamiento, y el ARLM original actúa como un profesor congelado.

Modelo Estudiante: Un checkpoint de ARLM modificado para usar atención causal por bloques (bidireccional), inicializado desde los pesos del ARLM original.
Modelo Profesor: El ARLM original, congelado.
Trayectoria de Entrenamiento (On-Policy): En lugar de muestrear máscaras aleatorias de un conjunto de datos limpio, el estudiante DLM muestrea sus propias trayectorias de decodificación inversa ( $\tau \sim \Gamma^{rev}_{\theta}$ ). Estas trayectorias representan los estados reales que el modelo encuentra durante la inferencia.
Objetivo de Destilación:
- A partir de una trayectoria de decodificación inversa muestreada, se selecciona un estado parcialmente denotado $x_t$ .
- Para cada posición de token enmascarado $i$ en un bloque, la distribución predictiva del estudiante $p_{\theta}$ se entrena para coincidir con la distribución del profesor.
- Crucialmente, la distribución del profesor está condicionada al prefijo causal no enmascarado de la secuencia terminal $x_0$ (el resultado final generado de esa trayectoria). Específicamente, el objetivo es $p_{ARLM}(\cdot | x_{<b}^0, x_{<i}^0)$ .
- La pérdida es una divergencia de Kullback-Leibler (KL) entre la distribución de nivel de token del profesor y la distribución del estudiante en las posiciones enmascaradas.

Aprendizaje por Currículo

Para abordar la inestabilidad inmediatamente después de la conversión (donde el estudiante puede generar trayectorias de baja calidad debido al cambio estructural de atención causal a atención por bloques), los autores introducen un Currículo de Longitud de Rollout. La longitud de la generación on-policy se incrementa progresivamente desde un mínimo ( $L_{min}$ ) hasta un máximo ( $L_{max}$ ) durante los pasos de calentamiento (warmup), asegurando que el estudiante aprenda a coincidir con el profesor en contextos coherentes antes de abordar secuencias más largas.

3. Contribuciones Clave

Formulación de la conversión ARLM-a-DLM como Post-Entrenamiento: El artículo demuestra que los DLMs pueden obtenerse sin la etapa computacionalmente intensiva de preentrenamiento desde cero, posicionando la conversión como un procedimiento de post-entrenamiento eficiente.
Resolución de Desajustes de Distribución: Al entrenar sobre las propias trayectorias de inferencia del estudiante (on-policy), OPDLM elimina el desajuste de estado entre entrenamiento e inferencia. Al utilizar el ARLM original como profesor, asegura la retención del conocimiento.
Eficiencia de Datos Extrema: El método logra un rendimiento competitivo utilizando de 15× a 7,000× menos tokens de entrenamiento en comparación con las líneas base establecidas de DLM (por ejemplo, LLaDA, Dream, SDAR).
Aplicabilidad General y Específica de Tarea: Se demuestra que el marco puede producir tanto DLMs de propósito general como modelos especializados en tareas (por ejemplo, matemáticas) sin requerir un preentrenamiento de DLM separado.

4. Resultados Experimentales

Los autores evaluaron OPDLM (escalas de 4B y 8B) contra líneas base como LLaDA, Dream, SDAR y Fast-dLLM-v2 a través de benchmarks de conocimiento general, matemáticas y codificación.

Rendimiento vs. Eficiencia: OPDLM-8B logró resultados sólidos en benchmarks como AIME-24 (14.7% de precisión) y GPQA-Diamond (36.1%) mientras requería solo 0.066 mil millones de tokens de entrenamiento y 4.2 × 10¹⁸ FLOPs. En contraste, las líneas base requirieron cientos de miles de millones de tokens (por ejemplo, LLaDA-8B usó 1,500 mil millones de tokens).
Estudios de Ablación:
- On-Policy vs. Off-Policy: Reemplazar el muestreo de trayectoria on-policy con el enmascaramiento aleatorio estándar (Off-Policy) resultó en caídas consistentes de rendimiento, confirmando que entrenar en los estados de inferencia del propio modelo es el principal motor del éxito.
- Retención de Conocimiento: OPDLM retuvo capacidades de zero-shot que no fueron el objetivo explícito durante la conversión, incluyendo el pensamiento extendido (razonamiento dentro de etiquetas <thought>) y la generación multilingüe, a pesar de haber sido entrenado en un corpus curado en inglés.
Eficiencia de Inferencia: Los modelos admiten la decodificación de múltiples tokens. Al ajustar el umbral de confianza de decodificación y el tamaño del bloque, los autores demostraron un compromiso donde el rendimiento (throughput) puede exceder los 2–3 tokens por paso con costos moderados de precisión.
Adaptación Específica de Tarea: Cuando se entrenó estrictamente con datos matemáticos (conjunto de datos MATH), OPDLM-MATH superó a las líneas base estándar de DLM y igualó a los modelos especializados entrenados con RL (TraDo) sin requerir un DLM preentrenado o aprendizaje por refuerzo con recompensas verificables.

5. Significado y Reivindicaciones

El artículo afirma que OPDLM establece una nueva frontera de Pareto para la eficiencia del entrenamiento de DLM. Al aprovechar la destilación on-policy, los autores argumentan que la conversión de ARLMs a DLMs puede lograrse con recursos computacionales mínimos, haciendo que la generación de texto basada en difusión sea accesible sin el "costo prohibitivo" de preentrenar desde cero.

Los autores enfatizan que este enfoque permite a la comunidad adaptar futuros ARLMs en modelos de difusión de manera eficiente, preservando el rico conocimiento de los modelos originales mientras se obtienen los beneficios de la decodificación paralela de la difusión. El trabajo se presenta como una vía práctica para cerrar la breancia entre la madurez de los modelos autorregresivos y las ventajas potenciales de los modelos de difusión.