💬 NLP

Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed

Este artículo presenta Efficient-DLM, un marco que convierte modelos autoregresivos preentrenados en modelos de lenguaje de difusión altamente eficientes mediante el uso de un patrón de atención por bloques y enmascaramiento de tokens dependiente de la posición, logrando así una precisión y un rendimiento superiores en comparación con los modelos más avanzados.

Autores originales: Yonggan Fu, Lexington Whalen, Zhifan Ye, Xin Dong, Shizhe Diao, Jingyu Liu, Chengyue Wu, Hao Zhang, Enze Xie, Song Han, Maksim Khadkevich, Jan Kautz, Yingyan Celine Lin, Pavlo Molchanov

Publicado 2026-05-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yonggan Fu, Lexington Whalen, Zhifan Ye, Xin Dong, Shizhe Diao, Jingyu Liu, Chengyue Wu, Hao Zhang, Enze Xie, Song Han, Maksim Khadkevich, Jan Kautz, Yingyan Celine Lin, Pavlo Molchanov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El panorama general: El atasco vs. La autopista

Imagina dos formas de escribir una historia:

La forma antigua (Autoregresiva/AR): Esto es como una carretera de un solo carril. Escribes una palabra, luego la siguiente, luego la siguiente. No puedes escribir la segunda palabra hasta que la primera esté terminada. Es muy precisa, pero es lenta porque tienes que esperar en fila por cada palabra individual.
La forma nueva (Difusión/DLM): Esto es como una autopista de varios carriles. Puedes escribir muchas palabras al mismo tiempo (en paralelo). Debería ser mucho más rápida. Sin embargo, en el pasado, estas "autopistas" eran irregulares, confusas y a menudo producían historias de menor calidad que la carretera de un solo carril. También eran muy costosas de construir (entrenar).

El problema: Los científicos querían la velocidad de la autopista con la calidad de la carretera de un solo carril, pero no podían averiguar cómo construirla sin empezar desde cero (lo cual cuesta una fortuna).

La solución: Los autores de este artículo descubrieron cómo tomar un modelo existente de "carretera de un solo carril" de alta calidad y transformarlo en un modelo de "autopista" que sea tanto rápido como preciso. Llamaron a esta nueva familia de modelos Efficient-DLM.

Cómo lo hicieron: Tres trucos clave

El artículo identifica tres "reglas" principales que tuvieron que seguir para que esta transformación funcionara.

1. La regla del "Contexto limpio" (El método de bloques)

El error antiguo: Los intentos anteriores trataron de permitir que el modelo mirara la oración completa de una vez, incluso las partes que todavía estaban desordenadas o faltaban. Imagina intentar resolver un rompecabezas donde faltan la mitad de las piezas, y se te permite mirar los espacios vacíos como si estuvieran llenos. Esto confundía al modelo y hacía que olvidara lo que había aprendido antes.
La solución: Los autores decidieron dividir la oración en pequeños bloques (como capítulos en un libro).
- El modelo mira los capítulos anteriores, que ya están terminados y limpios.
- Solo intenta arreglar el capítulo actual, que está desordenado.
- Analogía: Piensa en ello como un equipo de construcción. No intentan arreglar todo el edificio a la vez. Terminan los cimientos y el primer piso (contexto limpio) antes de subir a arreglar el segundo piso (el bloque desordenado). Esto mantiene la estructura estable y les permite usar un "atajo" (llamado caché KV) para recordar lo que ya han construido, haciendo el proceso mucho más rápido.

2. La regla de "Sin desplazamiento de tokens" (Deja de adivinar el siguiente paso)

El error antiguo: Al convertir el modelo antiguo, los investigadores solían hacer que el modelo adivinara la siguiente palabra, igual que hacía el antiguo modelo de un solo carril.
La solución: Los autores descubrieron que el modelo no necesita adivinar la palabra "siguiente". Solo necesita arreglar las palabras faltantes justo frente a él.
Analogía: Imagina que estás editando un documento.
- Forma antigua: Lees una oración y luego intentas predecir la siguiente oración antes de terminar de editar la actual.
- Forma nueva: Solo te enfocas en rellenar los espacios en blanco en el párrafo actual. Resulta que arreglar los espacios en blanco es más fácil y preciso que intentar predecir el futuro.

3. La regla del "Enmascaramiento dependiente de la posición" (El sesgo de izquierda a derecha)

El problema: Cuando el modelo estaba siendo entrenado, solía ocultar palabras al azar (como elegir números de lotería). Pero cuando el modelo realmente se usa (inferencia), tiende naturalmente a terminar palabras de izquierda a derecha, igual que los humanos leen. Esto creó una discrepancia: el entrenamiento no se parecía a la prueba real.
La solución: Los autores cambiaron el entrenamiento para que el modelo sea más propenso a ocultar palabras al final de un bloque, en lugar del principio.
Analogía: Imagina a un profesor corrigiendo un examen.
- Entrenamiento antiguo: El profesor cubre preguntas aleatorias de la página.
- Entrenamiento nuevo: El profesor se da cuenta de que los estudiantes suelen atascarse en las últimas preguntas de una sección. Así que el profesor practica específicamente cubriendo el final de la sección. Esto prepara al modelo para el mundo real, donde tiene que terminar la oración de izquierda a derecha.

Los resultados: Velocidad y astucia

Siguiendo estas reglas, los autores crearon la familia Efficient-DLM (tamaños 1.5B, 4B y 8B).

Velocidad: Son significativamente más rápidos que los mejores modelos existentes. Por ejemplo, su modelo de 8B es 4.5 veces más rápido que un competidor llamado "Dream" y 2.7 veces más rápido que "Qwen3 4B".
Precisión: A pesar de ser más rápidos, son en realidad más precisos en tareas de matemáticas, programación y razonamiento que los modelos que superaron.
Flexibilidad: Como pueden generar múltiples palabras a la vez, puedes ajustarlos. Si necesitas velocidad, generas muchas palabras a la vez. Si necesitas precisión extrema, generas menos palabras a la vez. Es como tener un coche que puede cambiar instantáneamente entre "Modo Carreras" y "Modo Crucero".

Resumen

El artículo dice: "Tomamos un modelo lento y preciso y le enseñamos a correr por una autopista. Lo hicimos organizando el trabajo en bloques limpios, evitando que adivine el futuro y entrenándolo para enfocarse en el final de las oraciones. El resultado es una familia de modelos que es tanto más rápida como más inteligente que el estado actual del arte".

También señalaron que, como estos modelos pueden mirar el texto desde ambas direcciones (bidireccionales), son sorprendentemente buenos entendiendo el "significado" del texto para tareas de búsqueda y embebimiento, superando a los antiguos modelos de una sola dirección.

1. Planteamiento del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) Autoregresivos (AR) alcanzan la máxima precisión del estado del arte, sufren de un cuello de botella en la decodificación secuencial (generar un token a la vez), lo que limita el rendimiento y la utilización del hardware, especialmente en escenarios con restricciones de memoria.

Los Modelos de Lenguaje por Difusión (dLM) ofrecen una alternativa prometedora al permitir una generación paralela y no autoregresiva mediante la eliminación iterativa de ruido. Sin embargo, los dLM existentes enfrentan dos desafíos críticos:

Eficiencia en el Entrenamiento: Entrenar dLMs desde cero es prohibitivamente costoso porque deben aprender todas las posibles permutaciones de tokens, mientras que los modelos AR solo aprenden dependencias de izquierda a derecha.
Brecha de Rendimiento: Al convertir modelos AR preentrenados a dLMs, los métodos existentes (que a menudo utilizan atención totalmente bidireccional) sufren caídas significativas en la precisión y no aprovechan completamente la caché de Clave-Valor (KV), resultando en velocidades de inferencia más lentas que los modelos AR en la práctica.

La pregunta central abordada por este trabajo es: ¿Cómo podemos convertir eficientemente modelos AR preentrenados en dLMs que preserven una alta precisión en tareas mientras logran velocidades de generación paralela significativamente más rápidas?

2. Metodología: El Marco Efficient-DLM

Los autores proponen un enfoque sistemático para convertir modelos AR preentrenados en dLMs eficientes mediante Preentrenamiento Continuo. Su metodología se centra en tres pilares clave:

A. Optimización del Patrón de Atención

El artículo identifica que el patrón de atención es el factor más crítico en la conversión de AR a dLM.

Limitación de la Atención Totalmente Bidireccional: Los métodos existentes corrompen toda la secuencia y permiten que todos los tokens se atiendan entre sí. Esto causa grandes desviaciones de los pesos del modelo AR original, rompe la causalidad y complica la caché KV.
Solución Propuesta: Atención por Bloques con Contexto Limpio:
- Causalidad por Bloques: La secuencia se divide en bloques. La atención es causal entre bloques (un bloque solo atiende a bloques anteriores) pero bidireccional dentro de un bloque.
- Condicionamiento con Contexto Limpio: Durante el entrenamiento, un bloque ruidoso se condiciona sobre el contexto limpio (totalmente decodificado) de todos los bloques precedentes, en lugar de un contexto corrupto.
- Beneficio: Este diseño imita el proceso de inferencia en tiempo de prueba (donde los bloques anteriores están totalmente decodificados), minimiza la desviación de pesos del modelo AR preentrenado y habilita la caché KV nativa.

B. Enmascaramiento de Tokens Dependiente de la Posición

Los autores identifican una brecha entre entrenamiento y prueba en las estrategias de enmascaramiento de tokens.

La Brecha: Los dLMs existentes utilizan enmascaramiento uniforme (enmascarar tokens aleatoriamente independientemente de la posición). Sin embargo, durante la inferencia con muestreo basado en confianza, la eliminación de ruido exhibe naturalmente una tendencia de izquierda a derecha (los tokens se decodifican secuencialmente de izquierda a derecha a medida que aumenta la confianza).
Solución Propuesta: Una estrategia de enmascaramiento dependiente de la posición donde la probabilidad de enmascarar un token aumenta a medida que la posición del token se mueve hacia el final del bloque (especialmente a niveles bajos de ruido).
- Esto se controla mediante un hiperparámetro $\beta$ (o relación de semivida $\lambda$ ).
- Objetivo: Forzar al modelo a aprender los casos "más difíciles" (tokens posteriores en un bloque) de manera más efectiva durante el entrenamiento, alineando la distribución de entrenamiento con el comportamiento de inferencia.

C. Dinámicas de Entrenamiento y Desplazamiento de Tokens

Desplazamiento de Tokens: El artículo encuentra que el mecanismo de "desplazamiento de tokens" (predecir el siguiente token en lugar del token enmascarado en sí mismo, común en algunas conversiones de AR a dLM) es innecesario y potencialmente dañino. Eliminarlo mejora la precisión.
Presupuesto de Entrenamiento: Mientras que un entrenamiento de bajo costo (~~10 mil millones de tokens) recupera la mayor parte de la precisión AR, un entrenamiento extendido (~~100 mil millones+ de tokens) mejora significativamente la estimación de verosimilitud, permitiendo una decodificación paralela más agresiva (mayor rendimiento) sin sacrificar la precisión.

3. Contribuciones Clave

Familia de Modelos Efficient-DLM: El lanzamiento de una nueva familia de modelos (1.5B, 4B, 8B) convertidos a partir de modelos AR Qwen2.5 y Qwen3, que superan tanto a las líneas base AR como a las dLM del estado del arte.
Atención por Bloques con Contexto Limpio: Un esquema de entrenamiento novedoso que preserva las distribuciones de pesos AR y habilita la caché KV, resolviendo el compromiso entre precisión y eficiencia.
Enmascaramiento Dependiente de la Posición: Una estrategia para cerrar la brecha entre entrenamiento e inferencia, impulsando significativamente el rendimiento bajo configuraciones de decodificación paralela agresiva.
Análisis Exhaustivo: Estudios sistemáticos sobre tamaños de bloque, patrones de atención y dinámicas de entrenamiento, proporcionando directrices accionables para la comunidad.

4. Resultados Experimentales

Los modelos Efficient-DLM fueron evaluados frente a modelos AR del estado del arte (Qwen3, Llama3.2) y dLMs (Dream, LLaDA) en 12 tareas (Matemáticas, Codificación, Razonamiento, etc.).

Precisión vs. Rendimiento:
- Efficient-DLM 8B logra una precisión un 5.4% superior que Dream 7B con un rendimiento 4.5 veces mayor.
- En comparación con Qwen3 4B, Efficient-DLM 8B logra una precisión un 2.7% superior con un rendimiento 2.7 veces mayor.
- Supera a Qwen3 8B en precisión mientras ofrece un rendimiento significativamente mejor.
Flexibilidad: Un único modelo Efficient-DLM puede equilibrar dinámicamente la precisión y la velocidad ajustando el umbral de confianza durante la inferencia, ofreciendo una solución "todo en uno" para diferentes escenarios de implementación.
Embeddings de Texto: Debido a su naturaleza bidireccional, los Efficient-DLM superan significativamente a los modelos AR del mismo tamaño en tareas de embeddings de texto (benchmark MTEB), mostrando una mejora promedio de ~7-10%.
Estudios de Ablación:
- Cambiar de atención bidireccional a atención por bloques con contexto limpio mejoró la precisión promedio en ~19%.
- Añadir enmascaramiento dependiente de la posición mejoró la precisión en ~2.6% bajo decodificación paralela agresiva.

5. Significado e Impacto

Cambio de Paradigma: Este trabajo demuestra que los dLMs pueden ser más rápidos y precisos que los modelos AR si el proceso de conversión se optimiza correctamente. Cuestiona la noción de que los dLMs son inherentemente más lentos o menos precisos.
Implementación Práctica: Al habilitar la caché KV y la decodificación paralela, los Efficient-DLM hacen viable la inferencia de LLM de alto rendimiento en hardware limitado, abordando un cuello de botella mayor en aplicaciones del mundo real.
Escalabilidad: Los hallazgos proporcionan una receta escalable para convertir modelos AR masivos existentes (como Qwen, Llama) en dLMs eficientes sin necesidad de entrenar desde cero, reduciendo drásticamente el costo de adoptar la generación basada en difusión.
Futuras Direcciones: El artículo sugiere que los dLMs no son solo alternativas para la generación, sino candidatos superiores para tareas que requieren contexto bidireccional (como embeddings) y planificación.

En resumen, Efficient-DLM establece un nuevo estado del arte para los modelos de lenguaje por difusión al resolver los cuellos de botella de eficiencia y precisión mediante un diseño arquitectónico cuidadoso (atención por bloques) y una alineación de estrategias de entrenamiento (enmascaramiento dependiente de la posición).