💬 NLP

Esoteric Language Models: A Family of Any-Order Diffusion LLMs

Este artículo presenta Eso-LMs, una nueva familia de modelos de lenguaje de difusión que fusionan los paradigmas autorregresivo y de difusión enmascarada utilizando atención causal para permitir el almacenamiento en caché de KV y la generación paralela, estableciendo así un nuevo estado del arte en la frontera de Pareto de velocidad-calidad para la generación incondicional.

Autores originales: Subham Sekhar Sahoo, Zhihan Yang, Yash Akhauri, Johnna Liu, Deepansha Singh, Zhoujun Cheng, Zhengzhong Liu, Eric Xing, John Thickstun, Arash Vahdat

Publicado 2026-06-01

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Subham Sekhar Sahoo, Zhihan Yang, Yash Akhauri, Johnna Liu, Deepansha Singh, Zhoujun Cheng, Zhengzhong Liu, Eric Xing, John Thickstun, Arash Vahdat

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando escribir una historia, pero tienes dos formas muy diferentes de hacerlo.

La Forma Antigua (Modelos Autoregresivos):
Piensa en esto como escribir una oración palabra por palabra, de izquierda a derecha. Escribes "El", luego piensas en qué sigue, escribes "gato", luego "se", "sentó", y así sucesivamente. Esto es muy preciso y de alta calidad, pero es lento porque no puedes escribir la siguiente palabra hasta que hayas terminado la anterior. Es como una sola persona tecleando en un teclado; no puede presionar dos teclas a la vez.

La Forma de "Difusión" (Modelos de Difusión con Máscara):
Ahora, imagina que tienes una página en blanco donde cada palabra está oculta tras una máscara (como un "____"). En lugar de escribir una palabra a la vez, adivinas muchas de las palabras ocultas al mismo tiempo. Podrías adivinar la primera, la tercera y la quinta palabra simultáneamente. Luego revisas tus suposiciones, corriges las que están mal y vuelves a adivinar. Esto es mucho más rápido porque estás trabajando en toda la página a la vez. Sin embargo, debido a que estás adivinando muchas cosas a la vez sin revisar tu trabajo previo, a veces cometes errores, y la historia final puede no ser tan perfecta como en la "Forma Antigua". Además, hasta ahora, este método era ineficiente porque cada vez que hacías una suposición, tenías que releer la página entera desde el principio, incluso las partes que ya habías resuelto.

La Nueva Solución: "Modelos de Lenguaje Esotéricos" (Eso-LMs)

Los investigadores en este artículo crearon un nuevo método llamado Eso-LMs (Modelos de Lenguaje Esotéricos). Lo llaman "Esotérico" porque es un poco inusual y explora los límites extraños entre estas dos formas.

Piensa en los Eso-LMs como un equipo híbrido que obtiene lo mejor de ambos mundos:

La Fase de "Adivinación Grupal": Primero, el modelo actúa como el método de Difusión. Mira toda la página y adivina un montón de palabras al mismo tiempo. Esto es rápido y cubre mucho terreno rápidamente.
La Fase de "Pulido": Una vez que el grupo ha logrado un buen comienzo, el modelo cambia a la "Forma Antigua" (palabra por palabra) para rellenar los espacios restantes.

¿Por qué es esto algo importante?

El artículo afirma tres grandes avances:

1. El "Banco de Memoria" (KV Caching)
En el antiguo método de Difusión, cada vez que el modelo adivinaba una palabra, tenía que releer toda la historia desde el principio, incluso las partes que ya había resuelto. Era como un estudiante leyendo un libro entero cada vez que quería verificar un dato.
Los Eso-LMs introducen un "Banco de Memoria" (llamado KV Caching). Una vez que se descifra una palabra, el modelo la guarda en su memoria. Cuando necesita adivinar la siguiente palabra, simplemente consulta su banco de memoria en lugar de releer todo el libro.

El Resultado: El modelo es ahora de 14 a 65 veces más rápido que el antiguo método de Difusión para historias largas, y de 3 a 4 veces más rápido que el método de "bloques" anterior.

2. El Equilibrio Perfecto (La "Frontera de Pareto")
Normalmente, tienes que elegir entre velocidad y calidad. Si quieres que sea rápido, es desordenado. Si quieres que sea perfecto, es lento.
Los Eso-LMs crean una escala deslizante suave. Puedes decirle al modelo: "Quiero que sea 80% rápido y 20% perfecto", o "Quiero que sea 20% rápido y 80% perfecto".

El Resultado: Logra un nuevo "Estado del Arte". No se queda simplemente en el medio; supera a los métodos anteriores en cada configuración de velocidad. Incluso cuando funciona muy rápido, no produce texto basura (un problema que tenía el método de "bloques" anterior).

3. Calcular la "Puntuación Real"
En el aprendizaje automático, es difícil saber exactamente qué tan "bueno" es un modelo de Difusión porque las matemáticas suelen ser demasiado complejas para resolverse con exactitud.
Debido a que los Eso-LMs utilizan un tipo específico de atención (una forma en que el modelo observa las palabras), los investigadores descubrieron una manera de calcular la puntuación exacta (verosimilitud) por primera vez.

El Resultado: Esto permite un mejor entrenamiento y prueba, y abre la puerta al uso de técnicas avanzadas (como el Aprendizaje por Refuerzo) para hacer que estos modelos sean aún más inteligentes.

En Resumen

El artículo presenta una nueva forma de generar texto que combina la velocidad de adivinar muchas palabras a la vez con la precisión de escribirlas una por una. Al añadir un "banco de memoria" al método rápido, lo han hecho increíblemente eficiente, resolviendo el problema de velocidad que frenó a los modelos de Difusión durante mucho tiempo. Lo llaman "Esotérico" porque es una mezcla inteligente y ligeramente poco convencional de dos filosofías diferentes que funciona mejor que cualquiera de las dos por separado.

Resumen Técnico: Modelos de Lenguaje Esotéricos (Eso-LMs)

Planteamiento del Problema

Los Modelos de Lenguaje de Difusión (MDMs) ofrecen una alternativa convincente a los modelos Autorregresivos (AR) al permitir la generación paralela y controlada. Sin embargo, los MDMs existentes enfrentan dos limitaciones críticas:

Eficiencia de Inferencia: A pesar de las capacidades de generación paralela, los MDMs son significativamente más lentos que los modelos AR en la práctica debido a la falta de caché de KV (KV caching). Los MDMs estándar utilizan atención bidireccional, lo que impide la reutilización de los estados de clave-valor durante el proceso de eliminación de ruido.
Calidad de Generación: Los MDM generalmente exhiben una perplejidad más alta (peor verosimilitud) que los modelos AR en tareas de lenguaje complejas.
Limitaciones de los Enfoques de Interpolación: Los intentos recientes para cerrar esta brecha, como el Bloque de Difusión (BD3-LMs), que realizan la difusión sobre bloques de longitud fija de forma secuencial, sufren de una degradación en la calidad de la muestra con pocos pasos de muestreo (bajo NFE) y ofrecen un caché de KV incompleto (almacenan entre bloques pero no dentro de ellos).

Metodología

Los autores proponen los Modelos de Lenguaje Esotéricos (Eso-LMs), un marco híbrido que fusiona los paradigmas AR y de Difusión con Máscara (Masked Diffusion). La innovación central radica en tratar el proceso de generación como una interpolación suave entre la difusión total y la autorregresión total, gobernada por un parámetro $\alpha_0$ (la fracción esperada de tokens generados mediante difusión).

1. Proceso Generativo Híbrido

Los Eso-LMs descomponen el proceso generativo en dos fases:

Fase de Difusión: Un componente MDM genera una secuencia parcialmente enmascarada en paralelo.
Fase Secuencial: Un componente AR completa los tokens de la máscara restantes de forma secuencial de izquierda a derecha.
El modelo se entrena con una pérdida híbrida que combina objetivos AR y MDM, permitiendo que interpole entre las perplejidades de ambos paradigmas.

2. Mecanismo de Atención y Caché de KV

Para soportar ambos estilos de generación dentro de un solo transformador, los autores introducen una matriz de sesgo de atención flexible.

Atención Causal: A diferencia de los MDM previos que usan atención bidireccional, los Eso-LMs emplean atención causal (de izquierda a derecha).
Estrategia de Mezcla (Shuffling): Durante el entrenamiento para la fase de difusión, la secuencia de entrada se mezcla de tal manera que los tokens limpios preceden a los tokens enmascarados. Esto permite que el modelo utilice la atención causal estándar mientras sigue aprendiendo a predecir tokens en un orden aleatorio (Any-Order AR).
Caché de KV Exacto: Al imponer la atención causal, el modelo puede almacenar en caché las claves y valores de los tokens a medida que se eliminan de ruido. Los autores implementan un programa de eliminación de ruido unificado que restringe las pasadas hacia adelante solo a los tokens limpios y al conjunto actual de tokens de máscara a actualizar, eliminando la computación redundante y permitiendo el caché de KV exacto por primera vez en los MDM.

3. Estimación de Verosimilitud Tratable

Una contribución teórica significativa es la derivación de la primera fórmula de verosimilitud (asintóticamente) exacta para los MDM.

Al aprovechar la conexión entre los MDM y los modelos AR de cualquier orden (Any-Order AR), los autores demuestran que el Límite Inferior de Evidencia Negativa (NELBO) puede calcularse mediante una única pasada hacia adelante utilizando una permutación específica de la secuencia de entrada.
Proponen un límite de Pesado por Importancia (IW) que converge a la verosimilitud exacta a medida que aumenta el número de muestras, una hazaña previamente intratable para los MDM estándar debido a su naturaleza bidireccional.

Contribuciones Clave

Nuevo Marco Híbrido: Introducción de los Eso-LMs, que permiten una interpolación fina entre las perplejidades de difusión y AR, cerrando la brecha con los modelos AR mientras conservan los beneficios de la difusión.
Eficiencia de Vanguardia: Al permitir el caché de KV exacto durante la difusión mientras preservan la generación paralela, los Eso-LMs logran un nuevo estado del arte en la frontera de Pareto de velocidad-calidad para la generación incondicional.
Rendimiento Superior en Bajo NFE: A diferencia de los BD3-LMs, que se degradan significativamente con pocos pasos de muestreo, los Eso-LMs se mantienen competitivos con los MDM en regímenes de bajo NFE y con los modelos AR en regímenes de alto NFE.
Aceleración en Contextos Largos: En contextos largos, los Eso-LMs proporcionan una inferencia 14 a 65 veces más rápida que los MDM estándar y 3 a 4 veces más rápida que las líneas base de difusión por bloques (BD3-LMs).
Fórmula de Verosimilitud Exacta: Derivación de la primera fórmula de verosimilitud exacta para los MDM, facilitando la aplicación de técnicas de Aprendizaje por Refuerzo (RL) como GRPO a los modelos de difusión.

Resultados Experimentales

Los autores evaluaron los Eso-LMs en los conjuntos de datos One Billion Words (LM1B) y OpenWebText (OWT).

Perplejidad: Los Eso-LMs interpolan suavemente entre las perplejidades de difusión y AR. Aunque el modo de difusión pura ( $\alpha_0=1$ ) tiene una perplejidad ligeramente mayor que el MDLM (debido al cambio de atención bidireccional a causal), logra un rendimiento competitivo.
Compromiso Velocidad-Calidad: En tareas de generación incondicional, los Eso-LMs establecen un nuevo SOTA en la frontera de Pareto. Evitan el colapso de calidad visto en los BD3-LMs en pasos de muestreo bajos.
Latencia: Para longitudes de secuencia de 8192, los Eso-LMs son aproximadamente 65 veces más rápidos que MDLM y 3.8 veces más rápidos que los BD3-LMs.
Rendimiento Zero-Shot: Los modelos mantienen una precisión competitiva en tareas de verosimilitud zero-shot descendentes.

Significado y Reivindicaciones

El artículo afirma que los Eso-LMs representan un cambio de paradigma en el modelado de lenguaje al unificar con éxito las fortalezas de los modelos AR y de difusión.

Cerrando la Brecha: El trabajo demuestra que el compromiso entre la velocidad de generación y la calidad de la muestra no es fijo; puede optimizarse fusionando paradigmas.
Viabilidad Práctica: Al resolver el cuello de botella del caché de KV en los modelos de difusión, el artículo argumenta que los modelos de lenguaje basados en difusión pueden volverse viables para aplicaciones en tiempo real (por ejemplo, sistemas de chat) donde los modelos AR dominan actualmente.
Avance Teórico: La derivación de verosimilitudes exactas para los MDM abre nuevas vías para entrenar y ajustar modelos de difusión utilizando objetivos basados en la verosimilitud (por ejemplo, RL), que anteriormente eran computacionalmente prohibitivos.

Los autores posicionan a los Eso-LMs no meramente como una mejora incremental, sino como un replanteamiento fundamental de la arquitectura del transformador de eliminación de ruido, explorando los límites "esotéricos" del diseño de modelos de lenguaje para lograr una eficiencia y calidad óptimas.