Resumen Técnico: Modelos de Lenguaje de Difusión Bifocales

1. Planteamiento del Problema

Los Modelos de Lenguaje de Difusión Discreta (dLLM) ofrecen una alternativa prometedora a la generación autorregresiva (AR) al recuperar múltiples tokens enmascarados en paralelo, lo que potencialmente ofrece aceleraciones de tiempo de ejecución de entre 3 y 8 veces. Sin embargo, los dLLM enfrentan un dilema arquitectónico fundamental respecto al acceso al contexto y la eficiencia de la inferencia:

• Atención Bidireccional: Los dLLM de alta calidad (p. ej., LLaDA, Dream) utilizan atención bidireccional completa, permitiendo que cada token acceda al contexto completo. Si bien esto maximiza la calidad de la generación, imposibilita el uso del caché de Clave-Valor (KV) de prefijo estándar. Cada paso de eliminación de ruido debe recomputar la atención sobre toda la secuencia, lo que conduce a un bajo rendimiento de procesamiento (throughput) en escenarios de servicio por lotes (batch-serving).
• Atención Causal: Los dLLM causales (p. ej., WeDLM) preservan la estructura de dependencia de izquierda a derecha, lo que permite un caché KV eficiente y un alto rendimiento. Sin embargo, esto limita estrictamente el contexto a la izquierda, descartando toda la información del lado derecho y degradando sustancialmente la calidad de la generación en comparación con los modelos bidireccionales.

Los compromisos existentes, como la difusión por bloques (restringiendo la atención bidireccional a bloques fijos) o las variantes híbridas de AR-difusión, no logran resolver la tensión central: o bien limitan el contexto del lado derecho a una ventana pequeña, o introducen complejidad arquitectónica sin recuperar plenamente la información faltante del lado derecho.

2. Metodología: dLLMs Bifocales y R2LM

El artículo introduce los dLLMs Bifocales, un paradigma basado en el contexto bidireccional asimétrico. En lugar de tratar el contexto izquierdo y derecho de manera simétrica mediante atención completa, el modelo utiliza mecanismos distintos para cada dirección:

1. Contexto Izquierdo: Gestionado por un backbone de Transformer causal estándar, asegurando la compatidad total con el caché KV de prefijo.
2. Contexto Derecho: Suministrado a través de una vía ligera que no es de atención y que se ejecuta en paralelo.

Los autores instancian este paradigma como R2LM (Right-to-Left Mamba):

• Arquitectura: R2LM adjunta un Modelo de Espacio de Estados (SSM) de Mamba de dirección inversa como un "sidecar" a un backbone autorregresivo preentrenado.
• Mecanismo:
  • El backbone causal procesa los tokens de izquierda a derecha, proporcionando un contexto izquierdo preciso y manteniendo el caché KV.
  • El flujo R2LML procesa la secuencia en reversa (de derecha a izquierda). Toma los estados ocultos del backbone, voltea la secuencia, aplica un escaneo selectivo (Mamba) y vuelve a voltear el resultado.
  • Este flujo inverso genera una señal de corrección residual ($\Delta^{R2L}_i$) que aproxima la ganancia de información del contexto del lado derecho.
• Integración: El flujo R2LM se adjunta mediante hooks de avance (forward hooks) en cada $k$-ésimo capa del decodificador. La contribución está controlada por un escalar aprendible $s$ (inicializado en cero), lo que garantiza que el modelo aumentado sea bit-idéntico al modelo base causal durante la inicialización.
• Inferencia: Durante la decodificación paralela, el prompt se pre-llena una vez para cachear claves, valores y estados ocultos de los hooks. Los pasos de eliminación de ruido subsiguientes procesan solo el bloque de generación, leyendo del caché KV y ejecutando el escaneo R2L únicamente en los tokens de generación. Esto preserva el perfil de rendimiento de los modelos causales mientras inyecta el contexto del lado derecho.

3. Contribuciones Clave

1. Nuevo Paradigma: Introducción de los dLLMs Bifocales, el primer diseño que ofrece un contexto del lado derecho continuo y consciente de la posición, preservando al mismo tiempo el caché KV de prefijo causal estándar.
2. Instanciación R2LM: Una arquitectura específica que combina un Transformer causal con un sidecar de SSM Mamba de dirección inversa. Soporta tanto el preentrenamiento continuo conjunto como un modo de "plug-in" donde el backbone está congelado, permitiendo la integración en checkpoints AR existentes sin alterar los pesos preentrenados.
3. Base Teórica: El enfoque se fundamenta en una descomposición de log-posterior aditiva, tratando la información del contexto derecho como una corrección residual al término del contexto causal izquierdo.

4. Resultados Experimentales

Los autores evaluaron R2LM mediante una comparación controlada de tres vías (Bidireccional, Causal y R2LM) utilizando Qwen3-1.7B con 60B de tokens de preentrenamiento continuo.

• Calidad de Generación:

  • Tareas de Objetivo Largo (Long-Target): R2LM alcanzó una precisión promedio del 47.44% en tareas de múltiples tokens, superando al baseline Causal (43.90%) por 3.54 puntos porcentuales y al baseline Bidireccional (44.78%) por 2.66 puntos.
  • Tareas de Objetivo Corto (Short-Target): R2LM mejoró sobre el baseline causal en tareas de un solo token (p. ej., MMLU, BoolQ) y redujo significativamente la brecha con el modelo bidireccional.
  • General: R2LM superó al dLLM bidireccional en el promedio TOTAL (47.71% vs 46.74%) y excedió al baseline causal en la mayoría de los benchmarks.
  • Eficiencia de Plug-in: La variante R2LM-PI (backbone congelado, entrenado solo con el flujo R2L con 5B de tokens) alcanzó el promedio total más alto (47.76%), recuperando el 59% de la ganancia del modelo conjunto en objetivos largos con solo 1/12 de los datos de entrenamiento y 1/10 de los parámetros entrenables.

• Eficiencia de Inferencia:

  • Throughput: En servicio por lotes ($B=8$) con un prompt de longitud 4096, R2LM logró un throughput 12.9× mayor que el dLLM bidireccional y una aceleración de 1.9× a 2.9× sobre los baselines AR.
  • Escalabilidad: Mientras que el throughput bidireccional colapsó a medida que aumentaba la longitud del prompt (debido a la recomputación de la atención completa), la ruta con caché KV de R2LM se mantuvo casi plana.
  • Memoria: R2LM preservó el perfil de memoria de los modelos causales, ahorrando aproximadamente un 32% de memoria en comparación con los modelos bidireccionales en longitudes de secuencia largas ($P=16384$).

• Estudios de Ablación:

  • Los experimentos confirmaron que las ganancias no se deben simplemente al aumento del número de parámetros. Un adaptador MLP (mismo número de parámetros, sin dirección) no logró mejorar la perplejidad, y un Mamba de Izquierda a Derecha (dirección incorrecta) funcionó peor que el baseline. Solo el Mamba Inverso logró cerrar la brecha con el rendimiento bidireccional.

5. Significado y Reivindicaciones

El artículo afirma que los dLLMs Bifocales resuelven el conflicto de larga data entre la calidad de generación y la eficiencia de inferencia en los modelos de difusión discreta. Al desacoplar la vía del contexto derecho del mecanismo de atención, R2LM logra:

• Alta Calidad: Superar a los dLLMs bidireccionales en benchmarks promedio mediante el uso efectivo del contexto del lado derecho.
• Alta Eficiencia: Mantener las capacidades de caché KV de los modelos causales, permitiendo la decodificación paralela con ganancias significativas de throughput en escenarios de servicio por lotes.
• Modularidad: La capacidad de "plug-in" permite añadir el mecanismo de contexto derecho a modelos causales preentrenados existentes con un mínimo de datos y actualizaciones de parámetros.

Los autores señalan limitaciones, incluyendo que el tamaño del modelo (1.7B) y el presupuesto de entrenamiento están por debajo de la escala donde los dLLM suelen establecer sus números publicados más sólidos, y que el flujo R2L añade una pequeña sobrecarga (~10.8% de parámetros) que ralentiza ligeramente la inferencia de una sola solicitud en comparación con los modelos puramente causales.