💬 NLP

Locally Coherent Parallel Decoding in Diffusion Language Models

El artículo presenta CoDiLA, un método que combina el muestreo paralelo de modelos de difusión con un modelo autoregresivo auxiliar compacto para generar bloques de código coherentes y sintácticamente válidos, logrando así una latencia sublineal sin sacrificar la precisión.

Autores originales: Michael Hersche, Nicolas Menet, Ronan Tanios, Abbas Rahimi

Publicado 2026-03-24

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Michael Hersche, Nicolas Menet, Ronan Tanios, Abbas Rahimi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que escribir código o texto con una Inteligencia Artificial es como construir una casa.

El Problema: Los Constructores que Trabajan "Ciegamente"

Hasta ahora, la mayoría de los modelos de IA (llamados autoregresivos) funcionaban como un albañil muy meticuloso que pone un solo ladrillo a la vez.

Pone el ladrillo 1.
Mira el ladrillo 1 y pone el ladrillo 2.
Mira los ladrillos 1 y 2 y pone el ladrillo 3.

Esto es muy seguro y coherente, pero lento. Si quieres construir un rascacielos (un texto largo), tardas mucho.

Por otro lado, surgieron los Modelos de Difusión (DLM). Imagina que estos son un equipo de 100 albañiles que intentan poner todos los ladrillos del piso al mismo tiempo en un solo día. ¡Qué velocidad! Pero hay un gran problema: como cada albañil trabaja solo y no habla con sus vecinos, a veces ponen un ladrillo rojo donde debería ir uno azul, o dejan un hueco en medio de una pared. El resultado es un piso que parece un caos: los ladrillos individuales existen, pero la estructura no tiene sentido.

En la vida real: Si pides a una IA de difusión que escriba una función de código, a veces te da palabras que existen, pero la sintaxis está rota (ej: def merge (list en lugar de def merge(list).

La Solución: CoDiLA (El Arquitecto y el Jefe de Obra Local)

Los autores de este paper, Michael y su equipo, crearon una solución genial llamada CoDiLA. Imagina que no tienes que elegir entre "lento y perfecto" o "rápido y caótico". CoDiLA combina lo mejor de ambos mundos usando dos personajes:

El Arquitecto Global (El Modelo de Difusión):
Este es el experto que tiene la visión general de la casa. Él mira el plano y dice: "¡Oye, en esta zona del piso necesitamos una pared de ladrillos rojos!". Pero, como trabaja rápido y en paralelo, a veces no se fija en los detalles finos de cómo encajan los ladrillos entre sí.
El Jefe de Obra Local (El Modelo AR pequeño):
Aquí entra la magia. En lugar de que el Arquitecto intente poner cada ladrillo individualmente (lo cual es lento), el Arquitecto le pasa un "boceto suave" al Jefe de Obra local.
- El Arquitecto dice: "En este bloque de 4 ladrillos, creo que hay un 60% de probabilidad de que sea rojo, un 30% azul y un 10% verde".
- El Jefe de Obra (que es un modelo pequeño y muy rápido, como un experto en un solo tipo de ladrillo) recibe esa información y dice: "¡Entendido! Con esos datos, sé exactamente cómo encajar esos 4 ladrillos para que la pared sea sólida y tenga sentido".

La Analogía de la "Condición Suave" (Soft-Conditioning)

Lo más importante de este papel es cómo se comunican.

El error de otros: Algunos intentaron decirle al Jefe de Obra solo: "Pon un ladrillo ROJO". Pero si el Arquitecto estaba un poco inseguro (quizás era rojo o quizás naranja), el Jefe de Obra se equivoca y la pared se cae.
La innovación de CoDiLA: El Arquitecto le pasa al Jefe de Obra todas las probabilidades (el "boceto suave"). Le dice: "Es muy probable que sea rojo, pero podría ser naranja".
- Esto permite que el Jefe de Obra use su inteligencia para decidir la mejor combinación de ladrillos que mantenga la estructura coherente, sin tener que pensar en toda la casa, solo en ese pequeño bloque.

¿Por qué es un éxito?

Velocidad: Como el Arquitecto global hace el trabajo pesado de pensar en grandes bloques a la vez, la IA es muchísimo más rápida (sub-lineal).
Calidad: Como el Jefe de Obra local corrige los detalles de esos bloques pequeños, el código o texto final no tiene errores de sintaxis y es coherente.
Eficiencia: El Jefe de Obra es un modelo muy pequeño (muy barato y rápido), por lo que no ralentiza el proceso.

En resumen

Imagina que quieres escribir un libro.

Antes: O lo escribías palabra por palabra (lento pero perfecto) o escribías párrafos enteros de golpe (rápido pero con faltas de ortografía y frases sin sentido).
Con CoDiLA: Tienes un editor rápido que escribe párrafos enteros de un vistazo, y un corrector local que, en milisegundos, revisa solo esos párrafos para asegurarse de que las palabras encajen gramaticalmente.

El resultado es un libro que se escribe a la velocidad del rayo, pero que se lee como si lo hubiera escrito un humano experto. ¡Y eso es exactamente lo que CoDiLA logra para la generación de código y texto!

`).

El AR decodifica autoregresivamente el bloque completo, asegurando la coherencia sintáctica local.
Se utilizan estrategias de desenmascaramiento basado en confianza (estáticas o dinámicas) para decidir cuántos bloques desenmascarar en cada paso de denoising, equilibrando velocidad y precisión.

3. Contribuciones Clave

Fundamento Teórico: Demuestran que modelar la verosimilitud conjunta dentro de bloques reduce estrictamente el límite inferior de la pérdida (NELBO) en comparación con la independencia token a token.
Interfaz de Condicionamiento Suave: Proponen y validan teóricamente que el condicionamiento en las distribuciones marginales completas (soft-conditioning) es necesario y suficiente para recuperar secuencias coherentes, evitando el sesgo irreducible que introduce el truncamiento a los top-k tokens.
Eficiencia Computacional: Al restringir el modelo AR a bloques pequeños y finitos, se mantiene la latencia sub-lineal de la difusión, evitando el costo de atención global de los modelos AR puros.
Modelo Auxiliar Compacto: Demuestran que un modelo AR extremadamente pequeño (0.6B parámetros) es suficiente para corregir las incoherencias de un modelo de difusión grande (7B), logrando una mejora significativa en la relación precisión-velocidad.

4. Resultados Experimentales

Los experimentos se realizaron en tareas de generación de código utilizando el modelo base Dream-Coder-Instruct-7B y benchmarks estándar (HumanEval, MBPP, BigCodeBench).

Rendimiento (Pareto Frontier): CoDiLA establece una nueva frontera de Pareto en la relación entre precisión (Pass@1) y rendimiento (tokens/segundo). Supera consistentemente a los modelos base y a métodos competidores como ADJUST.
Impacto del Tamaño del Bloque: Se observó que aumentar el tamaño del bloque ( $B$ ) reduce la pérdida de entrenamiento y mejora la captura de dependencias locales, aunque con un compromiso en la precisión si el paralelismo es demasiado agresivo.
Condicionamiento Suave vs. Duro: La comparación muestra que el condicionamiento suave (usando la distribución completa) es crucial. El condicionamiento duro (solo el token top-1) provoca una caída significativa en la precisión (ej. en HumanEval, 68.9% vs 55.5% con $B=2$ ).
Paralelismo Dinámico: Mediante el desenmascaramiento dinámico basado en umbrales de entropía, CoDiLA puede mantener una aceleración de 2x respecto a la generación secuencial sin sacrificar la precisión del modelo base.

5. Significado e Impacto

Este trabajo es significativo porque resuelve la principal barrera para la adopción práctica de los DLMs en dominios estructurados como la programación: la coherencia local.

Viabilidad de la Difusión Discreta: CoDiLA demuestra que es posible obtener la velocidad de la generación paralela sin sacrificar la calidad sintáctica, algo que los enfoques puramente paralelos o puramente autoregresivos no logran simultáneamente.
Eficiencia de Recursos: La capacidad de utilizar un modelo AR diminuto para "refinar" un modelo de difusión grande sugiere una ruta eficiente para escalar capacidades de inferencia sin necesidad de entrenar modelos masivos desde cero con arquitecturas híbridas complejas.
Aplicabilidad: Es especialmente relevante para la generación de código, la edición de texto y tareas que requieren infilling (relleno), donde la capacidad de mantener la estructura sintáctica en medio de la generación paralela es crítica.

En conclusión, CoDiLA representa un avance fundamental al integrar la flexibilidad global de la difusión con la rigidez sintáctica local de la autoregresión, abriendo nuevas posibilidades para modelos de lenguaje más rápidos y precisos.