💻 computer science

Nemotron-Labs-Diffusion-Image: Advancing Masked Discrete Diffusion for High-Resolution Image Synthesis

'Nemotron-Labs-Diffusion-Image' es un modelo de difusión discreta enmascarada de vanguardia que mejora la síntesis de texto a imagen de alta resolución mediante la introducción de un mecanismo de edición de tokens para la corrección dinámica de la inferencia y un objetivo de entropía cruzada agrupada con un operador fusionado personalizado para superar la escasez de señal en entornos de vocabulario extenso, logrando un rendimiento superior en los bancos de pruebas GenEval, DPG y HPSv3.

Autores originales: Shufan Li, Greg Heinrich, Hanrong Ye, Yonggan Fu, Aditya Grover, Jan Kautz, Pavlo Molchanov

Publicado 2026-06-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shufan Li, Greg Heinrich, Hanrong Ye, Yonggan Fu, Aditya Grover, Jan Kautz, Pavlo Molchanov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a pintar una obra maestra basada en una descripción que le das, como "un gato con un sombrero en un día soleado". Durante mucho tiempo, los mejores robots utilizaron un método similar a esculpir desde un bloque de arcilla: comenzaban con un desastre borroso y lo refinaban lentamente, paso a paso, corrigiendo errores a medida que avanzaban. Esto se llama Difusión Continua.

Recientemente, un nuevo enfoque llamado Difusión Discreta se volvió popular. En lugar de arcilla, este método utiliza una bolsa gigante de piezas de Lego (tokens). El robot comienza con una pared de piezas ocultas y las revela una por una. ¿El problema? Una vez que se revela una pieza, queda fija. Si el robot elige la pieza equivocada para la oreja del gato, no puede volver atrás para cambiarla. Es como un escultor que, una vez que ha cincelado una pieza de piedra, no puede corregir un error.

El artículo presenta Nemotron-Labs-Diffusion-Image, un nuevo "escultor" que resuelve dos problemas principales de este enfoque de Lego.

1. El botón de "Volver a intentar" (Edición de Tokens)

El Problema: En la pintura de Lego estándar, si colocas una pieza roja donde debería ir una azul, te quedas atrapado con ella. El robot no tiene forma de decir: "Espera, he cambiado de opinión", y arreglarlo después. Esto provoca que los pequeños errores se acumulen hasta que la imagen se ve extraña.

La Solución: Los autores le dieron al robot un botón de "Volver a intentar". Lo entrenaron no solo para revelar piezas ocultas, sino también para observar las piezas que ya ha colocado y decir: "En realidad, esa se ve mal; vamos a cambiarla".

La Analogía: Imagina a un escultor trabajando en una estatua. En la forma antigua, una vez que quitaba un trozo de piedra, este desaparecía para siempre. En esta nueva forma, el escultor puede quitar suavemente una pieza que acaba de retirar, alisarla y remodelarla si no se ve bien. Esto permite al robot refinar la imagen de forma iterativa, corrigiendo sus errores a medida que avanza, tal como podían hacer los antiguos modelos de "arcilla".

2. El problema del "Gran Diccionario" (Entropía Cruzada Agrupada)

El Problema: Para crear imágenes de alta calidad y detalladas, el robot necesita un vocabulario masivo de piezas de Lego (un "codebook"). Cuantas más piezas tenga, más detallada será la imagen. Sin embargo, con un diccionario de más de 100,000 piezas únicas, el robot rara vez ve la misma pieza específica dos veces durante el entrenamiento. Es como intentar aprender un idioma donde solo ves la palabra "elefante" una vez cada pocos años. El robot se confunde porque la señal es demasiado dispersa.

Además, el entrenamiento estándar trata cada pieza equivocada como igualmente mala. Si el robot necesita una pieza "azul claro" pero elige una "azul oscuro", el método antiguo grita: "¡ERROR!" con la misma fuerza que si hubiera elegido una pieza "roja". No logra comprender que "azul claro" y "azul oscuro" son en realidad vecinos en cuanto a significado.

La Solución: Los autores introdujeron una nueva regla de entrenamiento llamada Entropía Cruzada Agrupada (GCE).

La Analogía: En lugar de castigar al robot por elegir la pieza exactamente incorrecta, el profesor dice: "Elegiste una pieza azul oscuro cuando yo quería una azul claro. ¡Está cerca! Recibes crédito parcial".
Organizaron las más de 100,000 piezas en grupos más pequeños (como "Azules", "Rojos", "Verdes"). Durante el entrenamiento, si el robot elige una pieza del grupo correcto (incluso si no es la pieza perfecta exacta), recibe una señal positiva. Esto ayuda al robot a aprender las relaciones entre las piezas, haciendo que sea mucho más fácil aprender un vocabulario masivo sin perderse.

3. El impulso de velocidad (Operador Personalizado)

El Problema: Realizar estas matemáticas "agrupadas" es computacionalmente pesado. Normalmente requiere mucha memoria de computadora (VRAM) y ralentiza las cosas, lo que dificulta el entrenamiento en modelos enormes.

La Solución: El equipo construyó una herramienta especializada y personalizada (un "operador fusionado") para realizar estas matemáticas.

La Analogía: Imagina que haces contabilidad compleja. La forma antigua era usar una calculadora, anotar el número, tomar un bolígrafo, escribirlo en un libro contable y luego usar la calculadora de nuevo. La nueva forma es una máquina especializada que realiza el cálculo y escribe la entrada en el libro en un solo movimiento, ultrarrápido. Esto ahorró una enorme cantidad de memoria y tiempo.

Los Resultados

El artículo muestra que este nuevo robot, Nemotron-Labs-Diffusion-Image, es un campeón:

Mejor Calidad: Crea imágenes más nítidas y precisas que los métodos anteriores basados en Lego.
Más Rápido: Puede generar imágenes en menos pasos porque puede corregir sus propios errores en el camino.
Eficiente: Puede manejar un vocabulario enorme de detalles sin colapsar la memoria de la computadora.

En resumen, tomaron un método que era rígido y propenso a errores, le dieron la capacidad de autocorregirse, le enseñaron a entender el "vecindario" de su vocabulario y construyeron un motor más rápido para ejecutarlo todo. El resultado es un generador de imágenes de alta resolución que es tanto más inteligente como más eficiente.

Resumen Técnico: Nemotron-Labs-Diffusion-Image

Planteamiento del Problema

Si bien los Modelos de Difusión Latente (LDMs) han logrado un rendimiento de vanguardia en la síntesis de texto a imagen, la generación de imágenes discretas ofrece ventajas distintivas, incluyendo la compatibilidad nativa con los Modelos de Lenguaje de Gran Escala (LLMs) y la capacidad de aprovechar las técnicas de optimización de LLM ya establecidas (por ejemplo, el empaquetado de secuencias, el almacenamiento en caché de KV). Sin embargo, los Modelos de Difusión Discreta Enmascarada (MDMs) existentes enfrentan dos desafíos fundamentales que obstaculizan su escalabilidad y fidelidad en comparación con los LDMs continuos:

Falta de Autocorrección: A diferencia de los LDMs continuos, que refinan iterativamente las representaciones latentes, los MDMs estándar se comprometen con un token una vez que este es desmascarado. Debido a que los tokens discretos no pueden modificarse después del desmascarado, los errores se acumulan durante el proceso de inferencia. El supuesto estándar de muestreo de independencia entre tokens falla al no capturar las fuertes dependencias presentes en los tokens de imagen, lo que conduce a distribuciones conjuntas subóptimas.
Dispersión del Codebook en Vocabularios Grandes: La generación de imágenes de alta fidelidad requiere codebooks (vocabularios) grandes para reducir el error de discretización. Sin embargo, aumentar el tamaño del vocabulario provoca una severa dispersión en las señales de entrenamiento; los tokens individuales aparecen con poca frecuencia en el conjunto de datos. La pérdida de Entropía Cruzada (CE) de un solo punto (one-hot) estándar trata a todos los tokens que no son la verdad de campo como igualmente negativos, fallando en capturar las similitudes semánticas entre tokens que están cerca en el espacio de embeddings pero son distintos en el codebook. Esto crea dificultades de optimización y requiere una capacidad de modelo y datos masivos para converger.

Metodología

Los autores proponen Nemotron-Labs-Diffusion-Image (NLD-Image), un modelo fundacional de 8 mil millones de parámetros diseñado para abordar estos desafíos mediante innovaciones arquitectónicas y de objetivos novedosas.

1. Arquitectura: Transformer de Solo Decodificador (Decoder-Only)

A diferencia de los generadores de imágenes discretas previos (por ejemplo, Meissonic) que utilizan un marco de codificador-decodificador con un codificador de texto congelado, NLD-Image emplea un único transformer de solo decodificador.

Inicialización: El modelo se inicializa a partir de un modelo de lenguaje de difusión preentrenado, aprovechando las capacidades de comprensión del lenguaje existentes.
Ventajas: Este diseño elimina las restricciones de longitud de contexto de los codificadores congelados (por ejemplo, el límite de 77 tokens de CLIP), soporta prompts más largos y permite el empaquetado de secuencias para la eficiencia del entrenamiento. La cabeza de modelado de lenguaje final se reemplaza con un MLP recién inicializado para predecir los tokens de imagen.

2. Mecanismo de Edición de Tokens (Autocorrección)

Para permitir el refinamiento iterativo similar a la difusión continua, los autores introducen un mecanismo de edición de tokens.

Entrenamiento: El proceso de difusión hacia adelante se aumenta para incluir la corrupción de tokens. Además de enmascarar un subconjunto de tokens, el modelo corrompe una porción de los tokens visibles (limpios). El modelo es entrenado para predecir probabilidades para todas las posiciones: desmascarando tokens enmascarados y corrigiendo tokens visibles corruptos.
Inferencia: Durante el muestreo, el modelo no solo desmascara tokens, sino que también evalúa los tokens ya desmascarados. Si el modelo predice un token diferente con una confianza por encima de un umbral $\tau$ , el token existente es reemplñado. Esto permite al modelo autocorregir errores dinámicamente durante el proceso de generación.

3. Objetivo de Entropía Cruzada Agrupada (GCE)

Para mitigar la dispersión del codebook, los autores proponen la Entropía Cruzada Agrupada (GCE), una función de pérdida jerárquica.

Clustering: El gran codebook (por ejemplo, 131k tokens) se agrupa en grupos más pequeños (por ejemplo, 16k, 8k) utilizando K-means basado en la proximidad del espacio de embeddings.
Función de Pérdida: El objetivo combina la pérdida CE de un solo punto estándar con pérdidas de CE a nivel de clúster auxiliares. El modelo predice probabilidades para todos los tokens, y estas se suman para obtener las probabilidades de los clústeres. La pérdida se aplica tanto al token específico de verdad de campo como al clúster de verdad de campo en múltiples granularidades.
Beneficio: Esto proporciona supervisión positiva a los tokens que son semánticamente similares (en el mismo clúster) a la verdad de campo, incluso si no son la coincidencia exacta, mitigando así la escasez de señal.
Implementación: Se implementa un operador fusionado personalizado para calcular la GCE de manera eficiente, reduciendo significativamente el uso de VRAM y la latencia en comparación con las implementaciones ingenuas de PyTorch.

Contribuciones Clave

Nemotron-Labs-Diffusion-Image: Un modelo de difusión discreta enmascarada de vanguardia de 8B para la síntesis de texto a imagen de alta resolución (1024px).
Edición de Tokens: Un mecanismo novedoso que permite a los MDMs refinar iterativamente y autocorregir las salidas durante la inferencia, abordando la falta de autorrefinamiento en los modelos discretos estándar.
Entropía Cruzada Agrupada (GCE): Un objetivo de entrenamiento que alivia la dispersión del codebook asignando señales de aprendizaje positivas a los tokens semánticamente vecinos, mejorando la estabilidad y eficiencia de la optimización para generadores de vocabulario grande.
Implementación Eficiente: Un operador fusionado personalizado para GCE que reduce la huella de memoria y la sobrecarga computacional, facilitando el entrenamiento de modelos de vocabulario grande.

Resultados Experimentales

El modelo fue entrenado durante 300k pasos en 64 GPUs H100 utilizando una estrategia de escalado progresivo (256px a 1024px).

Rendimiento en Benchmarks:
- GenEval: Alcanzó una puntuación de 0.90, superando a modelos especialistas como Meissonic (0.54) y modelos multimodales unificados como LaViDa-O (0.77), y compitiendo con modelos de frontera como Qwen-Image-2507 (0.87).
- DPG: Alcanzó 86.9, superando a SD3-Medium (83.5) y Flux-Dev.
- MJHQ-30k: Alcanzó una puntuación HPSv3 de 10.76 (después del ajuste fino), lo que indica una alta alineación con la preferencia humana.
Estudios de Ablación:
- Edición de Tokens: Los resultados cualitativos y cuantitativos (HPSv3) muestran que la edición de tokens mejora consistentemente la fidelidad de la imagen y reduce la acumulación de errores. Permite que el modelo alcance una calidad comparable con 32 pasos de muestreo (NFE) que anteriormente requerían 64 pasos sin edición, efectivamente duplicando la velocidad de inferencia para un objetivo de calidad fijo.
- GCE: En la generación condicional de clases de ImageNet, la GCE superó consistentemente tanto a la Entropía Cruzada vanilla como a la SNCE (Entropía Cruzada de Vecino Cercano Suave) en puntuaciones FID a través de diferentes tamaños de modelo y épocas de entrenamiento.
Eficiencia: El operador GCE optimizado redujo la latencia de 44ms a 20ms y el uso máximo de VRAM de 25GB a 16GB en comparación con las implementaciones eager. NLD-Image demostró una velocidad de inferencia 42.4 veces más rápida que Emu3.5 (AR) mientras alcanzaba puntuaciones de GenEval más altas.
Generación de Pocos Pasos: El modelo genera imágenes de calidad razonable en tan solo 4 pasos sin destilación, convergiendo más rápido que los baselines de flujo de emparejamiento continuo que a menudo permanecen borrosos con recuentos bajos de pasos.

Significado y Reivindicaciones

El artículo afirma que NLD-Image representa un avance significativo en la generación de imágenes discretas al cerrar con éxito la brecha de rendimiento entre los LDMs discretos y los continuos. Al introducir la edición de tokens, los autores demuestran que los modelos discretos pueden superar su inherente falta de autocorrección, permitiendo el refinamiento iterativo. Además, el objetivo GCE proporciona una solución escalable al problema de la dispersión del codebook, permitiendo el uso de vocabularios grandes y expresivos sin costos de entrenamiento prohibitivos.

Los autores posicionan este trabajo como un paso hacia los modelos multimodales unificados, aprovechando la arquitectura de solo decodificador para procesar texto e imágenes dentro de un solo marco. Los resultados sugieren que los modelos de difusión discretos, cuando están equipados con estas innovaciones específicas, pueden alcanzar una fidelidad y eficiencia de vanguardia, allanando el camino para sistemas de síntesis de imágenes más potentes y escalables.