💬 NLP

How to Train Your Latent Diffusion Language Model Jointly With the Latent Space

Este artículo introduce el Modelo de Lenguaje de Difusión Latente (LDLM), que entrena conjuntamente un codificador latente, un modelo de difusión y un decodificador para crear un espacio latente continuo de alta calidad, logrando un rendimiento de generación de texto superior y velocidades de inferencia significativamente más rápidas en comparación con los modelos de difusión discretos y continuos existentes.

Autores originales: Viacheslav Meshchaninov, Alexander Shabalin, Egor Chimbulatov, Nikita Gushchin, Ilya Koziev, Alexander Korotin, Dmitry Vetrov

Publicado 2026-05-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Viacheslav Meshchaninov, Alexander Shabalin, Egor Chimbulatov, Nikita Gushchin, Ilya Koziev, Alexander Korotin, Dmitry Vetrov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un robot a escribir una historia. La forma antigua (llamada "autoregresiva") es como un estudiante escribiendo una oración palabra por palabra, de izquierda a derecha. Si cometen un error al principio, no pueden volver atrás y corregirlo sin reescribir todo. Además, solo pueden escribir una palabra a la vez, lo cual es lento.

El nuevo método en este artículo, llamado LDLM, es como un escultor trabajando sobre un bloque de mármol. En lugar de tallar una palabra a la vez, el escultor comienza con un bloque de piedra tosco y ruidoso (una versión "ruidosa" de la historia) y va eliminando gradualmente el ruido para revelar la forma final. Pueden observar todo el bloque a la vez y refinarlo en paralelo, corrigiendo errores en cualquier parte de la historia instantáneamente.

Sin embargo, hay un truco: para esculpir eficazmente, necesitas el tipo correcto de mármol. Si la piedra es demasiado dura o demasiado blanda, el escultor no puede hacer su trabajo. En términos de IA, este "mármol" se llama espacio latente—una representación matemática oculta del texto con la que el modelo trabaja antes de convertirlo nuevamente en palabras.

El Problema: El Plano "Congelado"

Los intentos anteriores de este método de "escultura" utilizaron un plano preelaborado para el mármol. Tomaron un modelo de lenguaje inteligente, preentrenado (como un diccionario que ya sabe cómo encajan las palabras) y lo congelaron en su lugar. Intentaron esculpir el texto usando este plano fijo.

Los autores de este artículo se dieron cuenta de que esto era como intentar esculpir una estatua usando un plano diseñado para un tipo de piedra diferente. El modelo preentrenado no estaba optimizado para el proceso de "escultura" (difusión), por lo que los resultados eran torpes, lentos o de baja calidad.

La Solución: Entrenamiento Conjunto (El "Trabajo en Equipo")

Los autores construyeron un nuevo sistema llamado LDLM (Modelo de Lenguaje de Difusión Latente). En lugar de usar un plano congelado, crearon un equipo de tres personas que aprende juntos desde cero:

El Codificador: Un traductor que convierte las palabras en el "mármol" (espacio latente).
El Escultor (Modelo de Difusión): La parte que elimina el ruido para refinar la historia.
El Decodificador: Un traductor que convierte el mármol refinado de nuevo en palabras legibles.

La magia es que los tres aprenden juntos. A medida que el Escultor mejora en eliminar el ruido, le dice al Codificador: "Oye, necesito que el mármol esté moldeado así para funcionar mejor". El Codificador entonces ajusta su forma para ayudar al Escultor. Es un ciclo de retroalimentación donde todo el equipo evoluciona para adaptarse perfectamente entre sí.

La "Receta" para el Éxito

Los autores descubrieron que simplemente poner estos tres juntos no funcionaba inmediatamente; el equipo discutía y no lograba aprender. Tenían que seguir una "receta" específica para lograr que cooperaran:

El Calentamiento: Al principio mismo, permitieron que el Codificador y el Decodificador practicaran traducir palabras sin que el Escultor interfiriera. Esto le da al Codificador la oportunidad de construir una base estable antes de que el Escultor comience a intentar moldearlo. Es como dejar que un músico afine su instrumento antes de que la banda comience a tocar.
El Truco del "Ruido": Durante el entrenamiento, añadieron intencionalmente un poco de estática (ruido) a la entrada del Decodificador. Esto obliga al Codificador a ser robusto y almacenar información de manera eficiente, en lugar de depender de señales perfectas y frágiles. Es como entrenar a un corredor con una mochila pesada para que, cuando corra sin ella, se sienta ligero y rápido.
Momento Inteligente: No entrenan el modelo a una velocidad constante. Ajustan cuándo practican según lo difícil que sea la tarea en ese momento, asegurando que el modelo aprenda las partes más difíciles tan bien como las partes fáciles.

Los Resultados: Más Rápido y Más Inteligente

Cuando probaron este nuevo equipo en grandes conjuntos de datos de texto (como artículos de noticias y libros):

Calidad: Las historias generadas fueron más coherentes y diversas que los métodos anteriores.
Velocidad: Debido a que el modelo trabaja sobre el "mármol" (las matemáticas ocultas) en lugar de intentar elegir palabras individuales de un diccionario gigante en cada paso, es de 2 a 13 veces más rápido que la competencia.
Eficiencia: Logra un mejor equilibrio entre escribir texto de alta calidad y mantener el texto variado (no repetitivo).

Resumen

En resumen, este artículo introduce una nueva forma de enseñar a la IA a escribir haciendo que el "traductor", el "escultor" y el "refinador" aprendan juntos como una sola unidad, en lugar de usar una herramienta preelaborada y congelada. Siguiendo una receta de entrenamiento específica, crearon un sistema que escribe mejor texto, mucho más rápido que antes.

Resumen Técnico: Cómo Entrenar tu Modelo de Lenguaje de Difusión Latente Conjuntamente con el Espacio Latente

Declaración del Problema

Los modelos autoregresivos dominan actualmente la generación de texto, pero están limitados por su naturaleza secuencial de izquierda a derecha, lo que impide la generación paralela y la corrección de errores previos. Los modelos de lenguaje de difusión ofrecen una alternativa al generar texto mediante refinamiento iterativo en paralelo. Sin embargo, los enfoques existentes enfrentan obstáculos significativos:

Difusión Discreta: Opera directamente en el espacio de tokens, pero sufre de distribuciones conjuntas factorizadas, prediciendo tokens de forma independiente en cada paso. Esto limita la capacidad de generar múltiples tokens simultáneamente, dificultando la generación de alta calidad en pocos pasos.
Difusión Continua: Opera en un espacio latente, permitiendo un refinamiento gradual de todas las posiciones. Aunque superior a los métodos discretos, los enfoques continuos actuales dependen de codificadores preentrenados congelados (por ejemplo, codificadores basados en Transformer) para construir el espacio latente. Estos codificadores se entrenan en tareas sustitutas (como la predicción del siguiente token) y no están optimizados para las necesidades específicas del proceso de eliminación de ruido de la difusión. Por el contrario, incrustaciones de tokens superficiales (one-hot o vectores fijos) producen espacios latentes subóptimos incluso cuando se ajustan para la difusión.

El desafío central es construir un espacio latente que sea simultáneamente decodificable (puede mapearse de nuevo a tokens) y amigable para la difusión (fácil de desruido), sin la desincronización causada por separar el entrenamiento del codificador del entrenamiento de la difusión.

Metodología: LDLM

Los autores proponen el Modelo de Lenguaje de Difusión Latente (LDLM), un marco donde el codificador latente, el modelo de difusión y el decodificador se entrenan conjuntamente. Esto permite que el objetivo de difusión moldee directamente el espacio latente.

Arquitectura

Codificación en Dos Etapas:
- Codificador de Tokens Congelado: Los tokens de entrada $w$ son procesados primero por un codificador de tokens preentrenado congelado (GPT-2) para extraer estados ocultos contextuales $h$ .
- Codificador Latente Entrenable: Un codificador entrenable $E_\theta^z$ mapea estos estados ocultos $h$ al espacio latente de difusión $z_0$ . Esto remodela la representación para que sea adecuada para la difusión mientras mantiene la decodificabilidad.
Decodificación en Dos Etapas:
- Decodificador Latente: Un decodificador entrenable $D_\theta^h$ mapea el latente $z_0$ (perturbado por ruido durante el entrenamiento) de vuelta a estados ocultos $\hat{h}$ .
- Decodificador de Tokens: Un decodificador de tokens $D_\theta^w$ convierte $\hat{h}$ en tokens $w$ .
Objetivos de Entrenamiento:
El modelo minimiza una pérdida combinada: $L(\theta) = L_{diff} + L_h + L_w$ $L (θ) = L_{d i f f} + L_{h} + L_{w}$ .
- $L_{diff}$ : Pérdida estándar de difusión continua (MSE) para recuperar latentes limpios a partir de observaciones ruidosas.
- $L_h$ (MSE de Estado Oculto): Reconstruye los estados ocultos $h$ del codificador congelado desde el espacio latente. Crucialmente, esto utiliza Error Cuadrático Medio (MSE) en lugar de Entropía Cruzada (CE).
- $L_w$ (CE de Tokens): Reconstruye tokens a partir de los estados ocultos. Los gradientes se detienen en los estados ocultos reconstruidos para evitar afectar al codificador latente.

Receta Clave de Entrenamiento (La Solución de "Cuatro Partes")

Los autores identifican que el entrenamiento conjunto ingenuo falla (produciendo generaciones de baja diversidad) y proponen una receta específica para que funcione:

Pérdida de Decodificador MSE: A diferencia de trabajos anteriores que usan Entropía Cruzada, LDLM utiliza MSE para reconstruir estados ocultos. La CE fuerza a los latentes a estar bien separados para distinguir tokens, lo que entra en conflicto con la geometría suave requerida para la difusión. El MSE es menos estricto, permitiendo que los latentes estén cerca si sus estados ocultos subyacentes son similares, evitando el colapso latente mientras se mantiene una variedad suave.
Calentamiento de Difusión a Codificador: Al inicio del entrenamiento, la pérdida de reconstrucción (que fomenta grandes magnitudes latentes) y la pérdida de difusión (que fomenta magnitudes pequeñas para trivializar el desruido) tiran del codificador en direcciones opuestas. Los autores implementan un calentamiento donde el gradiente de difusión se escala por un coeficiente $\gamma(s)$ que comienza cerca de 0 y aumenta hasta 1. Esto permite que el codificador primero aprenda un espacio latente decodificable antes de que el objetivo de difusión lo moldee.
Muestreo Adaptativo de Pasos de Tiempo: Dado que el espacio latente evoluciona durante el entrenamiento, un programa de ruido fijo es subóptimo. Los autores ajustan dinámicamente la distribución de muestreo de pasos de tiempo para asegurar que la pérdida de desruido crezca linealmente con el paso de tiempo, haciendo que todos los pasos de tiempo contribuyan por igual a la reducción de la incertidumbre.
Ruido de Entrada del Decodificador: Se inyecta ruido gaussiano ( $\sigma_{dec}\epsilon$ $σ_{d ec} ϵ$ ) en la entrada del decodificador latente durante el entrenamiento. Esto sirve tres propósitos:
- Fomenta que el codificador almacene información de manera eficiente (evitando que dimensiones no utilizadas corrompan la señal).
- Actúa como aumento de datos, haciendo que el decodificador sea robusto a errores de difusión.
- Estabiliza la varianza de las coordenadas latentes, mejorando la parametrización de la difusión.

Resultados

Los autores evalúan LDLM en OpenWebText (OWT) y LM1B, comparándolo con modelos de difusión discretos (MDLM, Duo) y continuos (CANDI, FLM) de vanguardia.

Compensación Calidad-Diversidad: LDLM logra la mejor frontera de Pareto entre Perplejidad Generativa (Gen. PPL) y Entropía. Supera significativamente a las líneas base en Gen. PPL en niveles de entropía comparables, acercándose a la calidad del texto real.
Comparación del Espacio Latente: Estudios de ablación muestran que los latentes aprendidos conjuntamente de LDLM superan a:
- Incrustaciones superficiales (entrenadas desde cero o congeladas).
- Incrustaciones contextuales de codificadores congelados (estilo TEncDM).
- Latentes de autoencoders entrenados con objetivos de suavizado explícitos (estilo COSMOS).
  Esto confirma que el espacio latente debe ajustarse específicamente para el objetivo de difusión.
Eficiencia Computacional: LDLM es 2–13× más rápido que los métodos competidores durante la muestreo. A diferencia de los modelos de difusión a nivel de token que proyectan al vocabulario en cada paso, LDLM opera en un espacio latente de menor dimensión durante todo el proceso de generación, proyectando a tokens solo una vez al final.

Significado y Afirmaciones

El artículo afirma que aprender conjuntamente el espacio latente es un paso crítico, previamente no abordado, hacia hacer que la difusión latente sea competitiva para la generación de texto.

Superando el Entrenamiento Conjunto Ingenuo: El trabajo demuestra que simplemente entrenar un codificador y un modelo de difusión juntos es insuficiente; se requieren técnicas específicas (pérdida MSE, calentamiento, muestreo adaptativo, ruido de decodificador) para estabilizar el entrenamiento y lograr alta calidad.
Superioridad de los Latentes Contextuales: Los resultados indican que la información de secuencia de alto nivel (capturada por el codificador congelado GPT-2) es esencial, pero debe ser remodelada por un codificador entrenable específicamente para la difusión.
Eficiencia: Al evitar proyecciones de vocabulario por paso, LDLM ofrece una aceleración sustancial, abordando un cuello de botella importante en la generación de texto basada en difusión.

Los autores concluyen que moldear el espacio latente directamente con el objetivo de desruido es esencial para construir modelos efectivos de difusión de texto latente, logrando calidad de generación de vanguardia mientras se mantiene una velocidad de inferencia superior.