🤖 machine learning

UNIFUSION: Adapting Autoregressive Language Models into Discrete Diffusion under a Unified Reverse-Rate Objective

El artículo propone UNIFUSION, un marco unificado que establece conexiones entre diversos objetivos de difusión discreta para permitir la adaptación directa de modelos autorregresivos preentrenados a la difusión de ruido uniforme, logrando un rendimiento de vanguardia tanto en la calidad generativa como en la precisión de tareas posteriores.

Autores originales: Xiaoyi Jiang, Jingyuan Li, Yixuan Jiang, Wei Liu, Yi Zhu, Zuoqiang Shi, Pipi Hu

Publicado 2026-07-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xiaoyi Jiang, Jingyuan Li, Yixuan Jiang, Wei Liu, Yi Zhu, Zuoqiang Shi, Pipi Hu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a escribir historias. Durante mucho tiempo, la mejor manera de hacer esto era enseñarle al robot a escribir palabra por palabra, de izquierda a derecha, como un humano escribiendo una oración. Este método, llamado aprendizaje "autorregresivo", es genial porque es rápido y el robot aprende muchas reglas del lenguaje. Pero tiene un gran defecto: una vez que el robot escribe una palabra, nunca puede volver atrás para cambiarla. Si comete un error en la primera frase, toda la historia podría arruinarse porque no puede editar su pasado.

Recientemente, los científicos probaron un enfoque diferente llamado "difusión discreta". En lugar de escribir palabra por palabra, este método comienza con una oración completa que ha sido desordenada o "corrupta" con ruido, y el robot aprende a limpiarla, arreglando una palabra a la vez hasta que la oración sea perfecta. Esto es como tomar una habitación desordenada y organizarla lentamente. El problema es que la mayoría de estos nuevos robots de "limpieza" se entrenan desde cero, desperdiciando todo el conocimiento lingüístico que ya tenían los viejos robots de "palabra por palabra". Además, muchos de estos nuevos robots utilizan un tipo específico de ruido donde ocultan las palabras detrás de una "máscara" (como una caja negra). Esto significa que el robot solo puede arreglar las partes ocultas, no las palabras que ya son visibles. La gran pregunta era: ¿Podemos tomar un robot inteligente, preentrenado de "palabra por palabra" y convertirlo instantáneamente en un poderoso robot de "limpieza" que pueda arreglar cualquier palabra en una oración, incluso aquellas que no están ocultas?

Este artículo, titulado "Unifusion", dice que sí, y muestra cómo hacerlo. Los investigadores descubrieron que, a pesar de que las fórmulas matemáticas utilizadas por varios robots de "limpieza" son diferentes, todos están tratando de resolver secretamente el mismo problema subyacente: predecir qué tan rápido una palabra debe saltar de un estado a otro. Ellos llaman a esto la "tasa inversa" (reverse rate). Al darse cuenta de que todos estos diferentes métodos son solo dialectos distintos del mismo lenguaje, crearon un traductor universal. Este traductor les permite tomar el conocimiento de un modelo estándar de "palabra por palabra" (como GPT-2) y adaptarlo directamente a un modelo de difusión de "ruido uniforme".

La innovación clave es que este nuevo modelo, Unifusion, no necesita ocultar palabras detrás de máscaras. En su lugar, trata cada palabra de la oración como editable, tal como puedes editar cualquier palabra en un Google Doc. Los investigadores probaron esto tomando dos versiones de un modelo preentrenado (una con 124 millones de parámetros y otra con 355 millones) y entrenándolos para ser artistas de la "limpieza". Encontraron que a medida que le daban al modelo más tiempo para pensar (aumentando los pasos de 16 a 256), la calidad del texto mejoraba constantemente.

En el máximo de 256 pasos, el modelo más pequeño (Unifusion-S) logró una "perplejidad generativa" (una medida de qué tan confundido está el modelo por el texto que crea) de 97.783, mientras que el modelo más grande (Unifusion-M) alcanzó 71.516. Más importante aún, estos modelos no solo escribieron texto fluido; también mantuvieron una alta "entropía de unigrama", que es una forma elegante de decir que el texto era diverso y no se quedaba estancado repitiendo las mismas frases o patrones. De hecho, a 256 pasos, ningún otro modelo probado del mismo tamaño fue capaz de superar a Unifusion tanto en fluidez como en diversidad al mismo tiempo.

El artículo también mostró que esta conversión directa funciona mejor que la vieja forma de intentar pasar de "palabra por palabra" a "difusión con máscara" y luego a "difusión uniforme". Al saltarse al intermediario, Unifusion alcanzó la misma alta calidad de manera mucho más eficiente. Cuando se probó en acertijos de lógica del mundo real y preguntas de sentido común (como WinoGrande y SIQA), estos nuevos modelos de difusión superaron a todos los demás modelos de difusión de su tamaño, demostrando que no solo aprendieron a limpiar el ruido, sino que realmente retuvieron las habilidades de razonamiento inteligente de su entrenamiento original de "palabra por palabra".

En resumen, Unifusion es como tomar a un maestro chef que está acostumbrado a cocinar una comida ingrediente por ingrediente y enseñarle una nueva técnica donde puede probar y ajustar toda la olla de sopa a la vez, sin tener que desechar sus años de experiencia culinaria. El resultado es un modelo que puede generar texto que es tanto fluido como creativamente diverso, simplemente aprendiendo a editar toda la oración a la vez.

Resumen Técnico: Unifusion

Planteamiento del Problema

Los métodos existentes para adaptar modelos de lenguaje autorregresivos (AR) preentrenados a la difusión de difusión discreta suelen depender de la corrupción por máscara de absorción. Si bien esta elección se conecta naturalmente con el entrenamiento AR (ya que la decodificación AR es un orden específico de revelación de tokens), impone una limitación significativa: una vez que un token es revelado, no puede ser editado durante el proceso de muestreo. Esto suele derivar en problemas de generación como repetición, colapso de plantillas o la generación de fragmentos sin sentido cuando se aumenta el presupuesto de muestreo.

Por el contrario, la difusión de ruido uniforme reemplaza los tokens con elementos del vocabulario en lugar de una máscara especial, lo que permite que todas las posiciones permanezcan editables durante todo el muestreo. Esto ofrece el potencial de una mayor diversidad léxica y un mejor control. Sin embargo, la adaptación directa de checkpoints AR a la difusión uniforme ha sido un desafío porque los modelos de difusión discreta existentes (SEDD, MDLM/GIDD, M2S, Neural CTMC) utilizan diferentes parametrizaciones de predicción (por ejemplo, puntuaciones concretas, tokens limpios, medias posteriores, tasas de salida) y funciones de pérdida distintas. Estas diferencias oscurecen si los métodos aprenden procesos inversos fundamentalmente diferentes o si simplemente describen el mismo proceso con diferentes salidas, y previenen la reutilización directa de las salidas AR para núcleos uniformes.

Metodología

1. Unificación de la Difusión Discreta en el Espacio de Tasa Inversa

Los autores establecen una conexión teórica entre cuatro marcos principales de difusión discreta: SEDD, MDLM/GIDD, M2S y Neural CTMC.

Objetivo Unificado: Demuestran que las pérdidas condicionales de los cuatro métodos pueden expresarse como un único objetivo generalizado de Kullback–Leibler (KL) sobre las tasas inversas del modelo. Al mapear la salida específica de cada método (puntuaciones, tokens, medias o tasas) a las tasas inversas fuera de la diagonal inducidas, los autores muestran que el objetivo de optimización subyacente es idéntico.
Teoremas de Conversión: El artículo deriva conversiones matemáticas explícitas para traducir una predicción de token limpio ( $x_0$ ) en las parametrizaciones específicas requeridas por SEDD, M2S y Neural CTMC. Esto crea una interfaz compartida donde una única predicción de $x_0$ puede impulsar cualquiera de estas parametrizaciones.
Agnosticismo del Núcleo: La distribución de tokens limpios $x_\theta(x_0 | x_t, t)$ responde a la misma pregunta independientemente del núcleo de corrupción: "¿Qué token del vocabulario ocupaba esta posición antes de la corrupción?". Una vez predicho, el núcleo de progresión hacia adelante conocido (ya sea de absorción o uniforme) convierte esta predicción en las tasas inversas necesarias. Esto cierra la brecha entre la inicialización AR y la difusión uniforme.

2. El Enfoque Unifusion

Basándose en estas conexiones teóricas, los autores proponen Unifusion, una estrategia simple de preentrenamiento continuo para adaptar checkpoints de GPT-2 directamente a la difusión de ruido uniforme sin una etapa intermedia de difusión con máscara.

Inicialización: El método aprovecha la estructura inherente de los modelos AR. La distribución del siguiente token de un checkpoint AR para la posición $i$ dada $x_{<i}$ se desplaza una posición para servir como la predicción inicial para el token limpio $x_0$ en la posición $i$ .
Dinámica de Entrenamiento:
- Atenuación de la Atención (Attention Annealing): El modelo transiciona de una atención causal (utilizada en el preentrenamiento AR) a una atención totalmente bidireccional sobre los tokens corruptos visibles. Esto permite que el modelo abra gradualmente el contexto completo durante la optimización.
- Condicionamiento Temporal: Dado que los checkpoints AR carecen de condicionamiento temporal, el modelo aprende parámetros dependientes del tiempo durante el ajuste fino (fine-tuning) mientras retiene la inicialización AR para otros pesos.
- Programa de Corrupción: El modelo se entrena con un programa de corrupción uniforme lineal ( $\alpha_t = 1-t, \beta_t = t$ ) y un prior uniforme.

Contribuciones Clave

Unificación Teórica: El artículo unifica las pérdidas condicionales de SEDD, MDLM/GIDD, M2S y Neural CTMC en el espacio de tasa inversa, probando que son equivalentes bajo el mismo CTMC de progresión hacia adelante y el mismo programa de ruido. Proporciona fórmulas de conversión explícitas entre las predicciones de tokens limpios y las cuatro parametrizaciones.
Adaptación Directa de AR a Uniforme: Al utilizar las predicciones de tokens limpios $x_0$ como puente, los autores permiten la adaptación directa de modelos AR preentrenados a núcleos de difusión de ruido uniforme, evitando la necesidad de checkpoints intermedios de difusión con máscara.
Validación Empírica: El estudio separa la equivalencia en el espacio de tasas de la optimización de presupuesto finito, mostrando que, si bien existe equivalencia teórica, las trayectorias de entrenamiento nativas difieren. Unifusion demuestra que el entrenamiento directo de AR a uniforme logra un rendimiento comparable a las rutas de dos etapas de máscara, pero con mejores compromisos en la calidad de la generación.

Resultados

Los autores evaluaron Unifusion en modelos de 124M (Unifusion-S) y 355M (Unifusion-M) de parámetros derivados de GPT-2.

Perplejidad Generativa (GenPPL) vs. Entropía: Unifusion mejora constantemente la relación entre GenPPL y la entropía unigrama a medida que el presupuesto de muestreo aumenta de 16 a 256 pasos.
- A 256 pasos, Unifusion-S logró un GenPPL de 97.783 con una entropía de 5.2626.
- A 256 pasos, Unifusion-M logró un GenPPL de 71.516 con una entropia de 5.6669.
- Ningún modelo evaluado a la misma escala superó simultáneamente a Unifusion en ambas métricas. Por ejemplo, aunque algunos modelos de referencia lograron un GenPPL más bajo, sufrieron de una entropía significativamente menor (indicando repetición o colapso), mientras que Unifusion mantuvo una alta diversidad léxica.
Precisión en Tareas Derivadas (Downstream Accuracy): Los modelos Unifusion lograron la mayor precisión zero-shot entre los modelos de difusión comparados en WinoGrande, SIQA y BBH, superando tanto a sus inicializaciones de GPT-2 como a otros modelos de difusión como DiffuGPT y SEDD.
Eficiencia de Muestreo: El punto de 64 pasos de Unifusion-M ya dominaba el frente de Pareto del punto de 256 pasos de DiffGPT-M, lo que sugiere una alta eficiencia en el presupuesto de muestreo.

Significado y Reivindicaciones

El artículo afirma que Unifusion aborda con éxito la "pregunta abierta" de cómo alcanzar un modelo de difusión de ruido uniforme directamente desde un checkpoint AR. Al unificar el panorama teórico de la difusión discreta y aprovechar la interfaz de token limpio, los autores demuestran que:

La difusión uniforme puede heredar la inicialización AR de manera efectiva sin una etapa intermedia de máscara.
La adaptación directa produce un equilibrio superior entre fluidez (bajo GenPPL) y diversidad (alta entropía) en comparación con los métodos existentes.
La equivalencia teórica de las diferentes pérdidas de difusión discreta permite elecciones de implementación flexibles manteniendo un objetivo de optimización consistente en el espacio de tasa inversa.

El trabajo sugiere que la elección del núcleo de corrupción (máscara vs. uniforme) es una decisión de diseño crítica que impacta la calidad de la generación, y que los núcleos uniformes, cuando se adaptan adecuadamente de modelos AR, ofrecen un proceso de generación más robusto que evita los problemas de repetición comunes en la difusión con máscara.