💬 NLP

Reconsidering Positional Supervision in Masked Diffusion Language Model Training

Este artículo demuestra que los Modelos de Lenguaje de Difusión con Máscara son sensibles a desplazamientos posicionales menores durante la decodificación iterativa y propone adaptar la Clasificación de Temporalidad Conexionista (CTC) con un token especializado en absorción de incertidumbre para relajar las restricciones posicionales estrictas, lo que resulta en mejoras de rendimiento estadísticamente significativas a través de múltiples evaluaciones comparativas de generación.

Autores originales: Mengyu Ye, Keito Kudo, Ryosuke Takahashi, Jun Suzuki

Publicado 2026-06-02

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Mengyu Ye, Keito Kudo, Ryosuke Takahashi, Jun Suzuki

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Reparando el Generador de Texto "Rígido"

Imagina que le estás enseñando a un robot a escribir una historia.

Forma Antigua (Autorregresiva): El robot escribe una palabra a la vez, como un humano escribiendo una oración. Sabe exactamente en qué parte de la frase se encuentra.
Nueva Forma (Difusión con Máscara): El robot comienza con una página en blanco llena de signos de interrogación. Intenta adivinar todas las palabras al mismo tiempo, luego revela algunas, oculta otras de nuevo y vuelve a adivinar. Lo hace en paralelo, como si estuviera completando un crucigrama todo a la vez.

Esta nueva forma "Paralela" es más rápida, pero los investigadores descubrieron un fallo importante: el robot tiene terror a estar ligeramente fuera de orden.

El Problema: El "Profesor Estricto"

Los investigadores descubrieron que estos modelos paralelos son entrenados con un "Profesor Estricto" (llamado pérdida de Entropía Cruzada). Este profesor exige que cada palabra ocupe exactamente su asiento preasignado.

La Analogía: Imagina un salón de clases donde cada estudiante tiene un número de pupitre específico. Si el Estudiante A debería sentarse en el Pupitre 1, pero accidentalmente se sienta en el Pupitre 2, ¡el profesor le pone una nota reprobatoria, incluso si es el estudiante correcto!
El Experimento: Los investigadores probaron esto tomando una historia terminada y cambiando apenas el 1% de las palabras con sus vecinas (moviendo una palabra un asiento a la izquierda o a la derecha).
El Resultado: El rendimiento del modelo colapsó. Era tan sensible a este pequeño desorden que ya no podía reconocer su propia historia. Era como una canción que suena terrible si desplazas el ritmo apenas una fracción de segundo.

La Solución: El Token de "Relajación" (SLACK)

Para solucionar esto, los investigadores tomaron prestado un truco del reconocimiento de voz llamado CTC (Clasificación Temporal de Conexión) y le dieron un nuevo nombre: CTC-S.

En lugar de un "Profesor Estricto", introdujeron un "Entrenador Flexible".

El Token <SLACK>: Le enseñaron al modelo a usar un token especial invisible llamado <SLACK>. Piensa en esto como una "zona de amortiguación" o un "espaciador" entre las palabras.
Cómo funciona: Si el modelo piensa que una palabra pertenece al Asiento 5, pero el contexto sugiere que podría encajar mejor en el Asiento 6, no entra en pánico. Puede insertar un token <SLACK> en el Asiento 5, diciendo efectivamente: "Me tomo un descanso aquí", y poner la palabra en el Asiento 6.
La Red de Seguridad: Crucialmente, cambiaron las reglas para que, si el modelo accidentalmente repite una palabra (como que "100" se convierta en "10" debido a una fusión), esto no suceda. El modelo solo usa el token <SLACK> para absorber errores de tiempo, no para eliminar o fusionar palabras reales.

Los Resultados: Un Escritor Más Robusto

Los investigadores probaron este nuevo método en cuatro desafíos de escritura diferentes (como escritura creativa, responder preguntas difíciles y chat general).

El Resultado: El modelo entrenado con el "Entrenador Flexible" (CTC-S) escribió consistentemente mejores historias que el modelo del "Profesor Estricto".
La Prueba: Cuando intentaron desordenar las palabras en la salida del nuevo modelo (la misma prueba de intercambio del 1%), el nuevo modelo no colapsó. Era robusto. Pudo manejar los pequeños desórdenes sin perder la cabeza.

La Conclusión

El artículo sostiene que para que estos generadores de texto paralelos y rápidos funcionen bien, no debemos limitarnos a intentar arreglarlos después de que escriben (durante la fase de decodificación). En su lugar, necesitamos cambiar la forma en que los enseñamos.

Al darle al modelo un poco de "margen de maniobra" (flexibilidad de alineación) durante el entrenamiento, evitamos que sea tan frágil. Es la diferencia entre un robot que se rompe si lo empujas ligeramente y un robot que puede tropezar y aun así seguir caminando.

En resumen: El artículo demuestra que enseñar a los modelos de lenguaje paralelos a ser flexibles sobre dónde van las palabras, en lugar de exigir que estén en el lugar exacto, los hace mucho mejores para escribir.

Problema: Sensibilidad al desalineamiento posicional

Los Modelos de Lenguaje de Difusión con Máscaras (MDLM, por sus siglas en inglés) generan texto mediante el desmascarado de tokens en paralelo, una configuración estructuralmente similar a la Traducción No Autoregresiva (NAT). Ambos paradigmas suelen depender de una pérdida de entropía cruzada (CE) por posición, la cual impone un alineamiento estricto entre los tokens predichos y las posiciones de salida fijas. Si bien esto simplifica el entrenamiento, introduce una "rigidez posicional".

En NAT, está bien establecido que los decodificadores paralelos entrenados con CE son altamente sensibles a pequeños desplazamientos posicionales; un token correcto colocado en la posición incorrecta es penalizado con la misma dureza que un token incorrecto. Sin embargo, no estaba claro si los MDLM, que utilizan una decodificación paralela iterativa (donde los errores pueden acumularse a través de los pasos de denoisado), comparten esta sensibilidad. Los autores hipotetizan que los MDLM son igualmente vulnerables a desplazamientos menores, lo que podría degradar la calidad de la generación incluso si las identidades de los tokens permanecen correctas.

Metodología

El artículo propone un enfoque de dos partes: primero, diagnosticar la sensibilidad de los MDLM a los desplazamientos posicionales y, segundo, mitigar este problema mediante un objetivo de entrenamiento modificado.

1. Intervención de Diagnóstico
Para probar la sensibilidad, los autores aplicaron una intervención controlada durante el proceso de decodificación del modelo LLaDA-8B-Instruct. Intercambiaron tokens desmascarados con posiciones enmascaradas adyacentes, introduciendo un desplazamiento de una posición pero preservando las identidades de los tokens.

Resultado: Incluso el desplazamiento de tan solo el 1% de los tokens generados por una sola posición causó una caída sustancial en las tasas de victoria en el benchmark Arena-Hard (cayendo muy por debajo del punto de referencia del 50%). Esto confirmó que los MDLM son, de hecho, sensibles a pequeños desplazamientos posicionales bajo la decodificación paralela iterativa.

2. Solución Propuesta: CTC-S (CTC con Slack/Holgura)
Motivados por el éxito de la Clasificación de Características Conexionistas (CTC) en NAT para manejar la flexibilidad de alineamiento, los autores adaptaron la CTC para el Ajuste Fino Supervisado (SFT) de MDLM. La CTC estándar permite que los modelos emitan símbolos "en blanco" (blank), tratando secuencias de salida que difieren solo en la colocación de los blancos como equivalentes. Sin embargo, la CTC estándar también colapsa tokens duplicados adyacentes (por ejemplo, colapsando "100" a "10" o "**" a "*"), lo que distorsiona las formas superficiales del texto.

Para abordar esto, los autores introdujeron CTC-S, un objetivo modificado con dos componentes clave:

Aumento de tokens <SLACK>: Durante el entrenamiento, la respuesta objetivo se aumenta con un token especial <SLACK> (que actúa como el símbolo de blanco de la CTC). La proporción de tokens de holgura disminuye monotonicamente con el paso de tiempo de difusión $t$ , coincidiendo con el proceso de generación.
Mapa de Colapso Modificado ( $\beta_{slack}$ ): A diferencia de la CTC estándar, el mapa de colapso para CTC-S elimina únicamente los tokens <SLACK> y preserva los tokens de contenido duplicados adyacentes. Esto asegura que el modelo pueda absorber la incertidumbre posicional sin distorsionar la forma superficial del objetivo (por ejemplo, manteniendo "100" como "100").
Objetivo Combinado: La pérdida de entrenamiento final combina la pérdida de entropía cruzada enmascarada estándar ( $L_{CE}$ ) con la pérdida CTC-S ( $L_{CTC-S}$ ):
$L_{SFT} = L_{CE} + \lambda L_{CTC-S}$
El término CE se calcula sobre los datos aumentados con slack, mientras que el término CTC-S se calcula contra el objetivo limpio original, fomentando que el modelo emita tokens <SLACK> cuando sea necesario para acomodar la incertidumbre posicional.

Contribuciones Clave

Evidencia Empírica de Sensibilidad: El artículo proporciona la primera evidencia directa de que los MDLM son sensibles a los pequeños desplazamientos posicionales bajo la decodificación iterativa, demostrada mediante una intervención de intercambio controlada.
Objetivo CTC-S: La introducción de un objetivo CTC modificado diseñado para la generación de texto que relaja el alineamiento posicional sin distorsionar las formas superficiales (al evitar la fusión de duplicados).
Dimensión de Diseño del Lado del Entrenamiento: El trabajo identifica la "flexibilidad de alineamiento en el lado del entrenamiento" como una dimensión de diseño complementaria a los enfoques existentes en el tiempo de inferencia (como el re-enmascarado o la guía) para mejorar el rendimiento de los MDLM.

Resultos

Los autores evaluaron el método en cuatro benchmarks de generación abierta: Arena-Hard, MT-Bench, WildBench y Creative Writing Bench v3, utilizando el modelo base LLaDA-8B-Instruct.

Ganancias de Rendimiento: El modelo CE + CTC-S superó consistentemente tanto al modelo LLaDA original como a un punto de referencia CE-Only emparejado (entrenado con los mismos datos aumentados pero con la pérdida CE estándar) en los cuatro benchmarks.
Significancia Estadística: Las mejoras fueron estadísticamente significativas en los cuatro benchmarks en comparación con ambos puntos de referencia.
Prueba de Robustez: Al ser sometido a la misma intervención de desplazamiento posicional utilizada en la fase de diagnóstico, el modelo CE + CTC-S se mantuvo robusto (las tasas de victoria se mantuvieron en o por encima del 50%), mientras que el modelo CE-Only mostró la misma alta sensibilidad que el modelo original.
Capacidades Generales: La evaluación en benchmarks de capacidades generales (GPQA, MMLU, MBPP, IFEval, GSM8K) mostró que el objetivo CTC-S no degradó las capacidades de razonamiento o codificación del modelo; en algunos casos (IFEval, GSM8K), igualó o superó ligeramente el rendimiento del modelo base.
Comparación con Correcciones en Tiempo de Inferencia: Los autores compararon su enfoque del lado del entrenamiento contra un barrido de "Block Diffusion" en el tiempo de inferencia (que limita el lienzo de decodificación). Incluso con los tamaños de bloque mejor ajustados, el punto de referencia CE-Only no pudo igualar el rendimiento del modelo CE + CTC-S, lo que indica que la flexibilidad en el lado del entrenamiento ofrece ganancias que el ajuste en el tiempo de inferencia no puede recuperar.

Significancia y Reivindicaciones

El artículo sostiene que cerrar la brecha entre la investigación de NAT y MDLM revela una debilidad crítica en el entrenamiento estándar de MDLM: la rigidez de la supervisión por posición. Al adaptar la CTC al entorno de MDLM, los autores demuestran que la flexibilidad de alineamiento es una dimensión de diseño crucial, aunque previamente subutilizada, para el SFT de los MDLM.

Los autores posicionan este trabajo como una contribución metodológica que reduce la brecha de rendimiento entre los modelos MDLM y los modelos autoregresivos en la generación abierta. Establecen explícitamente que su método no introduce nuevas capacidades más allá del modelo base, sino que optimiza el objetivo de entrenamiento para manejar mejor las incertidumbres inherentes de la decodificación paralela. El trabajo sugiere que la investigación futura debería explorar la relajación del alineamiento posicional durante el pre-entrenamiento y extender estos objetivos de alineamiento flexible a otras instancias de MDLM.