Resumen Técnico: VoidPadding

Problema: Desbordamiento de [EOS] en Modelos de Lenguaje de Difusión con Máscaras

Los Modelos de Lenguaje de Difusión con Máscaras (MDLMs) generan texto mediante el denoise (eliminación de ruido) de un lienzo de respuesta preasignado y totalmente enmascarado en paralelo, utilizando atención bidireccional. Esta arquitectura contrasta con los modelos autorregresivos (ARLMs), que generan tokens de forma secuencial. Un desafío crítico surge durante el ajuste de instrucciones (IT) para los MDLMs: para facilitar el procesamiento por lotes (batching) eficiente, los pares de instrucción-respuesta se rellenan hasta alcanzar una longitud de secuencia uniforme. Siguiendo las convenciones heredadas del entrenamiento de ARLM, los MDLMs existentes suelen utilizar tokens [EOS] repetidos como relleno (padding).

Esta práctica crea un desajuste de roles entre entrenamiento e inferencia que conduce al desbordamiento de [EOS], particularmente bajo la decodificación de bloques grandes:

1. Doble Rol de [EOS]: En el entrenamiento, [EOS] cumple una doble función: actúa como un terminador semántico para la respuesta real y como un token de relleno para el resto de la secuencia. En consecuencia, el modelo aprende a asociar altas probabilidades de [EOS] con la cola de la secuencia, tratando efectivamente al [EOS] como una "señal de longitud" que indica dónde debería terminar la respuesta.
2. Fallo en la Inferencia: Durante la inferencia, los MDLMs operan sobre un lienzo fijo. Si el modelo se compromete con tokens [EOS] de alta confianza en la cola del lienzo (basándose en la señal de longitud aprendida), estos tokens comprometidos se convierten en parte del contexto bidireccional para los pasos de denoise subsiguientes. Esto causa que el modelo propague las probabilidades de [EOS] hacia la izquierda, provocando una terminación prematura y la repetición de tokens [EOS], incluso cuando el contenido semántico está incompleto. Este fenómeno, denominado desbordamiento de [EOS], degrada la calidad de la generación y limita la efectividad de las estrategias de decodificación de bloques grandes.

Metodología: VoidPadding

Los autores proponen VoidPadding, un codiseño de entrenamiento-inferencia que desacopla el rol de terminación semántica del rol de relleno.

1. Diseño de Entrenamiento: Introducción de [VOID]

En lugar de rellenar con [EOS], los datos de entrenamiento se formatean como [prompt] [response] [EOS] [VOID]*.

• [EOS]: Reservado exclusivamente como el terminador semántico. Aparece exactamente una vez por ejemplo, inmediatamente después de la respuesta.
• [VOID]: Introducido como un nuevo tipo de token utilizado únicamente para rellenar el resto de la secuencia.
• Objetivo de Entrenamiento: El modelo es entrenado para predecir el token original en las posiciones enmascaradas. Crucialmente, el único token [EOS] siempre se enmascara durante el entrenamiento, obligando al modelo a aprender [EOS] estrictamente como un terminador semántico estable en lugar de un artefacto de relleno. Los tokens [VOID] también se enmascaran, enseñando al modelo a asociar [VOID] con la porción "no utilizada" del lienzo.

2. Diseño de Inferencia: Parada y Expansión Desacopladas

VoidPadding introduce dos mecanismos complementarios para la inferencia:

• Terminación por [EOS] ([EOS]Termination):

  • Las reglas de parada estándar de los MDLM (VanillaStopping) requieren decodificar todo el lienzo o hasta que todas las máscaras se llenen, lo que a menudo conduce a una generación redundante después del punto final semántico.
  • VoidPadding implementa [EOS]Termination: la decodificación se detiene tan pronto como todas las posiciones a la izquierda del [EOS] visible más a la izquierda están desmascaradas. El modelo descarta el resto del lienzo (incluyendo cualquier relleno [VOID]).
  • Para evitar que [VOID] aparezca en la salida, sus logits se establecen en $-\infty$ durante la selección de tokens, asegurando que permanezca como una señal oculta.

• Expansión de Vacío (VoidExpansion - Asignación Adaptativa de Lienzo):

  • Los MDLMs requieren un lienzo preasignado. Si el lienzo inicial es demasiado corto, la calidad de la generación disminera.
  • VoidExpansion aprovecha la señal de longitud [VOID] aprendida. Antes de la decodificación, el modelo evalúa la cola del lienzo actual. Si las posiciones de la cola muestran una fuerte preferencia por tokens que no son [VOID] (indicando que el lienzo es insuficiente), el lienzo se expande por un tamaño de bloque ($B$).
  • Este proceso se repite hasta que la preferencia de la cola cambia a [VOID] (indicando longitud suficiente) o se alcanza un máximo de longitud. Esto permite al modelo asignar espacio de lienzo de forma adaptativa sin depender de señales de [EOS] frágiles.

Contribuciones Clave

1. Análisis de Mecanismo: El artículo identifica sistemáticamente la causa raíz del desbordamiento de [EOS] como el uso dual de [EOS] tanto para el relleno como para la terminación durante el ajuste de instrucciones, lo que crea una señal de longitud aprendida que entra en conflicto con el contexto bidireccional de la inferencia.
2. Marco de Trabajo VoidPadding: La propuesta de un codiseño de entrenamiento-inferencia ligero que introduce [VOID] para el relleno y reserva [EOS] para la terminación. Esto permite una parada temprana confiable ([EOS]Termination) y una expansión de lienzo adaptativa (VoidExpansion).
3. Validación Empírica: Experimentos extensos demuestran que VoidPadding previene el desbordamiento de [EOS], mejora significativamente la calidad de la generación en tareas de razonamiento matemático y generación de código, y reduce el costo computacional de decodificación (NFE) al permitir la terminación temprana.

Resultados

Los experimentos se realizaron en LLaDA-8B-Instruct y Dream-7B-Instruct a través de cuatro benchmarks: GSM8K, MATH500, HumanEval y MBPP.

• Robustez al Tamaño de Bloque:

  • En Dream-7B-Instruct, VoidPadding mejoró la media de cuatro tareas promediada por tamaño de bloque en +17.84 puntos sobre el modelo original y en +6.95 puntos sobre el método anterior más avanzado, RainbowPadding.
  • En LLaDA-8B-Instruct, la mejora fue de +7.06 puntos sobre el modelo original y +3.59 puntos sobre RainbowPadding.
  • Crucialmente, mientras que los modelos originales sufrieron una degradación severa de rendimiento a medida que aumentaba el tamaño del bloque (por ejemplo, cayendo de 76% a ~28% en GSM8K para LLaDA con un tamaño de bloque de 512), VoidPadding mantuvo un rendimiento estable (78%).

• Eficiencia de Decodificación:

  • Al utilizar [EOS]Termination, VoidPadding redujo significativamente el Número de Evaluaciones de Forward (NFE). En Dream-7B-Instruct, el NFE se redujo en un promedio de 55.7%, con reducciones específicas del 69.3% en GSM8K y 84.6% en MBPP en comparación con el requisito estándar de 512 pasos.

• Generación de Longitud Variable:

  • La estrategia VoidExpansion permitió al modelo manejar lienzos iniciales cortos (ej. $L_0=64$) de manera efectiva. En LLaDA, el método completo de VoidPadding + VoidExpansion logró una puntuación media de 51.34, superando a los baselines de solo inferencia como DAEDAL (50.77) y $\rho$-[EOS] (45.50), además de ejecutarse 2.12 veces más rápido en tiempo de reloj (wall-clock time).
  • Bajo pruebas de estrés de bloques grandes ($L_0=256, B=256$), los métodos de solo inferencia que dependen de la señal original de [EOS] colapsaron (DAEDAL cayó a 23.46 de media), mientras que VoidExpansion mantuvo una media robusta de 50.04.

Significado y Reivindicaciones

El artículo sostiene que el desbordamiento de [EOS] no es un fallo de capacidad del modelo, sino un fallo estructural derivado de la interacción entre los priors de longitud aprendidos, el contexto bidireccional y las reglas de muestreo estándar. Al desacoplar el relleno de la terminación, VoidPadding resuelve este desajuste.

Los autores posicionan a VoidPadding como una adaptación necesaria para los MDLMs, argumentando que las convenciones heredadas de los ARLM (como usar [EOS] para el relleno) son "en gran medida benignas" bajo el enmascaramiento causal, pero se vuelven "frágiles" bajo la denoise bidireccional. El método ofrece un camino práctico para desbloquear todo el potencial de la decodificación de bloques grandes en modelos de difusión, mejorando tanto la calidad de los resultados de razonamiento complejo como la eficiencia del proceso de generación. El artículo concluye que los diseños futuros de MDLM deben considerar explícitamente el tiempo de compromiso de tokens, la asignación de lienzo y las decisiones de parada bajo condiciones bidireccionales, en lugar de confiar en supuestos autorregresivos.