Resumen Técnico: Cuándo Planificar, Cuándo Pulir

Declaración del Problema

Los modelos de lenguaje (LM) de difusión discreta estándar operan con una granularidad por token fija durante todo el trayecto de eliminación de ruido. En estos modelos, tanto la corrupción de entrenamiento (enmascaramiento) como el compromiso de inferencia (revelación de tokens) ocurren a nivel de token individual, independientemente del nivel de ruido.

Los autores argumentan que esta granularidad fija es una limitación fundamental para tareas de generación que requieren planificación (p. ej., narración de larga duración, escritura estructurada).

• El Problema: En niveles de ruido altos (etapas tempranas de eliminación de ruido), el enmascaramiento uniforme por token deja al modelo con fragmentos de palabras aislados y dispersos ("migajas de palabras") en lugar de evidencia semántica coherente. En consecuencia, el modelo se ve obligado a realizar conjetas locales de tokens basadas en pistas débiles, en lugar de formar una estructura global coherente (un "esqueleto") temprano en el proceso.
• La Brecha: Aunque existen métodos de planificación jerárquica (p. ej., sistemas de "Planificar y Escribir" o difusión a nivel de bloque), estos requieren planificadores explícitos, latentes a nivel de bloque o diseños de múltiples etapas. El artículo se pregunta si un LM de difusión de nivel único puede soportar intrínsecamente la planificación temprana y el pulido tardío aprovechando su nivel de ruido existente como una señal de granularidad, sin añadir complejidad arquitectónica externa.

Metodología: Control de Granularidad Dependiente del Ruido (NDGC)

Los autores proponen el Control de Granularidad Dependiente del Ruido (NDGC), un método que alinea la granularidad de la exposición de entrenamiento y el compromiso de inferencia con el nivel de ruido ($t$). La intuición central es: Ruido alto = Planificación (grupos gruesos); Ruido bajo = Pulido (tokens finos).

1. Exposición Estructurada (Entrenamiento)

En lugar de enmascarar tokens de forma independiente, NDGC introduce una estrategia de enmascaramiento de tramos dependiente del ruido:

• Coeficiente de Granularidad ($s(t)$): Una función del nivel de ruido $r(t)$ que escala de 0 (ruido bajo) a 1 (ruido alto).
• Tamaño de Grupo ($B(t)$): La longitud objetivo del grupo se calcula como $B(t) = \max(1, \text{redondear}(1 + s(t)(B_{\max} - 1)))$.
• Mecanismo: Con ruido alto, el modelo se entrena con grupos contiguos de tokens (tramos o spans). Si un grupo está enmascarado, todo el tramo se oculta; si está expuesto, todo el tramo es visible. Esto asegura que, con ruido alto, el modelo vea bloques semánticos coherentes en lugar de migajas dispersas.
• Preservación Marginal: El método preserva la probabilidad de enmascaramiento marginal $r(t)$ para cada token, asegurando que la tasa de corrupción esperada sea consistente con la difusión estándar, cambiando únicamente la correlación de la corrupción.

2. Compromiso Emparejado (Inferencia)

Para evitar un desajuste entre entrenamiento e inferencia, el proceso de inferencia refleja la granularidad de entrenamiento:

• Compromiso por Grupos: En los pasos de ruido alto, el muestreador evalúa la confianza de grupos enteros (promediando la confianza de los tokens dentro de un grupo enmascarado).
• Selección: Los grupos de alta confianza se comprometen (se revelan) juntos.
• Refinamiento: A medida que el ruido disminuye, $B(t)$ se reduce, regresando eventualmente al compromiso y refinamiento estándar a nivel de token en niveles de ruido bajos.

3. Alineación

La innovación clave es la alineación de la exposición y el compromiso. Al utilizar el mismo cronograma de dependencia del ruido $s(t)$ tanto para el entrenamiento como para la inferencia, el modelo aprende a formar estructuras semánticas gruesas al principio y a refinar el léxico después, simulando efectivamente un proceso de eliminación de ruido de "grueso a fino" sin un planificador explícito.

Contribuciones Clave

1. Identificación de la Limitación: El artículo identifica que la granularidad fija por token en la difusión impide la formación temprana de la estructura, lo que conduce a una dependencia de conjetas locales en lugar de una planificación global.
2. Propuesta de NDGC: Introducción de un método de difusión de nivel único que utiliza el nivel de ruido como una señal de granularidad, acoplando la exposición de tramos estructurados durante el entrenamiento con el compromiso de grupo emparejado durante la inferencia.
3. Validación Empírica: Demostración de que NDGC desplaza la formación del esqueleto hacia etapas más tempranas de la trayectoria de eliminación de ruido, mejora la recuperación ordenada de temas y reduce las salidas degeneradas (repetición) en comparación con las líneas base uniformes por token.

Resultados Experimentales

Los autores evaluaron NDGC en SYNTHETIC-V4 (un benchmark controlado con esqueletos de temas latentes ordenados) y WritingPrompts (un conjunto de datos de generación de historias naturalistas).

SYNTHETIC-V4 (Arquitectura de base BD3LM)

• Fallo de la Línea Base: La difusión estándar uniforme por token falló significativamente en esta tarea, con solo un 27.8% de cobertura de temas final y una tasa de salidas malas del 99.7% (impulsada por la repetición y la falta de diversidad).
• Desempeño de NDGC: NDGC ($B_{\max}=16$) logró un 84.2% de cobertura de temas final, un 79.8% de precisión de orden y redujo las salidas malas al 3.7%.
• Formación Temprana: Crucialmente, NDGC mostró una Recuperación Temprana (79.1%) y un Orden Temprano (77.0%) significativamente mayores en comparación con la línea base (28.7% y 27.5%), demostrando que la estructura se forma antes, no solo se repara al final.
• Ablaciones:
  • Solo Compromiso Estructurado: Mejoró la cobertura pero no logró corregir las salidas malas (89.0%), indicando que las heurísticas de inferencia por sí solas son insuficientes.
  • Solo Exposición Estructurada: Mejoró la salud de la salida pero no logró alcanzar coincidencias exactas de esqueleto elevadas, indicando un desajuste entre entrenamiento e inferencia.
  • Tokenwise Temprano: Incluso con entrenamiento estructurado, forzar el compromiso a nivel de token en ruido alto retrasó la formación del esqueleto.

Verificaciones Trans-Arquitectura y Naturalistas

• MDLM y SEDD: NDGC mejoró la recuperación de esqueletos y mantuvo salidas saludables en otras arquitecturas (MDLM, SEDD), aunque la magnitud de la ganancia varió.
• WritingPrompts: En datos naturalistas sin esqueletos de oro, NDGC mejoró la salud de la salida (las salidas malas bajaron de 22.8% a 10.9%) y la similitud de segmentos alineada con la referencia (RASC-best), al tiempo que redujo la repetición.

Significancia y Reivindicaciones

El artículo afirma que el nivel de ruido puede servir como un eje de granularidad semántica para modelos de lenguaje de difusión de nivel único.

• Mecanismo: Al alinear la exposición de entrenamiento y el compromiso de inferencia, NDGC permite que un modelo "planifique" (se comprometa con tramos coherentes) cuando la evidencia es escasa (ruido alto) y "pula" (se comprometa con tokens) cuando la evidencia es abundante (ruelo bajo).
• Eficiencia: Este enfoque logra un comportamiento similar a la planificación sin requerir planificadores explícitos, arquitecturas jerárquicas o procesos de múltiples etapas.
• Modestia: Los autores reconocen que su evidencia más fuerte proviene del entorno controlado SYNTHETIC-V4. Si bien WritingPrompts respalda los hallazgos respecto a la salud de la salida y la coherencia, no proporciona evidencia directa de la recuperación de esqueletos latentes. Señalan que trabajos futuros podrían explorar límites semánticos aprendidos y documentos más largos.

En resumen, el artículo argumenta que el problema de las "migajas de palabras" en la difusión estándar es solucionable mediante el ajuste dinámico de la granularidad del proceso de eliminación de ruido, permitiendo que un modelo de nivel único transicione naturalmente de la planificación estructural al refinamiento léxico.