Path-Dependent Denoising: A Non-Conservative Field Perspective on Order Collapse in Diffusion Language Models

Resumen Técnico: Desruido Dependiente de la Trayectoria en Modelos de Lenguaje de Difusión

Enunciado del Problema

Los Modelos de Lenguaje de Difusión (DLM) ofrecen una alternativa estructural a los modelos autoregresivos (AR) al permitir actualizaciones de tokens en órdenes arbitrarios o en paralelo, superando teóricamente el cuello de botella serial de la generación de izquierda a derecha. Sin embargo, existe una contradicción central en la práctica: aunque la interfaz del DLM permite un ordenamiento arbitrario, los comportamientos aprendidos a menudo se desvían hacia trayectorias similares a las de los modelos AR, y un alto grado de paralelismo degrada frecuentemente la calidad de la generación. Las explicaciones existentes atribuyen esto a la naturaleza inherentemente secuencial del lenguaje o a la supervisión mediante cadenas de pensamiento. Este artículo argumenta que estas explicaciones dejan la pregunta estructural clave insuficientemente especificada: para un paso de tiempo inverso fijo, ¿la familia de distribuciones condicionales locales proporcionadas por el desruidor se compone en una única distribución conjunta invariante al orden, o definen solo reglas locales que son incompatibles entre diferentes órdenes de actualización?

Metodología y Marco Teórico

El artículo formaliza el problema a través de la lente de la compatibilidad condicional, basándose en la literatura sobre distribuciones especificadas condicionalmente y Campos Aleatorios de Markov. La metodología central implica definir y analizar pseudo-conjuntos inducidos por el orden y una métrica denominada circulación local (curl).

1. Pseudo-conjuntos Inducidos por el Orden: Para un bloque de posiciones no resueltas $B$ y una permutación $\pi$, el desruidor induce una distribución pseudo-conjunta $Q^\pi_{\theta,t}$ definida como el producto secuencial de condicionales locales a lo largo de esa ruta de factorización específica. La generación libre de orden requiere que estos pseudo-conjuntos sean invariantes entre permutaciones ($Q^\pi \approx Q^{\pi'}$).
2. Circulación Local (Curl): El artículo define el curl de orden local $C^{a,b}_{ij}$ como la razón logarítmica entre dos pseudo-conjuntos formados al intercambiar el orden de actualización de dos posiciones adyacentes $i$ y $j$.
   $$C^{a,b}_{ij} = \log \frac{Q^{i \to j}(a,b)}{Q^{j \to i}(a,b)}$$
   Esta métrica es invariante a desplazamientos aditivos de logits y sirve como testigo local de incompatibilidad.
3. Descomposición de la Dependencia de la Trayectoria: Los autores establecen que la razón logarítmica global entre dos pseudo-conjuntos cualesquiera (dependencia de la trayectoria) se descompone exactamente en una suma de circulaciones locales a lo largo de una secuencia de intercambios adyacentes.
4. Separación de Modos de Fallo: El marco distingue tres fuentes distintas de fallo en la decodificación paralela:
   • Incompatibilidad (Curl): Circulación local no nula que causa sensibilidad al orden.
   • Dependencia Condicional: Incluso con curl cero, las actualizaciones paralelas independientes fallan si las coordenadas no resueltas tienen una alta correlación total condicional (TC).
   • Error de Estimación Específico del Orden: El modelo puede rendir mejor en rutas de factorización específicas (por ejemplo, de izquierda a derecha) debido a menores errores de estimación condicional en esos contextos, incluso si la distribución subyacente de datos es compatible.

Contribuciones Clave

El artículo realiza cuatro contribuciones teóricas principales:

• Formulación de Compatibilidad: Replantea el desruido de orden arbitrario como un problema de invariancia de pseudo-conjuntos, separando las especificaciones condicionales a nivel de modelo de las elecciones de operadores a nivel de decodificación.
• Diagnóstico de Circulación Local: Demuestra que el curl elemental es exactamente la razón logarítmica de pseudo-conjuntos intercambiados y que su esperanza bajo un orden equivale a la divergencia KL entre las dos distribuciones inducidas por el orden.
• Caracterización de la Dependencia de la Trayectoria: Proporciona un hecho estructural exacto: un DLM es genuinamente de orden arbitrario en un bloque si y solo si cada "cuadrado elemental" alcanzable (intercambio par a par) es libre de curl. Se demuestra que las brechas globales de orden son la acumulación de circulaciones locales.
• Separación de Modos de Fallo: Aclara que el enmascaramiento uniforme óptimo de Bayes implica curl cero (la direccionalidad de los datos por sí sola no fuerza la incompatibilidad). Además, demuestra que la degradación paralela puede ocurrir incluso con curl cero debido a la correlación total condicional, y que la preferencia de orden está gobernada por errores de estimación condicional específicos del orden.

Resultados y Hallazgos Teóricos

El artículo deriva varios teoremas que aclaran los mecanismos del comportamiento de los DLM:

• Teorema 3 (Límites de Bayes): Bajo enmascaramiento uniforme óptimo de Bayes, el curl local se anula. Esto implica que el curl no nulo en modelos prácticos surge de capacidad finita, optimización imperfecta o cobertura incompleta de contextos de enmascaramiento, no meramente de la naturaleza secuencial de los datos de lenguaje.
• Teorema 4 (Error de Independencia Paralela): Incluso con curl de compatibilidad cero, las actualizaciones paralelas independientes de un solo disparo incurren en una penalización igual a la correlación total condicional (TC) del bloque. Esto explica por qué la decodificación paralela puede fallar incluso cuando el modelo es perfectamente compatible.
• Teorema 5 (Preferencia de Orden): El orden de decodificación preferido es aquel que minimiza el error de estimación condicional local esperado acumulado. Si los contextos tipo prefijo son más fáciles de estimar para el modelo que los contextos mixtos de enmascaramiento arbitrario, el modelo se desviará naturalmente hacia horarios de izquierda a derecha.

Significado y Afirmaciones

El artículo se posiciona como un marco orientado a mecanismos en lugar de un estudio empírico del rendimiento de modelos específicos. Su importancia radica en proporcionar:

1. Diagnósticos Estructurales Exactos: Una forma de probar cuándo la decodificación de DLM es genuinamente libre de orden midiendo las brechas de orden de pseudo-conjuntos y el curl local, en lugar de depender de métricas heurísticas como la entropía o la confianza.
2. Explicación Unificada: Un marco que unifica fenómenos observados (colapso tipo AR, fallo paralelo) separando la dependencia de la trayectoria impulsada por incompatibilidad de la dependencia condicional y el error de estimación.
3. Interfaz de Validación: Un conjunto concreto de pruebas operativas (por ejemplo, diagnósticos de conmutador, perfilado de errores específicos del orden) que pueden aplicarse a modelos existentes sin reentrenamiento para diagnosticar las fuentes del fallo de paralelismo.

Los autores afirman modestamente que se trata de una hipótesis estructural comprobable. Reconocen que el artículo aún no proporciona evidencia empírica amplia en todas las familias de DLM para probar que estas métricas superan a proxies más simples (como la entropía de tokens) en la predicción de fallos. La descomposición en incompatibilidad, dependencia condicional y error de estimación se presenta conceptualmente limpia, pero no aún única operacionalmente en la práctica. El trabajo sugiere que, para que los DLM sean verdaderamente paralelos, deben satisfacer simultáneamente tres condiciones: pseudo-conjuntos estables a través de órdenes, dependencia condicional manejable a nivel de bloque y soporte para distribuciones de contexto estables a través de diferentes horarios.