Neither Parallel Nor Sequential: How DiffusionGemma Actually Commits Tokens

Resumen Técnico: Ni Paralelo Ni Secuencial

Planteamiento del Problema
Los modelos de lenguaje de difusión (DLM) abiertos se caracterizan teóricamente como decodificadores no autorregresivos y paralelos que comprometen tokens iterativamente mediante la eliminación de ruido en un lienzo enmascarado. Sin embargo, el orden real en el que un checkpoint desplegado finaliza los tokens rara vez se mide empíricamente. No está claro si estos modelos exhiben un paralelismo estricto, una autorregresión por bloques limpia o un comportamiento híbrido. Esta ambigüedad oscurece las verdaderas ventajas de latencia y la dinámica de decodificación del paradigma.

Metodología
Los autores llevaron a cabo un estudio de interpretabilidad de solo inferencia del checkpoint público google/diffusiongemma-26B-A4B-it, un modelo de mezcla de expertos (MoE) de difusión discreta enmascarada de 25.2B de parámetros (3.8B activos) construido sobre Gemma 4.

• Instrumentación: El estudio conectó el método EntropyBoundSampler.accept_canvas del modelo dentro de la librería transformers de Hugging Face. Esto permitió a los autores registrar, para cada generación, exactamente qué posiciones del lienzo se comprometieron en cada llamada de aceptación (accept-call) y la entropía por posición de los logits comprometidos.
• Diseño Experimental: La evaluación utilizó una suite de sondas de 686 prompts a través de seis regímenes: Matemáticas (GSM8K), Completado de Código (HumanEval), Síntesis de Código (MBPP), Recuerdo Factual, Instrucciones Abiertas y JSON Restringido.
• Ejecución de Fortalecimiento: Para asegurar la robustez, los autores realizaron una "ejecución de fortalecimiento" utilizando 5 semillas aleatorias y 20 prompts por régimen (100 trazas por régimen, 600 generaciones en total).
• Métricas:
  • Orden: La métrica principal fue la correlación de rango de Kendall ($\tau_b$) sensible a empates entre el índice de la llamada de compromiso de un token y su posición de izquierda a derecha.
  • Granularidad: Se realizó un barrido de bloque-$\tau_b$ sobre tamaños de bin $B \in \{4, 8, 16, 32, 64\}$ para probar la existencia de bloques arquitectónicos privilegiados.
  • Confianza-Corrección: El poder predictivo de la confianza de compromiso (entropía negativa) sobre la corrección se midió mediante AUROC y curvas de fiabilidad, estrictamente dentro de cada régimen para evitar la paradoja de Simpson.
  • Controles: Se utilizó un control secuencial de bloque sintético (tiempo de compromiso = posición // 16) para acotar el $\tau_b$ esperado de un proceso de autorregresión por bloques limpio.

Hallazgos Clave

1. Sesgo de Izquierda a Derecha Parcial y Dependiente de la Granularidad:
   DiffusionGemma no exhibe una autorregresión por bloques limpia. En su lugar, muestra un sesgo parcial de izquierda a derecha que es moderado a nivel de token y aumenta suavemente hacia un comportamiento secuencial a medida que aumenta el tamaño del bin de análisis.

   • $\tau_b$ a nivel de Token: Oscila entre 0.43 (Código) y 0.60 (Síntesis de Código), significativamente por debajo del +1 de la autorregresión estricta y muy por debajo del 0.94–0.96 del control secuencial por bloques.
   • Sensibilidad al Tamaño de Bin: El bloque-$\tau_b$ aumenta monótonamente con el tamaño del bin (por ejemplo, para Matemáticas: 0.59 en $B=4$ a 0.91 en $B=64$). Crucialmente, no hay un salto en $B=16$, lo que indica que 16 es un bin elegido por el analista, no un tamaño de bloque arquitectónico privilegiado.
   • Desorden Sub-Bloque: La brecha entre el orden de los tokens y el control secuencial por bloques confirma un desorden genuino dentro de los bloques.

2. Lotes de Compromiso Grandes y Orden No Resuelto:
   El compromiso ocurre en grandes lotes. En promedio, 13–26 tokens de contenido se comprometen por cada llamada de aceptación. Una fracción significativa de pares de tokens (hasta 0.72 en JSON) se comprometen en la misma llamada, lo que significa que su orden relativo no está resuelto. El $\tau_b$ medido refleja una tendencia a nivel de llamada de aceptación más que un orden estricto dentro del paso.

3. Dependencia del Régimen:

   • JSON Estructurado: El régimen de JSON restringido es aproximadamente independiente del orden ($\tau_b \approx -0.044$), distinto del sesgo positivo moderado de los regímenes de prosa, código y matemáticas.
   • Discriminación Confianza-Corrección: La confianza de compromiso predice la corrección en Matemáticas (AUROC de GSM8K 0.749, IC excluye el azar) pero es nula en Recuerdo Factual (AUROC 0.471, IC incluye 0.5). Agrupar estos regímenes crea un artefacto de la paradoja de Simpson, revirtiendo la tendencia.

4. Parada Temprana Agresiva:
   A pesar de un presupuesto de 48 pasos de eliminación de ruido, las generaciones terminan en un pequeño estallido de llamadas de aceptación (3.3–17.1 llamadas). La entropía al compromiso está muy por debajo del límite de 0.1 (0.002–0.012 nats), lo que indica que el modelo compromete el contenido mucho antes de agotar su presupuesto de pasos.

5. Precisión:
   En los regímenes puntuables (Matemáticas, Factual, JSON), la precisión de DiffusionGemma es comparable a la de su hermano autorregresivo emparejado, Gemma-4 26B-A4B, aunque el estudio no tuvo la potencia suficiente para una prueba de equivalencia.

Significancia y Contribuciones
El artículo afirma revisar la comprensión de la decodificación de difusión de "secretamente de izquierda a derecha" o "estructurada fuera de orden" a una realidad más matizada: un sesgo de izquierda a derecha parcial y dependiente de la granularidad que es específico de cada régimen y se caracteriza por grandes lotes de compromiso no resueltos.

Metodológicamente, el artículo contribuye con un marco para medir el orden de decodificación que aborda problemas específicos:

• Artefactos de Relleno (Padding) de EOS: Las métricas ingenuas están dominadas por el compromiso temprano de los tokens de relleno; restringir el análisis a las posiciones de contenido es esencial.
• Paradoja de Simpson: Agrupar datos de confianza-corrección entre regímenes con diferentes precisiones base y escalas de entropía produce conclusiones inválidas.
• No Monotonicidad del Compromiso: El estudio tiene en cuenta los eventos de "des-aceptación" (re-enmascaramiento) al definir el orden como el orden de primera aceptación, verificando la robustez en el subconjunto estrictamente monótono.
• Sensibilidad al Tamaño de Bloque: Demuestra que los tamaños de bloque percibidos son a menudo artefactos de la elección de agrupación del analista más que del la arquitectura del modelo.

Los autores concluyen que la lente de la instrumentación —observar los compromisos por paso de un muestreador distribuido en lugar de proponer una nueva estrategia— proporciona una herramienta necesaria para auditar el comportamiento real de los modelos de lenguaje de difusión.