Neither Parallel Nor Sequential: How DiffusionGemma Actually Commits Tokens

Résumé Technique : Ni Parallèle, Ni Séquentiel

Énoncé du Problème
Les modèles de langage à diffusion (DLM) ouverts sont théoriquement caractérisés comme des décodeurs non autoregressifs et parallèles qui valident les jetons de manière itérative en débruitant une toile masquée. Cependant, l'ordre réel dans lequel un checkpoint déployé finalise les jetons est rarement mesuré empiriquement. Il reste incertain de savoir si ces modèles présentent un parallélisme strict, une auto-régression par blocs nette, ou un comportement hybride. Cette ambiguïté occulte les véritables avantages de latence et la dynamique de décodage du paradigme.

Méthodologie
Les auteurs ont mené une étude d'interprétabilité uniquement par inférence sur le checkpoint public google/diffusiongemma-26B-A4B-it, un modèle de mélange d'experts (MoE) de type diffusion discrète masquée de 25,2 milliards de paramètres (3,8 milliards actifs) basé sur Gemma 4.

• Instrumentation : L'étude a intercepté la méthode EntropyBoundSampler.accept_canvas du modèle au sein de la bibliothèque Hugging Face transformers. Cela a permis aux auteurs d'enregistrer, pour chaque génération, exactement quelles positions de la toile ont été validées à chaque appel d'acceptation ainsi que l'entropie par position des logits validés.
• Conception Expérimentale : L'évaluation a utilisé une suite de sondes de 686 prompts à travers six régimes : Mathématiques (GSM8K), Complétion de Code (HumanEval), Synthèse de Code (MBPP), Rappel Factuel, Instructions Ouvertes et JSON Contraint.
• Exécution de Renforcement : Pour garantir la robustesse, les auteurs ont effectué une « exécution de renforcement » utilisant 5 graines aléatoires (seeds) et 20 prompts par régime (100 traces par régime, 600 générations au total).
• Métriques :
  • Ordre : La métrique principale était la corrélation de rang de Kendall ($\tau_b$) sensible aux ex æquo entre l'indice d'appel de validation d'un jeton et sa position de gauche à droite.
  • Granularité : Un balayage de bloc-$\tau_b$ a été effectué sur des tailles de bacs (bins) $B \in \{4, 8, 16, 32, 64\}$ pour tester l'existence de blocs architecturaux privilégiés.
  • Confiance-Correction : Le pouvoir prédictif de la confiance de validation (entropie négative) sur la correction a été mesuré via l'AUROC et les courbes de fiabilité, strictement au sein de chaque régime pour éviter le paradoxe de Simpson.
  • Contrôles : Un contrôle séquentiel par blocs synthétique (temps de validation = position // 16) a été utilisé pour borner le $\tau_b$ attendu d'un processus auto-régressif par blocs net.

Résultats Clés

1. Biais Gauche-à-Droite Partiel et Dépendant de la Granularité :
   DiffusionGemma ne présente pas d'auto-régression par blocs nette. Au lieu de cela, il montre un biais partiel de gauche à droite qui est modéré au niveau du jeton et augmente de manière fluide vers un comportement séquentiel à mesure que la taille du bac d'analyse augmente.

   • $\tau_b$ au niveau du jeton : Varie de 0,43 (Code) à 0,60 (Synthèse de Code), ce qui est nettement inférieur au +1 d'une auto-régression stricte et bien en dessous du 0,94–0,96 du contrôle séquentiel par blocs.
   • Sensibilité à la Taille des Bacs : Le bloc-$\tau_b$ augmente de manière monotone avec la taille des bacs (ex: pour les Mathématiques : 0, de 0,59 à $B=4$ à 0,91 à $B=64$). Crucialement, il n'y a pas de saut à $B=16$, indiquant que 16 est un choix de l'analyste et non une taille de bloc architecturale privilégiée.
   • Désordre de Sous-Bloc : L'écart entre l'ordre réel des jetons et le contrôle séquentiel par blocs confirme un véritable désordre au sein des blocs.

2. Grands Lots de Validation et Ordre Non Résolu :
   La validation se produit par grands lots. En moyenne, 13 à 26 jetons de contenu sont validés par appel d'acceptation. Une fraction significative de paires de jetons (jusqu'à 0,72 en JSON) est validée dans le même appel, ce qui signifie que leur ordre relatif est non résolu. Le $\tau_b$ mesuré reflète une tendance au niveau de l'appel d'acceptation plutôt qu'un ordre strict au sein d'une étape.

3. Dépendance au Régime :

   • JSON Structuré : Le régime JSON contraint est approximativement indépendant de l'ordre ($\tau_b \approx -0,044$), se distinguant du biais positif modéré des régimes de prose, de code et de mathématiques.
   • Discrimination Confiance-Correction : La confiance de validation prédit la correction sur les Mathématiques (GSM8K AUROC 0,749, IC excluant le hasard) mais est nulle sur le Rappel Factuel (AUROC 0,471, IC incluant 0,5). Le regroupement de ces régimes crée un artefact de paradoxe de Simpson, inversant la tendance.

4. Arrêt Précoce Agressif :
   Malgré un budget de débruitage de 48 étapes, les générations se terminent en un petit nombre d'appels d'acceptation (3,3–17,1 appels). L'entropie à la validation est bien en dessous de la limite de 0,1 (0,002–0,012 nats), indiquant que le modèle valide le contenu bien avant d'épuiser son budget d'étapes.

5. Précision :
   Sur les régimes évaluables (Mathématiques, Factuel, JSON), la précision de DiffusionGemma est comparable à celle de son jumeau auto-régressif, Gemma-4 26B-A4B, bien que l'étude n'ait pas été dimensionnée pour un test d'équivalence.

Signification et Contributions
L'article affirme réviser la compréhension du décodage par diffusion, passant de « secrètement de gauche à droite » ou « structuré hors ordre » à une réalité plus nuancée : un biais de gauche à droite partiel et dépendant de la granularité qui est spécifique au régime et caractérisé par de grands lots de validation non résolus.

Sur le plan méthodologique, l'article contribue par un cadre de mesure de l'ordre de décodage qui traite de pièges spécifiques :

• Artefacts de Padding EOS : Les mesures naïves sont dominées par la validation précoce des jetons de remplissage (padding) ; restreindre l'analyse aux positions de contenu est essentiel.
• Paradoxe de Simpson : Le regroupement de données de confiance-correction de régimes ayant des précisions de base et des échelles d'entropie différentes produit des conclusions invalides.
• Non-Monotonie de la Validation : L'étude prend en compte les événements de « non-validation » (re-masquage) en définissant l'ordre comme l'ordre de première validation, vérifiant la robustesse sur le sous-ensemble strictement monotone.
• Sensibilité à la Taille des Blocs : Elle démontre que les tailles de blocs perçues sont souvent des artefacts du choix de segmentation (binning) de l'analyste plutôt que de l'architecture du modèle.

Les auteurs concluent que l'angle de l'instrumentation — observer les validations par étape d'un échantillonneur déployé plutôt que de proposer une nouvelle stratégie — fournit un outil nécessaire pour auditer le comportement réel des modèles de langage à diffusion.