Résumé Technique : Les Modèles de Diffusion Continus Peuvent Respecter la Syntaxe Formelle

Énoncé du Problème

Les modèles de langage par diffusion offrent une alternative convaincante aux modèles autoregressifs en permettant des processus de génération globaux et non causaux, ce qui est bénéfique pour des tâches nécessitant un contexte bidirectionnel ou une révision globale (par exemple, le remplissage, la planification à long horizon). Cependant, une limitation significative persiste : la dynamique latente continue de ces modèles rend difficile l'imposition de contraintes syntaxiques discrètes, telles que garantir que la sortie respecte un schéma JSON ou une expression régulière spécifique (regex).

Dans les modèles autoregressifs, la validité syntaxique est généralement imposée par un décodage contraint, qui filtre les choix de jetons suivants pour garantir que la sortie finale est bien formée. Ce mécanisme repose sur le maintien d'un préfixe discret explicite. En revanche, les modèles de diffusion continus opèrent sur des représentations latentes continues de l'ensemble de la séquence à chaque pas de temps, sans préfixe discret explicite. Par conséquent, le primitive central du décodage contraint — masquer les choix de jetons suivants qui rendent un préfixe incomplet — ne se transpose pas directement. Les adaptations existantes pour la diffusion visent souvent des variantes discrètes spécialisées ou reposent sur un guidage par classifieur, ce qui nécessite l'entraînement d'un modèle auxiliaire pour chaque contrainte spécifique, une approche coûteuse en ressources et peu pratique pour l'immense espace des expressions régulières possibles.

Méthodologie : DIFFINITY

Les auteurs introduisent DIFFINITY, une méthode de guidage sans entraînement conçue pour orienter les modèles de langage par diffusion continus afin qu'ils satisfont des contraintes syntaxiques formelles exprimées sous forme d'expressions régulières. L'approche reflète le principe du guidage par classifieur, mais remplace la nécessité d'un classifieur auxiliaire entraîné par un score calculé analytiquement.

Mécanisme Central

La méthode opère en modifiant l'étape de débruitage du processus de diffusion. Au lieu d'échantillonner à partir de la distribution prédite par le modèle de base, la trajectoire d'échantillonnage est décalée à l'aide d'un terme de gradient dérivé de la probabilité de validité syntaxique.

1. Calcul du Score Analytique :
   La méthode construit une estimation analytique de la probabilité qu'un état latent $x_t$ se décode en une chaîne valide acceptée par un langage régulier donné $L$.

   • Le décodeur $Dec(x_t)$ est traité comme émettant une distribution unigramme sur le vocabulaire pour chaque position de jeton.
   • Le langage régulier $L$ est représenté sous forme d'un Automate Fini Déterministe (DFA).
   • Pour gérer la discordance entre les définitions de regex au niveau des caractères et les vocabulaires de modèles au niveau des jetons, les auteurs introduisent une construction d'automate aligné au vocabulaire. Cela aligne le DFA avec le tokenizer du modèle, garantissant que toutes les tokenisations valides d'une chaîne sont prises en compte.
   • En utilisant la programmation dynamique, la méthode calcule des matrices de transition pondérées ($M_1, \dots, M_l$) basées sur la distribution unigramme actuelle. La probabilité attendue $E_{s \sim Dec(x_t)}[s \in L]$ est calculée en propageant la distribution initiale d'état à travers ces matrices et en sommant les probabilités d'atteindre les états acceptants.

2. Échantillonnage Guidé :
   L'étape de débruitage est modifiée comme suit :
   $$x_{t-1} = \mu_\theta(x_t, t) + \gamma \sigma_t^2 \nabla_{x_t} \log E_{s \sim Dec(x_t)}[s \in L] + \sigma_t \epsilon$$
   Ici, $\mu_\theta(x_t, t)$ est la prédiction du modèle de base, et le terme de gradient $\nabla_{x_t} \log E_{s \sim Dec(x_t)}[s \in L]$ agit comme une force de direction. Ce gradient pousse la trajectoire latente vers des régions de l'espace continu qui se décodent en chaînes syntaxiquement valides. L'hyperparamètre $\gamma$ contrôle la force de cette contrainte.

3. Justification Théorique :
   Les auteurs démontrent que cette approche approxime la conditionnement de l'échantillonneur de diffusion sur la validité syntaxique. En utilisant l'espérance analytique exacte plutôt qu'un proxy appris, la méthode cible la distribution conditionnelle $Pr(x_0 | L)$ sans l'instabilité ni le coût de l'entraînement d'un classifieur séparé.

Contributions Clés

1. Guidage Sans Entraînement : L'article propose une méthode pour orienter les modèles de diffusion continus afin qu'ils satisfont des contraintes de regex discrètes sans entraîner de classifieurs auxiliaires. Le score de guidage est calculé analytiquement à partir de la contrainte elle-même.
2. Cadre Théorique : Les auteurs fournissent une justification formelle montrant que l'échantillonneur résultant cible le modèle de base conditionné à la validité syntaxique, reliant l'approche à la théorie standard de la génération conditionnelle basée sur les scores.
3. Implémentation et Évaluation : La méthode est implémentée sous le nom de DIFFINITY au-dessus du modèle de diffusion PLAID. Elle est évaluée sur 180 contraintes d'expressions régulières couvrant des schémas JSON et des motifs de langage naturel.

Résultats

L'évaluation compare DIFFINITY au décodage contraint autoregressif (utilisant des variantes de GPT-2 avec la bibliothèque Guidance) et aux modèles de diffusion discrets avec décodage contraint (LLaDA + DINGO).

• Satisfaction des Contraintes : DIFFINITY atteint des taux élevés de satisfaction des contraintes, allant de 68 % à 96 % sur les benchmarks.
  • Sur les benchmarks de schémas JSON, il atteint un taux de satisfaction de 68,4 % (comparé à ~77 % pour GPT-2 Large, mais avec des contraintes de remplissage différentes) et 91,4 % de Pass@10.
  • Sur les benchmarks de langage naturel, il atteint un taux de satisfaction moyen de 92,9 %, surpassant significativement GPT-2 Large (20,5 %) et étant comparable à LLaDA+DINGO (près de 100 %).
• Qualité et Perplexité :
  • Contrairement au décodage contraint autoregressif, qui souffre souvent du « piège de la répétition infinie » (s'arrêtant dans des régions de faible probabilité) et déforme la distribution du modèle, DIFFINITY maintient une haute qualité de texte.
  • DIFFINITY n'engendre qu'un faible coût de perplexité par rapport à l'échantillonnage sans contrainte. Pour les benchmarks de langage naturel, la perplexité de DIFFINITY (60,0) est comparable à celle du modèle de base sans contrainte (61,6), tandis que les modèles autoregressifs contraints montrent souvent une perplexité plus élevée ou une fluidité réduite.
  • En termes de fluidité, DIFFINITY (35,8) surpasse GPT-2 Small et Medium et est comparable à GPT-2 Large.
• Comparaison avec le Guidage par Classifieur : Le guidage par classifieur standard (entraîné sur des latents bruités) a mal performé, atteignant 0 % de satisfaction sur les benchmarks JSON et des taux très faibles sur les tâches de langage naturel, soulignant la difficulté d'apprendre ces contraintes discrètes via des classifieurs auxiliaires.
• Surcharge Computationsnelle : DIFFINITY engendre une latence d'environ 2 à 3 fois celle d'une génération non conditionnée, principalement due au calcul de sommes denses sur les transitions de l'automate. L'utilisation de la mémoire évolue avec le nombre de transitions et d'états dans l'automate aligné.

Signification et Revendications

L'article revendique que les modèles de diffusion continus peuvent être efficacement orientés pour respecter la syntaxe formelle sans nécessiter d'entraînement ni les distorsions distributionnelles souvent associées au décodage contraint dans les modèles autoregressifs.

• Robustesse : DIFFINITY s'avère plus fiable que le décodage contraint autoregressif, en particulier sous des budgets de jetons finis où les modèles autoregressifs peuvent échouer à compléter des séquences valides.
• Préservation de la Distribution : La méthode impose avec succès les contraintes tout en préservant la distribution de probabilité sous-jacente du modèle de base, évitant les heuristiques « ad hoc » qui dégradent la qualité de la sortie dans d'autres méthodes de génération contrainte.
• Généralisabilité : Bien que actuellement limitée aux contraintes régulières, le cadre fournit un mécanisme principé et sans entraînement pour orienter les modèles de diffusion continus, offrant une alternative viable à l'entraînement coûteux en ressources des classifieurs ou aux limitations structurelles du décodage contraint des modèles de diffusion discrets.

Les auteurs concluent que, bien que la surcharge computationnelle actuelle ne soit pas négligeable, la capacité à générer des sorties structurées syntaxiquement valides avec une haute fidélité suggère une direction prometteuse pour la génération structurée dans les modèles de diffusion. Des travaux futurs sont suggérés pour se concentrer sur des structures de données économes en mémoire et des optimisations de noyaux afin de réduire la latence.