Résumé technique : Quand la confiance induit en erreur : Ancrage de suffixe et modulation de la confiance par proximité d'ancre pour les modèles de langage par diffusion

Énoncé du problème

Les modèles de langage par diffusion (DLM) génèrent du texte en débruitant itérativement des séquences de tokens masqués, permettant un décodage parallèle de plusieurs positions. Un défi central lors de l'inférence dans le décodage entièrement non-autoregressif (fully non-AR) consiste à déterminer quelles positions masquées démasquer à chaque étape. La plupart des stratégies sans réentraînement reposent sur la confiance du modèle comme signal de sélection, opérant sous l'hypothèse que les positions à haute confiance sont prêtes à être décodées.

Ce papier identifie deux modes de défaillance critiques où cette hypothèse conduit à une génération sous-optimale :

1. Surconfiance EOT : Les DLM adaptés aux instructions attribuent souvent une haute confiance aux tokens de Fin de Texte (EOT) tôt dans le processus de décodage. Les stratégies basées sur la confiance démasquent ces tokens prématurément, entraînant des générations incomplètes ou extrêmement courtes.
2. Surconfiance locale induite par l'ancre : Une atténuation simple du premier problème est l'ancrage de suffixe — l'insertion d'un indice structurel court (par exemple, « La réponse est ») près de la fin de la région de réponse pour encourager la continuation. Cependant, cela introduit un nouveau mode de défaillance : l'ancre induit une confiance trompeusement élevée dans les tokens immédiatement adjacents à elle avant qu'un contexte préalable suffisant n'ait été généré. Par conséquent, le décodage basé sur la confiance démasque ces tokens adjacents à l'ancre trop tôt, conduisant à des sorties inexactes (par exemple, des réponses finales générées avant que les étapes de raisonnement ne soient terminées).

Méthodologie

Les auteurs proposent la Modulation de la confiance ancrée par suffixe, une méthode sans réentraînement, plug-and-play, qui combine l'ancrage de suffixe avec un mécanisme dynamique de réaffectation des poids de confiance. La méthode se compose de deux composants principaux :

1. Ancrage de suffixe

Avant le début du décodage, un court ancre de suffixe est inséré près de la fin de la région de réponse (par exemple, 20 positions depuis la fin). Cela sert d'indice léger pour la continuation de la réponse, décourageant la génération prématurée d'EOT sans supprimer explicitement les tokens EOT ni nécessiter de réentraînement du modèle.

2. Modulation de la confiance par proximité d'ancre

Pour répondre à la surconfiance locale induite par l'ancre, la méthode module les scores de confiance en fonction de deux facteurs : la proximité spatiale à l'ancre et la progression du décodage.

• Poids de proximité à l'ancre ($w_i$) : Un poids est attribué à chaque position de token $i$ en fonction de sa distance à l'ensemble d'ancres $A$. Les positions plus proches de l'ancre reçoivent des poids plus élevés, indiquant qu'elles sont plus susceptibles d'un décodage prématuré.
  $$w_i = \min\left\{1, \beta \max_{a \in A} \exp\left(-\frac{|i - a|}{\kappa}\right)\right\}$$
  Ici, $\kappa$ contrôle la décroissance spatiale, et $\beta$ contrôle la force de modulation.

• Réaffectation dépendante de la progression : Le score de confiance $c_i^{(t)}$ est réaffecté en $\tilde{c}_i^{(t)}$ en utilisant la progression du décodage $p(t)$, définie comme la fraction de tokens démasqués :
  $$\tilde{c}_i^{(t)} = c_i^{(t)} \left(1 - w_i (1 - p(t))^\gamma\right)$$

  • Décodage précoce : Lorsque $p(t)$ est faible (stades précoces), le terme $(1 - p(t))^\gamma$ est grand. Cela réduit considérablement le poids de la confiance des positions proches de l'ancre, empêchant un démasquage prématuré.
  • Décodage tardif : À mesure que $p(t) \to 1$, le facteur de réduction de poids tend vers zéro, permettant aux scores de confiance de revenir à leurs valeurs d'origine. Cela garantit que, une fois un contexte suffisant généré, le comportement de sélection standard basé sur la confiance est rétabli.

La méthode ne nécessite aucun entraînement du modèle, aucun module auxiliaire, ni aucune modification architecturale.

Résultats clés

La méthode a été évaluée sur des benchmarks de raisonnement uniquement textuel, de raisonnement vision-langage et de génération de code, en utilisant des modèles tels que LLaDA 8B-Instruct, Dream 7B-Instruct et LaViDa-Instruct.

• Gains de performance : La méthode améliore systématiquement le décodage entièrement non-AR sur tous les benchmarks.
  • Sur GSM8K (raisonnement mathématique) avec LLaDA et un décodage par probabilité maximale, la précision est passée de 14,94 % (référence) à 76,88 %.
  • Sur MATH-500, les améliorations étaient également substantielles (par exemple, de 14,60 % à 29,00 %).
  • Dans les tâches Vision-Langage (MathVista, ChartQA), la méthode a amélioré le décodage par probabilité maximale de 25,56 % à 40,26 % en moyenne.
• Comparaison avec les alternatives :
  • vs. Suppression EOT : La méthode proposée surpasse la suppression explicite d'EOT (qui fixe la confiance du token EOT à $-\infty$) sur tous les benchmarks, suggérant qu'une guidance structurelle avec modulation de la confiance est plus efficace qu'une suppression stricte.
  • vs. Décodage semi-autoregressif : La méthode surpasse le décodage semi-autoregressif (qui génère par blocs) sur divers budgets d'étapes. Notamment, sous des budgets d'étapes limités (par exemple, $T=32$), la méthode entièrement non-AR avec modulation a atteint 57,70 % de précision sur GSM8K, surpassant significativement la meilleure configuration semi-AR (36,32 %), démontrant la valeur d'une sélection de positions parallèle flexible.
• Efficacité : La méthode introduit une surcharge négligeable. Le débit et la latence restent comparables à la référence (environ 25,0 tokens/s et 10,2 s/échantillon).

Importance et affirmations

Le papier affirme que la sélection de positions basée sur la confiance dans les DLM entièrement non-AR n'est pas un signal monolithique ; elle peut être trompeuse dans des contextes spécifiques (tokens EOT et régions adjacentes à l'ancre). L'importance de ce travail réside dans :

1. L'identification d'un mode de défaillance spécifique : Il met en évidence que l'ajout simple d'ancres structurelles (ancrage de suffixe) est insuffisant et peut introduire de nouvelles erreurs (surconfiance locale) s'il n'est pas couplé à une gestion dynamique de la confiance.
2. Une solution simple et sans réentraînement : La Modulation de la confiance ancrée par suffixe proposée offre une amélioration robuste, plug-and-play, qui préserve les avantages du décodage parallèle de la génération entièrement non-AR sans sacrifier la qualité de génération ni nécessiter d'adaptation du modèle.
3. Applicabilité large : La méthode est efficace sur des tâches diverses (mathématiques, raisonnement de bon sens, vision-langage, code) et différents modèles de base, indiquant que l'interplay entre les indices structurels et la dynamique de la confiance est un défi fondamental dans la génération de texte par diffusion.

Les auteurs notent des limites, reconnaissant que la méthode ne corrige pas les erreurs découlant d'une connaissance ou d'une capacité de raisonnement insuffisante du modèle, mais optimise plutôt la sélection des tokens lorsque la confiance du modèle est élevée mais potentiellement prématurée. Ils suggèrent également que, bien que la méthode soit robuste face à différents choix et positions d'ancres, un travail futur pourrait explorer des stratégies adaptatives pour la sélection d'ancres.