💬 NLP

VoidPadding: Let [VOID] Handle Padding in Masked Diffusion Language Models so that [EOS] Can Focus on Semantic Termination

Le papier propose VoidPadding, une méthode qui découple les rôles de remplissage et de terminaison dans les modèles de langage de diffusion masqués en introduisant un jeton [VOID] dédié pour le remplissage, ce qui résout les problèmes de débordement de [EOS] et améliore considérablement les performances et l'efficacité du décodage sur les modèles ajustés par instruction.

Auteurs originaux : Chunyu Liu, Zhengyang Fan, Kaisen Yang, Alex Lamb

Publié 2026-06-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chunyu Liu, Zhengyang Fan, Kaisen Yang, Alex Lamb

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment écrire des histoires. Dans l'ancienne méthode (les modèles autorégressifs), le robot écrit un mot à la fois, de gauche à droite, comme un humain qui tape au clavier. Mais dans cette nouvelle méthode appelée Diffusion Masquée (Masked Diffusion), le robot commence avec une page blanche remplie de points d'interrogation et essaie de deviner tous les mots à la fois, en affinant ses suppositions encore et encore jusqu'à ce que l'histoire ait du sens.

Le problème identifié par l'article est que, lorsque nous entraînons ce robot, nous devons lui donner des exemples d'entraînement. Pour rendre cet entraînement efficace, nous prenons des histoires courtes et les complétons avec des « mots fictifs » afin qu'elles s'adaptent toutes à la même taille de page.

Le Problème : Le Panneau « STOP » Confus

Dans le passé, les chercheurs utilisaient un jeton spécial appelé [EOS] (Fin de phrase) comme ce « mot fictif ».

Son Travail 1 : Lui dire au robot : « Arrête d'écrire ici, l'histoire est terminée. »
Son Travail 2 : Remplir l'espace vide sur la page pour que le robot puisse s'entraîner.

L'article soutient que donner au jeton [EOS] ces deux fonctions, c'est comme demander à un feu de signalisation d'être à la fois un panneau Stop et une barrière de chantier.

Lorsque le robot s'entraîne, il apprend que le jeton [EOS] signifie « remplir cet espace ». Mais lorsqu'il écrit une véritable histoire, il voit [EOS] et il est confus. Il se dit : « Oh, je dois remplir cet espace avec plus de [EOS] ! ». Cela provoque un bug appelé débordement de [EOS] ([EOS] overflow). Le robot écrit un tout petit peu de texte, puis remplit simplement le reste de la page en éparpillant des marqueurs « Fin de phrase », coupant ainsi l'histoire court.

Cela empire lorsque le robot essaie d'écrire de longues histoires en grands blocs. Le panneau « Stop » se retrouve tellement encombré de panneaux « fictifs » que le robot ne peut plus distinguer où l'histoire réelle s'arrête.

La Solution : Le VoidPadding

Les auteurs proposent une correction simple appelée VoidPadding. Ils introduisent un nouveau jeton invisible appelé [VOID].

Voyez cela comme ceci :

[VOID] est le nouveau « mot fictif ». Il remplit l'espace vide sur la page d'entraînement, mais il n'a aucune signification. C'est comme un fantôme qui occupe l'espace mais ne parle pas.
[EOS] est désormais uniquement le panneau « Stop ». Il est réservé strictement pour dire au robot quand l'histoire est réellement terminée.

En séparant ces rôles, le robot apprend clairement :

[VOID] = « Ceci est juste de l'espace vide, ignore-le. »
[EOS] = « L'histoire est finie, arrête-toi maintenant. »

Comment cela fonctionne en pratique

L'article décrit deux astuces ingénieuses qui se produisent lors de « l'inférence » (lorsque le robot effectue réellement le travail) :

L'interdiction du « Fantôme » : Lorsque le robot génère une histoire, il lui est strictement interdit d'écrire [VOID]. S'il essaie de deviner [VOID], le système répond : « Non, ce n'est qu'un fantôme. » Cela empêche le robot de remplir accidentellement son histoire de fantômes invisibles.
L'arrêt précoce : Puisque [EOS] est maintenant un pur panneau « Stop », le robot peut l'écouter. Dès qu'il voit un signal [EOS] clair, il s'arrête d'écrire immédiatement. Il ne perd pas de temps à remplir le reste de la page avec des déchets. Cela rend le robot beaucoup plus rapide.
L'extension du canevas : Parfois, le robot commence avec une page trop petite pour l'histoire qu'il veut raconter. L'article introduit une astuce appelée VoidExpansion. Le robot observe les signaux « fantômes » ([VOID]) qu'il a appris pendant l'entraînement. Si la page est trop courte, les signaux [VOID] paraîtront « inconfortables » (comme un fantôme essayant de se serrer dans une boîte minuscule). Le robot le sent, agrandit la page, puis termine l'histoire.

Les Résultats

Les auteurs ont testé cette méthode sur deux modèles de robots différents (LLaDA et Dream) en utilisant des puzzles mathématiques et de codage.

Meilleure Qualité : Lorsque les robots essayaient d'écrire de longues réponses, l'ancienne méthode échouait souvent et se contentait de recracher « Fin de phrase » de manière répétitive. La nouvelle méthode (VoidPadding) a résolu ce problème, permettant de maintenir des réponses longues et correctes.
Plus Rapide : Parce que les robots s'arrêtaient exactement quand ils avaient terminé (au lieu de remplir toute la page), ils ont accompli les tâches 55 % plus vite en moyenne.
Robuste : La nouvelle méthode a bien fonctionné, que le robot écrivait des réponses courtes ou des réponses très longues, et qu'il travaillait en petits blocs ou en grands blocs.

Résumé

L'article démontre qu'en donnant deux noms différents au panneau « Stop » et au remplissage de « l'Espace Vide », nous pouvons empêcher le robot de se confondre. Cela permet au robot de mieux écrire, de s'arrêter au bon moment et de travailler beaucoup plus rapidement. C'est un petit changement dans la façon dont nous enseignons au robot qui mène à une grande amélioration de ses performances.

Résumé Technique : VoidPadding

Problème : Débordement de [EOS] dans les modèles de langage de diffusion masqués

Les modèles de langage de diffusion masqués (MDLM) génèrent du texte en débruitant un canevas de réponse pré-alloué et entièrement masqué en parallèle, en utilisant une attention bidirectionnelle. Cette architecture contraste avec les modèles autorégressifs (ARLM), qui génèrent des jetons de manière séquentielle. Un défi critique survient lors du réglage fin par instruction (IT) pour les MDLM : pour faciliter le traitement par lots (batching) efficace, les paires prompt-réponse sont complétées (padding) pour atteindre une longueur de séquence uniforme. Suivant les conventions héritées de l'entraînement des ARLM, les MDLM existants utilisent généralement des jetons [EOS] répétés comme jetons de remplissage.

Cette pratique crée un décalage de rôle entraînement-inférence qui conduit au débordement de [EOS], particulièrement lors du décodage par grands blocs :

Double rôle de [EOS] : Pendant l'entraînement, [EOS] remplit une double fonction : il sert de terminateur sémantique pour la réponse réelle et de jeton de remplissage pour le reste de la séquence. Par conséquent, le modèle apprend à associer des probabilités élevées de [EOS] à la fin de la séquence, traitant de fait [EOS] comme un « signal de longueur » indiquant où la réponse devrait s'arrêter.
Échec de l'inférence : Lors de l'inférence, les MDLM opèrent sur un canevas fixe. Si le modèle s'engage sur des jetons [EOS] à haute confiance à la fin du canevas (basé sur le signal de longueur appris), ces jetons engagés deviennent partie intégrante du contexte bidirectionnel pour les étapes de débruitage suivantes. Cela pousse le modèle à propager les probabilités de [EOS] vers la gauche, entraînant une terminaison prématurée et des répétitions de jetons [EOS], même lorsque le contenu sémantique est incomplet. Ce phénomène, nommé « débordement de [EOS] », dégrade la qualité de la génération et limite l'efficacité des stratégies de décodage à grands blocs.

Méthodologie : VoidPadding

Les auteurs proposent VoidPadding, une co-conception entraînement-inférence qui découple le rôle de terminaison sémantique du rôle de remplissage.

1. Conception de l'entraînement : Introduction de `[VOID]`

Au lieu de remplir avec [EOS], les données d'entraînement sont formatées sous la forme [prompt] [réponse] [EOS] [VOID]*.

[EOS] : Réservé exclusivement au terminateur sémantique. Il apparaît exactement une fois par exemple, immédiatement après la réponse.
[VOID] : Introduit comme un nouveau type de jeton utilisé uniquement pour compléter le reste de la séquence.
Objectif d'entraînement : Le modèle est entraîné pour prédire le jeton original aux positions masquées. Crucialement, le jeton [EOS] unique est toujours masqué pendant l'entraînement, forçant le modèle à apprendre [EOS] strictement comme un terminateur sémantique stable plutôt que comme un artefact de remplissage. Les jetons [VOID] sont également masqués, enseignant au modèle à associer [VOID] à la partie « inutilisée » du canevas.

2. Conception de l'inférence : Arrêt et Expansion Découplés

VoidPadding introduit deux mécanismes complémentaires pour l'inférence :

Terminaison par [EOS] (Arrêt précoce) :
- Les règles d'arrêt standard des MDLM (VanillaStopping) exigent de décoder l'intégralité du canevas ou jusqu'à ce que tous les masques soient remplis, ce qui mène souvent à une génération redondante après le point de terminaison sémantique.
- VoidPadding implémente la [EOS]Termination : le décodage s'arrête dès que toutes les positions à gauche du [EOS] le plus à gauche visible sont démasquées. Le modèle rejette le reste du canevas (incluant le remplissage [VOID]).
- Pour éviter l'apparition de [VOID] dans la sortie, ses logits sont fixés à $-\infty$ lors de la sélection des jetons, garantissant qu'il reste un signal caché.
VoidExpansion (Allocation adaptative du canevas) :
- Les MDLM nécessitent un canevas pré-alloué. Si le canevas initial est trop court, la qualité de la génération chute.
- VoidExpansion exploite le signal de longueur [VOID] appris. Avant le décodage, le modèle évalue la queue du canevas actuel. Si les positions de la queue montrent une forte préférence pour des jetons autres que [VOID] (indiquant que le canevas est insuffisant), le canevas est étendu d'une taille de bloc ( $B$ ).
- Ce processus se répète jusqu'à ce que la préférence de la queue bascule vers [VOID] (indiquant une longueur suffisante) ou qu'une longueur maximale soit atteinte. Cela permet au modèle d'allouer l'espace du canevas de manière adaptative sans dépendre de signaux [EOS] fragiles.

Contributions clés

Analyse de mécanisme : Le papier identifie systématiquement la cause profonde du débordement de [EOS] comme étant le double usage de [EOS] pour le remplissage et la terminaison lors du réglage fin par instruction, ce qui crée un signal de longueur appris qui entre en conflit avec le contexte bidirectionnel de l'inférence.
Cadre VoidPadding : La proposition d'une co-conception entraînement-inférence légère qui introduit [VOID] pour le remplissage et réserve [EOS] pour la terminaison. Cela permet un arrêt précoce fiable ([EOS]Termination) et une expansion adaptative du canevas (VoidExpansion).
Validation empirique : Des expériences approfondies démontrent que VoidPadding empêche le débordement de [EOS], améliore significativement la qualité de génération sur les benchmarks de raisonnement mathématique et de génération de code, et réduit le coût de calcul du décodage (NFE) en permettant une terminaison précoce.

Résultats

Les expériences ont été menées sur LLaDA-8B-Instruct et Dream-7B-Instruct sur quatre benchmarks : GSM8K, MATH500, HumanEval et MBPP.

Robustesse à la taille de bloc :
- Sur Dream-7B-Instruct, VoidPadding a amélioré le score moyen des quatre tâches pondéré par la taille de bloc de +17,84 points par rapport au modèle original et de +6,95 points par rapport à la méthode précédente de pointe, RainbowPadding.
- Sur LLaDA-8B-Instruct, l'amélioration était de +7,06 points par rapport au modèle original et de +3,59 points par rapport à RainbowPadding.
- Crucialement, alors que les modèles originaux souffraient d'une dégradation sévère des performances à mesure que la taille de bloc augmentait (par exemple, chutant de ~~76 % à ~28 % sur GSM8K pour LLaDA à une taille de bloc de 512), VoidPadding maintenait une performance stable (~~78 %).
Efficacité du décodage :
- En utilisant la [EOS]Termination, VoidPadding a considérablement réduit le nombre d'évaluations de propagation directe (NFE). Sur Dream-7B-Instruct, le NFE a été réduit en moyenne de 55,7 %, avec des réductions spécifiques de 69,3 % sur GSM8K et 84,6 % sur MBPP par rapport à l'exigence standard de 512 étapes.
Génération de longueur variable :
- La stratégie VoidExpansion a permis au modèle de gérer efficacement les canevas initiaux courts (ex: $L_0=64$ ). Sur LLaDA, la méthode complète VoidPadding + VoidExpansion a atteint un score moyen de 51,34, surpassant les bases d'inférence seule comme DAEDAL (50,77) et $\rho$ -[EOS] (45,50), tout en étant 2,12 $\times$ plus rapide en temps réel.
- Lors des tests de stress à grands blocs ( $L_0=256, B=256$ ), les méthodes d'inférence seule reposant sur le signal [EOS] original se sont effondrées (DAEDAL est tombé à 23,46 de moyenne), tandis que VoidExpansion maintenait un score moyen robuste de 50,04.

Signification et Revendications

Le papier affirme que le débordement de [EOS] n'est pas un échec de la capacité du modèle, mais un échec structurel découlant de l'interaction entre les priors de longueur appris, le contexte bidirectionnel et les règles d'échantillonnage standard. En découplant le remplissage de la terminaison, VoidPadding résout ce décalage.

Les auteurs positionnent VoidPadding comme une adaptation nécessaire pour les MDLM, arguant que les conventions héritées des ARLM (telles que l'utilisation de [EOS] pour le remplissage) sont « largement bénignes » sous un masquage causal mais deviennent « fragiles » sous un débruitage bidirectionnel. La méthode offre une voie pratique pour libérer tout le potentiel du décodage à grands blocs dans les modèles de diffusion, améliorant à la fois la qualité des sorties de raisonnement complexe et l'efficacité du processus de génération. Le papier conclut que les futurs designs de MDLM doivent explicitement considérer le timing de l'engagement des jetons, l'allocation du canevas et les décisions d'arrêt dans des conditions bidirectionnelles, plutôt que de se fier aux hypothèses autorégressives.