🤖 machine learning

Set Diffusion: Interpolating Token Orderings Between Autoregression and Diffusion for Fast and Flexible Decoding

Cet article introduit Set Diffusion, une nouvelle classe de modèles de langage qui combine la génération de ensembles de jetons de type ordre arbitraire et flexible avec le support du cache KV pour parvenir à une inférence plus rapide et des compromis vitesse-qualité supérieurs par rapport aux approches autorégressives et de diffusion par blocs existantes.

Auteurs originaux : Marianne Arriola, Volodymyr Kuleshov

Publié 2026-07-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Marianne Arriola, Volodymyr Kuleshov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le problème de l'« Ordre »

Imaginez que vous essayez d'écrire une histoire ou de résoudre un problème mathématique. Il existe deux manières principales de le faire :

L'Écrivain Rigoureux (Autorégressif) : Vous écrivez un mot à la fois, strictement de gauche à droite. Vous ne pouvez pas écrire la fin avant d'avoir terminé le début. C'est très qualitatif et précis, mais c'est lent car vous ne pouvez pas faire deux choses à la fois.
L'Artiste du Chaos (Diffusion Standard) : Vous commencez avec une page remplie de charabia (bruit) et vous essayez de tout corriger d'un coup. Vous pouvez deviner de nombreux mots simultanément, ce qui est rapide, mais il est difficile de garder une histoire logique. De plus, vous ne pouvez pas facilement « vous souvenir » de ce que vous avez écrit précédemment pour vous aider à écrire la partie suivante, donc vous devez relire toute la page à chaque fois que vous effectuez un changement.

Le Problème : Les tentatives précédentes pour mélanger ces deux approches (appelées « Block Diffusion » ou Diffusion par Blocs) étaient comme écrire par blocs rigides. Vous pouviez écrire une phrase à la fois au lieu d'un mot, mais vous deviez toujours terminer toute cette phrase avant de passer à la suivante. Si vous vouliez corriger un mot au milieu de l'histoire, vous deviez attendre que tout le bloc soit terminé.

La Solution : Set Diffusion

Les auteurs introduisent la Set Diffusion. Ne voyez pas cela comme l'écriture en ligne, mais comme le remplissage d'un puzzle avec des pièces flexibles.

Au lieu d'être forcé d'écrire mot par mot (trop lent) ou bloc par bloc (trop rigide), la Set Diffusion vous permet de choisir n'importe quel groupe de mots à générer ensuite, tant que vous respectez un ensemble de règles spécifiques.

L'analogie de la « Fenêtre Glissante »

Imaginez que vous peignez une longue fresque murale.

L'ancienne méthode (Block Diffusion) : Vous peignez une section de 1,2 mètre, vous attendez qu'elle soit complètement sèche, puis vous passez à la section suivante. Vous ne pouvez pas retoucher la première section tant que tout le bloc n'est pas terminé.
La nouvelle méthode (Set Diffusion) : Vous avez une fenêtre de peinture glissante. Vous pouvez peindre le premier mètre, puis vous pouvez faire glisser cette fenêtre pour peindre le 2e, le 3e et le 4e mètre simultanément avec le 5e, le 6e et le 7e mètre. Vous pouvez même revenir en arrière pour corriger un endroit au milieu de la fenêtre pendant que vous peignez le bord.

Explication simple des caractéristiques clés

1. Des « Ensembles de Tokens » flexibles (Les pièces du puzzle)
Dans ce modèle, un « token » est simplement un mot ou un morceau de code.

L'innovation : Le modèle ne se contente pas de deviner le mot suivant. Il devine un ensemble de mots.
La magie : Vous pouvez dire au modèle : « Devine les 3 prochains mots », ou « Devine le mot à la position 5 et à la position 10 ». Il peut gérer des groupes de tailles différentes et dans des ordres différents. Cela lui permet d'être rapide (en devinant de nombreuses choses à la fois) tout en restant intelligent (en gardant l'ordre en mémoire).

2. La « Banque de Mémoire » (KV Caching)
En IA, le « KV Caching » est comme un bloc-notes où le modèle note le contexte de ce qu'il a déjà généré pour ne pas avoir à le recalculer à chaque fois.

Le vieux problème : Dans la diffusion standard, le modèle devait relire l'intégralité du texte à chaque fois qu'il faisait une supposition. C'était comme lire un livre entier juste pour se souvenir du nom du personnage principal.
La nouvelle solution : La Set Diffusion met à jour son « bloc-notes » après chaque étape. Dès qu'elle devine un ensemble de mots, elle les enregistre en mémoire. Cela la rend incroyablement rapide, semblable à l'écrivain rigoureux, mais avec la vitesse de l'artiste du chaos.

3. La stratégie de la « Fenêtre Glissante »
Le papier introduit une manière spécifique de choisir quels mots deviner ensuite, appelée l'approche par Fenêtre Glissante (Sliding-Window).

Imaginez un projecteur qui balaie une scène. Le projecteur peut éclairer un seul acteur, ou il peut éclairer trois acteurs à la fois.
Le modèle utilise ce projecteur pour décider : « Je vais générer les mots qui se trouvent à l'intérieur de ce projecteur en ce moment même. »
En ajustant la taille du projecteur, vous pouvez contrôler l'équilibre entre la vitesse (grand projecteur, on devine beaucoup de mots) et la précision (petit projecteur, on devine moins de mots pour être plus prudent).

Qu'ont-ils prouvé ?

Les auteurs ont testé cette nouvelle méthode sur trois tâches principales :

Raisonnement Mathématique : Résoudre des problèmes de logique (comme le jeu de données GSM8K).
Résumé (Summarization) : Condenser de longs articles en résumés courts.
Infilling (Remplissage) : Remplir les parties manquantes d'une histoire (comme un jeu de « texte à trous »).

Les Résultats :

Vitesse vs Qualité : La Set Diffusion a trouvé un « point d'équilibre » que les modèles précédents avaient manqué. Elle était plus rapide que les modèles rigides par blocs et plus précise que les modèles de diffusion chaotiques.
Infilling : Elle est nettement meilleure pour remplir les parties manquantes d'une histoire que la méthode précédente de « Block Diffusion ».
Flexibilité : Elle peut générer du texte de n'importe quelle longueur et dans n'importe quel ordre, ce qui est crucial pour des tâches comme l'édition d'un document ou la correction de code au milieu d'un fichier.

Métaphore de synthèse

Si l'Autoregressif est une course de relais (un coureur passe le témoon au suivant, strictement dans l'ordre) et la Diffusion Standard est un joyeux désordre (tout le monde court en même temps, mais c'est chaotique), alors la Set Diffusion est une troupe de danseurs bien coordonnée.

Les danseurs (tokens) peuvent se déplacer en groupes (ensembles). Ils peuvent se déplacer de gauche à droite, ou ils peuvent sauter partout pour combler les vides, mais ils savent toujours exactement qui est à côté d'eux et quels étaient les mouvements précédents, grâce à leur mémoire partagée (KV cache). Cela leur permet d'exécuter des routines complexes (mathématiques, histoires) beaucoup plus rapidement et avec plus de flexibilité que l'équipe de relais, sans le chaos du désordre total.

Résumé Technique : Set Diffusion

Énoncé du Problème

Les modèles de diffusion discrets sont apparus comme une alternative compétitive aux modèles de langage autorégressifs (AR), offrant des vitesses de génération plus rapides et un meilleur contrôle. Cependant, les approches de diffusion existantes font face à des limitations significatives :

Contraintes de longueur fixe et de bidirectionnalité : La plupart des modèles de diffusion discrets reposent sur des architectures qui nécessitent un contexte bidirectionnel complet, empêchant l'utilisation du cache Clé-Valeur (KV) et restreignant la génération à des longueurs fixes.
Rigidité de la Diffusion par Blocs : Bien que la Diffusion par Blocs (BD3LM) comble partiellement l'écart en générant des blocs séquentiels de taille fixe de gauche à droite, elle souffre d'un manque de flexibilité. Elle ne peut pas supporter d'insertions à des positions arbitraires (infilling) ni de génération de longueur variable au sein d'un bloc, et les mises à jour du cache KV sont retardées jusqu'à ce qu'un bloc entier soit décodé.
Limitations de l'arbitrage (Trade-off) : Les méthodes actuelles interpolent entre l'autorégression et la diffusion principalement en faisant varier une taille de bloc fixe, ce qui restreint la flexibilité du décodage et le parallélisme.

Le défi central est de développer un modèle de langage qui interpole entre l'autorégression et la diffusion non pas par la taille des blocs, mais en faisant varier l'ordre dans lequel les ensembles de jetons (tokens) sont générés, permettant ainsi une génération de longueur flexible, l'utilisation du cache KV et un décodage d'ordre arbitraire tout en maintenant une qualité d'échantillonnage élevée.

Méthodologie

Les auteurs introduisent Set Diffusion, un cadre qui factorise le processus de génération sur des ensembles de jetons à positions et longueurs flexibles plutôt que sur des blocs fixes.

1. Modèle Probabiliste

La diffusion par ensemble définit une distribution de probabilité autorégressive sur une séquence d'ensembles de jetons $\sigma = (\sigma_1, \dots, \sigma_N)$ , où chaque $\sigma_n$ est un sous-ensemble de positions de jetons. La vraisemblance est factorisée comme suit :
$p_\theta(x) = \sum_{\sigma} \prod_{n=1}^N \pi(\sigma_n | x_{<\sigma_n}) \cdot p_\theta(x_{\sigma_n} | x_{<\sigma_n})$
Ici, $\pi$ est une politique d'ordre sélectionnant le prochain ensemble de positions, et $p_\theta$ modélise la vraisemblance conditionnelle des jetons de cet ensemble en utilisant la diffusion. Le modèle optimise une Borne Inférieure de l'Évidence Négative (NELBO) qui somme les pertes de diffusion sur ces ensembles.

2. Architecture Set-Causal et Cache KV

Une innovation architecturale clé est le transformeur set-causal. Contra à les modèles de diffusion bidirectionnels standards, cette architecture supporte la mise en cache KV après chaque étape d'inférence.

Mécanisme : Lorsqu'un ensemble de jetons $x_{\sigma_n}$ est généré, ses vecteurs clé et valeur sont mis en cache et réutilisés pour conditionner les prédictions suivantes.
Efficacité de l'entraînement : Les auteurs proposent un algorithme d'entraînement vectorisé qui traite simultanément le contexte propre et les requêtes bruitées dans un seul passage direct (forward pass) en utilisant un masque d'attention spécialisé. Ce masque garantit que les jetons bruités d'un ensemble n'attendent que les autres jetons bruités du même ensemble et tous les jetons propres des ensembles précédents.

3. Interpolation des Ordres de Jetons

Pour contrôler l'arbitrage entre la qualité de l'échantillon (étroitesse de la borne) et l'efficacité de l'inférence (parallélisme), les auteurs introduisent des programmes de temps de révélation dépendants de la position.

Programmes de décalage de position : Chaque position de jeton $\ell$ se voit assigner un temps de révélation aléatoire $R_\ell$ tiré d'une distribution définie par une fonction de répartition (CDF) $\alpha^\ell_\tau$ .
Instanciation par Fenêtre Glissante (SW-SetDLM) : Les auteurs proposent une instanciation spécifique où les jetons ont un intervalle de génération actif $[a_\ell, a_\ell + w]$ $[a_{ℓ}, a_{ℓ} + w]$ . La taille de la fenêtre $w$ $w$ contrôle le biais "de gauche à droite" :
- Une petite valeur de $w$ (approchant $1/L$ ) concentre l'ordre sur une génération de gauche à droite, récupérant le comportement AR et resserrant l'ELBO.
- Une grande valeur de $w$ (approchant 1) permet une génération indépendante de l'ordre, récupérant la diffusion masquée standard.
- Des valeurs intermédiaires permettent le décodage par fenêtre glissante, permettant au modèle de prédire des ensembles de jetons de longueur flexible à des positions arbitraires, supportant des tâches comme l'infilling.

4. Inférence

Pendant l'inférence, le modèle échantillonne des positions candidates basées sur l'ordre temporel actuel et le programme de décalage de position. Il débruite ensuite ces positions en parallèle en utilisant le cache KV. Les jetons acceptés sont validés, et le cache est mis à jour immédiatement, permettant une génération de longueur variable et un décodage efficace.

Contributions Clés

Cadre de Set Diffusion : Une nouvelle classe de modèles de langage qui factorise la génération sur des ensembles de jetons à positions et longueurs flexibles, généralisant l'autorégression, la diffusion indépendante de l'ordre et la diffusion par blocs.
Architecture Set-Causal : Une architecture transformeur qui supporte les mises à jour du cache KV après chaque étape d'inférence, permettant une génération de longueur variable efficace.
Interpolation d'Ordre : Une méthode principled pour interpoler entre l'AR et la diffusion en ajustant les programmes d'ordonnancement dépendants de la position (spécifiquement les programmes de fenêtre glissante) plutôt que des tailles de blocs fixes.
Performance de l'État de l'Art : Démonstration que la Set Diffusion atteint des compromis vitesse-qualité supérieurs pour le raisonnement mathématique, la résumé et la génération inconditionnelle par rapport aux modèles de diffusion précédents, et surpasse significativement la diffusion par blocs sur les tâches d'infilling.

Résultats Expérimentaux

Les auteurs ont évalué la Set Diffusion (spécifiquement SW-SetDLM) sur plusieurs benchmarks :

Raisonnement Mathématique (GSM8K) : La Set Diffusion atteint une frontière Pareto précision-vitesse strictement meilleure que la Diffusion par Blocs. Par exemple, avec une taille de fenêtre de décodage $S \le 8$ , elle atteint une précision pass@1 de 66,41 % avec un débit $\ge 60,42$ jetons/sec, surpassant la Diffusion par Blocs ( $S=8$ ) qui atteint 63,53 % de précision à $\ge 55,39$ jetons/sec.
Infilling (ROCStories) : La Set Diffusion surpasse substantiellement la Diffusion par Blocs dans les tâches d'infilling (remplir 1 ou 3 phrases centrales), atteignant des scores ROUGE plus élevés avec jusqu'à ~25 % de décodage plus rapide. La diffusion par blocs peine ici en raison de sa structure de bloc rigide de gauche à droite.
Résumé (CNN/DailyMail) : La Set Diffusion obtient des scores ROUGE compétitifs par rapport aux bases de comparaison de diffusion et jusqu'à 10 % de décodage plus rapide que la Diffusion par Blocs. Elle surpasse également une base AR, que les auteurs notent avoir tendance à sur-apprendre (overfit) sur ce jeu de données.
Génération Inconditionnelle et Vraisemblance : Sur OpenWebText et LM1B, la Set Diffusion améliore les scores MAUVE par rapport à la Diffusion par Blocs tout en décodant plus rapidement. Sur LM1B, elle atteint la meilleure perplexité parmi les modèles de diffusion (27,83 PPL pour $S \le 8$ ) tout en maintenant un débit plus élevé que les modèles de diffusion précédents.

Signification et Revendications

L'article affirme que la Set Diffusion représente une avancée significative en découplant l'interpolation entre l'autorégression et la diffusion des structures de blocs rigides. En interpolant via l'ordre des jetons, le cadre offre :

Une plus grande flexibilité : Support des insertions à des positions arbitraires et de la génération de longueur variable, qui sont critiques pour des tâches comme l'infilling.
Efficacité : La capacité de mettre à jour les caches KV après chaque étape, une caractéristique auparavant indisponible dans les modèles de diffusion, menant à une inférence plus rapide.
Performance : Un compromis supérieur entre la qualité de l'échantillon et la vitesse d'inférence par rapport aux modèles de langage de diffusion existants.

Les auteurs positionnent la Set Diffusion comme un cadre unificateur qui récupère l'AR, la diffusion indépendante de l'ordre et la diffusion par blocs comme des cas particuliers, fournissant un mécanisme ajustable pour équilibrer le parallélisme et la qualité de l'échantillon selon les exigences spécifiques de la tâche d'inférence.