🤖 machine learning

BlockGen: Flexible Blockwise Sequence Modeling with Hybrid Samplers

Cet article introduit BlockGen, un cadre de modélisation de séquences par blocs flexible qui combine la diffusion masquée et la diffusion à état uniforme avec un échantillonnage prédicteur-correcteur informé par l'AR pour démontrer que, si la diffusion uniforme surpasse la diffusion masquée lors d'une génération bloc par bloc en peu d'étapes, l'écart de performance se réduit ou s'inverse avec l'augmentation du nombre d'étapes d'échantillonnage et de tailles de blocs spécifiques.

Auteurs originaux : Justin Deschenaux, Caglar Gulcehre

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Justin Deschenaux, Caglar Gulcehre

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'écrire une histoire, mais que vous avez deux façons différentes de le faire.

L'Ancienne Méthode (Autorégressive) : Vous écrivez un mot à la fois, de gauche à droite. Une fois qu'un mot est écrit, vous le verrouillez et passez au suivant. C'est rapide et fiable, mais si vous faites une erreur dans la première phrase, vous ne pouvez pas facilement revenir en arrière pour la corriger sans tout réécrire. De plus, comme vous ne pouvez écrire qu'un mot à la fois, cela prend beaucoup de temps pour terminer une longue histoire.

La Nouvelle Méthode (Diffusion) : Imaginez que vous commencez avec une page remplie de charabia aléatoire (comme « xkq#z@! »). Un éditeur intelligent regarde ensuite la page entière d'un seul coup d'œil et essaie de corriger quelques mots pour qu'ils aient du sens. Ensuite, il regarde à nouveau et corrige quelques mots de plus. Il répète ce processus, transformant lentement le charabia en une histoire. C'est excellent car l'éditeur peut avoir une vue d'ensemble et corriger des erreurs n'importe où sur la page. Cependant, faire cela « d'un seul coup » est généralement plus lent et l'histoire finale peut être moins parfaite que celle de l'ancienne méthode.

Récemment, des chercheurs ont découvert une troisième voie : Bloc par Bloc. Au lieu d'écrire un mot à la fois ou de corriger toute la page d'un coup, vous écrivez (ou corrigez) l'histoire par petits morceaux, comme des paragraphes. Vous terminez le paragraphe 1, vous le verrouillez, puis vous passez au paragraphe 2. Cela donne la vitesse de l'ancienne méthode mais la flexibilité de la nouvelle.

Le Problème que l'Article Résout

Les auteurs, Justin Deschenaux et Caglar Gulcehre, ont remarqué deux problèmes majeurs dans la façon dont les gens testaient ces modèles « Bloc par Bloc » :

Le Problème de la « Devinette Aléatoire » : Lorsque le modèle fait une erreur dans un paragraphe, les anciennes méthodes de correction choisissaient simplement des mots au hasard pour les corriger. C'est comme un professeur qui dirait à un élève : « Corrige un mot au hasard dans ta rédaction », au lieu de pointer la phrase spécifique qui n'a pas de sens.
Le Problème du « Taille Unique » : Les études précédentes testaient ces modèles en utilisant uniquement une taille de bloc spécifique (par exemple, toujours 16 mots à la fois). Mais peut-être qu'un bloc de 4 mots fonctionne mieux pour certaines tâches, et qu'un bloc de 32 est meilleur pour d'autres. Personne n'avait essayé de les mélanger.

La Solution : BlockGen

Ils ont construit un nouveau système appelé BlockGen. Considérez-le comme un écrivain super flexible capable de gérer des paragraphes de n'importe quelle longueur.

Le Mélange des Tailles : Au lieu d'entraîner le modèle pour qu'il n'écrive que des blocs de 16 mots, ils l'ont entraîné sur un mélange de tailles : 1 mot, 2 mots, 4 mots, jusqu'à 16 ou 32 mots.
Le Tour de Magie : Parce que le modèle a appris à écrire dans toutes ces tailles différentes, il a appris un secret : il peut écrire un seul mot parfaitement (comme l'ancienne méthode « Autorégressive ») aussi bien qu'il peut corriger un paragraphe entier. Cela permet au modèle d'agir comme son propre « vérificateur ».

La Nouvelle Stratégie : ARPC (Le « Éditeur Intelligent »)

L'article introduit une nouvelle façon de générer du texte appelée ARPC (Predictor-Corrector informé par l'Autorégression).

Voici comment cela fonctionne avec une analogie créative :
Imaginez que vous écrivez un paragraphe en utilisant la méthode « Bloc par Bloc ». Vous générez un brouillon de l'ensemble du paragraphe.

Le Premier Passage : Le modèle écrit tout le paragraphe rapidement.
La « Vérification Intelligente » : Avant de verrouiller le paragraphe, le modèle jette un coup d'œil rapide à son propre travail. Il se demande : « Si j'étais en train d'écrire mot par mot (la méthode classique fiable), qu'aurais-je écrit ici ? »
La Correction : Si la prédiction « mot par mot » du modèle est très différente de ce qu'il vient d'écrire, il sait que ce mot spécifique est probablement faux. Il ne réécrit que ces mots spécifiques qui sont mauvais.

C'est beaucoup plus intelligent que l'ancienne méthode, qui se contenterait de choisir des mots au hasard pour les réécrire. C'est la différence entre un professeur qui dit « Corrige un mot au hasard » et « Corrige la phrase où tu as utilisé le mauvais verbe ».

Ce Qu'Ils Ont Découvert

Les auteurs ont testé cela sur des problèmes mathématiques (GSM8K) et de la rédaction générale (OpenWebText).

Le Débat « Uniforme » vs « Masqué » : Dans le monde de la diffusion, il existe deux types principaux d'« éditeurs » :
- Masqué : L'éditeur ne peut remplacer les mots que par un jeton spécial « vide » (blank). Une fois qu'un jeton est rempli, il est verrouillé.
- Uniforme : L'éditeur peut changer n'importe quel mot en n'importe quel autre mot à tout moment.
- Résultat précédent : Lorsqu'on corrige toute la page d'un coup, l'éditeur « Uniforme » était meilleur.
- Découverte de BlockGen : Lorsqu'on travaille bloc par bloc, l'éditeur « Uniforme » reste meilleur si l'on effectue simplement un passage. Cependant, lorsqu'on utilise la nouvelle « Vérification Intelligente » (ARPC), l'éditeur « Masqué » devient en fait légèrement meilleur pour les tâches de haute qualité (comme les mathématiques) car il est plus précis.
Vitesse vs Qualité : La « Vérification Intelligente » (ARPC) permet au modèle de se rapprocher beaucoup plus de la qualité des anciens rédacteurs « mot par mot » (plus lents), mais il le fait beaucoup plus rapidement car il corrige des blocs entiers à la fois.
Le Compromis : L'article admet que l'entraînement de ce modèle flexible est plus coûteux (cela demande plus de puissance de calcul) que l'entraînement d'un modèle standard. De plus, leurs modèles sont encore plus petits que les modèles d'IA massifs utilisés par les grandes entreprises technologiques aujourd'hui, ils ne peuvent donc pas prétendre que cela fonctionne pour toutes les tâches possibles pour le moment.

En Bref

L'article présente BlockGen, une IA flexible qui apprend à écrire par blocs de tailles variables. En combinant cette flexibilité avec un système de « Vérification Intelligente » (ARPC) qui utilise ses propres connaissances pour trouver et corriger uniquement les erreurs spécifiques, ils ont créé une méthode qui est plus rapide que l'écriture mot par mot mais tout aussi précise, et plus intelligente que les anciennes méthodes de « correction globale ». Ils ont montré que si l'approche « Uniforme » est généralement forte, l'utilisation de cette méthode de correction intelligente change les règles du jeu, rendant l'approche « Masquée » étonnamment compétitive pour les tâches complexes.

Résumé technique : BlockGen : Modélisation de séquences par blocs flexible avec des échantillonneurs hybrides

Énoncé du problème

Les Transformers autorégressifs (AR) dominent la modélisation de séquences, mais souffrent de limites de génération séquentielle (débit/latence) et de contraintes d'attention causale qui entravent les tâches de raisonnement nécessitant un contexte bidirectionnel. Les modèles de diffusion discrets offrent une alternative en affinant itérativement des séquences bruitées, permettant des mises à jour parallèles. Cependant, des comparaisons récentes entre les Modèles de Diffusion à Masquage (MDM) et les Modèles de Diffusion à États Uniformes (USDM) ont produit des analyses contradictoires selon le régime d'échantillonnage :

Échantillonnage ancestral : Les USDM surpassent souvent les MDM sur les tâches en aval malgré une perplexité moins bonne, ce qui est attribué à la capacité des USDM à corriger leurs erreurs (les jetons peuvent transiter entre n'importe quels états), alors que les MDM fixent les jetons une fois démasqués.
Génération par blocs : Les travaux antérieurs comparent principalement la diffusion sur séquence complète. Il reste incertain si l'avantage des USDM se maintient lorsque les jetons sont générés bloc par bloc (semi-autorégressif), un cadre qui permet le cache KV et une inférence plus rapide.
Correcteurs informés : Les comparaisons existantes utilisent souvent des échantillonneurs prédicteur-correcteur (PC) « non informés » qui réinjectent du bruit à des positions aléatoires. On ignore comment les correcteurs « informés » (ciblant les erreurs probables) affectent le classement MDM vs USDM, particulièrement sans modèles de vérification auxiliaires.

Méthodologie : BlockGen

Les auteurs introduisent BlockGen, un modèle de séquence par blocs entraîné sur un mélange de tailles de blocs, instancié soit par une diffusion masquée, soit par une diffusion uniforme au sein des blocs.

1. Formulation du mélange et entraînement

BlockGen définit la densité de séquence comme un mélange sur $M$ tailles de blocs $S = \{s_1, \dots, s_M\}$ :
$p_{\theta}^{\text{BlockGen}}(x) = \sum_{i=1}^M \gamma_i p_{\theta}^{(s_i)}(x)$
où $p_{\theta}^{(s_i)}$ est une densité valide factorisée en blocs de taille $s_i$ .

Dénoiser partagé : Au lieu d'entraîner des modèles séparés, un seul dénoiseur partagé $\hat{x}_\theta$ prend la taille de bloc $L'$ comme entrée, ajustant les motifs d'attention en conséquence.
Bornes de vraisemblance : Le papier dérive deux bornes pour la densité de mélange. Une borne log-sum-exp plus serrée est utilisée pour l'évaluation, tandis qu'une borne de vraisemblance de mélange plus lâche (une espérance sur les tailles de blocs) est utilisée pour l'entraînement afin de maintenir l'efficacité computationnelle.
Échantillonnage stratifié : Pour réduire la variance lors de l'entraînement multi-GPU, les tailles de blocs sont sélectionnées via un échantillonnage stratifié plutôt qu'un échantillonnage i.i.d.

2. Prédicteur-Correcteur informé par l'AR (ARPC)

Une contribution clé est l'échantillonneur ARPC, qui exploite le mélange BlockGen pour effectuer des corrections informées sans vérificateur auxiliaire.

Mécanisme : Pendant la génération, après les étapes de diffusion ancestrale standard, l'échantillonneur exécute une étape de « proposition propre ». Il effectue ensuite une deuxième passe directe en mode AR ( $L'=1$ ) en utilisant le même dénoiseur pour scorer les jetons proposés.
Scoring : Les jetons ayant une log-vraisemblance AR faible sont identifiés comme « improbables » et sont re-bruités (corrigés) vers un niveau de bruit précédent.
Avantage : Cela permet au modèle d'utiliser ses propres prédictions AR pour guider les corrections de diffusion, entrelaçant efficacement les paradigmes AR et de diffusion au sein d'un seul modèle.

3. Attention au niveau du bloc

BlockGen utilise une attention bloc-causale : les jetons au sein d'un bloc sont en attention bidirectionnelle, tandis que le bloc est causal envers tous les blocs précédents. Cela permet le cache KV à travers les blocs décodés, préservant les avantages d'efficacité de la génération semi-autorégressive.

Résultats clés

1. Raisonnement mathématique (GSM8K)

Évalué sur GSM8K en utilisant des modèles entraînés sur TinyGSM :

Échantillonnage ancestral : Dans le cadre de génération bloc par bloc, les USDM surpassent les MDM, surtout dans le régime à faible NFE (nombre de fonctions d'évaluation). Cela confirme que l'avantage des USDM en séquence complète se transfère à la génération par blocs.
Échantillonnage ARPC : L'écart de performance entre les USDM et les MDM se réduit et s'inverse à haut NFE. Sous ARPC avec des blocs de 16 jetons, les MDM surpassent légèrement les USDM sur la précision GSM8K.
ARPC vs Baselines : L'ARPC surpasse systématiquement l'échantillonnage ancestral et l'EIPC (Entropy-Informed PC) sur la plupart des budgets NFE. L'ARPC avec les MDM approche les performances de l'échantillonnage AR avec décodage glouton (greedy).

2. Modélisation de langage (OpenWebText & LM1B)

Vraisemblance (Likelihood) : L'entraînement sur un mélange de tailles de blocs améliore significativement la perplexité par rapport aux modèles à blocs fixes. BlockGen avec diffusion masquée atteint une PPL de validation de 17,5 sur OpenWebText (contre 16,7 pour l'AR et 21,6 pour le meilleur BDM à bloc fixe), réduisant l'écart entre la diffusion et les modèles autorégressifs.
Qualité des échantillons :
- Sous échantillonnage ancestral, les USDM atteignent une Perplexité Générative (Gen. PPL) plus faible que les MDM.
- Sous ARPC, la tendance s'inverse à haut NFE (ex: 64 NFE/bloc), où le masked-ARPC atteint une frontière de Gen. PPL meilleure que l'uniform-ARPC.
- L'ARPC réduit l'écart avec l'AR mais ne dépasse pas l'AR en termes de Gen. PPL dans le régime pratique de basse température.

Signification et affirmations

Le papier affirme résoudre deux questions ouvertes concernant la diffusion discrète :

Validité par blocs : L'avantage de la diffusion à états uniformes sur la diffusion à masquage observé en génération de séquence complète se transpose bien à la génération bloc par bloc sous échantillonnage ancestral.
Correction informée : Le classement entre les MDM et les USDM est dépendant du régime. Bien que les USDM excellent avec des échantillonneurs ancestraux ou non informés simples, les correcteurs informés (spécifiquement l'ARPC) peuvent combler cet écart et même inverser le classement, favorisant la diffusion masquée à des budgets de calcul plus élevés (NFE).

Les auteurs soulignent que BlockGen fournit un cadre flexible qui interpole entre l'AR et la diffusion pure, permettant à un seul modèle d'agir à la fois comme un échantillonneur par blocs et un vérificateur AR. Ils notent que si leurs affirmations empiriques sont robustes dans les budgets et échantillonneurs testés, elles n'établissent pas si ces compromis persistent à l'échelle des grands modèles de langage (LLM), car leurs expériences sont limitées à des architectures de 170 millions de paramètres. Le travail suggère que le choix du paradigme de diffusion (masqué vs uniforme) n'est pas universellement supérieur mais dépend fortement de la stratégie d'échantillonnage et du budget de calcul.