💬 NLP

Training Hybrid Block Diffusion Language Models with Partial Bidirectionality

Cet article introduit BDLM Mamba-H, un modèle de langage de diffusion hybride qui restreint le balayage Mamba bidirectionnel aux blocs de débruitage actifs pour permettre un cache exact, atteignant ainsi une perplexité supérieure et un débit d'inférence en contexte long significativement plus élevé par rapport aux bases de référence de diffusion à séquence complète et basées sur l'attention.

Auteurs originaux : Pranshu Chaturvedi, Parth Shroff, Tarun Suresh, Hangoo Kang, Kaiyue Wen

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pranshu Chaturvedi, Parth Shroff, Tarun Suresh, Hangoo Kang, Kaiyue Wen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'écrire une histoire très longue, mais que vous avez une règle stricte : vous ne pouvez vous souvenir que des dernières pages que vous avez écrites. Chaque fois que vous voulez écrire la phrase suivante, vous devez retourner tout au long du début de votre carnet, lire chaque mot que vous avez écrit jusqu'à présent, puis décider de ce que vous allez écrire ensuite.

C'est exactement ainsi que les « Grands Modèles de Langage » (chatbots IA) actuels peinent avec les contextes longs. À mesure que la conversation s'allonge, l'IA doit « relire » tout l'historique à chaque fois qu'elle génère un nouveau mot. C'est lent et cela gaspille beaucoup d'énergie, comme essayer de courir un marathon en portant un sac à dos qui devient plus lourd à chaque pas.

Le document présente une nouvelle façon d'entraîner ces modèles d'IA, appelée BDLM Mamba-H, qui résout ce problème en changeant la façon dont l'IA « se souvient » et « réfléchit ».

Voici la décomposition utilisant des analogies simples :

1. Le Problème : Le « Sac à Dos Pesant »

Les modèles d'IA actuels fonctionnent comme un étudiant passant un examen qui doit relire l'intégralité du manuel avant de répondre à chaque question.

Le Problème : À mesure que l'histoire s'allonge, le « sac à dos » (la mémoire) devient trop lourd. L'ordinateur passe plus de temps à déplacer les données (bande passante de la mémoire) qu'à réellement réfléchir (calcul).
L'Ancienne Solution : Certains chercheurs ont essayé d'alléger le sac à dos en utilisant un type de mémoire différent (appelé « Mamba »). D'autres ont essayé d'écrire plusieurs phrases à la fois plutôt qu'une par une (appelé « Block Diffusion »).
Le Bug : Lorsque les chercheurs ont essayé de combiner ces deux idées, cela a cassé. Le système de mémoire « Mamba » avait besoin de regarder l'histoire entière à l'envers pour fonctionner correctement. Mais si vous regardez toute l'histoire à l'envers, vous ne pouvez pas créer de « marque-page » pour les parties que vous avez déjà terminées. Vous devez tout relire à chaque fois.

2. La Solution : Le « Scan Inverse Local »

Les auteurs proposent une astuce ingénieuse : Ne regarder en arrière qu'à l'intérieur du paragraphe actuel.

Imaginez que vous écrivez un livre chapitre par chapitre.

L'Ancière Méthode (Inverse Complet) : Pour écrire une nouvelle phrase, vous relisez l'intégralité du livre, de la dernière page jusqu'à la première page, à chaque fois.
La Nouvelle Méthode (BDLM Mamba-H) :
1. La Partie « Propre » : Une fois qu'un chapitre est terminé, vous le placez dans un coffre-fort sécurisé. Vous créez une simple « fiche de résumé » (un cache) pour ce chapitre. Vous n'aurez plus jamais besoin d'ouvrir le coffre-fort ; vous utilisez simplement la fiche de résumé.
2. La Partie « Active » : Pendant que vous écrivez le chapitre actuel, vous êtes autorisé à regarder en arrière et en avant à l'intérieur de ce chapitre spécifique pour vous assurer que les phrases s'enchaînent bien.
3. La Magie : Parce que vous ne regardez en arrière qu'à l'intérieur du chapitre actuel, les fiches de résumé des chapitres terminés restent valides et n'ont pas besoin d'être mises à jour.

3. Les Résultats : Vitesse et Intelligence

Les chercheurs ont testé cette nouvelle méthode contre les anciennes méthodes avec deux objectifs principaux : garder l'IA intelligente et la rendre rapide.

Est-ce intelligent ? Oui. Lorsqu'ils ont testé l'IA sur un test de compréhension de lecture standard (C4-en), le nouveau modèle (BDLM Mamba-H) a obtenu les meilleurs scores parmi les petits modèles (87 millions de paramètres). Même en rendant le modèle plus grand (350 millions de paramètres), il est resté aussi intelligent que les autres modèles de pointe.
Est-ce rapide ? Différence énorme.
- À une longueur moyenne (65 000 mots), le nouveau modèle était 19,7 fois plus rapide que l'ancienne méthode de « l'inverse complet ».
- À une longueur très grande (262 000 mots), il était 3,7 fois plus rapide que la meilleure méthode « par blocs » qui n'utilisait pas Mamba.

Ce qu'il faut retenir

Considérez ce nouveau modèle comme un écrivain qui a appris à mettre des marque-pages sur les chapitres terminés afin de ne pas avoir à les relire, tout en étant capable d'éditer librement le chapitre actuel.

En limitant le « regard vers l'arrière » uniquement au bloc de texte actuel, l'IA peut générer des histoires très longues sans être ralentie par le trafic de la mémoire. Le document affirme que cela en fait une architecture pratique et puissante pour gérer les contextes longs, prouvant que l'on peut avoir à la fois la vitesse et une écriture de haute qualité sans avoir besoin de retraiter l'intégralité de l'historique pour chaque nouveau mot.

Résumé Technique : Entraînement de Modèles de Langage de Diffusion par Blocs Hybrides avec Bidirectionnalité Partielle

Énoncé du Problème
La génération à haut débit pour les contextes longs dans les grands modèles de langage (LLM) est principalement contrainte par la bande passante mémoire plutôt que par le calcul. Dans le décodage autorégressif standard, chaque étape nécessite l'extraction du cache clé/valeur (KV) accumulé depuis la mémoire, ce qui fait que la demande en bande passante croît linéairement avec la longueur du contexte alors qu'un seul jeton est émis. Bien que deux approches parallèles existent pour atténuer cela — réduire l'accès mémoire via des mélangeurs à temps linéaire (ex: Mamba) et augmenter le parallélisme via la génération par blocs — leur combinaison présente un obstacle technique spécifique.

Les modèles de diffusion hybrides antérieurs, tels que DiffuMamba, utilisent des scans Mamba entièrement bidirectionnels, incluant une passe de sens inverse sur l'ensemble de la fenêtre de débruitage. Ce scan inverse dépend des jetons actifs, ce qui signifie que ses états internes ne sont pas uniquement préfixes. Par conséquent, ces états ne peuvent pas être mis en cache et réutilisés précisément entre les blocs, annulant ainsi les gains d'efficacité de la diffusion par blocs. Le défi central consiste à concevoir une architecture hybride capable de supporter la génération par blocs avec un cache exact tout en conservant les avantages du mélange bidirectionnel.

Méthodologie
Les auteurs proposent BDLM Mamba-H, une architecture hybride combinant les modèles de langage de diffusion par blocs (BDLM) avec des couches Mamba et d'attention. L'innovation centrale est un mécanisme de bidirectionnalité partielle qui restreint le scan Mamba de sens inverse uniquement au bloc de débruitage actif, plutôt qu'à la séquence complète.

Composants méthodologiques clés :

Objectif d'Entraînement Aligné sur le Cache : Le modèle utilise un objectif « tous-blocs » où les blocs préfixes complétés sont stockés sous forme de :
- États KV pour les couches d'attention.
- États de bordure Mamba à sens direct uniquement (états récurrents) pour les couches Mamba.
  Le scan inverse est confiné au bloc actif actuel ( $b_t$ ), garantissant que le cache du préfixe ( $C_\ell(c)$ ) reste une fonction du préfixe propre uniquement, indépendamment de l'étape de diffusion inverse ( $t$ ).
Factorisation de l'Étape Temporelle (Timestep) : Pour maintenir la validité du cache, l'architecture factorise le calcul de la couche en un opérateur de préfixe indépendant de l'étape temporelle et une continuation de bloc actif conditionnée par l'étape temporelle. Cela empêche le cache du préfixe propre de devenir dépendant de l'étape spécifique de diffusion inverse, une condition nécessaire pour une réutilisation valide lors de l'inférence.
Protocole d'Entraînement : Le modèle est entraîné à l'aide d'un objectif de diffusion discrète sur des blocs. Le cache du préfixe est construit en scannant le préfixe propre, et les pertes des blocs en aval entraînent directement les représentations stockées dans ces états de préfixe, alignant ainsi le calcul d'entraînement sur l'interface de cache du échantillonneur lors de l'inférence.

Contributions Clés

Entraînement Aligné sur le Cache : Les auteurs formulent un objectif BDLM « tous-blocs » où les objets mis en cache (états KV et états de préfixe Mamba) correspondent exactement aux caches de blocs lors de l'inférence. Cela permet aux pertes des blocs en aval d'entraîner le scan de préfixe utilisé pour la réutilisation de l'état récurrent.
Validation Contrôlée et Mise à l'Échelle : Les auteurs mènent une analyse exhaustive à 87 millions de paramètres sur le jeu de données DCLM et passent les modèles sélectionnés à 350 millions de paramètres en utilisant une règle de transfert de taux d'apprentissage de type Complete(d)P.
Gains de Débit pour les Contextes Longs : L'étude évalue le débit d'inférence à des longueurs de contexte étendues, démontant que l'approche hybride surpasse significativement les bases de référence à séquence complète et les modèles de diffusion par blocs purement basés sur l'attention à mesure que la longueur du contexte augmente.

Résultats

Qualité de Validation (87M de Paramètres) : BDLM Mamba-H a obtenu la meilleure perplexité de validation C4-en (61,6) parmi les modèles de 87M, surpassant BDLM attention (76,5), DiffuMamba-H à séquence complète (83,7) et l'attention à séquence complète (87,6).
Qualité de Validation (350M de Paramètres) : À l'échelle 350M, BDLM Mamba-H reste compétitif avec BDLM attention, atteignant une perplexité C4-en de 38,2 contre 36,97 pour BDLM attention.
Performance de Débit :
- À 65K jetons, BDLM Mamba-H a atteint 19,7x le débit de la base de référence DiffuMamba-H à séquence complète.
- À 262K jetons, BDLM Mamba-H a atteint 3,7x le débit de BDLM attention.
- Bien que les modèles à séquence complète soient plus rapides à court contexte (8192 jetons) en raison de la surcharge de l'objectif tous-blocs, les modèles BDLM natifs avec mise en cache démontrent une scalabilité supérieure dans les régimes de contexte long.

Signification et Revendications
L'article affirme que BDLM Mamba-H représente une architecture viable pour la diffusion de contexte long. En restreignant le scan Mamba inverse au bloc actif, le modèle permet un cache exact entre les blocs, résolvant le problème de réutilisation d'état inhérent aux précédents hybrides de diffusion bidirectionnelle. Les auteurs soutiennent que cette approche permet aux modèles hybrides Mamba-attention de conserver une qualité de validation compétitive tout en offrant des améliorations substantielles de débit pour l'inférence en contexte long, positionnant les hybrides à partiel-inverse par blocs comme une direction pratique pour le passage à l'échelle des modèles de langage de diffusion.

Le papier reste modeste quant à l'optimalité, notant que les règles de transfert de taux d'apprentissage utilisées pour la mise à l'échelle sont de solides candidates basées sur les lois de paramétrage existantes, mais ne sont pas prouvées optimales pour les modèles de langage de diffusion discrète (dLLM). De plus, les auteurs reconnaissent que si l'objectif par blocs améliore la génération de contexte long, il induit actuellement une pénalité de débit d'entraînement (environ 25–34 % plus lent) par rapport aux bases de référence à séquence complète sur les configurations matérielles actuelles.

1. Le Problème : Le « Sac à Dos Pesant »

2. La Solution : Le « Scan Inverse Local »

3. Les Résultats : Vitesse et Intelligence

Ce qu'il faut retenir

Articles similaires