💬 NLP

Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding

Le document présente Nemotron-Labs-Diffusion, un modèle de langage trimodal qui unifie le décodage autorégressif, de diffusion et d'auto-spéculation au sein d'une architecture unique afin d'atteindre un débit et une précision supérieurs en exploitant les forces complémentaires de ces méthodes à travers diverses échelles de modèles et configurations de déploiement.

Auteurs originaux : Yonggan Fu, Lexington Whalen, Abhinav Garg, Chengyue Wu, Maksim Khadkevich, Nicolai Oswald, Enze Xie, Daniel Egert, Sharath Turuvekere Sreenivas, Shizhe Diao, Chenhan Yu, Ye Yu, Weijia Chen, Sajad Nor

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yonggan Fu, Lexington Whalen, Abhinav Garg, Chengyue Wu, Maksim Khadkevich, Nicolai Oswald, Enze Xie, Daniel Egert, Sharath Turuvekere Sreenivas, Shizhe Diao, Chenhan Yu, Ye Yu, Weijia Chen, Sajad Norouzi, Jingyu Liu, Shiyi Lan, Ligeng Zhu, Jin Wang, Jindong Jiang, Morteza Mardani, Mehran Maghoumi, Song Han, Ante Jukić, Nima Tajbakhsh, Jan Kautz, Pavlo Molchanov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'écrire une histoire, mais que vous avez deux façons différentes de le faire.

L'Ancienne Méthode (Autorégressive) : C'est comme écrire une phrase mot après mot, strictement de gauche à droite. Vous écrivez « Le », puis vous réfléchissez : « Quel est le mot suivant ? » et vous écrivez « chat ». Puis vous réfléchissez : « Quel est le mot suivant ? » et vous écrivez « est ». Puis « assis ». C'est très précis et respecte parfaitement les règles de grammaire, mais c'est lent car vous ne pouvez pas écrire le mot suivant avant d'avoir terminé le mot actuel. C'est comme une personne seule tapant sur un clavier, attendant que chaque touche soit enregistrée avant de taper la suivante.

La Nouvelle Méthode (Diffusion) : C'est comme avoir un brouillon désordonné où vous écrivez tout le paragraphe d'un coup, mais où certains mots sont manquants ou éparpillés. Vous passez ensuite par des étapes pour corriger les mots manquants tous en même temps. C'est beaucoup plus rapide car vous travaillez sur de nombreux mots simultanément. Cependant, comme vous ne suivez pas strictement les règles de gauche à droite, l'histoire perd parfois son sens ou semble un peu étrange.

La Grande Idée du Papier :
Les chercheurs de NVIDIA ont créé un « super-modèle » appelé Nemotron-Labs-Diffusion. Considérez ce modèle comme un Couteau Suisse capable de basculer entre trois modes différents selon la situation, le tout au sein du même cerveau.

Les Trois Modes

Le Mode « Écrivain Strict » (Mode AR) :
- Comment il fonctionne : Il agit exactement comme l'ancienne méthode lente. Il écrit un mot après l'autre.
- Quand l'utiliser : Lorsque vous avez une foule immense de personnes demandant des histoires en même temps (concurrence élevée). Il est fiable et maintient une grammaire parfaite.
- La Revendication du Papier : Ce modèle est aussi bon pour écrire des phrases parfaites que les meilleurs modèles existants, même s'il sait aussi faire les autres modes.
Le Mode « Correcteur Rapide » (Mode Diffusion) :
- Comment il fonctionne : Il devine de nombreux mots à la fois et les corrige en parallèle.
- Quand l'utiliser : Lorsque vous avez besoin de vitesse et que le modèle travaille seul ou avec très peu de personnes.
- La Revendication du Papier : Ce mode est incroyablement rapide, mais en général, il n'est pas aussi précis que l'« Écrivain Strict ». Cependant, ce nouveau modèle est assez intelligent pour maintenir une précision élevée même en étant rapide.
Le Mode « Brouillon et Vérification » (Auto-Spéculation) :
- Comment il fonctionne : C'est la recette secrète du papier. Imaginez que le modèle possède un « cerveau rapide » et un « cerveau prudent » travaillant ensemble.
  - Le Cerveau Rapide (Diffusion) rédige rapidement un brouillon de phrases de suppositions.
  - Le Cerveau Prudent (AR) vérifie instantanément ces suppositions. Si le Cerveau Prudent est d'accord, le modèle accepte tous ces mots d'un coup. S'il n'est pas d'accord, il corrige l'erreur et continue.
- La Revendication du Papier : C'est le grand gagnant pour l'usage personnel (comme sur votre ordinateur portable). Il est beaucoup plus rapide que l'ancienne méthode « un mot à la fois » et même plus rapide que les autres méthodes de « supposition » utilisées par les concurrents. C'est comme avoir un lecteur rapide qui peut aussi éditer son propre travail instantanément.

Pourquoi cela importe (Les moments « Aha ! »)

Ils ne se battent pas, ils s'entraident : Le papier a découvert que l'« Écrivain Strict » et le « Correcteur Rapide » ne sont pas ennemis. En fait, apprendre au modèle à être un écrivain strict d'abord l'aide à devenir un meilleur correcteur rapide plus tard. C'est comme apprendre à marcher avant d'apprendre à courir ; l'entraînement à la marche donne au modèle un sens de la direction (la grammaire) qui l'aide à courir sans s'écraser.
Meilleur que la concurrence : Lorsqu'ils ont testé ce nouveau modèle contre les meilleurs modèles actuels (comme Qwen), le nouveau modèle était 6 fois plus rapide pour générer des jetons (mots) en une seule étape tout en conservant le même niveau d'intelligence. Sur les nouvelles puces informatiques puissantes, il était 4 fois plus rapide pour gérer des tâches réelles.
Il reste encore de la vitesse à gagner : Les chercheurs ont réalisé une analyse de la « Vitesse de la Lumière ». Ils ont demandé : « Quelle est la vitesse absolue à laquelle ce modèle pourrait aller si nous avions un système parfait ? » Ils ont découvert que la méthode actuelle de « Brouillon et Vérification » est déjà excellente, mais qu'il reste un écart de 76,5 % par rapport à la vitesse maximale théorique. Cela signifie que cette technologie a encore beaucoup de marge de progression pour devenir encore plus rapide à l'avenir sans avoir besoin d'une toute nouvelle invention.

L'Essentiel

Ce papier présente un modèle d'IA unique qui peut être un écrivain lent et parfait, un devineur rapide et parallèle, ou un hybride qui rédige et se vérifie lui-même instantanément. Il prouve que vous n'avez pas à choisir entre vitesse et précision ; vous pouvez avoir un modèle qui bascule entre les deux pour obtenir le meilleur des deux mondes.

Résumé Technique : Nemotron-Labs-Diffusion

Problématique

Les modèles de langage (LM) autorégressifs (AR) sont fondamentalement limités par leur processus de décodage strictement séquentiel, jeton par jeton, ce qui restreint le parallélisme de l'inférence et entraîne une sous-utilisation des ressources, particulièrement dans les scénarios à faible taille de lot (batch size). Bien que les modèles de langage de diffusion soient apparus comme une alternative prometteuse en permettant la génération parallèle via le décodage de plusieurs jetons par passage avant (forward pass), ils accusent actuellement un retard par rapport aux modèles AR en termes de précision et d'efficacité d'apprentissage. Les modèles de diffusion existants nécessitent souvent beaucoup plus de données pour atteindre des performances comparables et peinent à surpasser les méthodes de Prédiction Multi-Jetons (MTP) en termes de compromis efficacité-précision pratique. De plus, la relation entre les paradigmes AR et de diffusion reste floue : on ignore si ces approches sont concurrentes ou si elles peuvent être harmonisées pour tirer parti des forces de chacune.

Méthodologie

Les auteurs introduisent Nemotron-Labs-Diffusion, une famille de modèles de langage tri-mode qui unifie l'AR, la diffusion et le décodage par auto-spéculation au sein d'une architecture unique. La méthodologie centrale repose sur un cadre d'entraînement conjoint et une stratégie d'inférence flexible.

1. Entraînement Conjoint AR-Diffusion

Le modèle est entraîné en utilisant une combinaison pondérée d'une perte AR du jeton suivant et d'une perte de débruitage par bloc :
$\mathcal{L}(\theta) = \mathcal{L}_{AR}(\theta) + \alpha \mathcal{L}_{diff}(\theta)$

Entraînement en deux étapes : Pour établir de solides priors linguistiques de gauche à droite, les auteurs emploient une stratégie en deux étapes. L'étape 1 entraîne exclusivement sur l'objectif AR ( $\alpha=0$ ). L'étape 2 introduit la supervision de diffusion ( $\alpha=0.3$ ) pour intégrer des capacités de décodage parallèle sans écraser les priors AR.
Moyennage Global de la Perte : Pour stabiliser l'optimisation compte tenu du nombre variable de jetons masqués lors de l'entraînement par diffusion, les auteurs utilisent une stratégie de moyennage global de la perte sur l'ensemble du lot, plutôt qu'un moyennage par séquence, afin de prévenir la variance du gradient causée par les échantillons contenant peu de jetons bruités.
Schéma d'Attention : Le modèle utilise un flux d'entrée double (vues bruitées et propres) avec un masque d'attention structuré. Crucialement, le flux "propre" impose un masque strictement causal, permettant de calculer l'objectif AR sur les jetons propres sans fuite de labels, tandis que le flux bruité utilise une attention bidirectionnelle au sein des blocs pour le débruitage parallèle.

2. Inférence Tri-Mode

Le modèle entraîné supporte trois modes de décodage distincts, sélectionnables lors de l'inférence :

Mode AR : Génération standard de gauche à droite utilisant l'attention causale. Ce mode est optimisé pour le service cloud à haute concurrence.
Mode Diffusion : Débruitage par blocs parallèles. Le modèle débruite de manière itérative plusieurs jetons par étape en se basant sur des seuils de confiance. Un échantillonneur (sampler) léger et entraîné est utilisé pour prédire si les prédictions top-1 sont correctes, optimisant ainsi le compromis entre jetons par passage (TPF) et taux d'erreur.
Mode Auto-Spéculation : Une approche hybride où la voie de diffusion rédige plusieurs jetons candidats en parallèle, et la voie AR les vérifie.
- Auto-Spéculation Linéaire : La diffusion rédige $k$ jetons ; l'AR les vérifie lors d'un second passage avant. Les auteurs améliorent cela en ajustant un adaptateur LoRA sur le rédacteur de diffusion pour mieux l'aligner avec le vérificateur AR.
- Auto-Spéculation Quadratique : Une variante utilisant le décodage quadratique pour se préparer à toutes les positions d'acceptation possibles en un seul passage avant, bien qu'elle fasse actuellement face à des défis d'efficacité dus à l'optimisation des noyaux (kernels).

3. Analyse de la Vitesse de la Lumière (Speed-of-Light - SOL)

Les auteurs proposent une analyse "Speed-of-Light" pour quantifier la limite théorique supérieure du décodage par diffusion. En utilisant une méthode de compaction dynamique récursive pour identifier le plus grand sous-ensemble sûr de positions correspondant à une cible de débruitage sériel, ils estiment le maximum de TPF réalisable sans vérification AR. Cette analyse révèle que l'échantillonnage basé sur la confiance actuel laisse de côté un parallélisme significatif.

Contributions Clés

Architecture Tri-Mode Unifiée : Le premier modèle intégrant de manière fluide le décodage AR, la diffusion et l'auto-spéculation, permettant une commutation dynamique basée sur les besoins de déploiement (ex: haute concurrence vs faible concurrence).
Complémentarité des Objectifs : Démontre que les objectifs AR et de diffusion sont complémentaires plutôt que concurrents. L'AR fournit des priors linguistiques forts et une planification future, tandis que la diffusion débloque la génération parallèle. L'objectif conjoint préserve ou améliore légèrement la précision AR tout en permettant des modes de diffusion à haute vitesse.
Supériorité sur le MTP : Montre que l'auto-spéculation (rédaction par diffusion + vérification AR) surpasse les méthodes MTP existantes (comme Eagle3) tant en taux d'acceptation qu'en efficacité sur matériel réel, particulièrement à faible concurrence.
Scalabilité et Polyvalence : La famille de modèles passe de 3B à 14B de paramètres et s'étend aux modèles de langage-vision (VLM), surpassant systématiquement les modèles AR et de diffusion open-source de pointe.

Résultats

Précision et Efficacité : Le modèle Nemotron-Labs-Diffusion-8B atteint une précision comparable ou supérieure à Qwen3-8B sur les benchmarks généraux, de codage et de mathématiques, tout en décodant 6 fois plus de jetons par passage avant en mode diffusion.
Gains de Débit : Sur le SPEED-Bench, le modèle atteint un débit 4 fois supérieur à celui de Qern3-8B sur des GPU NVIDIA GB200 utilisant SGLang.
Performance de l'Auto-Spéculation : L'auto-spéculation linéaire avec ajustement LoRA atteint un TPF moyen de 5,99× (modèle 8B) et 6,38× (modèle 14B), surpassant nettement les bases de référence.
Potentiel SOL : L'analyse SOL indique que le décodage par diffusion a le potentiel de prédire 76,5 % de jetons supplémentaires par passage avant par rapport aux méthodes d'auto-spéculation actuelles sous un échantillonneur optimal, soulignant une marge de progression substantielle.
Performance VLM : La variante VLM maintient une précision compétitive avec les bases de référence AR tout en offrant un TPF de 2,46×–3,15× en mode diffusion et jusqu'à 7,45× TPF en mode auto-spéculation linéaire pour les réponses longues.

Signification et Revendications

L'article affirme que Nemotron-Labs-Diffusion représente un changement de paradigme où l'AR et la diffusion ne sont pas mutuellement exclusifs mais peuvent être unifiés pour créer un moteur d'inférence plus flexible et efficace. Les auteurs soutiennent que :

L'harmonisation est possible : Unifier les objectifs AR et de diffusion est une voie prometteuse qui évite les pénalités de précision typiquement associées aux modèles de diffusion pure.
Flexibilité de Déploiement : La conception tri-mode permet à un seul modèle de servir de remplacement direct pour les modèles AR dans les environnements à haute concurrence, tout en offrant des accélérations significatives dans les scénarios d'IA personnelle à faible concurrence via l'auto-spéculation.
Potentiel Futur : L'analyse "Speed-of-Light" suggère que le plein potentiel du décodage par diffusion n'est pas encore réalisé par les échantillonneurs actuels. L'écart entre la performance actuelle et le plafond SOL indique que les travaux futurs sur l'optimisation des échantillonneurs pourraient débloquer un parallélisme encore plus grand, dépassant potentiellement les limites du décodage spéculatif basé sur les préfixes.

L'étude conclut que, bien que l'infrastructure actuelle favorise l'auto-spéculation linéaire, les limites théoriques supérieures du décodage par diffusion suggèrent une trajectoire à long terme vers une génération hautement parallèle et non-préfixe, capable de transformer fondamentalement l'efficacité de l'inférence des LLM.