Résumé Technique : Nemotron 3 Super

1. Problématique et Contexte

Les modèles de langage (LLM) modernes font face à un compromis difficile entre la précision, l'efficacité du calcul (FLOPs) et la latence d'inférence, en particulier pour les tâches complexes nécessitant un raisonnement d'agent (agentic reasoning) et de longs contextes.

• Limites des architectures denses : Elles consomment trop de ressources pour atteindre des niveaux de performance élevés.
• Limites des MoE (Mixture-of-Experts) standards : Bien qu'efficaces en termes de paramètres actifs, elles souffrent souvent de goulots d'étranglement liés à la bande passante mémoire et aux communications lors du routage, limitant leur débit d'inférence.
• Besoin d'agentic : Les applications réelles (ingénierie logicielle, utilisation de terminaux, recherche) nécessitent des modèles capables de raisonnement multi-étapes, de gestion d'outils et de contexte long, tout en restant économiques à déployer.

L'objectif est de créer un modèle open-source, efficace et performant capable de rivaliser avec les modèles fermés les plus avancés (comme GPT-OSS ou Qwen) tout en offrant un débit d'inférence supérieur grâce à des architectures hybrides et une quantification native.

2. Méthodologie et Architecture

Nemotron 3 Super est un modèle hybride de 120 milliards de paramètres au total (avec 12 milliards de paramètres actifs par token), combinant plusieurs innovations architecturales et d'entraînement.

2.1. Architecture Hybride Innovante

Le modèle repose sur trois piliers principaux :

1. LatentMoE (Mixture-of-Experts Latente) :
   • Contrairement aux MoE standards, LatentMoE projette les tokens d'une dimension cachée $d$ vers un espace latent de plus petite dimension $\ell$ avant le routage et le calcul des experts.
   • Cela réduit la charge de lecture des poids et le trafic de communication (all-to-all) d'un facteur $d/\ell$.
   • Les économies réalisées permettent d'augmenter le nombre total d'experts et le nombre d'experts activés ($K$) sans augmenter le coût computationnel, améliorant ainsi la précision par paramètre et par FLOP.
   • Nemotron 3 Super utilise 512 experts au total, avec un routage Top-22 (22 experts activés par token).
2. Hybridation Mamba-Attention :
   • Le modèle alterne entre des blocs Mamba-2 (pour une modélisation séquentielle linéaire et efficace en mémoire) et des couches d'Attention (avec Grouped-Query Attention, GQA) servant d'ancres globales pour la modélisation des dépendances à long terme.
   • Cette structure permet de supporter des contextes allant jusqu'à 1 million de tokens tout en minimisant la croissance du cache KV.
3. Prédiction Multi-Jeton (MTP) :
   • Le modèle intègre des têtes de prédiction partagées pour prédire plusieurs jetons futurs simultanément.
   • Cela permet un décodage spéculatif natif (sans modèle de brouillon externe), accélérant l'inférence tout en améliorant la qualité des représentations.

2.2. Pré-entraînement et Données

• Données : Entraîné sur 25 trillions de tokens en deux phases :
  • Phase 1 (80%) : Diversité et couverture large (web, code, académique).
  • Phase 2 (20%) : Données de haute qualité et précision sur les benchmarks.
  • Des données synthétiques spécifiques ont été ajoutées pour le code (concepts Python, algorithmes), l'économie, la logique formelle et les QCM.
• Précision NVFP4 : C'est le premier modèle de la famille Nemotron à être pré-entraîné entièrement en NVFP4 (format NVIDIA Floating Point 4 bits). Bien que cela augmente le nombre de gradients nuls, des techniques de stabilisation (comme le maintien de certaines couches en BF16) ont permis un entraînement stable à grande échelle.
• Extension de contexte : Une phase de pré-entraînement continue (CPT) a été ajoutée pour étendre la capacité à 1M de jetons, utilisant un parallélisme de contexte massif.

2.3. Post-entraînement (Alignement)

L'alignement se concentre fortement sur les capacités d'agent :

• SFT (Supervised Fine-Tuning) : Deux étapes pour gérer le compromis entre raisonnement long et performances sur les entrées longues/sorties courtes. Utilisation massive de données synthétiques pour l'ingénierie logicielle (SWE), l'utilisation de terminaux, la recherche et les outils conversationnels.
• Apprentissage par Renforcement (RL) :
  • RLVR (Verifiable Rewards) : Entraînement sur 21 environnements variés (Math, Code, Sécurité, Outils) pour éviter les régressions.
  • SWE-RL : Entraînement spécifique pour la résolution autonome de problèmes GitHub via des environnements conteneurisés (OpenHands).
  • PivotRL : Une méthode innovante réutilisant les trajectoires SFT pour optimiser uniquement les "tournants" (pivots) incertains, améliorant l'efficacité du RL à long terme.
  • RLHF : Utilisation d'un modèle de récompense généré (GenRM) entraîné sur des préférences humaines pour améliorer le suivi des instructions et la sécurité.

2.4. Quantification pour l'Inférence

Le modèle est optimisé pour les GPU Blackwell (H200/B200) :

• FP8 (W8A8) : Pour les charges de travail Hopper/Blackwell.
• NVFP4 (W4A4) : Pour une efficacité maximale sur Blackwell. Une technique de quantification hybride (AutoQuantize) est utilisée pour promouvoir sélectivement les couches sensibles en FP8 ou BF16, préservant la précision tout en bénéficiant de la vitesse du FP4.
• Gestion du cache Mamba : Utilisation d'une quantification du cache d'état (SSM) en FP16 avec arrondi stochastique pour éviter l'accumulation d'erreurs de quantification dans le temps, un problème critique pour les modèles récurrents.

3. Résultats Clés

3.1. Performance et Précision

Nemotron 3 Super atteint des performances comparables, voire supérieures, aux modèles de référence :

• Benchmarks Généraux : Performances équivalentes à GPT-OSS-120B et Qwen3.5-122B sur MMLU-Pro, GSM8K, et les tâches de raisonnement.
• Capacités d'Agent :
  • SWE-Bench : 60,47 % (OpenHands), surpassant GPT-OSS-120B (41,9 %) et se rapprochant de Qwen3.5.
  • Terminal Bench : 25,78 % (Hard), compétitif avec les leaders.
  • TauBench V2 : Moyenne de 61,15 %, montrant une excellente capacité d'utilisation d'outils.
• Contexte Long : Maintient une haute précision (RULER 1M : 91,64 %) là où d'autres modèles chutent drastiquement.

3.2. Efficacité et Débit (Throughput)

C'est le point fort majeur du modèle :

• Débit d'inférence : Nemotron 3 Super offre jusqu'à 2,2x de débit en plus par rapport à GPT-OSS-120B et 7,5x par rapport à Qwen3.5-122B sur des configurations 8k d'entrée / 64k de sortie.
• Accélération MTP : L'utilisation du décodage spéculatif natif via MTP déplace la frontière de Pareto débit-latence, permettant un traitement plus rapide sans sacrifier la qualité.

3.3. Résultats de Quantification

• Le checkpoint NVFP4 conserve 99,8 % de la précision médiane du modèle BF16 de référence sur les benchmarks, tout en offrant des gains de vitesse significatifs sur le matériel Blackwell.

4. Contributions Clés

1. LatentMoE : Introduction d'une nouvelle architecture MoE qui optimise le compromis précision/coût en réduisant la dimension latente pour le routage, permettant une mise à l'échelle massive des experts sans pénalité de bande passante.
2. Pré-entraînement NVFP4 à grande échelle : Démonstration de la stabilité de l'entraînement de modèles MoE hybrides de 120B paramètres en précision ultra-faible (FP4), ouvrant la voie à des modèles plus efficaces.
3. Entraînement Agentic à l'échelle : Une infrastructure RL robuste (NeMo Gym) permettant l'entraînement asynchrone sur des milliers de GPU et 21 environnements variés, avec des techniques spécifiques comme PivotRL pour les tâches à long horizon.
4. Optimisation Matérielle Native : Intégration profonde des spécificités matérielles (Blackwell, Mamba State Cache quantifié, MTP natif) pour maximiser le débit d'inférence réel.
5. Open Source Complet : Publication des checkpoints (Base, Post-entraîné, Quantifié FP8/NVFP4) ainsi que des données d'entraînement spécialisées et des recettes sur HuggingFace.

5. Signification et Impact

Nemotron 3 Super représente une avancée majeure dans le domaine des modèles de langage ouverts, en particulier pour les applications d'IA agentique.

• Démocratisation de l'IA Agente : En fournissant un modèle capable de raisonner, d'utiliser des outils et de gérer des contextes longs avec une efficacité de calcul exceptionnelle, il rend possible le déploiement d'agents autonomes complexes sur du matériel standard.
• Efficacité Économique : La combinaison de l'architecture LatentMoE et de la quantification NVFP4 réduit considérablement les coûts d'inférence et de stockage, rendant les modèles de classe "120B" accessibles à des organisations plus petites.
• Innovation Architecturale : La réussite de l'entraînement en NVFP4 et l'adoption de LatentMoE suggèrent de nouvelles directions pour la conception de modèles futurs, privilégiant l'efficacité matérielle dès la conception plutôt que comme un ajout postérieur.

En résumé, Nemotron 3 Super n'est pas seulement un modèle plus performant, mais un modèle plus intelligent dans sa conception, conçu spécifiquement pour l'ère de l'inférence agente et du matériel de nouvelle génération.