⚡ electrical engineering

Unified Audio Intelligence Without Regressing on Text Intelligence

Le document présente Audex, un LLM audio-texte unifié de 30B construit sur une base MoE textuelle robuste qui atteint des performances de pointe à travers diverses tâches audio et de parole tout en préservant les capacités de raisonnement avancé et d'agent du modèle original sans régression significative.

Auteurs originaux : Zhifeng Kong, Sang-gil Lee, Jaehyeon Kim, Boxin Wang, Zihan Liu, Sungwon Kim, Yang Chen, Arushi Goel, Rajarshi Roy, Wenliang Dai, Zhuolin Yang, Yangyi Chen, Dongfu Jiang, Sreyan Ghosh, Tuomas Rintamak

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhifeng Kong, Sang-gil Lee, Jaehyeon Kim, Boxin Wang, Zihan Liu, Sungwon Kim, Yang Chen, Arushi Goel, Rajarshi Roy, Wenliang Dai, Zhuolin Yang, Yangyi Chen, Dongfu Jiang, Sreyan Ghosh, Tuomas Rintamaki, Andrew Tao, Jonathan Raiman, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Maîtresse : Un Cerveau « Couteau Suisse » qui n'oublie pas comment réfléchir

Imaginez que vous avez un professeur brillant qui est un maître pour rédiger des essais, résoudre des problèmes mathématiques complexes et coder des logiciels. Ce professeur est votre IA uniquement textuelle. Maintenant, imaginez que vous vouliez apprendre à ce professeur à comprendre aussi la musique, à reconnaître le chant des oiseaux et à vous répondre avec une voix humaine.

Habituellement, lorsque vous apprenez à un génie une nouvelle compétence difficile (comme jongler), il peut devenir un peu maladroit dans son travail d'origine (comme l'écriture). Il peut commencer à faire des fautes de grammaire ou oublier des faits parce que son cerveau est trop occupé à apprendre ce nouveau tour.

Ce document présente « Audex », un nouveau modèle d'IA qui apprend à jongler avec l'audio et la parole sans perdre sa capacité à réfléchir clairement.

Les chercheurs ont construit Audex sur un cerveau très intelligent, uniquement textuel, appelé Nemotron-Cascade-2. Leur objectif était simple : créer une IA capable d'entendre, de parler et de comprendre le son, mais sans jamais perdre sa capacité à raisonner, à résoudre des problèmes mathématiques ou à suivre des instructions.

Comment ça marche : L'astuce du « Traducteur Universel »

La plupart des modèles d'IA qui gèrent le son sont comme deux personnes distinctes se tenant la main : une personne écoute, et une autre parle. Si elles ne communiquent pas parfaitement entre elles, le résultat est désordonné.

Audex est différent. C'est un cerveau unique et unifié. Voici comment il parvient à tout faire à la fois :

L'Oreille (Encodeur Audio) : Quand Audex entend un son (comme un chien qui aboie ou quelqu'un qui parle), il n'essaie pas de comprendre immédiatement les ondes sonores brutes. Au lieu de cela, il utilise un « traducteur » spécialisé (un encodeur audio) pour transformer le son en une liste de nombres qui ressemblent exactement aux mots que l'IA connaît déjà.
Le Cerveau (Le LLM) : Ces nombres sont injectés dans le cerveau principal. Comme le cerveau les voit comme des « tokens » (comme des mots), il traite un clip sonore exactement de la même manière qu'une phrase de texte.
La Bouche (Codec Audio) : Quand Audex veut parler ou produire un son, il ne se contente pas de « penser » les mots ; il prédit le prochain « token sonore » dans la séquence, tout comme il prédit le mot suivant dans une phrase.

L'Analogie : Imaginez un chef qui cuisine habituellement avec des recettes textuelles. Audex, c'est comme apprendre à ce chef à cuisiner avec des ingrédients sonores. Au lieu d'avoir besoin d'une cuisine séparée pour le son, Audex traduit simplement les ingrédients sonores dans la même langue que le chef parle déjà. Le chef peut désormais cuisiner une « soupe sonore » sans oublier comment faire un « gâteau de texte ».

La Recette Secrète : S'entraîner sans casser le cerveau

Les chercheurs ont été confrontés à un grand défi : si vous entraînez trop intensément une IA textuelle intelligente sur l'audio, elle pourrait oublier comment être intelligente. Pour éviter cela, ils ont utilisé une recette d'entraînement méticuleuse, étape par étape :

Échauffement : D'abord, ils ont appris à l'IA comment manipuler les « ingrédients sonores » (les tokens audio) sans modifier ses connaissances fondamentales.
Apprentissage par couches : Ils n'ont pas tout donné à l'IA en même temps. Ils lui ont d'abord appris à générer du son, puis à comprendre le son, et enfin, ils ont tout mélangé. C'est comme apprendre à faire du vélo avec des petites roues avant d'essayer de faire du monocycle.
La promesse de « Non-Régression » : Après tout l'entraînement, ils ont testé les anciennes compétences de l'IA (mathématiques, logique, codage). Les résultats ont été frappants : Audex est resté aussi performant dans ces tâches que la version originale uniquement textuelle. Il n'a pas perdu son « génie » tout en acquérant la capacité d'entendre et de parler.

Que peut réellement faire Audex ?

Selon le document, Audex est un « Couteau Suisse » pour l'audio. Il peut :

Écouter et Comprendre : Il peut répondre à des questions sur ce qu'il entend (ex : « Est-ce un chien ou un loup ? » ou « Quel est le style de cette musique ? »).
Transcrire et Traduire : Il peut transformer des paroles en texte et les traduire dans d'autres langues, même dans des environettes bruyantes.
Parler et Chanter : Il peut prendre une consigne textuelle et générer une parole humaine ou même créer de la musique et des effets sonores (comme « la pluie qui tombe » ou « le chant des oiseaux »).
Parler pour Parler : Il peut prendre une entrée vocale et générer une sortie vocale différente (speech-to-speech).

Les Résultats : Le meilleur des deux mondes

Le document compare Audex aux autres modèles de haut niveau.

Sur le Texte : Il est aussi performant que les modèles textuels les plus intelligents, résolvant des énigmes mathématiques et logiques complexes sans aucune baisse de performance.
Sur l'Audio : Il bat de nombreux autres modèles pour la reconnaissance de la parole et la compréhension des sons généraux.
Le mode « Réflexion » : Contrairement à certains modèles qui deviennent « moins intelligents » lorsqu'ils essaient de réfléchir et de parler en même temps, Audex peut « réfléchir » (raisonner) à un problème sonore, puis générer la réponse en audio, le tout en une seule étape.

En Résumé

Ce document présente Audex, un modèle qui prouve qu'il n'est pas nécessaire de choisir entre être un « penseur intelligent » et un « bon auditeur/locuteur ». En traitant le son comme un autre type de langage, les chercheurs ont construit une IA unique capable d'entendre, de parler et de raisonner avec une égale brillance, préservant son intelligence d'origine tout en maîtrisant le monde du son.

Résumé Technique : Intelligence Audio Unifiée sans Régression de l'Intelligence Textuelle

Énoncé du Problème

Le développement de l'Intelligence Artificielle Générale (AGI) nécessite des modèles capables de comprendre, de raisonner sur et de générer de l'audio et de la parole. Bien que des efforts récents aient produit des LLM audio pour la compréhension et la génération, un défi critique demeure : la régression multimodale. Les modèles capables d'entrées et de sorties multimodales présentent souvent une dégradation significative du raisonnement, des connaissances et de l'alignement textuels par rapport à leurs homologues purement textuels. Les modèles open-source existants manquent souvent de capacités de génération multimodale, tandis que les modèles propriétaires (par exemple, GPT-4o, Gemini 2.5) intègrent ces fonctionnalités mais ne publient pas leurs poids. De plus, les modèles unifiés existants peinent souvent à maintenir les capacités sophistiquées de raisonnement et d'agentivité de leurs noyaux textuels lorsque la génération audio est ajoutée.

Méthodologie

Architecture du Modèle

Le document présente Nemotron-Labs-Audex-30B-A3B (Audex), un LLM audio-texte unifié construit sur le Nemotron-Cascade-2-30B-A3B, un puissant LLM Mixture-of-Experts (MoE) uniquement textuel basé sur une architecture hybride Mamba2-Transformer (30B de paramètres totaux, 3B activés).

Conception Unifiée : Audex utilise un seul décodeur Transformer. Les entrées audio sont traitées par un Encodeur Audio (AF-Whisper finetuné) et projetées dans l'espace d'embedding textuel via des adaptateurs MLP.
Tokenisation : Le vocabulaire est étendu de 131 072 à 205 312 tokens pour accommoder les tokens audio discrets.
- Parole : Tokenisée via X-Codec2 (50 Hz, FSQ à couche unique, vocabulaire de 65 536).
- Audio Non-Parolé : Tokenisée via X-Codec (50 Hz, RVQ à 4 couches, vocabulaire de 4 096).
- Génération : Le modèle prédit les tokens textuels et les tokens audio quantifiés de manière uniforme en utilisant une perte cross-entropy standard. Des tokens spéciaux (par exemple, <speechgen_start>, <audiogen_end>) gèrent les limites de génération.
Décodage : Pour l'audio non-parolé, un VAE d'amélioration (basé sur BigVGAN-v2) améliore la qualité. Pour la parole, un décodeur ConvNeXt en streaming remplace le décodeur non-causal X-Codec2 pour une inférence plus rapide.

Stratégie d'Entraînement

Le pipeline d'entraînement implique une curation méticuleuse de données (157,4B de tokens audio, 320,5B de tokens textuels) et une approche multi-étapes :

Fine-Tuning Supervisé (SFT) : Les auteurs comparent deux stratégies :
- SFT Multi-étapes : Un curriculum commençant par un SFT uniquement textuel, suivi d'un « Échauffement Audio » (entraînement uniquement des adaptateurs/embeddings), puis d'un « SFT de Génération Audio », et enfin de l'intégration des tâches de compréhension audio et de ASR/AST. Cette approche préserve les mécanismes d'attention à contexte long.
- SFT Consolidé en Étape Unique : Combine tous les types de données en une seule étape. Bien que moins coûteux, cela a été identifié comme dégradant significativement les performances de contexte long (benchmark NIAH).
- Décision : La stratégie SFT Multi-étapes a été choisie pour le modèle final afin de maintenir les capacités de raisonnement textuel.
Apprentissage par Renforcement (RL) : Le modèle subit un RL uniquement textuel (Cascade RL) et une Distillation On-policy Multi-domaine (MOPD), reflétant l'entraînement du noyau textuel. Cette étape améliore le raisonnement et l'alignement textuels sans causer d'oubli catastrophique des capacités audio.
Guidage Sans Classificateur (Classifier-Free Guidance - CFG) : Pour améliorer la qualité de la génération, le modèle est entraîné avec des échantillons inconditionnels (le texte est remplacé par des tokens de padding). À l'inférence, le CFG est appliqué avec des hyperparamètres spécifiques : $\lambda \approx 3$ pour le Text-to-Audio (TTA) et $\lambda \approx 1,5$ pour le Text-to-Speech (TTS).

Contributions Clés

Architecture Unifiée sans Régression : Audex atteint des performances de pointe (SOTA) dans la compréhension audio, la reconnaissance de la parole, la traduction, le TTS, et la génération audio tout en préservant l'intelligence textuelle de son noyau MoE de 30B. Contra-irement aux autres modèles unifiés, il ne montre qu'une régression marginale ou nulle sur les benchmarks de raisonnement, de connaissance et d'agentivité.
Sortie Open Source : Les auteurs publient les checkpoints du modèle pour le modèle 30B-A3B ainsi qu'une variante plus petite de 2B (Audex-2B), facilitant la recherche ouverte.
Génération Audio Générale : Audex est le seul modèle open robuste démontré capable de supporter la génération audio générale (non-parole) aux côtés de la parole, unifiant le text-to-audio et le text-to-speech au sein d'un même cadre de LLM autorégressif.
Recette d'Entraînement : Le papier détaille un curriculum spécifique (SFT multi-étapes suivi d'un RL uniquement textuel) qui réussit à intégrer des tâches complexes de génération audio dans un LLM capable de raisonnement sans briser ses capacités de contexte long ou de raisonnement.

Résultats

Capacités Textuelles

Audex-30B-A3B égale ou dépasse légèrement son noyau textuel (Nemotron-Cascade-2) sur les benchmarks clés :

Raisonnement : Atteint 91,2 % sur AIME 2025 et 92,2 % sur HMMT Feb25, surpassant Qwen3-Omni-30B-A3B-Thinking qui a montré une dégradation significative.
Contexte Long : Maintient des performances élevées sur NIAH (99,4 % à 256K, 83,4 % à 1M), alors que les modèles SFT en étape unique chutent vers presque zéro.
Agentivité et Alignement : Score de 57,2 sur $\tau^2$ -Bench et 81,6 sur ArenaHard v2, comparable à la base textuelle.

Capacités Audio

Reconnaissance de la Parole : Atteint le SOTA parmi les modèles ouverts sur OpenASR (moyenne de 6,82 % WER) et LibriSpeech bruité, surpassant Step-Audio-R1.1 et Qwen3-Omni-30B-A3B-Thinking.
Compréhension Audio : Équivaut aux bases solides sur MMAU (75,6) et démontre une fiabilité supérieure sur l'implication audio (Audio Entailment) (95,0) et la détection d'hallucinations CMM.
Génération :
- TTS : Atteint 1,70 WER sur Seed-TTS-Eval (voix fixe).
- TTA : Atteint des résultats SOTA parmi les modèles à données publiques sur AudioCaps (66,9 OpenL3 FD) et SongDescriber (62,7 OpenL3 FD), surpassant les bases de diffusion comme AudioLDM2 et Stable Audio Open.

Signification

Le papier affirme qu'Audex représente une étape cruciale vers l'AGI en démontrant que des LLM multimodaux natifs capables de compréhension et de génération peuvent être construits sans compromettre l'intelligence textuelle. En intégrant avec succès la génération audio dans un noyau MoE à haut niveau de raisonnement grâce à une recette d'entraînement multi-étapes soigneusement élaborée, Audex comble le fossé entre les modèles audio spécialisés et les moteurs de raisonnement à usage général. Les auteurs soulignent que leur approche évite la « régression » observée dans d'autres modèles unifiés, prouvant que les capacités audio peuvent être ajoutées aux LLM de pointe tout en conservant leurs forces fondamentales de raisonnement, de connaissance et d'agentivité.