⚡ electrical engineering

Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens

Cette étude présente une analyse systématique des modèles de fondation audio discrets natifs, établissant des lois d'échelle et des recettes d'entraînement optimales pour développer la suite de modèles SODA, capable de générer et de traiter conjointement le contenu sémantique, les détails acoustiques et le texte.

Auteurs originaux : Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

Publié 2026-02-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment entendre, comprendre et parler comme un humain. C'est le défi que relève cette recherche, qui présente un nouveau modèle appelé SODA.

Voici une explication simple, imagée et en français de ce que les chercheurs ont fait.

1. Le Problème : Les "Avocats" vs les "Polyglottes"

Jusqu'à présent, la plupart des intelligences artificielles (IA) qui gèrent l'audio étaient comme des avocats spécialisés.

Soit elles étaient d'abord des experts en texte (comme un grand écrivain) et on leur avait appris à écouter par-dessus (elles comprennent le sens des mots, mais perdent les détails de la voix, comme l'émotion ou l'accent).
Soit elles étaient d'abord des experts en son (comme un ingénieur du son) mais elles ne savaient pas vraiment "penser" ou raisonner avec des mots.

C'était comme essayer de faire jouer un violoniste et un poète dans la même pièce, mais en les forçant à parler des langues différentes. Le résultat ? Une communication imparfaite.

2. La Solution : Le "Chef d'Orchestre" Universel (SODA)

Les chercheurs ont créé SODA (Scaling Open Discrete Audio). Au lieu de séparer les compétences, ils ont entraîné un seul modèle à tout faire en même temps.

Pour y parvenir, ils ont utilisé une astuce géniale : le mélange de "briques".
Imaginez que vous construisez une maison avec des briques de trois couleurs :

Briques Blanches (Texte) : Le sens des mots, la grammaire, les faits.
Briques Rouges (Sémantique audio) : Ce qui est dit (le message).
Briques Bleues (Acoustique) : Comment c'est dit (l'accent, la voix, le bruit de fond, l'émotion).

Au lieu de construire trois maisons séparées, SODA apprend à empiler ces briques de manière entrelacée (comme un sandwich où le pain, la viande et le fromage sont mélangés couche par couche). Cela permet au modèle de comprendre à la fois ce que dit la personne et comment elle le dit, tout en sachant lire et écrire.

3. La Recette Secrète : Combien de quoi ?

Les chercheurs ont dû trouver la "recette parfaite" pour entraîner ce robot. C'est comme cuisiner un gâteau géant : si vous mettez trop de farine (texte) et pas assez d'œufs (son), le gâteau est sec.

Le mélange idéal : Ils ont découvert qu'il fallait 95 % de données audio (des heures de conversations, de podcasts, de vidéos YouTube) et seulement 5 % de texte pur (des livres, des articles).
Pourquoi si peu de texte ? Parce que le son contient beaucoup plus d'informations par "morceau" que le texte. Si on met trop de texte, le robot oublie comment bien parler et imiter les voix.

4. La Loi de l'Échelle : Plus c'est gros, plus il faut de données

En informatique, on a une règle classique : "Pour rendre un cerveau plus intelligent, il faut augmenter sa taille (le nombre de neurones) et lui donner plus de livres à lire".

Pour le texte, on savait que la taille du cerveau et le nombre de livres devaient augmenter à la même vitesse. Mais pour l'audio, les chercheurs ont découvert une surprise :

L'analogie : Imaginez que l'audio est une langue très dense et complexe. Pour apprendre cette langue, il ne suffit pas d'avoir un cerveau plus grand ; il faut beaucoup plus de livres (de données) que prévu.
La découverte : Pour chaque fois qu'ils augmentaient la taille du modèle, ils devaient augmenter la quantité de données d'entraînement 1,6 fois plus vite. C'est comme si, pour apprendre à jouer du violon, il fallait non seulement un musicien plus grand, mais aussi 1,6 fois plus d'heures de pratique que prévu.

5. Le Résultat : Un Robot Polyvalent

Grâce à cette méthode, SODA est devenu un véritable couteau suisse :

Il peut entendre une phrase et la transcrire (comme un sous-titreur).
Il peut lire un texte et le dire avec une voix naturelle (comme un lecteur audio).
Il peut même traduire une langue à l'oral vers une autre langue à l'oral, en gardant la même voix (comme si vous parliez français, mais que votre voix était entendue en anglais sans changer de timbre).

En résumé

Cette recherche nous dit que pour créer une IA qui comprend vraiment le son humain, il ne faut pas juste copier les méthodes du texte. Il faut :

Mélanger les sons et les mots dès le début (pas de séparation).
Utiliser beaucoup plus de données audio que de texte.
Accepter que pour devenir un expert du son, il faut "manger" énormément de données, bien plus que pour devenir un expert du texte.

SODA est la preuve que l'on peut construire un seul cerveau capable de chanter, de parler, de comprendre et de raisonner, tout en gardant la richesse et l'émotion de la voix humaine.

1. Problématique et Contexte

Les modèles de langage actuels pour l'audio souffrent de limitations structurelles majeures :

Architectures centrées sur le LLM (Text-first) : Des modèles comme SALMONN ou Qwen3-Omni ajoutent des modules audio à des LLM textuels pré-entraînés. Cela crée un « goulot d'étranglement sémantique » où les détails acoustiques fins sont perdus, limitant la modélisation audio-to-audio générale.
Modèles audio uniquement sémantiques : Des approches comme TWIST ou SpiritLM se concentrent sur les tokens sémantiques (ex: unités HuBERT) mais ignorent les détails acoustiques, empêchant une génération haute fidélité.
Modèles audio natifs spécifiques : Des modèles comme Moshi ou Llama-Mimi modélisent directement les tokens acoustiques mais se spécialisent souvent dans des tâches spécifiques sans intégration textuelle systématique.

Le défi central est de développer un modèle fondation audio natif capable de modéliser conjointement le contenu sémantique, les détails acoustiques et le texte dans un cadre unifié de prédiction du prochain token, tout en établissant des lois d'échelle (scaling laws) spécifiques à l'audio discret.

2. Méthodologie

Les auteurs proposent une approche systématique basée sur la prédiction du prochain token (Next-Token Prediction - NTP) appliquée à des tokens audio discrets.

A. Architecture et Tokenisation

Modèle : Utilisation d'un Transformer décodeur uniquement (architecture Qwen3) initialisé aléatoirement (Cold-start).
Codec Audio : Utilisation du codec neuronal Mimi (12,5 Hz). Les 8 premiers codebooks (RVQ) sont utilisés pour générer 100 tokens/seconde.
- Le premier codebook capture le contenu sémantique.
- Les codebooks restants capturent les détails acoustiques.
Interleaving (Entrelacement) : Les tokens audio (sémantiques + acoustiques) et les tokens textuels sont entrelacés au niveau de l'énoncé (utterance-level). Deux formats sont utilisés pour chaque instance :
1. Text-first : Texte $\rightarrow$ Audio.
2. Audio-first : Audio $\rightarrow$ Texte.
  Cela permet d'apprendre simultanément la transcription (ASR), la synthèse (TTS), la continuation audio et la continuation textuelle.

B. Données d'Entraînement

Corpus Audio : Sélection des plus grands corpus publics avec transcriptions au niveau de l'énoncé : Yodas (YouTube, 100+ langues) et Emilia (parole spontanée). Le corpus MLS a été exclu car il présentait des performances médiocres en raison de transcriptions non mises en majuscules et de segments de durée fixe.
Corpus Textuel : Nemotron-CC (web filtré) pour enrichir les connaissances générales et sémantiques.
Mélange Optimal : Une ablation a déterminé un ratio optimal de 5 % de texte et 95 % de parole. L'ajout de texte améliore les connaissances textuelles sans dégrader significativement les compétences audio (jusqu'à 5 %).

C. Étude de Mise à l'Échelle (Scaling Laws)

Les auteurs ont mené la première étude de scaling pour les modèles audio discrets via une analyse IsoFLOP sur 64 modèles (de $3 \times 10^{18}$ à $3 \times 10^{20}$ FLOPs).

Objectif : Déterminer la répartition optimale de la puissance de calcul entre la taille du modèle ( $N$ ) et la quantité de données ( $D$ ).
Résultat clé : Contrairement à la loi Chinchilla pour le texte ( $N^*, D^* \propto C^{0.5}$ $N^{*}, D^{*} \propto C^{0.5}$ ), les auteurs trouvent que pour l'audio :
- $N^* \propto C^{0.367}$
- $D^* \propto C^{0.579}$
- Conclusion : La quantité de données optimale doit croître 1,6 fois plus vite que la taille du modèle. Cela s'explique par la densité d'information plus faible des tokens audio (100 tokens/sec) par rapport au texte (~4 tokens/sec).

3. Contributions Clés et Résultats

A. SODA (Scaling Open Discrete Audio)

Les auteurs entraînent une suite de modèles SODA allant de 135M à 4B de paramètres sur 500 milliards de tokens.

Performance : SODA atteint des performances compétitives sur des benchmarks audio et cross-modaux.
- ASR (Reconnaissance) : WER de 5,0 % pour le modèle 4B sur LibriSpeech-clean.
- TTS (Synthèse) : WER de 6,1 % et SIM (similarité vocale) de 0,56.
- Compréhension : Meilleure compréhension acoustique (Salmon) et sémantique que les modèles sémantiques purs, bien qu'un compromis existe (les tokens acoustiques réduisent légèrement la performance sémantique pure par rapport aux modèles sémantiques-only, mais offrent une polyvalence supérieure).

B. Validation des Hypothèses

Métrique de Validation : La perte de validation (NLL) sur les données audio+textes est un prédicteur fiable des performances en aval (corrélation de Spearman > 0,95 pour ASR/TTS).
Cold-Start vs Warm-Start : L'entraînement à partir de zéro (Cold-start) est supérieur à l'initialisation depuis un LLM textuel (Warm-start). Le Warm-start souffre d'instabilité (pics de perte) et dégrade les capacités ASR, bien qu'il conserve un avantage initial en connaissances textuelles.
Flexibilité : Le même modèle unifié peut être fine-tuné pour des tâches complexes comme la traduction parole-à-parole (S2ST) en préservant la voix, sans changer l'architecture.

C. Comparaison avec l'État de l'Art

Vs SpiritLM (Sémantique-only) : SODA offre une génération haute fidélité et une préservation de la voix (SIM > 0,55) que SpiritLM ne peut pas atteindre (SIM ~ 0,05).
Vs Llama-Mimi (Audio-only) : SODA possède des capacités cross-modales (ASR/TTS) que Llama-Mimi n'a pas, tout en maintenant une qualité acoustique très élevée.

4. Signification et Impact

Fondation pour l'Audio Natif : Ce travail établit les premières « recettes » d'entraînement et les lois d'échelle pour les modèles fondation audio discrets, comblant le vide entre les modèles textuels et les modèles audio spécialisés.
Changement de Paradigme : Il démontre que l'entrelacement de tokens sémantiques, acoustiques et textuels permet un modèle universel capable de comprendre et de générer l'audio avec une haute fidélité, tout en ayant des capacités de raisonnement textuel.
Ressources Ouvertes : Les auteurs publient les checkpoints, les données audio discrètes, le code et les logs d'expérience, démocratisant la recherche sur les modèles audio fondation.
Implications Futures : La découverte que les données doivent scaler plus vite que le modèle pour l'audio suggère que l'efficacité future dépendra de l'augmentation de la quantité et de la qualité des données audio, plutôt que de l'augmentation massive des paramètres seuls.

En résumé, SODA prouve qu'il est possible de construire un modèle fondation audio natif, polyvalent et performant en traitant l'audio comme une séquence de tokens discrets entrelacés avec du texte, en suivant des lois d'échelle spécifiques à la densité d'information de l'audio.