⚡ electrical engineering

Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens

Deze paper introduceert SODA, een reeks native audio-foundationmodellen die semantische, akoestische en tekstuele tokens gezamenlijk modelleren, en biedt empirische inzichten en schalingswetten voor het trainen van dergelijke modellen via next-token prediction.

Oorspronkelijke auteurs: Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

Gepubliceerd 2026-02-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-intelligente robot wilt bouwen die niet alleen tekst kan lezen en schrijven, maar ook luistert, spreekt, zingt en zelfs de stem van iemand anders kan nabootsen.

Vroeger waren deze robots een beetje als een tweeslachtig wezen: ze waren goed in tekst (zoals een slimme chatbot), maar als je ze een audio-bestand gaf, moesten ze eerst een "vertaler" gebruiken om het om te zetten naar tekst voordat ze konden reageren. Of ze waren gespecialiseerd in stemmen, maar misten dan het begrip van wat er gezegd werd.

Dit paper introduceert SODA (Scaling Open Discrete Audio), een nieuwe soort robot die alles in één brein heeft. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Grote Uitdaging: De "Vertaal-Bottleneck"

Stel je voor dat je een boek leest, maar je mag het niet hardop voorlezen. Je moet eerst elke zin in je hoofd omzetten naar een abstract idee, en dat idee dan weer omzetten in geluid. Dat is wat de oude modellen deden. Ze vergeten de "kleine details" van de stem (de trillingen, de emotie, het accent) omdat ze te veel focussen op de betekenis van de woorden.

SODA doet het anders. Het leert niet alleen wat er gezegd wordt, maar ook hoe het gezegd wordt.

2. De Magische Ingrediënten: Drie Soorten "Blokjes"

Om SODA te bouwen, hebben de onderzoekers een nieuw recept uitgevonden. Ze zien geluid en tekst niet als grote, ondoorzichtige blokken, maar als een reeks kleine brieven (tokens) die ze door elkaar kunnen gooien. Ze gebruiken drie soorten brieven:

De "Wat" (Semantiek): Dit zijn de woorden en de betekenis. (Bijvoorbeeld: "Ik heb honger").
De "Hoe" (Acoustiek): Dit zijn de geluidsdetails. De toonhoogte, de ruis op de achtergrond, de stemkwaliteit. (Bijvoorbeeld: "Ik heb honger" gezegd met een schorre stem of een zachte fluisterstem).
De "Tekst" (Schrijven): Gewone tekst, zoals je het op een scherm ziet.

Het Geniale Trucje:
In plaats van eerst de betekenis te leren en daarna de klank, verweven ze deze drie soorten brieven door elkaar, regel voor regel.

Vroeger: Eerst lezen, dan luisteren.
Nu met SODA: Het model ziet een zin tekst, dan een stukje geluid, dan weer tekst, dan weer geluid. Het leert zo dat "hallo" (tekst) en "hallo" (geluid) precies hetzelfde zijn, maar dat de klank van "hallo" in een zonnige tuin anders is dan in een donkere kelder.

3. De Rekenkracht: Hoe groot moet de robot zijn?

Een van de grootste vragen in de AI-wereld is: "Is het slimmer om een heel grote robot te bouwen met weinig data, of een kleinere robot met heel veel data?"

Voor tekst-robots (zoals ChatGPT) wisten we dit al: je moet ongeveer evenveel data als modelgrootte hebben. Maar voor geluid is het anders. Geluid is "dicht" aan informatie. Een seconde geluid bevat veel meer informatie dan een woord tekst.

De onderzoekers hebben een experiment gedaan met 64 verschillende robots, variërend van heel klein tot groot. Ze ontdekten een verrassend feit:

Voor geluid moet je veel meer data verzamelen dan je denkt.
Als je je rekenkracht (je budget) verdubbelt, moet je de data 1,6 keer zo snel laten groeien als het model zelf.
Analogie: Stel je voor dat je een kok bent. Voor een tekst-restaurant (pizza) kun je een grote oven en wat deeg gebruiken. Voor een geluidsrestaurant (een symfonie) heb je een enorme hoeveelheid ingrediënten nodig, zelfs als je oven klein is. Je moet veel meer oefenen met het geluid zelf.

4. De Resultaten: SODA in de praktijk

Ze hebben een reeks robots getraind, van heel klein (135 miljoen "hersencellen") tot groot (4 miljard). Wat bleek?

Van Scratch vs. Opwarmen: Veel mensen beginnen met een slimme tekst-robot en proberen die "op te warmen" met geluid. De onderzoekers ontdekten dat dit niet werkt voor geluid. Het is beter om een robot vanaf nul te bouwen die specifiek is ontworpen voor geluid. Het is alsof je een voetballer probeert te maken door een schaker te laten trainen; ze hebben andere spieren nodig.
De Kracht van SODA: De SODA-robots kunnen nu:
- Gesproken taal omzetten naar tekst (zoals een zeer slimme stenograaf).
- Tekst omzetten naar gesproken taal (zoals een perfecte verteller).
- En het allerbelangrijkste: Ze kunnen een gesprek voeren waarbij ze de stem van de spreker behouden. Als je zegt: "Vertaal dit naar het Frans, maar zeg het met mijn stem," dan doet SODA dat. Ze houden de "vibe" van de stem vast, niet alleen de woorden.

5. Waarom is dit belangrijk?

Dit paper is een mijlpaal omdat het laat zien dat we geen aparte systemen meer nodig hebben voor tekst, audio en vertaling. We kunnen één universeel brein bouwen dat alles begrijpt.

Het is alsof we zijn overgestapt van een gereedschapskist met losse hamers, schroevendraaiers en tangen, naar een Zwitsers zakmes dat alles kan, en dat bovendien nog beter werkt dan de losse tools.

Kortom:
De onderzoekers hebben bewezen dat als je geluid, tekst en betekenis door elkaar leert (in plaats van ze te scheiden), en als je genoeg data gebruikt, je een AI kunt bouwen die niet alleen "weet" wat er gezegd wordt, maar ook "hoort" hoe het klinkt. En dat is de sleutel tot echte, menselijke interactie met machines.

1. Het Probleem

Huidige audio-taalmodellen (Audio LLMs) hebben significante beperkingen die hun algemene bruikbaarheid in de weg staan:

Tekst-gecentreerde architecturen: Modellen zoals SALMONN of Qwen3-Omni bouwen audio-capaciteiten op bestaande tekst-LLM's. Dit leidt tot een "semantische bottleneck" waarbij fijne akoestische details verloren gaan of gecomprimeerd worden, wat de kwaliteit van generatie en het begrijpen van geluid beperkt.
Semantiek-only modellen: Modellen zoals SpiritLM of TWIST trainen op discrete spraaktokens maar negeren akoestische details (zoals stemtimbre en achtergrondruis). Dit beperkt hoogwaardige generatie en akoestisch begrip.
Native audio-modellen: Modellen zoals Moshi of Llama-Mimi modelleren akoestische tokens direct, maar missen vaak geïntegreerde tekstcapaciteiten en systematisch onderzoek naar schaalwetten (scaling laws).
Gebrek aan schaalwetten: Er is geen duidelijk inzicht in hoe compute (rekenkracht) optimaal verdeeld moet worden tussen modelgrootte ( $N$ ) en trainingsdata ( $D$ ) voor discrete audio-modellen, in tegenstelling tot wat er bekend is voor tekst-LLMs (bijv. Chinchilla).

2. Methodologie

De auteurs presenteren SODA (Scaling Open Discrete Audio), een reeks native audio foundation modellen die een unificatie van semantische, akoestische en tekstuele tokens toepassen binnen één next-token prediction framework.

Kernarchitectuur en Training:

Tokenisatie: Gebruik van de Mimi neural codec (12.5 Hz, 8 RVQ codebooks). De eerste codebook bevat semantische inhoud, de overige codebooks bevatten akoestische details.
Interleaving: Tokens worden op utterance-niveau (uitspraakniveau) gewisseld. Een trainingselement bestaat uit een sequentie van audio-tokens (semantisch + akoestisch) en corresponderende tekst-tokens. Dit voorkomt woord-niveau alignatiefouten en maakt het gebruik van grote datasets met transcripties mogelijk.
Architectuur: Decoder-only Transformers (gebaseerd op Qwen3) met QK-Norm voor stabiliteit.
Data: Een mix van spraakdata (Yodas en Emilia) en hoogwaardige tekstdata (Nemotron-CC). De optimale mix bleek 95% spraak en 5% tekst.

Schaalwetten Onderzoek (IsoFLOP):

De auteurs voerden een uitgebreide IsoFLOP-analyse uit op 64 modellen met compute-begrotingen variërend van $3 \times 10^{18}$ tot $3 \times 10^{20}$ FLOPs.
Het doel was om de compute-optimale verhouding tussen modelgrootte ( $N^*$ ) en aantal tokens ( $D^*$ ) te bepalen voor discrete audio.

3. Belangrijkste Bijdragen en Bevindingen

A. Geoptimaliseerde Training Recipe

Data Mix: Een mix van 5% tekst en 95% spraakdata maximaliseert tekstkennis zonder de audio-prestaties significant te schaden.
Token Samenstelling: Het combineren van Semantisch + Akoestisch + Tekst tokens is essentieel. Hoewel semantiek-only modellen beter zijn in puur semantisch begrip, biedt de gecombineerde aanpak de enige weg naar een universele backbone die zowel ASR (spraak-naar-tekst) als TTS (tekst-naar-spraak) en hoogwaardige audio-generatie ondersteunt.
Cold-Start vs. Warm-Start: Het trainen van scratch (Cold-Start) bleek superieur aan het initialiseren van een bestaande tekst-LLM (Warm-Start). Warm-Start leidde tot instabiliteit en een daling in ASR-prestaties, hoewel het wel een voorsprong gaf in tekstkennis.

B. Schaalwetten voor Discrete Audio
De studie onthulde dat discrete audio-modellen anders schalen dan tekst-LLMs:

Data groeit sneller dan modelgrootte: De optimale data-schaal ( $D^*$ $D^{*}$ ) groeit sneller dan de optimale modelgrootte ( $N^*$ $N^{*}$ ).
- Formule: $N^* \propto C^{0.367}$ en $D^* \propto C^{0.579}$ .
- Dit contrasteert met Chinchilla ( $N^*, D^* \propto C^{0.5}$ ).
Reden: Discrete audio-tokens hebben een lagere informatiedichtheid dan tekst-tokens (100 tokens/sec voor audio vs. ~4 tokens/sec voor tekst), waardoor meer data nodig is om hetzelfde effectieve leerresultaat te bereiken.
Token/Parameter Ratio: De optimale ratio van tokens per parameter neemt toe met de schaal (van ~13 bij $10^{20}$ FLOPs naar ~58 bij $10^{23}$ FLOPs), in tegenstelling tot de constante ratio die vaak voor tekst wordt aangenomen.

C. Validatie Loss als Metriek

De Validation Loss (NLL) op audio+tekst data bleek een zeer betrouwbare voorspeller voor downstream prestaties (ASR, TTS, semantisch begrip), zelfs bij schaalvergroting. Dit maakt het een efficiënt proxy voor het evalueren van modellen zonder dure benchmarks te hoeven draaien.

4. Resultaten (SODA Modellen)

De auteurs trainden een reeks modellen (SODA) van 135M tot 4B parameters op 500B tokens.

Prestaties: SODA bereikt concurrerende resultaten op benchmarks voor spraaksemantiek (sBLIMP, sWUGGY), akoestisch begrip (Salmon), tekstkennis en cross-modale taken (ASR en TTS).
Vergelijking:
- SODA overtreft bestaande native audio-modellen in veelzijdigheid (unieke combinatie van ASR, TTS en tekstgeneratie in één model).
- TTS-kwaliteit (stemgelijkheid) en ASR-accuraatheid verbeteren sterk met schaalvergroting.
- Emergentie: Tekstkennis toont sterke emergente gedragingen bij grotere schaal, terwijl akoestisch begrip eerder verzadiging vertoont (bepaald door tokenisatie en datakwaliteit).
Toepassing: SODA werd succesvol gefinetuned voor spraak-naar-spraak vertaling (S2ST) met behoud van de stem van de spreker, wat aantoont dat het model een flexibele backbone is voor diverse audio-taken zonder architecturale aanpassingen.

5. Significantie

Dit paper is een mijlpaal in het veld van multimodale AI omdat het:

De eerste systematische schaalwetstudie is voor discrete audio-foundation modellen.
Een bewezen training recipe biedt die de kloof overbrugt tussen tekst-gecentreerde modellen en pure audio-modellen.
Aantoont dat native audio training (vanaf nul) superieur is aan het aanpassen van tekst-LLMs voor audio-taken.
De openheid bevordert door het vrijgeven van checkpoints, data, code en experimentele logs, wat de toegang tot audio-foundation model onderzoek democratiseert.

Kortom, SODA bewijst dat het mogelijk is om een enkel, schaalbaar model te bouwen dat zowel de "wat" (semantiek) als de "hoe" (akoestiek) van spraak begrijpt en genereert, met een duidelijke route voor verdere schaalvergroting.