⚡ electrical engineering

Unified Audio Intelligence Without Regressing on Text Intelligence

Het artikel introduceert Audex, een verenigd 30B audio-tekst LLM gebouwd op een sterke tekst-only MoE-backbone die staat van dienst heeft met state-of-the-art prestaties over diverse audio- en spraaktaken heen, terwijl de geavanceerde redeneer- en agentische capaciteiten van het originele model behouden blijven zonder significante regressie.

Oorspronkelijke auteurs: Zhifeng Kong, Sang-gil Lee, Jaehyeon Kim, Boxin Wang, Zihan Liu, Sungwon Kim, Yang Chen, Arushi Goel, Rajarshi Roy, Wenliang Dai, Zhuolin Yang, Yangyi Chen, Dongfu Jiang, Sreyan Ghosh, Tuomas Rintamak

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhifeng Kong, Sang-gil Lee, Jaehyeon Kim, Boxin Wang, Zihan Liu, Sungwon Kim, Yang Chen, Arushi Goel, Rajarshi Roy, Wenliang Dai, Zhuolin Yang, Yangyi Chen, Dongfu Jiang, Sreyan Ghosh, Tuomas Rintamaki, Andrew Tao, Jonathan Raiman, Mohammad Shoeybi, Bryan Catanzaro, Wei Ping

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Een "Zwitsers Zakmes"-Brein Dat Niet Vergeet Hoe het Moet Denken

Stel je voor dat je een briljante professor hebt die een meester is in het schrijven van essays, het oplossen van complexe wiskundige problemen en het programmeren van software. Deze professor is jouw tekst-alleen AI. Stel je nu voor dat je deze professor ook wilt leren om muziek te begrijpen, vogelgezang te herkennen en met een menselijke stem tegen je te praten.

Normaal gesproken, wanneer je een genie een nieuwe, moeilijke vaardigheid leert (zoals jongleren), kan het zijn dat ze een beetje onhandig worden in hun oorspronkelijke werk (zoals schrijven). Ze kunnen grammaticafouten gaan maken of feiten vergeten omdat hun brein zo druk is met het leren van die nieuwe truc.

Dit paper introduceert "Audex", een nieuw AI-model dat leert om met audio en spraak te jongleren zonder de vaardigheid te verliezen om helder na te denken.

De onderzoekers hebben Audex gebouwd bovenop een zeer slim tekst-alleen brein genaamd Nemotron-Cascade-2. Hun doel was simpel: een AI maken die kan horen, spreken en geluid begrijpt, maar nooit haar vermogen verliest om te redeneren, wiskunde op te lossen of instructies op te volgen.

Hoe het Werkt: De "Universele Vertaler"-Truc

De meeste AI-modellen die met geluid omgaan, zijn als twee aparte mensen die elkaars hand vasthouden: één persoon luistert, en een ander spreekt. Als zij niet perfect met elkaar communiceren, is het resultaat een rommeltje.

Audex is anders. Het is een één enkel, verenigd brein. Hier is hoe het erin slaagt om alles tegelijk te doen:

Het Oor (Audio Encoder): Wanneer Audex een geluid hoort (zoals een hond die blaft of iemand die praat), probeert het niet direct de ruwe geluidsgolven te begrijpen. In plaats daarvan gebruikt het een gespecialiseerde "vertaler" (een audio encoder) om het geluid om te zetten in een lijst met getallen die precies lijken op de woorden die de AI al kent.
Het Brein (De LLM): Deze getallen worden in het hoofdbrein gevoerd. Omdat het brein ze ziet als "tokens" (zoals woorden), behandelt het een geluidsfragment exact hetzelfde als een zin tekst.
De Mond (Audio Codec): Wanneer Audex wil spreken of een geluid wil maken, "denkt" het niet alleen de woorden; het voorspelt het volgende "geluidstoken" in de reeks, net zoals het het volgende woord in een zin voorspelt.

De Analogie: Stel je een chef-kok voor die gewoon alleen met tekstrecepten kookt. Audex is als het leren aan die chef om te koken met geluid als ingrediënten. In plaats van een aparte keuken voor geluid nodig te hebben, vertaalt Audex de geluidsingrediënten simpelweg naar de taal die de chef al spreekt. De chef kan nu een "geluidsoep" koken zonder te vergeten hoe hij een "tekstcake" moet bakken.

Het Geheime Recept: Trainen Zonder het Brein te Breken

De onderzoekers stonden voor een grote uitdaging: als je een slimme tekst-AI te hard traint op audio, kan het zijn dat het vergeet hoe het slim moet zijn. Om dit te voorkomen, gebruikten ze een zorgvuldig, stapsgewijs trainingsrecept:

Opwarming: Eerst leerden ze de AI hoe het met de "geluidsingrediënten" (de audio tokens) moet omgaan zonder de kernkennis te veranderen.
Gelaagd Leren: Ze gooiden niet alles tegelijk naar de AI. Ze leerden de AI eerst geluid te genereren, daarna leerden ze de AI geluid te begrijpen, en tot slot mengden ze alles samen. Dit is als het leren fietsen met zijwieltjes voordat je een eenwieler probeert te rijden.
De "Geen-Regressie"-Belofte: Na alle training testten ze de oude vaardigheden van de AI (wiskunde, logica, coderen). De resultaten waren verbazingwekkend: Audex werd net zo goed in deze taken als de originele tekst-alleen versie. Het verloor geen enkele van zijn "genialiteit" terwijl het de vaardigheid kreeg om te horen en te spreken.

Wat Kan Audex Eigenlijk?

Volgens het paper is Audex een "Zwitsers zakmes" voor audio. Het kan:

Luisteren en Begrijpen: Het kan vragen beantwoorden over wat het hoort (bijv. "Is dat een hond of een wolf?" of "Wat is de stemming van deze muziek?").
Transcriberen en Vertalen: Het kan gesproken woorden omzetten in tekst en ze naar andere talen vertalen, zelfs in lawaaierige ruimtes.
Spreken en Zingen: Het kan een tekstprompt nemen en menselijke spraak of zelfs muziek en geluidseffecten genereren (zoals "vallende regen" of "vogels die fluiten").
Praten om te Praten: Het kan een steminput nemen en een andere stemoutput generen (spraak-naar-spraak).

De Resultaten: Het Beste van Beide Werelden

Het paper vergelijkt Audex met andere topmodellen.

Op Tekst: Het presteert net zo goed als de slimste tekst-alleen modellen, waarbij het complexe wiskundige en logische puzzels oplost zonder prestatieverlies.
Op Audio: Het verslaat veel andere modellen bij het herkennen van spraak en het begrijpen van algemene geluiden.
De "Denkmodus": In tegenstelling tot sommige modellen die "dommer" worden wanneer ze tegelijkertijd proberen te denken en te spreken, kan Audex over een geluidsprobleem "nadenken" (redeneren) en vervolgens het antwoord in audio genereren, allemaal in één keer.

Samenvattend

Dit paper presenteert Audex, een model dat bewijst dat je niet hoeft te kiezen tussen een "slimme denker" en een "goede luisteraar/spreker". Door geluid te behandelen als een andere soort taal, hebben de onderzoekers een enkele AI gebouwd die kan horen, spreken en redeneren met gelijke genialiteit, waarbij de oorspronkelijke intelligentie intact blijft terwijl de meesterheid over de wereld van geluid wordt verworven.

Technische Samenvatting: Verenigde Audio-intelligentie zonder Regressie op Tekst-intelligentie

Probleemstelling

De ontwikkeling van Artificial General Intelligence (AGI) vereist modellen die in staat zijn om audio en spraak te begrijpen, erover te redeneren en deze te genereren. Hoewel recente inspanningen audio Large Language Models (LLM's) hebben voortgebracht voor zowel begrip als generatie, blijft een cruciale uitdaging bestaan: multimodale regressie. Modellen die in staat zijn tot multimodale inputs en outputs, vertonen vaak een significante degradatie in tekstgebaseerde redenering, kennis en alignment vergeleken met hun tekst-alleen tegenhangers. Bestaande open-source modellen missen vaak multimodale generatiecapaciteiten, terwijl propriëtaire modellen (bijv. GPT-4o, Gemini 2.5) deze functies integreren maar de gewichten niet vrijgeven. Bov�eld struggle bestaande verenigde modellen vaak om de geavanceerde redeneer- en agentische capaciteiten van hun tekst-alleen backbones te behouden wanneer audio-generatie wordt toegevoegd.

Methodologie

Modelarchitectuur

Het paper introduceert Nemotron-Labs-Audex-30B-A3B (Audex), een verenigde audio-tekst LLM gebouwd op de Nemotron-Cascade-2-30B-A3B, een sterke tekst-alleen Mixture-of-Experts (MoE) LLM gebaseerd op een hybride Mamba2-Transformer architectuur (30B totale parameters, 3B geactiveerd).

Verenigd Ontwerp: Audex maakt gebruik van een enkele Transformer decoder. Audio-inputs worden verwerkt door een Audio Encoder (fijngetunede AF-Whisper) en geprojecteerd in de tekst-embeddingruimte via MLP-adapters.
Tokenisatie: Het vocabulaire is uitgebreid van 131.072 naar 205.312 tokens om discrete audio-tokens te accommoderen.
- Spraak: Getokeniseerd met behulp van X-Codec2 (50 Hz, single-layer FSQ, 65.536 vocabulaire).
- Niet-spraak Audio: Getokeniseerd met behulp van X-Codec (50 Hz, 4-layer RVQ, 4.096 vocabulaire).
- Generatie: Het model voorspelt tekst-tokens en gekwantiseerde audio-tokens uniform met behulp van standaard cross-entropy loss. Speciale tokens (bijv. <speechgen_start>, <audiogen_end>) beheren de generatiegrenzen.
Decoding: Voor niet-spraak audio verbetert een enhancement VAE (gebaseerd op BigVGAN-v2) de kwaliteit. Voor spraak vervangt een streaming ConvNeXt decoder de non-causale X-Codec2 decoder voor snellere inferentie.

Trainingsstrategie

De trainingspipeline omvat zorgvuldige data-curatie (157,4B audio tokens, 320,5B tekst tokens) en een meerfasige aanpak:

Supervised Fine-Tuning (SFT): De auteurs vergelijken twee strategieën:
- Multi-stage SFT: Een curriculum beginnend met tekst-alleen SFT, gevolgd door een "Audio Warmup" (het trainen van enkel de adapters/embeddings), gevolgd door "Audio Generation SFT", en tot slot het integreren van "Audio Understanding" en ASR/AST taken. Deze aanpak behoudt de long-context attention mechanismen.
- Single-stage Consolidated SFT: Combineert alle datatypen in één fase. Hoewel goedkoper, bleek dit de long-context prestaties (NIAH benchmark) significant te degraderen.
- Besluit: De Multi-stage SFT strategie werd gekozen voor het definitieve model om de tekst-redeneercapaciteiten te behouden.
Reinforcement Learning (RL): Het model ondergaat tekst-alleen Cascade RL en Multi-domain On-policy Distillation (MOPD), wat de training van de tekst-alleen backbone spiegelt. Deze fase verbetert de tekst-redenering en alignment zonder dat er sprake is van catastrofale vergetelheid van audio-capaciteiten.
Classifier-Free Guidance (CFG): Om de generatiekwaliteit te verbeteren, wordt het model getraind met onvoorwaardelijke samples (waarbij tekst wordt vervangen door padding tokens). Bij inferentie wordt CFG toegepast met specifieke hyperparameters: $\lambda \approx 3$ voor Text-to-Audio (TTA) en $\lambda \approx 1.5$ voor Text-to-Speech (TTS).

Belangrijkste Bijdragen

Verenigde Architectuur zonder Regressie: Audex bereikt state-of-the-art (SOTA) prestaties in audio-begrip, spraakherkenning, vertaling, TTS en audio-generatie, terwijl de tekst-intelligentie van de 30B MoE backbone behouden blijft. In tegen tegenstelling tot andere verenigde modellen, vertoont het minimale of geen regressie op redeneer-, kennis- en agentische benchmarks.
Open Release: De auteurs geven model checkpoints vrij voor zowel het 30B-A3B model als een kleinere 2B variant (Audex-2B), wat open onderzoek faciliteert.
Algemene Audio-generatie: Audex is het enige sterke open model dat wordt gedemonstreerd met ondersteuning voor algemene audio-generatie (niet-spraak) naast spraak, waardoor text-to-audio en text-to-speech worden verenigd binnen een enkel autoregressief LLM-framework.
Trainingsrecept: Het paper beschrijft een specifiek curriculum (Multi-stage SFT gevolgd door tekst-alleen RL) dat erin slaagt complexe audio-generatietaken te integreren in een redeneer-bekwaam LLM zonder de long-context of redeneercapaciteiten te breken.

Resultaten

Tekst-capaciteiten

Audex-30B-A3B evenaart of overtreft zelfs licht de tekst-alleen backbone (Nemotron-Cascade-2) op cruciale benchmarks:

Redeneren: Behaalt 91,2% op AIME 2025 en 92,2% op HMMT Feb25, waarmee het Qwen3-Omni-30B-A3B-Thinking overtreft, dat significante degradatie vertoonde.
Long Context: Behoudt hoge prestaties op NIAH (99,4% bij 256K, 83,4% bij 1M), terwijl single-stage SFT modellen naar bijna nul zakten.
Agentisch & Alignment: Scoort 57,2 op $\tau^2$ -Bench en 81,6 op ArenaHard v2, vergelijkbaar met de tekst-alleen baseline.

Audio-capaciteiten

Spraakherkenning: Bereikt SOTA onder open modellen op OpenASR (6,82% gemiddelde WER) en noisy LibriSpeech, waarbij het Step-Audio-R1.1 en Qwen3-Omni-30B-A3B-Thinking overtreft.
Audio-begrip: Matcht sterke baselines op MMAU (75,6) en demonstreert superieure betrouwbaarheid op Audio Entailment (95,0) en CMM Hallucination detectie.
Generatie:
- TTS: Behaalt 1,70 WER op Seed-TTS-Eval (fixed voice).
- TTA: Bereikt SOTA resultaten onder publieke-data modellen op AudioCaps (66,9 OpenL3 FD) en SongDescriber (62,7 OpenL3 FD), waarmee het diffusion baselines zoals AudioLDM2 en Stable Audio Open overtreft.

Betekenis

Het paper beweert dat Audex een cruciale stap richting AGI vertegenwoordigt door aan te tonen dat native multimodale LLM's die zowel begrip als generatie kunnen bieden, gebouwd kunnen worden zonder de tekst-intelligentie te compromitteren. Door audio-generatie succesvol te integreren in een hoog-redeneerende MoE backbone via een zorgvuldig gecureerd multi-stage trainingsrecept, overbrugt Audex de kloof tussen gespecialiseerde audio-modellen en algemene redeneermachines. De auteurs benadrukken dat hun aanpak de "regressie" voorkomt die bij andere verenigde modellen wordt gezien, en bewijst dat audio-capaciteiten kunnen worden toegevoegd aan frontier LLM's terwijl hun kernredenering, kennis en agentische sterktes behouden blijven.