⚡ electrical engineering

Audio Flamingo Next: Next-Generation Open Audio-Language Models for Speech, Sound, and Music

Het paper introduceert Audio Flamingo Next, een geavanceerd open audio-taalmodel dat door middel van schaalbare data, ondersteuning voor tot 30 minuten lange audio en een nieuwe 'Temporal Audio Chain-of-Thought'-redeneerparadigma, de prestaties en interpretatie van spraak-, geluids- en muziekverwerking aanzienlijk verbetert.

Oorspronkelijke auteurs: Sreyan Ghosh, Arushi Goel, Kaousheik Jayakumar, Lasha Koroshinadze, Nishit Anand, Zhifeng Kong, Siddharth Gururani, Sang-gil Lee, Jaehyeon Kim, Aya Aljafari, Chao-Han Huck Yang, Sungwon Kim, Ramani Du

Gepubliceerd 2026-04-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sreyan Ghosh, Arushi Goel, Kaousheik Jayakumar, Lasha Koroshinadze, Nishit Anand, Zhifeng Kong, Siddharth Gururani, Sang-gil Lee, Jaehyeon Kim, Aya Aljafari, Chao-Han Huck Yang, Sungwon Kim, Ramani Duraiswami, Dinesh Manocha, Mohammad Shoeybi, Bryan Catanzaro, Ming-Yu Liu, Wei Ping

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Audio Flamingo Next: De Super-Ohren van de Toekomst

Stel je voor dat je een luie, maar zeer slimme vriend hebt die naar alles kan luisteren: gesprekken, muziek, geluiden in de natuur, en zelfs lange films. Deze vriend heet Audio Flamingo Next (of kortweg AF-Next).

Vroeger waren zulke vrienden beperkt. Ze konden misschien een kort liedje herkennen of een zinnetje uitspreken, maar als je ze een heel uur lang een gesprek liet horen, raakten ze de draad kwijt of verzonnen ze dingen. AF-Next is de volgende generatie: een super-gehoor dat niet alleen luistert, maar ook echt begrijpt en redeneert.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De Oren en de Hersenen

AF-Next bestaat uit twee delen die perfect samenwerken:

De Oren (De Audio Encoder): Dit is als een super-gevoelige microfoon die elk geluid in duizenden kleine stukjes opdeelt. Hij hoort niet alleen wat er gezegd wordt, maar ook wie het zegt, of er iemand onderbroken wordt, en of er muziek op de achtergrond speelt.
De Hersenen (De Taalmodel): Dit is een slimme computer die al die geluiden vertaalt naar woorden en gedachten. Het is alsof je een vertaler hebt die niet alleen vertaalt, maar ook de context begrijpt.

2. Het Grote Leertraject (Van Baby tot Expert)

De makers hebben deze AI niet zomaar "opgeleid". Ze hebben een leerplan gevolgd, net zoals een kind opgroeit:

Fase 1: Luisteren en Herkennen. Eerst leerden ze de AI om simpele geluiden te herkennen (zoals "dat is een hond" of "dat is een piano").
Fase 2: De Lange Verhalen. Vervolgens leerden ze de AI om naar lange verhalen te luisteren (tot wel 30 minuten!). Stel je voor dat je een hele podcast luistert en je moet onthouden wat er 20 minuten geleden gezegd werd. De meeste AI's vergeten dat, maar AF-Next houdt het in zijn geheugen.
Fase 3: De "Denk-stap" (Tijd-gebonden Redeneren). Dit is het coolste nieuwe trucje. Stel je voor dat je een detective bent die een moordzaak oplost. Je moet niet alleen raden wie het deed, maar ook wanneer het gebeurde.
- De AI gebruikt nu een methode genaamd "Temporal Audio Chain-of-Thought".
- In plaats van te gissen, zegt de AI: "Ik hoor hier een geluid op 10:05 uur, en op 15:30 uur hoor ik iets anders. Als ik die twee momenten combineer, komt het antwoord."
- Het koppelt zijn gedachten dus direct aan de tijd in het geluidsbestand. Dit maakt het veel minder waarschijnlijk dat de AI dingen verzonnen (hallucineert).

3. Waarom is dit zo speciaal?

Vroeger moesten AI-modellen vaak "kijken" naar een lijstje met voorbeelden uit schoolboeken om goed te presteren. Als je ze dan een echt, rommelig gesprek in een druk café gaf, faalden ze.

AF-Next is anders:

Het heeft de hele wereld gehoord: De makers hebben de AI getraind op 1 miljoen uur aan geluid uit het echte internet. Niet alleen nette opnames, maar ook ruige gesprekken, muziek met ruis, en talloze talen.
Het is open: De "recepten" (de code en de data) zijn voor iedereen beschikbaar. Dit is zeldzaam; vaak zijn zulke slimme modellen geheimgehouden door grote bedrijven.
Het is een alleskunner: Of je nu wilt weten wat er in een liedje gezongen wordt, een lange vergadering wilt samenvatten, of een gesprek in het Arabisch wilt vertalen, deze AI kan het allemaal.

4. De Drie Verschillende Versies

De makers hebben drie varianten van deze AI gemaakt, afhankelijk van wat je nodig hebt:

De Vragenbaas (Instruct): Goed voor vragen stellen en antwoorden geven.
De Denker (Think): Deze neemt de tijd om stap voor stap na te denken over complexe problemen (zoals een detective).
De Beschrijver (Captioner): Deze is erop gespecialiseerd om lange audiofragmenten in detail te beschrijven, alsof je een verslaggever bent.

Samenvattend

Audio Flamingo Next is als het geven van een supergehoor en een scherp verstand aan een computer. Het kan urenlang naar een gesprek luisteren, onthouden wie wat zei, begrijpen waarom iemand stopte met praten, en zelfs de tijd aangeven waarop iets gebeurde. Het is een enorme stap voorwaarts om computers te laten luisteren zoals mensen dat doen: niet alleen naar de woorden, maar naar het hele verhaal.

Probleemstelling

Hoewel Large Language Models (LLMs) en Vision-Language Models (VLMs) aanzienlijke vooruitgang hebben geboekt, blijft de schaalvergroting van Open Large Audio-Language Models (LALMs) achter. Bestaande modellen kampen met de volgende beperkingen:

Afhankelijkheid van academische benchmarks: Veel modellen worden getraind op kleine, gestructureerde datasets die niet de complexiteit van real-world audio (langdurig, ruis, meerdere sprekers) weerspiegelen. Dit leidt tot slechte generalisatie in praktische toepassingen.
Gebrek aan transparantie: Veel state-of-the-art modellen zijn "closed-weight" of hebben ondoorzichtige trainingsdata, wat reproduceerbaarheid en vertrouwen beperkt.
Moeilijkheden bij lange audio: Het redeneren over lange audiofragmenten (tot 30 minuten) is uitdagend vanwege de noodzaak om verspreide bewijsstukken in de tijd te aggregeren. Bestaande "Chain-of-Thought" (CoT) methoden zijn vaak niet geoptimaliseerd voor tijdsgebonden redenering in audio.
Beperkte vaardigheden: Modellen hebben vaak moeite met complexe taken zoals multi-spreker spraakherkenning, tijdsstempel-gebaseerde beschrijvingen en veiligheidsgerelateerde instructies.

Methodologie

1. Architectuur (Audio Flamingo Next)
AF-Next bouwt voort op de architectuur van Audio Flamingo 3 en bestaat uit vier hoofdcomponenten:

Audio Encoder (AF-Whisper): Een op Whisper gebaseerde encoder, verder getraind op een grotere en diversere corpus (meertalig, multi-spreker). Het verwerkt audio in 30-seconden blokken en extrahere features via een log-mel-spectrogram.
Audio Adaptor: Een 2-laags MLP die de audio-embeddings projecteert naar de tekst-embedding ruimte van het LLM.
Large Language Model (LLM): Een decoder-only model gebaseerd op Qwen-2.5-7B. Een cruciale innovatie is de vervanging van standaard Rotary Positional Embeddings (RoPE) door Rotary Time Embeddings (RoTE). Hierbij wordt de rotatiehoek bepaald door de absolute tijdstempel ( $\tau_i$ ) van het token in plaats van de discrete index. Dit stelt het model in staat om een sterke temporeel begrip te behouden, essentieel voor lange audio.
Streaming TTS: Een decoder-only transformer voor voice-to-voice interactie.

2. Data Curation en Schaalvergroting
Het team heeft een dataset van ongeveer 1 miljoen uur audio (ca. 108 miljoen samples) samengesteld, inclusief data van het open internet. De data omvat:

Lange audio: Video's van 5 tot 30 minuten met gegenereerde captions, transcripties en QA-data.
Multi-spreker audio: Data voor sprekeridentificatie, onderbrekingen en gerichte spraakherkenning.
Veiligheid en instructievolging: Specifiek gegenereerde data om het model te leren wanneer het een antwoord moet weigeren.
Meertalige ASR/AST: Data in diverse talen (bijv. Emilia, CoVoST, MUST).
Temporeel Gebaseerde CoT (AF-Think-Time): Een nieuw dataset-concept waarbij redeneringsstappen expliciet worden gekoppeld aan tijdstempels in de audio. Dit helpt het model om bewijs te aggregeren in lange fragmenten en hallucinaties te verminderen.

3. Trainingscurriculum
AF-Next wordt getraind via een vier-fasen curriculum:

Pre-training: Focus op het uitlijnen van audio- en tekst-embeddings (Stage 1) en fijne afstelling van de encoder (Stage 2) met korte audio (max 1 min).
Mid-training: Uitbreiding naar redenering en vaardigheden. Het model wordt getraind op zowel korte als lange audio (tot 30 min) met een contextvenster van 128k tokens. Dit resulteert in het model AF-Next-Captioner.
Post-training: Reinforcement Learning (GRPO) gericht op multi-turn chat, veiligheid en instructievolging. Dit resulteert in AF-Next-Instruct.
CoT-training: Supervised Fine-Tuning (SFT) en GRPO met de AF-Think-Time dataset om AF-Next-Think te creëren, gespecialiseerd in geavanceerde redenering.

4. Technische Innovaties in Training
Om lange sequenties (tot 128k tokens) te verwerken op 128 NVIDIA H100 GPU's, wordt gebruikgemaakt van:

Sequence Packing: Om heterogene lengtes efficiënt te verwerken.
Hybrid Sequence Parallelism (USP): Een combinatie van Ulysses-parallelisme (binnen een node, all-to-all) en Ring-parallelisme (tussen nodes) om de kwadratische geheugenkosten van self-attention te omzeilen.

Belangrijkste Bijdragen

AF-Next Modelserie: De eerste volledig open (gewichten, data, code) LALM die schaalt naar internet-grootte data. Het biedt drie varianten:
- AF-Next-Instruct: Voor algemene vragen en instructies.
- AF-Next-Think: Voor geavanceerde redenering met tijdsgebonden Chain-of-Thought.
- AF-Next-Captioner: Voor gedetailleerde audio-beschrijvingen.
Temporele Audio Chain-of-Thought: Een nieuw redeneringsparadigma dat tussenstappen koppelt aan tijdstempels, wat de interpretatie en nauwkeurigheid bij lange audio aanzienlijk verbetert.
Uitgebreide Vaardigheden: Ondersteuning voor lange audio (30 min), multi-spreker ASR, tijdsstempel-gebaseerde captions en meertalige spraakvertaling.
Open Science: Publicatie van alle trainingsdata, code en modelgewichten (onder een onderzoekslicentie).

Resultaten

AF-Next presteert overtuigend op meer dan 20 benchmarks en overtreft vaak gesloten en grotere modellen:

Redenering & Begrip: Op de MMAU benchmark scoort AF-Next-Captioner 75.76 (vs. 72.42 voor AF3) en verslaat gesloten modellen zoals Gemini-2.5-Pro op specifieke taken.
Lange Audio: Op LongAudioBench bereikt AF-Next-Instruct 73.9, wat een grote sprong is ten opzichte van AF3 (68.6) en Gemini-2.5-Pro (60.4).
Spraakherkenning (ASR): Bereikt state-of-the-art resultaten op LibriSpeech (WER 1.54 op test-clean) en presteert uitstekend op meertalige datasets.
Muziek: Significant betere prestaties op instrumentherkenning (NSynth, Medley-Solos-DB) en muziekcaptions (SongCaps).
Veiligheid: Behoudt hoge scores op veiligheidsbenchmarks (AdvBench) terwijl het complexe instructies volgt.

Betekenis en Impact

Dit paper markeert een mijlpaal in de ontwikkeling van open-source multimodale AI. Door de barrière van gesloten data en benchmarks te doorbreken, toont AF-Next aan dat het mogelijk is om robuuste, generalistische audio-modellen te bouwen die goed presteren in real-world scenario's. De introductie van RoTE en Temporele Chain-of-Thought biedt nieuwe richtingen voor onderzoek naar tijdsgebonden redenering in lange multimodale sequenties. Het openen van de code en data versnelt de gemeenschap in het ontwikkelen van betrouwbare audio-systemen voor toepassingen zoals conversatie, situational awareness en muziekretrieval.

Beperkingen:
De auteurs erkennen dat internet-data nog steeds ruis bevat en dat zeldzame talen of geluiden ondervertegenwoordigd zijn. Ook blijft redeneren over zeer lange contexten met verspreid bewijs een uitdaging, hoewel AF-Next hier significant op vooruit is gegaan.