Beyond Transcription: Unified Audio Schema for Perception-Aware AudioLLMs

Probleemstelling: De Waarnemings-Redenerings Inversie

Recente Audio Large Language Models (AudioLLMs) vertonen een opvallend paradoxaal gedrag: ze excelleren in complexe redeneertaken (zoals het begrijpen van de betekenis van een zin), maar presteren systematisch slecht op fijnmazige akoestische waarneming.

• De Oorzaak: De auteurs attribueren dit aan een fundamentele beperking in de huidige trainingsparadigma's, die sterk gericht zijn op Automatische Spraakherkenning (ASR). ASR-training leert modellen om tekstuele transcripties te genereren, maar doet dit door prosodie, sprekerseigenschappen, emotie en niet-talige geluiden (zoals deuren die slammen) te normaliseren of als "ruis" te behandelen.
• Het Gevolg: Modellen worden impliciet gestraft voor het letten op hoe iets wordt gezegd of wat er akoestisch omheen gebeurt, terwijl ze worden beloond voor wat er wordt gezegd. Dit leidt tot "perceptuele blindvlekken": een model kan "Ik ben oké" correct transcriberen, maar de trillende stem die noodsignaalt, volledig missen.

Methodologie: Unified Audio Schema (UAS)

Om dit probleem op te lossen, stellen de auteurs Unified Audio Schema (UAS) voor. Dit is een gestructureerd supervisieframework dat audio-informatie ontbindt in drie expliciete componenten binnen één JSON-formaat, in plaats van een ongestructureerde tekstuele beschrijving.

De drie componenten zijn:

1. Transcriptie (Transcription): De letterlijke gesproken inhoud (vergelijkbaar met ASR-output), wat zorgt voor semantische precisie.
2. Paralinguistiek (Paralinguistics): Eigenschappen van de spreker en de manier van spreken. Dit omvat gestructureerde velden voor:
   • Leeftijd, Geslacht, Emotie, Accent, Prosodie (tempo, intonatie) en Timbre (klankkleur).
3. Niet-talige Gebeurtenissen (Non-linguistic Events): Akoestische context buiten de spraak om, onderverdeeld in:
   • Discrete events: Duidelijke geluiden met een tijdsbestek (bijv. een deurslag, gelach).
   • Continuous events: Achtergrondgeluiden (bijv. ruis, muziek, motorgeluid).

Schaalbaar Data-Generatie Pijplijn:
Een cruciaal aspect van UAS is dat het geen dure handmatige annotatie vereist. De auteurs ontwikkelen een geautomatiseerde pijplijn in drie fasen:

1. Acoustic Captioning: Een bestaand model genereert rijke beschrijvingen van paralinguïstische en omgevingsaspecten.
2. Schema Synthese: Een LLM combineert de originele transcriptie met deze beschrijvingen en structureert ze volgens het strikte UAS-JSON-formaat.
3. Validatie: Geautomatiseerde checks (op basis van vooraf gedefinieerde vocabulaires en logica) filteren hallucinaties en zorgen voor consistentie (bijv. geen "man" als het timbre "femine" is).

Daarnaast wordt een UAS-QA dataset gegenereerd om het model te leren deze gestructureerde kennis toe te passen via vragen (meerkeuze, ja/nee, directe vragen).

Model Architectuur (UAS-Audio):
Het paper presenteert UAS-Audio, een AudioLLM die deze supervisie toepast. Het werkt met zowel continue (waveform-based) als discrete (token-based) architecturen. Het trainingsproces omvat:

• Stap 1: Aligneren van discrete audio-tokens.
• Stap 2: Aanpassen van de audio-encoder aan de LLM met UAS-data (om ASR-centric representaties te voorkomen).
• Stap 3: Volledige instructie-tuning met een mix van ASR, TTS, UAS-annotatie en UAS-QA taken.
• Stap 4: Versterking van het leren via GRPO (Group Relative Policy Optimization).

Belangrijkste Resultaten

De auteurs evalueren UAS-Audio op drie benchmarks: MMSU (perceptie & redeneren), MMAR (diep redeneren) en MMAU (multimodaal audio begrip).

• Perceptie vs. Redeneren: Op de MMSU-benchmark boekt UAS-Audio een absolute verbetering van 10,9% in perceptie-accuraatheid (van ~45% naar 55,7%) ten opzichte van de beste state-of-the-art baselines (zoals Kimi-Audio). Cruciaal is dat dit zonder verlies aan redeneervermogen gebeurt; de redeneerscore blijft stabiel op ~77,4%, vergelijkbaar met de topmodellen.
• Generalisatie: Het model presteert consistent beter op zowel spraak-, geluids- als muziekgerelateerde taken, wat aantoont dat de gestructureerde supervisie domeinspecifieke akoestische attributen effectief vastlegt.
• Architectuur-onafhankelijkheid: De methode werkt zowel voor continue als discrete audio-architecturen, waarbij de discrete variant (UAS-Audio-D) bijna een verdubbeling laat zien in de totale score ten opzichte van de baseline.
• Generatiekwaliteit: De training met UAS verslechtert de spraakgeneratie (TTS) niet; de model presteert zelfs beter op woordfoutpercentages (WER) dan concurrenten.
• Efficiëntie: Hoewel UAS een complex JSON-formaat gebruikt tijdens training, kan het model tijdens inferentie in een "Targeted Mode" werken waarbij alleen specifieke attributen worden gevraagd, zonder de overhead van het genereren van het volledige JSON-objekt.

Significantie en Bijdragen

De paper levert drie fundamentele bijdragen aan het veld van AudioLLMs:

1. Diagnose: Het identificeert dat de zwakke perceptie van huidige modellen niet komt door gebrek aan rekenkracht, maar door een systematische verwaarlozing van paralinguïstische informatie in de trainingsdata (ASR-centrisch bias).
2. Innovatie: Het introduceert UAS, een gestructureerde, schaalbare supervisiestrategie die akoestische informatie expliciet ontbindt in semantische, paralinguïstische en omgevingscomponenten. Dit forceert het model om deze dimensies te onderscheiden in plaats van ze te vermengen.
3. Validatie: Het bewijst dat het herstructureren van de supervisie leidt tot modellen die zowel "horen" als "redeneren". UAS-Audio bereikt state-of-the-art prestaties op perceptie-taken terwijl het de redeneercapaciteiten behoudt, wat een nieuwe richting aangeeft voor de ontwikkeling van robuuste multimodale systemen.

Kortom, dit werk toont aan dat voor AudioLLMs "meer data" niet genoeg is; de structuur van de supervisie is cruciaal om modellen te leren de volledige rijkdom van geluid waar te nemen, niet alleen de tekstuele inhoud.