🤖 AI

Auto-AEG: Scalable Data Construction for Open-Vocabulary Audio Event Grounding

Dit artikel introduceert Auto-AEG, een schaalbare pijplijn die de bottleneck van gegevensschaarste in Open-Vocabulary Audio Event Grounding aanpakt door programmatisch gesynthetiseerde clips te combineren met multi-model pseudo-labels en reinforcement learning om de temporele lokalisatiecapaciteiten van Large Audio-Language Models aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Zihan Zhang, Xize Cheng, Wenhao Yan, Tong Zhang, Dongjie Fu, Boyun Zhang, Yongbo He, Tao Jin

Gepubliceerd 2026-07-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zihan Zhang, Xize Cheng, Wenhao Yan, Tong Zhang, Dongjie Fu, Boyun Zhang, Yongbo He, Tao Jin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot leert om naar de wereld te luisteren. Je hebt hem al geleerd een geweldige verhalenverteller te zijn; als je een opname van een storm afspeelt, kan hij je vertellen: "Dat klinkt als zware regen en onweer." Maar er is een lastig deel: de robot is heel slecht in weten precies wanneer dingen gebeuren. Hij kan zeggen: "Ik hoor regen," maar hij kan je niet vertellen of de regen begon om 2:03 of 2:15. Aan de andere kant zijn ouderwetse geluidsdetectoren als strenge bibliothecarissen: ze kunnen tot op de seconde nauwkeurig aanwijzen wanneer een geluid begint en stopt, maar ze herkennen alleen een zeer kleine, vooraf goedgekeurde lijst met woorden. Als je hen naar een "piepende deur" vraagt, zeggen ze misschien alleen: "Ik ken dat woord niet," zelfs als het geluid er recht voor hun neus is.

Dit artikel pakt het rommelige middengebied aan: een slimme robot leren niet alleen wat een geluid is, maar hem ook te leren precies aanwijzen op welk moment het gebeurt, zelfs als het geluid iets is dat hij nog nooit eerder heeft gehoord. Het grote probleem is dat het aanleren van deze vaardigheid ongelooflijk moeilijk is, omdat het een eeuwigheid duurt om mensen in te huren die uren aan audio beluisteren en elke seconde markeren waarop een geluid begint en stopt. Het is alsof je probeert iemand piano te leren spelen door hem miljoenen uren aan video's te laten kijken zonder hem ooit de toetsen te laten aanraken. De onderzoekers wilden een manier vinden om de robot te onderwijzen zonder dat er een miljoen menselijke leraren nodig zijn.

Maak kennis met Auto-AEG, een nieuwe methode die werkt als een slimme, geautomatiseerde tutor. In plaats van te wachten tot mensen elk geluid labelen, bouwden de onderzoekers een pijplijn die zijn eigen oefenmateriaal creëert. Eerst gebruiken ze een computerprogramma om geluiden te mixen en te matchen als een DJ, waardoor ze duizenden nep-audioclips maken waarin de computer precies weet wanneer elk geluid begint en stopt omdat de computer ze daar zelf heeft geplaatst. Dit geeft de robot een "cold start"—een perfecte basis zonder fouten om de basis van timing te leren.

Maar de robot moet ook leren van het echte leven, waar geluiden rommelig zijn en overlappen. Hier gebeurt de magie: de onderzoekers laten de robot oefenen op echte audio (zoals opnames van het internet) waarbij de timing-labels een beetje vaag zijn. In plaats van de robot simpelweg te corrigeren zoals een leraar dat doet, gebruiken ze een techniek genaamd Reinforcement Learning (versterkingsleren). Denk hierbij aan een videogame: de robot probeert de timing te raden, en als hij er dichtbij zit, krijgt hij een "beloningspunt". Als hij er wild naast zit, krijgt hij geen punten. Na verloop van tijd leert de robot om naar die beloningspunten te streven, waardoor hij leert hoe hij precies kan zijn, zelfs wanneer de trainingsdata niet perfect is.

Het artikel laat zien dat deze tweestapsbenadering wonderen verricht. Wanneer ze hun getrainde robots testten op een gloednieuwe, uitdagende testset genaamd AEGBench (die ze ook zelf hebben gemaakt om ervoor te zorgen dat de test eerlijk was en lastige situaties zoals overlappende geluiden of zeer lange ruis besloeg), waren de resultaten indrukwekkend. De robots verbeterden hun vermogen om de timing van geluid aan te wijzen met enorme marges—tot wel 73,9% beter voor het grotere model. Ze werden niet alleen beter in het raden; ze leerden nauwkeurig te zijn.

Cruciaal is dat de auteurs ontdekten dat het simpelweg tonen van meer real-world audio aan de robot niet genoeg was. Als ze de robot alleen maar bleven onderwijzen met standaardlessen over echte audio, werd hij niet veel beter. Het was het "beloningsspel" (de reinforcement learning) dat de rommelige, imperfecte data veranderde in een superkracht. Dit suggereert dat de sleutel tot het leren van robots om tijd in geluid te begrijpen, niet alleen meer data is, maar een slimmere manier om ervan te leren. Ze bewezen ook dat deze methode werkt op verschillende groottes van robots, van kleinere modellen tot enorme modellen met 30 miljard parameters, en dat het hen helpt om goed te blijven in het begrijpen van geluiden in het algemeen, en niet alleen in het vinden ervan.

Kortom, dit artikel suggereert dat we niet hoeven te wachten tot mensen elk geluid in het universum hebben gelabeld om betere audio-robots te bouwen. Door perfecte synthetische oefening te mengen met een "beloningsgebaseerd" leerspel op real-world data, kunnen we deze modellen leren om met veel scherpere timing naar de wereld te luisteren, wat de deur opent om complexe, echte geluidslandschappen veel effectiever te begrijpen.

Technische Samenvatting: Auto-AEG: Schaalbare Dataconstructie voor Open-Vocabulary Audio Event Grounding

Probleemstelling

Grote Audio-Taalmodellen (LALMs) hebben indrukwekkende capaciteiten getoond in audio-begrip en -redenering, waarbij ze de akoestische en linguïstische domeinen overbruggen. Ze worstelen echter met het nauwkeurig lokaliseren van geluidsevenementen in de tijd, waarbij ze vaak grove of gehallucineerde temporele grenzen produceren. Daartegenover staan klassieke Sound Event Detection (SED)-systemen die precisie op frame-niveau bereiken, maar beperkt zijn door gesloten vocabulaire die niet kan generaliseren naar de rijkdom van natuurlijke taalvragen.

Deze kloof definieert de taak van Open-Vocabulary Audio Event Grounding (AEG): gegeven een audiofragment en een natuurlijke taalquery die een specifiek doelgeluid beschrijft, moet het model alle onset/offset-intervallen voorspellen waar dat evenement plaatsvindt, waarbij meerdere voorkomens en een open vocabulaire worden ondersteund. Vooruitgang in dit veld wordt fundamenteel gehinderd door datascarciteit. Bestaande datasets zijn klein, missen labeldiversiteit en handmatige annotatie van fijnmazige temporele grenzen voor willekeurige gebeurtenissen is evenredig duur.

Methodologie: Auto-AEG Pipeline

Om datascarciteit aan te pakken zonder architecturale wijzigingen, introduceren de auteurs Auto-AEG, een schaalbare, annotatievrije pipeline die open-vocabulary onset/offset supervisie construeert via automatische dataconstructie en model fine-tuning. De pipeline werkt in twee afzonderlijke stadia, elk afgestemd op een specifieke trainingsdoelstelling:

1. Stadium 1: Programmatische Synthese voor SFT Cold-Start

Doel: Het bieden van exacte ground-truth (GT) intervallen om een stabiele cold-start te vestigen voor Supervised Fine-Tuning (SFT).
Proces: Het systeem synthetiseert programmatisch 10.000 trainingsclips door segmenten samen te stellen uit een vooraf gescreende audio-pool (afgeleid van WavCaps).
- Een doel-label wordt geselecteerd en 1–5 niet-overlappende voorkomens worden geplaatst.
- Distractor-events en Gaussische achtergrondruis worden toegevoegd bij gecontroleerde signaal-ruisverhoudingen.
- Omdat de compositie gescript is, zijn de ground-truth intervallen exact en ruisvrij.
Training: Modellen worden getraind op deze synthetische clips met behulp van een "List-All" query-formaat, wat het model stimuleert om een JSON-array van intervallen te produceren. Deze fase installeert het responsformaat en basis akoestische herkenning voordat het model wordt blootgesteld aan de variabiliteit van de echte wereld.

2. Stadium 2: Multi-Model Annotatie voor GRPO

Doel: Gebruikmaken van real-world audio om temporele lokalisatie te verfijnen via Reinforcement Learning, waarbij de inherente ruis van automatische annotaties wordt getolereerd.
Proces: Real-world clips (10–30s) uit FreeSound worden geannoteerd via een multi-model samenwerkingspipeline:
- Label Identificatie: Gemini verwerkt 10-seconden chunks om hoorbare events te identificeren, waarbij labels worden gepoold in een semantisch orthogonale inventaris.
- Event-Type Classificatie: Labels worden geclassificeerd als continu (bijv. regen) of discreet (bijv. een klop) om de span-merging logica te bepalen.
- Temporele Lokalisatie: PE A-Frame lokaliseert labels door de per-frame audio-tekst gelijkenis te drempelen, waarbij aangrenzende spans alleen worden samengevoegd voor continue events.
- Globale Opschoning: CLAP-embeddings en een LLM worden gebruikt om nabijgelegen synoniemen te clusteren en labels te canonicaliseren, om vocabulaire-fragmentatie te voorkomen.
Training: De 2.000 real-world clips (die 5.244 queries opleveren) worden gebruikt voor Group Relative Policy Optimization (GRPO).
- Beloningsfunctie: Een samengestelde beloning ( $r$ $r$ ) combineert:
  - $r_{iou}$ : F1-IoU@0.5 (straft zowel gemiste detecties als hallucinaties af).
  - $r_{fmt}$ : Formaat-compliance (aanwezigheid van reasoning trace en een geldige JSON).
  - $r_{nem}$ : Non-empty beloning (straft overmatige afwijzing af).
  - $r_{prec}$ : Precisie-straf (onderdrukt spookachtige korte intervallen).
- Een L2-regularisator voorkomt dat het beleid te ver afwijkt van de SFT-initialisatie.

Belangrijkste Bijdragen

Auto-AEG Pipeline: Een schaalbaar, tweestaps raamwerk dat automatisch open-vocabulary onset/offset supervisie construeert. Het koppelt uniek exacte-GT synthetische data voor SFT cold-starts aan ruisige real-world pseudo-labels die geoptimaliseerd zijn via GRPO.
AEGBench: Een onafhankelijke, kwaliteitsgefilterde evaluatie benchmark geconstrueerd uit vier diverse bronnen (AudioSet, FSD50K, BBC, YouTube). Het bevat differentiatie in moeilijkheidsgraad over zes harde-gevallen categorieën (Polyphonic Overlap, Gradual Onset/Offset, Repeated Occurrence, Low-Contrast, Semantic Ambiguity, en Long Duration) om diagnostische analyse mogelijk te maken.
Two-Stage Fine-Tuning Framework: Een methodologie die instruction-tuned cold starts koppelt aan interval-bewuste GRPO. De auteurs demonstreren dat deze aanpak imperfecte pseudo-labels omzet in significante winsten in temporele grounding zonder architecturale wijzigingen.

Experimentele Resultaten

De auteurs evalueerden de pipeline op Qwen3-Omni-30B en Qwen2.5-Omni-7B modellen met behulp van de AEGBench (3.427 items, 9.790 queries) en de standaard DESED SED benchmark.

Prestaties op AEGBench:
- Qwen3-Omni-30B: Bereikte een gemiddelde Intersection-over-Union (mIoU) van 0.480 na SFT+GRPO, een relatieve winst van +73,9% ten opzichte van de zero-shot baseline (0.276) en een +29,4% winst ten opzichte van enkel SFT. Het overtrof de sterkste externe zero-shot baseline, Gemini-3-Pro (0.323), op alle metrieken.
- Qwen2.5-Omni-7B: Toonde genuanceerde resultaten. Hoewel de algemene mIoU licht daalde na GRPO (0.424 $\to$ 0.399), steeg de Event F1-score aanzienlijk (0.416 $\to$ 0.474) en steeg de onset precisie substantieel (0.411 $\to$ 0.594). Dit suggereert dat de precisie-georiënteerde beloning over-predictie in het kleinere model succesvol onderdrukte, waarbij recall werd geruild voor scherpere boundary-schattingen.
- Hard-Case Analyse: De modellen vertoonden significante verbeteringen in de categorieën Gradual Onset/Offset en Low-Contrast, hoewel Long Duration events uitdagend bleven vanwege de encoder window-limieten.
Prestaties op DESED (SED Taak):
- Training op Auto-AEG data verbeterde de prestaties op de standaard closed-set SED taak (DESED).
- Qwen3-Omni-30B: PSDS1 steeg van 0.153 (zero-shot) naar 0.170 (SFT+GRPO).
- Qwen2.5-Omni-7B: PSDS1 steeg van 0.120 naar 0.136.
- Ablatie-studies bevestigden dat de winsten voortkomen uit de GRPO-doelstelling en niet louter uit blootstelling aan echte audio, aangezien voortgezette SFT op dezelfde real-world data geen verbetering opleverde.

Betekenis en Claims

Het artikel beweert dat de kloof tussen LALM-redenering en precieze temporele lokalisatie gedicht kan worden aan de datakant zonder architecturale wijzigingen. De kernbevinding is dat reinforcement learning (GRPO) het cruciale mechanisme is dat automatisch geconstrueerde, imperfecte pseudo-labels omzet in effectieve trainingssignalen.

De auteurs stellen dat:

Dataconstructie is Voldoende: Automatisch geconstrueerde data, wanneer gekoppeld aan een interval-bewuste beloningsontwerp, is een effectieve route om de temporele lokalisatiecapaciteit van LALMs uit te breiden.
GRPO is de Sleutel: De verbetering wordt gedreven door de RL-doelstelling, niet alleen door het volume aan data. Supervised learning op ruisige pseudo-labels (voortgezette SFT) leverde geen verbetering op, terwijl GRPO wel slaagde.
Schaalbaarheid: De Auto-AEG pipeline biedt een schaalbare, annotatievrije basis voor het bevorderen van de temporele capaciteiten van LALMs, waarmee de evenredig hoge kosten van handmatige temporele annotatie worden aangepakt.

Het werk positioneert zichzelf als de eerste die annotatievrije dataconstructie koppelt aan reinforcement learning specifiek voor open-vocabulary audio event grounding, wat een nieuw paradigma biedt voor het trainen van LALMs op temporele taken waar hoogwaardige gelabelde data schaars is.