⚡ electrical engineering

Aligning Audio Captions with Human Preferences

Dit artikel stelt een Reinforcement Learning from Human Feedback (RLHF)-framework voor dat een op CLAP gebaseerd beloningsmodel gebruikt, getraind op menselijke paarwijze voorkeuren, om audio-onderschrijvingssystemen te verfijnen, waarbij prestaties worden behaald die vergelijkbaar zijn met gesuperviseerde methoden terwijl er beter wordt afgestemd op menselijke voorkeuren zonder dat daarvoor grondwaarheid-annotaties nodig zijn.

Oorspronkelijke auteurs: Kartik Hegde, Rehana Mahfuz, Yinyi Guo, Erik Visser

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kartik Hegde, Rehana Mahfuz, Yinyi Guo, Erik Visser

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een slimme assistent hebt die naar de wereld om je heen luistert—zoals een vogeltje dat fluit, een auto die toetert of een piano die speelt—en probeert een zin te schrijven die beschrijft wat het hoort. Dit wordt Audio Captioning genoemd.

Het probleem is volgens dit artikel dat de huidige "slimme assistenten" lijken op studenten die alleen studeren voor een specifieke toets. Ze worden getraind op enorme lijsten met audiofragmenten gekoppeld aan perfect door mensen geschreven beschrijvingen. Maar in de echte wereld zijn mensen niet altijd het eens over hoe een geluid "genoemd" moet worden. De ene persoon hoort "een hond die blaft", terwijl een ander "een huisdier dat geluid maakt" hoort. De oude trainingsmethoden dwingen de AI om het "juiste" antwoord uit het tekstboek te memoriseren, wat vaak resulteert in robotachtige, onnatuurlijke of zelfs foutieve beschrijvingen wanneer de AI met iets nieuws wordt geconfronteerd.

De auteurs stellen een nieuwe manier voor om deze AI-assistenten te onderwijzen: Reinforcement Learning from Human Feedback (RLHF). Denk hierbij niet aan het geven van een tekstboek aan de AI, maar aan het inhuren van een smaakmaker die een duimpje omhoog of omlaag geeft.

Zo werkt hun systeem, opgedeeld in eenvoudige stappen:

1. De "Smaakmaker" (Het Reward Model)

In plaats van de AI te vragen om een specifieke tekstboek-beschrijving te matchen, bouwden de onderzoekers een speciale rechter genaamd een Reward Model.

Hoe het werkt: Ze laten deze rechter twee verschillende beschrijvingen zien voor hetzelfde geluid (bijv. "Een piano speelt" versus "Een muziekinstrument maakt geluid").
De Training: Mensen kijken naar het geluid en de twee beschrijvingen en zeggen: "Ik geef de voorkeur aan de eerste." De rechter leert van deze keuzes.
Het Geheime Ingrediënt: Ze gebruikten een vooraf getraind systeem genaamd CLAP (dat goed is in het begrijpen van de link tussen geluid en woorden), maar voegden daar een "brein" bovenop. Dit brein leert de nuances te herkennen waar mensen om geven, zoals een natuurlijke flow en juistheid, in plaats van alleen maar te controleren of de woorden overeenkomen met een database.

2. De "Coach" (Reinforcement Learning)

Zodra de "Smaakmaker" klaar is, wordt deze de coach voor de hoofd-AI (de caption generator).

Het Spel: De AI probeert een beschrijving te schrijven.
De Score: De "Smaakmaker" geeft een score van 0 tot 1 op basis van hoeveel een mens ervan zou houden.
De Les: Als de AI een vreemde of foutieve zin schrijft, krijgt het een lage score. Als het een natuurlijke, accurate zin schrijft, krijgt het een hoge score. De AI past vervolgens zijn "brein" aan om de volgende keer een hogere score te halen.
Geen Textbooks Nodig: Cruciaal is dat dit proces geen perfecte "tekstboek"-antwoorden (ground truth) nodig heeft. Het heeft alleen de AI nodig om opties te genereren en de "Smaakmaker" om de winnaar te kiezen. Dit maakt het veel goedkoper en gemakkelijker om op te schalen.

3. Het vermijden van de "Het systeem bespelen"-valstrik

De auteurs merkten een grappig probleem op: soms probeert de AI te "valsspelen". Het leert dat als het een zeer lange zin schrijft, de rechter misschien een hoge score geeft, zelfs als de zin onzin is. Het is alsof een student een essay van 10 pagina's schrijft om alleen maar de ruimte te vullen, in plaats van de vraag te beantwoorden.

De Oplossing: Ze voegden een Length Penalty toe. Stel je een regel voor die zegt: "Als je meer dan 13 woorden schrijft, verlies je punten." Dit dwingt de AI om beknopt en accuraat te zijn, waardoor het stoppen met doelloos rondlullen om een hoge score te krijgen.

De Resultaten: Werkte het?

De onderzoekers testten dit op zowel publieke datasets als op hun eigen privédata.

Beter dan de Baseline: Wanneer de standaard AI (de "baseline") er niet in slaagde om een geluid logisch te verklaren, was het nieuwe RLHF-systeem veel beter in het oplossen hiervan.
Menselijke Goedkeuring: In directe vergelijkingen waarbij mensen hun favoriete beschrijving kozen, won het nieuwe systeem aanzienlijk vaker dan het oude systeem, vooral bij moeilijke of lastige audiofragmenten.
De "Uitdagende" Casussen: Het systeem blonk het meest uit wanneer de audio moeilijk te beschrijven was. Het leverde niet alleen kleine verbeteringen, maar loste grote fouten op waarbij het oude systeem volledig de weg kwijt was.
Geen Extra Kosten: Ze bereikten deze resultaten zonder duizenden nieuwe "perfecte" audio-caption paren nodig te hebben, wat bewijst dat leren van eenvoudige "deze is beter dan die"-stemmen een krachtige en schaalbare strategie is.

Samenvattend: Het artikel laat zien dat in plaats van de AI te dwingen een woordenboek met perfecte beschrijvingen te memoriseren, we het kunnen leren om menselijke smaak te begrijpen door een spelletje te spelen van "welke beschrijving is beter?". Dit leidt tot captions die natuurlijker en nauwkeuriger klinken voor het menselijk oor, zonder de hoge kosten van het cureren van perfecte trainingsdata.

Technische Samenvatting: Afstemming van Audio-onderschriften op Menselijke Voorkeuren

Probleemstelling

Huidige systemen voor audio-onderschriften (audio captioning) vertrouwen voornamelijk op supervised learning met gepaard audio-onderschrift-datasets (bijv. AudioCaps, Clotho). Deze aanpak kent twee primaire beperkingen:

Schaarsheid en Kosten van Data: Het samenstellen van hoogwaardige, gepaard gegrondeerde data is duur en moeilijk te schalen.
Evaluatie-misalignment: Traditionele automatische metrieken (BLEU, METEOR, CIDEr) correleren slecht met menselijke oordelen. Bovendien schieten bestaande contrastieve leermethoden (zoals CLAP) en de daaruit afgeleide scores vaak tekort in het vatten van genuanceerde menselijke voorkeuren, wat leidt tot onderschriften die weliswaar semantisch relevant zijn, maar een gebrek hebben aan natuurlijkheid of contextuele diepgang. Daarnaast introduceert het vertrouwen op grote externe taalmodellen voor beloningsschatting een prohibitieve computationele overhead voor implementaties met beperkte middelen.

Methodologie

De auteurs stellen een Reinforcement Learning from Human Feedback (RLHF) framework voor dat is ontworpen om audio-onderschrijvingsmodellen af te stemmen op menselijke voorkeuren zonder aanvullende gegrondeerde gepaarde data te vereisen. De methodologie bestaat uit twee hoofdonderdelen:

1. Custom Reward Modeling

In plaats van statische metrieken of grote externe LLM's te gebruiken, trainen de auteurs een lichtgewicht, CLAP-gebaseerd beloningsmodel om de waarschijnlijkheid van menselijke voorkeuren te schatten.

Architectuur: Het model maakt gebruik van vooraf getrainde CLAP audio- en tekstencoders (htsat-unfused) om 512-dimensionale embeddings te genereren voor beide modaliteiten. Deze worden samengevoegd tot een 1024-dimensionale gezamenlijke representatie en door een twee-laags neuraal netwerk (verborgen groottes 512 en 128) met een sigmoid output-laag geleid, wat een scalaire score in $[0, 1]$ produceert.
Trainingsdoel: Het model wordt getraind op pairwise voorkeursdata $(x, y_1, y_2, p)$ , waarbij $x$ de audio is en $y_1, y_2$ kandidaat-onderschriften zijn. Het optimaliseert een Bradley-Terry loss functie om de waarschijnlijkheid te maximaliseren dat het geprefereerde onderschrift een hogere beloningsscore krijgt dan het minder geprefereerde onderschrift.
Regularisatie: Een L2-regularisatieterm is opgenomen om overfitting te voorkomen en stabiele beloningsschattingen te garanderen.

2. Reinforcement Learning Fine-Tuning

Het baseline audio-onderschrijvingsmodel (een CNN10 PANN encoder met een Transformer decoder) wordt gefinetuned met behulp van de Policy Gradient methode (REINFORCE).

Optimalisatie: Het systeem maximaliseert de beloning die door het custom reward model wordt voorspeld. Om de gradiëntvariantie te verminderen, wordt Self-Critical Sequence Training (SCST) toegepast, waarbij de output van greedy decoding als baseline dient.
Reward Shaping (Lengte-penalty): Om "reward hacking" te mitigeren (waarbij modellen excessief lange of repetitieve onderschriften genereren om scores kunstmatig op te drijven), wordt een lengte-penalty toegepast. De aangepaste beloningsfunctie straft gegenereerde onderschriften af die significant afwijken van een verwachte lengte ( $L_e$ ), waardoor het model prioriteit geeft aan semantische kwaliteit boven lengtemanipulatie.

Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

Nieuw Framework: Een reinforcement learning-gebaseerd audio-onderschrijvingsframework dat een custom beloningsfunctie optimaliseert zonder dat daarvoor gegrondeerde audio-onderschrift data nodig is.
CLAP-gebaseerd Reward Model: De ontwikkeling van een beloningsmodel getraind op pairwise menselijke voorkeursdata, waarbij gebruik wordt gemaakt van CLAP-embeddings om effectief subjectieve menselijke oordelen te vatten terwijl het computationeel efficiënt blijft.
Empirische Validatie: Uitgebreide evaluaties op publieke (AudioCaps, Clotho) en propriëtaire datasets tonen aan dat de RLHF-aanpak baseline-modellen overtreft, met name in "uitdagende" scenario's waar baselines er niet in slagen correcte of natuurlijke onderschriften te genereren.

Resultaten

De voorgestelde methode werd geëvalueerd over meerdere datasets en vergeleken met baseline-modellen, supervised fine-tuning (SFT) en diverse automatische metrieken.

Menselijke Voorkeursafstemming: In menselijke evaluaties behaalden de door RLHF gegenereerde onderschriften een hogere winrate vergeleken met de baseline. Opvallend genoeg was de verbetering het meest significant op "uitdagende" datasets waar baseline-modellen incorrecte of onnatuurlijke onderschriften produceerden.
Metriek Correlatie: Het custom reward model vertoonde de laagste gewogen afwijking (4.19) van menselijke voorkeuren vergeleken met andere automatische metrieken (S-BERT, FENSE, CLAPAT), wat wijst op een superieure afstemming met menselijke oordelen.
Prestatie vs. SFT: De RLHF-aanpak bereikte prestaties die vergelijkbaar zijn met supervised trainingmethoden die vertrouwen op gegrondeerde labels, ondanks het feit dat deze labels niet werden gebruikt tijdens de fine-tuning fase.
Schaalbaarheid: Het framework bleek effectief op propriëtaire datasets, waarbij bleek dat het verzamelen van voorkeursdata aanzienlijk schaalbaarder en kostenefficiënter is dan het verkrijgen van gegrondeerde onderschriften.

Betekenis en Claims

Het artikel claimt dat dit framework de kritieke kloof tussen geautomatiseerde evaluatiemetrieken en werkelijke menselijke tevredenheid in audio-onderschrijvingen overbrugt. Door over te stappen van statische gelijkenis-metrieken naar een voorkeursgebaseerd beloningsmodel, demonstreren de auteurs dat:

Schaalbaarheid: Hoogwaardige onderschrijving kan worden bereikt zonder de bottleneck van het samenstellen van enorme hoeveelheden gegrondeerde datasets.
Robuustheid: De methode is bijzonder effectief bij het corrigeren van foutgevallen (hallucinaties, onnatuurlijke formuleringen) in plaats van slechts marginaal betere outputs te genereren.
Efficiëntie: In tegen tegenstelling tot methoden die grote externe LLM's vereisen voor beloningsschatting, maakt deze aanpak gebruik van een lichtgewicht, trainbaar beloningsmodel dat geschikt is voor implementatie in omgevingen met beperkte middelen.

De auteurs concluderen dat hoewel de methode momenteel afhankelijk is van CLAP-embeddings, de integratie van reward shaping en voorkeursgebaseerde RL een praktische en effectieve weg biedt naar het afstemmen van audio-taalmodellen op menselijke verwachtingen in real-world scenario's.