VoxEmo: Benchmarking Speech Emotion Recognition with Speech LLMs

Dit paper introduceert VoxEmo, een uitgebreide benchmark voor spraak-gevoelsherkenning met spraak-LLMs die 35 corpora in 15 talen omvat en een nieuwe evaluatiemethode biedt die rekening houdt met de subjectiviteit en ambiguïteit van menselijke emoties.

De kern

VoxEmo: Een nieuwe manier om stemgevoelens te begrijpen met slimme computers

Stel je voor dat je een robot hebt die niet alleen kan horen wat je zegt, maar ook hoe je het zegt. Of je boos bent, blij, of misschien een beetje verdrietig. Dit heet "spraak-emotieherkenning". Vroeger waren deze robots als strakke schoolkinderen: ze leerden uit een boekje met vaste antwoorden. Als ze iets hoorden, moesten ze kiezen uit een lijstje: "Boos" of "Blij". Geen ruimte voor twijfel.

Maar nu hebben we Speech Large Language Models (LLMs). Dit zijn de nieuwe, super-slimme robots (zoals Qwen2-Audio en Audio Flamingo 3) die kunnen praten, redeneren en creatief zijn. Ze werken niet meer met een simpel lijstje, maar met een gesprek. Je vraagt ze: "Wat hoor je hier?" en ze geven een antwoord in tekst.

Het probleem? Deze slimme robots zijn soms wat onvoorspelbaar. Als je ze net iets anders vraagt, geven ze een heel ander antwoord. En soms vergeten ze de regels. Hoe meet je nu of ze het goed doen?

Daar komt VoxEmo om de hoek kijken.

Wat is VoxEmo eigenlijk?

VoxEmo is als een gigantische proefkeuken voor deze spraak-robots. De onderzoekers hebben 35 verschillende "keukens" (datasets) verzameld, met geluiden uit 15 verschillende talen. Van heel gestage toneelstukjes (waar acteurs hun emoties spelen) tot echte, wilde gesprekken uit podcasts en tv-shows.

Ze hebben een standaard recept (een toolkit) bedacht om te testen hoe goed deze robots zijn. Maar ze hebben iets heel belangrijks toegevoegd: ze erkennen dat emoties vaak vaag zijn.

De analogie van de Smaaktest

Stel je voor dat je een nieuwe soep serveert aan 5 mensen.

• De oude methode (hard labels): Je vraagt ze allemaal: "Is dit soep of geen soep?" En als 3 zeggen "soep", dan is het "soep". De mening van de 2 die zeggen "het is te zout" wordt genegeerd.
• De nieuwe methode (soft labels / VoxEmo): Je vraagt ze: "Hoe zout vind je het?" en "Hoeveel procent is dit soep?".
  • Mens 1: "100% soep, niet zout."
  • Mens 2: "80% soep, een beetje zout."
  • Mens 3: "50% soep, heel zout."
  • ...

VoxEmo houdt rekening met die verschillende meningen. Het zegt: "Het is oké dat de robot niet zeker weet of het boos of verdrietig is, zolang hij maar begrijpt dat mensen ook niet zeker zijn."

Wat hebben ze ontdekt?

1. De vraagstelling is alles (De Prompt):
   Het is net als met een genie. Als je een genie vraagt "Geef me geld", krijg je misschien niets. Maar als je zegt "Denk eerst na over hoe je geld verdient, beschrijf dan de geluiden die je hoort, en geef dan je advies", krijg je misschien een heel goed antwoord.
   De robots reageerden heel verschillend op de manier waarop de onderzoekers de vraag stelden. Soms hielp het om de robot te laten "luisteren" naar de toonhoogte van de stem (acoustische beschrijving), soms niet.

2. De "Ensemble"-truc (Het teamwerk):
   Omdat de robots soms wat dwars kunnen liggen, deden de onderzoekers iets slim: ze stelden de robot 5 keer dezelfde vraag, maar dan net iets anders geformuleerd. Dan keken ze naar alle 5 de antwoorden samen.

   • Vergelijking: Het is alsof je niet naar één expert luistert, maar naar een panel van 5 experts. Als ze het niet helemaal eens zijn, maak je een gemiddelde. Dit bleek veel betrouwbaarder te zijn dan op één antwoord te vertrouwen.

3. De robots zijn nog niet perfect, maar wel slim:
   Als je de robots gewoon "in het wild" laat werken (zonder extra training), doen ze het iets slechter dan de oude, strakke systemen als je kijkt naar het exacte juiste antwoord.
   MAAR: Ze zijn veel beter in het begrijpen van de nuances. Ze kunnen zeggen: "Dit klinkt voor 40% boos en voor 60% verdrietig", wat heel dicht bij komt wat echte mensen ook zouden zeggen. De oude systemen zouden daar "Boos" van maken en de rest negeren.

4. Oefening baart kunst (Fine-tuning):
   Als je de robots even laat oefenen met een specifiek type geluid (bijvoorbeeld alleen podcasts), worden ze veel beter. Maar ze zijn dan nog steeds niet perfect, vooral niet als ze naar heel kleine of moeilijke datasets moeten luisteren.

Waarom is dit belangrijk?

VoxEmo laat zien dat we niet moeten proberen onze robots te dwingen om net als een computer te denken (alles zwart-wit). We moeten ze juist toestaan om menselijk te zijn: twijfelen, nuances zien en verschillende meningen respecteren.

Het is alsof we van een robot die alleen "Ja" of "Nee" kan zeggen, overstappen naar een robot die kan zeggen: "Ik denk dat je boos bent, maar je klinkt ook een beetje verdrietig, en dat is best logisch."

Kortom: VoxEmo is de nieuwe meetlat om te zien of onze slimme spraakrobots echt begrijpen wat we voelen, en niet alleen wat we zeggen. En het bewijst dat soms een beetje twijfel (stochasticiteit) juist de sleutel is tot het begrijpen van menselijke emoties.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "VoxEmo: Benchmarking Speech Emotion Recognition with Speech LLMs" in het Nederlands.

Probleemstelling

De paper adresseert de uitdagingen bij het evalueren van Speech Emotion Recognition (SER) met behulp van nieuwe Speech Large Language Models (Speech LLMs). Traditionele SER-modellen zijn gesuperviseerd en werken als gesloten-set classificatoren, terwijl Speech LLMs werken via generatieve, tekst-uitvoer interfaces. Deze verschuiving introduceert twee hoofdproblemen:

1. Zero-shot Stochasticiteit: De prestaties van generatieve modellen zijn extreem gevoelig voor de formulering van prompts (instructies), decodeerinstellingen en parsing-regels. Dit maakt vergelijkingen tussen studies moeilijk reproduceerbaar.
2. Semantische Ambiguïteit: Menselijke emotie is inherent subjectief en vaag. Traditionele benchmarks reduceren vaak meerdere annotaties tot één "harde" label, waardoor de onzekerheid en de meningsverschillen tussen annotatoren (inter-annotator disagreement) verloren gaan. Bestaande benchmarks negeren deze nuance en de verschillen in dataset-semantiek (bijv. uitgedrukte emotie vs. waargenomen emotie).

Methodologie: VoxEmo Benchmark

De auteurs introduceren VoxEmo, een uitgebreid benchmark-framework en toolkit om Speech LLMs voor SER te evalueren.

• Dataset Overzicht: VoxEmo omvat 35 corpora in 15 talen, variërend van 2006 tot 2025. De datasets zijn onderverdeeld in "acted" (gescripteerd, 28 datasets) en "in-the-wild" (spontaan, 7 datasets).
• Metadata Schema: Een nieuw metadata-schema documenteert expliciet de Label Source: of de labels gebaseerd zijn op de uitgedrukte emotie van de spreker (Expr) of de waargenomen emotie door de luisteraar (Perc).
• Soft-Label Ground Truth: Voor datasets met meerdere annotatoren wordt de ground truth gemodelleerd als een soft-label distributie (een vector van kansen) in plaats van één hard label. Dit behoudt de informatie over annotator-onenigheid.
• Evaluatie Protocol:
  • Prompt Variatie: Er worden vijf prompt-varianten getest, variërend van directe classificatie tot complexe instructies die ASR-transcripties, akoestische beschrijvingen (bijv. toonhoogte, luidheid) en redenering vereisen.
  • Ensemble Strategie: Om de stochasticiteit te mitigeren, wordt een stem-mechanisme (vote-based ensemble) gebruikt dat de uitkomsten van meerdere prompts aggregeert tot één distributie.
  • Trainingsmodellen: Twee representatieve Speech LLMs van ~7B parameters worden vergeleken: Qwen2-Audio (Q2A) en Audio Flamingo 3 (AF3). Beide worden getest in zero-shot en na Supervised Fine-Tuning (SFT) met LoRA-adapters.
  • Metrieken: Naast standaard harde-metrieken (WA, UA, Macro-F1) worden ook soft-label metrieken gebruikt, zoals Kullback-Leibler Divergence (KLD), Jensen-Shannon Divergence (JSD) en Cosine Similarity, om de alignatie met menselijke subjectiviteit te meten.

Belangrijkste Bijdragen

1. Standaardisatie: Een toolkit die prompt-templates, generatie-instellingen en output-parsing unifyert, wat reproduceerbaarheid garandeert.
2. Uitgebreide Benchmark: Een scoreboard over 35 corpora en 15 talen, inclusief een disclosure-checklist voor reproduceerbare vergelijkingen.
3. Nuance in Labels: Een dataset-metadatamodel dat onderscheid maakt tussen waargenomen en uitgedrukte emotie, waardoor distributie-bewuste evaluatie mogelijk wordt.
4. Cross-Domain Analyse: Gestructureerde settings die label-set-verschuivingen en akoestische verschuivingen expliciet isoleren.

Resultaten

• Prompt Gevoeligheid: De keuze van de prompt heeft een enorme impact op de prestaties. Voor Q2A presteert de prompt met een akoestische beschrijving (+A) vaak het beste, vooral op gescripteerde data. Voor AF3 werkt de directe prompt vaak het beste. Complexere prompts (met transcriptie + redenering) leiden vaak tot een catastrofale daling in prestaties door parsing-fouten (tot wel 93% faalratio bij Q2A).
• Zero-shot vs. Supervised: In zero-shot modus presteren Speech LLMs achter op traditionele gesuperviseerde baselines (EmoBox) qua harde nauwkeurigheid (Macro-F1). Echter, Supervised Fine-Tuning (SFT) verkleint dit gat aanzienlijk. Q2A bereikt na SFT vergelijkbare of betere prestaties dan de baselines op 15 van de 30 vergelijkbare datasets.
• Alignatie met Menselijke Subjectiviteit: Hoewel zero-shot modellen minder nauwkeurig zijn in het kiezen van één label, aligneren ze beter met de menselijke emotionele distributie. Ze kunnen de onzekerheid en ambiguïteit van emoties beter modelleren dan traditionele classifiers die de variatie reduceren tot één label.
• Ensemble Effect: De prompt-ensemble strategie lost de instabiliteit op en verbetert zowel de harde beslissingen als de distributie-accuraatheid aanzienlijk.
• Cross-Corpus Transfer: Fine-tuning op een bron-dataset verbetert vaak de prestaties op doel-datasets met een ander label-set, hoewel dit sterk afhangt van het model en de datasetgrootte.

Significantie

De paper toont aan dat Speech LLMs een uniek potentieel hebben voor SER, niet alleen door hun taalbegrip, maar door hun vermogen om affectieve ambiguïteit te modelleren. In plaats van een tekortkoming te zijn, kan de stochasticiteit van generatieve modellen worden benut om de subjectiviteit van menselijke emotieperceptie te benaderen. VoxEmo biedt de eerste gestandaardiseerde manier om deze nieuwe generatie modellen te evalueren, waarbij wordt erkend dat "juistheid" in SER niet altijd een enkel label is, maar een waarschijnlijkheidsverdeling die overeenkomt met menselijke waarneming. Dit is een cruciale stap voor de ontwikkeling van affect-bewuste mens-computer interactiesystemen die robuuster zijn in natuurlijke, onvoorspelbare omgevingen.