Acoustic-Prosodic Evidence in Multimodal Sarcasm Detection: A Controlled and Interpretable Evaluation of PEFM-CMAE on the Complete MUStARD Corpus

Technische Samenvatting: Akoestisch-Prosodisch Bewijs in Multimodale Sarcasme-detectie

Probleemstelling
Gesproken sarcasme leunt vaak op de vocale levering (prosodie) in plaats van enkel op de lexicale inhoud om de beoogde betekenis te verduidelijken. Hoewel het belang van prosodie gevestigd is in de linguïstische literatuur, blijft de specifieke kwantitatieve waarde van het toevoegen van akoestische informatie aan sterke tekstuele modellen een onderwerp van debat. Bovendien is het onduidelijk of complexe fusiemechanismen—specifiek die welke gebruikmaken van spraak-afgeleide emotie en expliciete cross-modale incongruentie—meetbare verbeteringen bieden ten opzichte van eenvoudigere, directe tekst-plus-audio fusie-baselines. Deze studie adresseert deze vragen door middel van een gecontroleerde evaluatie op de volledige MUStARD-corpus (690 uitingen), waarbij wordt getest of akoestische-prosodische kenmerken, emotiekanalen en expliciete incongruentie-modellering betrouwbare winst bieden boven standaard bimodale fusie.

Methodologie
De studie maakt gebruik van een gecontroleerd comparatief kader met zes verschillende modelconfiguraties, geëvalueerd op identieke gestratificeerde vijf-voudige cross-validatie-partities (herhaald over drie seeds).

1. Data en Encoders:

   • Corpus: De volledige 690-uiting audio-dragende MUStARD-corpus, globaal gebalanceerd (345 sarcastisch, 345 niet-sarcastisch) maar ongelijk verdeeld over vier bronprogramma's (Friends, The Big Bang Theory, The Golden Girls, Sarcasmaholics Anonymous).
   • Tekst Encoder: Bevroren RoBERTa-base, die doel-uitingen en tot drie context-beurten verwerkt (max. 192 tokens), resulterend in 768-dimensionale [CLS] vectoren.
   • Akoestische Encoder: Bevroren HuBERT-base, die 16 kHz audio verwerkt (beperkt tot 8s), geaggregeerd via mean-pooling om 768-dimensionale vectoren te produceren.
   • Emotie-stroom: Een bevroren HuBERT-gebaseerde spraak-emotie-herkenner die een 4-klasse posterior vector genereert (neutraal, blij, boos, verdrietig).

2. Modelarchitecturen:

   • Baselines: Tekst-alleen (RoBERTa), Audio-alleen (HuBERT), en directe Tekst+Audio fusie.
   • PEFM-AE2: Een driestromenmodel (Tekst, Audio, Emotie) geprojecteerd in een gedeelde ruimte met een geleerde softmax modality gate.
   • PEFM-CMAE (Voorgesteld): Een uitbreiding van PEFM-AE2 die een expliciet Cross-Modal Incongruity blok introduceert. Dit blok berekent een incongruentie-vector ($i$) vanuit de geprojecteerde tekst ($t$) en audio ($a$) representaties met behulp van het absolute verschil ($|t-a|$) en het element-gewijze product ($t \odot a$). Deze vector wordt gevoed aan zowel de modality gate als de uiteindelijke classifier.

3. Trainingsprotocol:

   • Bevroren encoders; alleen projectielagen, het incongruentie-netwerk, de modality gate en de classifier werden getraind.
   • Primaire metriek: Macro-F1.
   • Statistische analyse omvatte gepaarde t-testen en een post-hoc Two One-Sided Tests (TOST) equivalentie-analyse met een praktische grens van ±0.010 macro-F1.
   • Stress-testing werd uitgevoerd via een "Leave-One-Show-Out" evaluatie om generalisatie te beoordelen.

Belangrijkste Resultaten

• Akoestische Complementariteit: De toevoeging van akoestische informatie verbeterde de prestaties significant. Audio-alleen HuBERT (0.7291) presteerde beter dan Tekst-alleen RoBERTa (0.6909). Directe Tekst+Audio fusie (0.7479) overtrof Tekst-alleen significant (p = 0.000021).
• PEFM-CMAE Prestaties: De voorgestelde PEFM-CMAE behaalde de hoogste gemiddelde macro-F1 van 0.7504.
  • Het presteerde significant beter dan Tekst-alleen (p = 0.000002) en het eerdere PEFM-AE2 model (0.7325; p = 0.001062).
  • Cruciaal, het verschil tussen PEFM-CMAE (0.7504) en de eenvoudigere directe Tekst+Audio fusie (0.7479) was niet statistisch significant (p = 0.688882). Bovendien slaagde de TOST-analyse er niet in om equivalentie vast te stellen, wat aangeeft dat de complexe architectuur de eenvoudige baseline niet aantoonbaar overtrof.
• Modality Gating: De geleerde gate-gewichten wezen op een dominante afhankelijkheid van tekst (gemiddeld gewicht ~0.73 in PEFM-CMAE) en een aanvullende, niet-dominante rol voor de emotie-stroom (gemiddeld gewicht ~0.033). Het emotie-kanaal bood geen betrouwbare geaggregeerde prestatiewinst boven directe fusie.
• Generalisatie: De Leave-one-show-out prestaties daalden materieel (bijv. naar 0.6713 op Friends en 0.6426 op The Big Bang Theory), wat wijst op een gebrek aan robuuste generalisatie naar ongeziene shows, waarschijnlijk door verstorende factoren zoals sprekeridentiteit, scriptstijl en label-priors.

Belangrijkste Bijdragen

1. Gekwantificeerde Akoestische Waarde: Gedemonstreerd dat onder een gecontroleerd protocol, door HuBERT-afgeleide akoestische kenmerken de sarcasme-detectie boven tekstuele modellen significant verbeteren.
2. Gecontroleerde Vergelijking van Fusiemechanismen: Biedt een rigoureuze, gepaarde vergelijking die aantoont dat hoewel expliciete incongruentie-modellering verbetering oplevert ten opzichte van de eerdere gated formulering (PEFM-AE2), het geen statistisch significant voordeel biedt ten opzichte van directe tekst-plus-audio fusie.
3. Interpreteerbaarheid: Maakte de incongruentie-berekening en de modality-allocatie expliciet, wat onthulde dat de emotie-stroom fungeert als een aanvullende conditioner in plaats van een primaire voorspeller.
4. Onzekerheids- en Generalisatieanalyse: Scheidde binnen-corpus prestaties van generalisatiebewijs, waarbij expliciet de mislukking van het model om robuust te generaliseren naar ongeziene shows en de beperkingen van de huidige dataset-compositie werd gerapporteerd.

Betekenis en Claims
De paper claimt bescheiden dat akoestisch-prosodische informatie betrouwbare complementaire bewijslast levert voor sarcasme-detectie binnen de MUStARD-corpus. Echter, zij verwerpt expliciet de claim dat een complexe architectuur met expliciete incongruentie-modellering en adaptieve gating de eenvoudige directe fusie beslist overtreft.

De studie concludeert dat hoewel het specifieke PEFM-CMAE ontwerp verbetering biedt ten opzichte van de eerdere PEFM-AE2 gated formulering, de marginale winst over een eenvoudige tekst-plus-audio baseline verwaarloosbaar en niet statistisch significant is. De primaire waarde van het werk ligt in de gecontroleerde, interpreteerbare evaluatie die de bijdrage van akoestische kenmerken isoleert van de complexiteit van fusiemechanismen, en in de duidelijke demonstratie dat robuuste cross-show generalisatie een onopgeloste uitdaging blijft voor huidige multimodale sarcasme-detectiesystemen.