Leveraging Large Language Models for Sarcastic Speech Annotation in Sarcasm Detection

Probleemstelling

Het detecteren van sarcasme in gesproken taal (spraak) blijft een grote uitdaging voor spraaktechnologie, voornamelijk door twee factoren:

1. Data-schaarste: Er zijn weinig grote, handmatig geannoteerde datasets beschikbaar die specifiek gericht zijn op sarcastische spraak.
2. Beperkingen van bestaande systemen: Bestaande detectiesystemen vertrouwen vaak op multimodale data (spraak + tekst + visuele cues zoals gezichtsuitdrukkingen). In real-world scenario's zoals podcasts, radio of telefoongesprekken is echter vaak alleen audio beschikbaar. Bestaande datasets (zoals MUStARD) zijn te klein en afhankelijk van visuele context, waardoor modellen die alleen op audio en tekst trainen minder goed presteren.

Daarnaast is sarcasme complex omdat het niet alleen in de inhoud (tekst) zit, maar ook in prosodische kenmerken zoals intonatie, toonhoogte, tempo en nadruk.

Methodologie

De auteurs stellen een nieuw annotatie-pipeline voor die Large Language Models (LLMs) gebruikt om een groot dataset te genereren, met menselijke verificatie om fouten te corrigeren. Het proces bestaat uit drie fasen:

1. Automatische Data-verzameling en Verwerking:

   • De brondata is de "Overly Sarcastic Podcast" (OSPod), een podcast met veel spontane en natuurlijke sarcastische uitingen.
   • Er wordt gebruikgemaakt van Emilia-Pipe om ruwe audio te verwerken tot gestructureerde segmenten met transcripties, sprekerlabels en tijdstippen. Dit resulteerde in 11.024 segmenten.

2. LLM-gebaseerde Annotatie:

   • Twee geavanceerde LLMs (GPT-4o en LLaMA 3) worden ingezet als annotatoren.
   • De modellen krijgen een zorgvuldig ontworpen prompt met context, de uiting, en voorbeelden van sarcastisch en niet-sarcastisch taalgebruik.
   • Beide modellen annoteren onafhankelijk van elkaar of een uiting sarcastisch is (Boolean: true/false) en geven een toelichting.
   • De prestaties van deze modellen werden eerst gevalideerd op de bestaande MUStARD++ dataset, waarbij GPT-4o de beste resultaten liet zien (Macro-F1 van 67,47%).

3. Menselijke Verificatie:

   • Waar de twee LLMs het oneens waren (ongeveer 2.884 van de 11.024 uitingen), werden deze gevallen handmatig nagekeken door twee PhD-studenten gespecialiseerd in fonetiek.
   • Menselijke annotatoren keken specifiek naar prosodische cues (toon, pauzes, nadruk) die de LLMs niet konden zien, aangezien de LLMs alleen op transcripties werkten.
   • Een derde annotator besliste bij eventuele resterende onenigheid.

Het Resultaat: PodSarc Dataset

Door deze pipeline toe te passen, creëerden de auteurs PodSarc, een nieuwe, grootschalige dataset voor sarcastische spraak.

• Omvang: 4.026 sarcastische en 6.998 niet-sarcastische uitingen (totaal ca. 29,42 uur spraak).
• Kwaliteit: De dataset is "bimodaal" (audio + tekst) en bevat gemiddeld 31 woorden per segment, wat voldoende context en prosodie biedt voor detectie.
• Diversiteit: De dataset toont een vergelijkbare verspreiding in akoestische en semantische kenmerken als bestaande datasets, maar is specifiek gericht op audio-only scenario's.

Experimenten en Resultaten

De auteurs trainden detectiemodellen (gebaseerd op een collaboratieve gating-architectuur) om de kwaliteit van de dataset en de annotatiemethode te testen.

1. Validatie op MUStARD++:

   • Modellen getraind op de menselijk geverifieerde LLM-annotaties (de "Proposed" methode) presteerden aanzienlijk beter dan modellen getraind op ruwe LLM-annotaties, en naderden de prestaties van modellen getraind op volledig menselijke labels.
   • Voorbeeld (Audio + Text): Menselijke labels = 70,8% F1, Ruwe LLM = 61,8% F1, Menselijk geverifieerde LLM = 67,4% F1.

2. Prestaties op PodSarc:

   • Modellen getraind op PodSarc met menselijk geverifieerde labels bereikten een F1-score van 73,63% (bij multimodale input: audio + tekst).
   • Dit is een verbetering ten opzichte van modellen die alleen op LLM-annotaties trainden (71,47% F1), wat aantoont dat menselijke verificatie cruciaal is voor de uiteindelijke kwaliteit.
   • Multimodale modellen (audio + tekst) presteerden consistent beter dan modellen die alleen op tekst of alleen op audio trainden.

Belangrijkste Bijdragen

1. Feasibility van LLMs: Het bewijzen dat LLMs effectief kunnen worden ingezet om sarcasme in spraak te annoteren, wat de afhankelijkheid van dure menselijke annotatie verlaagt.
2. Validatie van de Methode: Een robuuste validatie van de annotatie-kwaliteit door vergelijking met bestaande datasets en het testen van detectiemodellen.
3. PodSarc Dataset: De introductie van een nieuwe, grote, hoogwaardige dataset specifiek voor sarcasmedetectie in spraak zonder visuele cues, wat een benchmark biedt voor toekomstig onderzoek.

Significantie en Toekomstperspectief

Dit werk is significant omdat het een oplossing biedt voor het gebrek aan data in een kritiek domein voor Conversational AI. Accurate sarcasmedetectie is essentieel om mens-computerinteracties natuurlijker te maken en misverstanden te voorkomen.

• Toepassing: De dataset en methode zijn direct toepasbaar in audio-only omgevingen zoals callcenters, podcast-analyse en radiobroadcasts.
• Toekomst: De auteurs suggereren dat de pipeline kan worden uitgebreid om sarcasme te onderscheiden van andere niet-letterlijke vormen (zoals hyperbool of ironie) en dat de dataset kan worden uitgebreid met meer taalkundige en culturele diversiteit.

Kortom, het paper toont aan dat een hybride aanpak (LLM + menselijke verificatie) een schaalbare en kosteneffectieve manier is om de kwaliteit van datasets voor complexe spraaktaken drastisch te verbeteren.