Leveraging Large Language Models for Sarcastic Speech Annotation in Sarcasm Detection

1. Il Problema

La rilevazione della sarcasmia nel parlato rappresenta una sfida significativa per le tecnologie del linguaggio, a causa di tre fattori principali:

• Scarsità di dati: Esistono pochi dataset annotati su larga scala specificamente dedicati alla sarcasmia nel parlato.
• Limitazioni dei dataset esistenti: I dataset attuali (come MUStARD e MUStARD++) sono multimodali (testo, audio, video) e spesso si basano su contesti televisivi. Molti esempi di sarcasmia in questi dataset dipendono da indizi visivi (espressioni facciali, gesti), rendendo i modelli addestrati su di essi poco efficaci in scenari reali basati solo sull'audio (es. podcast, radio, chiamate telefoniche).
• Complessità della sarcasmia: La sarcasmia non è solo una questione di contenuto testuale, ma dipende fortemente da caratteristiche prosodiche (tono, intonazione, ritmo) e dal contesto, che sono difficili da catturare senza dati annotati di alta qualità.

2. Metodologia

Gli autori propongono una pipeline di annotazione innovativa che combina l'automazione dei Large Language Models (LLM) con la verifica umana per creare un dataset su larga scala. Il processo si articola in tre fasi:

1. Raccolta e Preprocessing Automatico:

   • I dati grezzi provengono dal podcast "Overly Sarcastic Podcast" (OSPod).
   • Viene utilizzata la pipeline Emilia-Pipe per segmentare l'audio, generare trascrizioni, etichettare i parlanti e rimuovere rumore/sovrapposizioni, ottenendo 11.024 segmenti di parlato.

2. Annotazione tramite LLM:

   • Vengono impiegati due modelli LLM, GPT-4o e LLaMA 3, come annotatori iniziali.
   • I modelli ricevono prompt strutturati contenenti il testo, il contesto, gli indizi linguistici da focalizzare (es. esagerazione, contraddizione) e esempi few-shot.
   • Ogni segmento viene etichettato indipendentemente da entrambi i modelli per identificare casi di accordo e disaccordo.

3. Verifica Umana:

   • Per risolvere i conflitti (circa 2.884 utteranze su 11.024 dove i modelli non concordavano), due dottorandi specializzati in fonetica hanno revisionato manualmente i casi ambigui.
   • La revisione umana ha posto particolare enfasi sugli indizi prosodici (tono, esitazioni) che gli LLM, lavorando solo sul testo trascritto, non potevano vedere.
   • Un terzo annotatore ha risolto le discrepanze residue, garantendo un alto livello di affidabilità.

3. Contributi Chiave

Il lavoro presenta tre contributi principali:

1. Pipeline di Annotazione Ibrida: Dimostrazione della fattibilità di utilizzare gli LLM per accelerare l'annotazione della sarcasmia nel parlato, riducendo drasticamente la dipendenza da annotatori umani pur mantenendo alta la qualità.
2. Validazione dell'Approccio: Confronto delle prestazioni degli LLM su un dataset pubblico (MUStARD++) per validare la loro capacità di annotazione prima di applicarli al nuovo dataset.
3. PodSarc: Introduzione di un nuovo dataset su larga scala, PodSarc (Podcast Sarcasm), contenente circa 29,42 ore di coppie audio-trascrizione, specificamente progettato per la rilevazione della sarcasmia basata su testo e audio (senza bisogno di contesto visivo).

4. Risultati Sperimentali

Gli esperimenti hanno coinvolto l'addestramento di modelli di rilevazione della sarcasmia (architettura collaborative gating) su diversi dataset e modalità:

• Validazione su MUStARD++:

  • I modelli addestrati con le etichette umane originali hanno ottenuto il miglior punteggio (F1 ~70,8% con audio+testo).
  • Le etichette generate solo da GPT-4o hanno mostrato un calo di prestazioni (F1 ~61,8%).
  • La pipeline proposta (LLM + verifica umana) ha recuperato parte della perdita, raggiungendo un F1 di 67,4%, dimostrando che l'approccio ibrido è efficace.

• Prestazioni su PodSarc:

  • Il modello addestrato su PodSarc con annotazioni verificate umanamente ha raggiunto un F1 score del 73,63% nella modalità multimodale (Audio + Testo).
  • I modelli basati solo su testo hanno superato quelli basati solo su audio, sottolineando l'importanza del contesto testuale.
  • I modelli addestrati solo con etichette LLM (senza verifica umana) hanno comunque ottenuto risultati solidi (F1 71,47%), confermando il valore degli LLM come punto di partenza.

• Confronto: Le prestazioni su PodSarc sono superiori a quelle su MUStARD++ quando si usano etichette LLM, probabilmente perché PodSarc è coerente con i dati disponibili al modello (solo audio/testo), mentre MUStARD++ contiene elementi visivi che il modello non può sfruttare.

5. Significato e Implicazioni

Questo lavoro è significativo per diversi motivi:

• Scalabilità: Offre una soluzione pratica al problema della scarsità di dati annotati per compiti complessi come la rilevazione della sarcasmia, permettendo di creare dataset su larga scala con costi ridotti.
• Applicabilità Reale: Il dataset PodSarc è specifico per ambienti "solo audio", rendendo i modelli addestrati su di esso immediatamente applicabili a podcast, assistenti vocali e sistemi di chiamata, dove il contesto visivo è assente.
• Futuro della Ricerca: Apre la strada all'uso di LLM per l'annotazione di sfumature linguistiche complesse (ironia, iperbole) e suggerisce direzioni future per migliorare l'accuratezza attraverso una validazione umana parziale mirata e l'espansione della diversità linguistica e culturale.

In sintesi, il paper dimostra che l'integrazione strategica tra l'intelligenza artificiale generativa e l'expertise umana può superare le barriere attuali nella creazione di dataset per l'IA conversazionale, migliorando la capacità dei sistemi di comprendere le intenzioni sottili degli utenti.