Challenges in annotations by humans and LLMs: A case study of evaluative language

Sintesi Tecnica: Sfide nelle Annotazioni Umane e degli LLM: Un Caso di Studio sul Linguaggio Valutativo

Definizione del Problema
Il documento affronta la crescente complessità dei compiti di annotazione nelle discipline umanistiche digitali e nelle scienze sociali computazionali, concentrandosi specificamente sull'identificazione e la classificazione del linguaggio valutativo. Sebbene i Large Language Models (LLM) abbiano mostrato potenziale nei compiti di NLP non supervisionati, la loro capacità di eguagliare o superare le prestazioni umane in quadri teorici altamente soggettivi e complessi rimane non verificata. Lo studio si concentra sulla Teoria dell'Appraisal (Martin & White, 2005), un modello funzionale per il linguaggio valutativo, nello specifico sul suo sottosistema dell'Atteggiamento (Affetto, Giudizio, Apprezzamento). Gli autori evidenziano che l'annotazione manuale di queste categorie è dispendiosa in termini di tempo, soggetta a una bassa concordanza tra annotatori (IAA) ed è complicata dalla dipendenza dal contesto, dai significati impliciti e dalla difficoltà di distinguere tra categorie sottili. Il problema di ricerca centrale è determinare se gli LLM incontrino le stesse sfide degli annotatori umani in questi compiti complessi e se possano servire come strumenti efficaci per risolvere tali difficoltà di annotazione.

Metodologia
Lo studio impiega un caso di studio a metodi misti utilizzando un corpus di 190 trascrizioni di TED talk in inglese (il corpus EmotionalizTED) suddivise in undici domini (es. Scienza, Politica, Medicina). La metodologia è divisa in tre fasi:

1. Annotazione Umana:

   • Annotatori: 24 studenti di linguistica in formazione (non madrelingua inglesi, principalmente tedeschi) e un ricercatore senior (che funge da gold standard).
   • Compito: Classificazione a livello di frase del contenuto valutativo. Gli annotatori hanno prima determinato se una frase fosse valutativa (binaria) e poi l'hanno classificata nelle categorie di Atteggiamento: Affetto, Giudizio, Apprezzamento, Ambiguo o Incertezza. La multi-etichettatura era consentita.
   • Valutazione: La concordanza tra annotatori (IAA) è stata misurata utilizzando il Kappa di Cohen (per la valutazione binaria) e l'alpha di Krippendorff (per la subclassificazione multi-classe). È stata condotta un'analisi qualitativa degli errori per identificare le fonti di disaccordo.

2. Annotazione Automatica (LLM):

   • Prompt Engineering: Sono state progettate e confrontate tre diverse variazioni di prompt utilizzando il modello qwen3-30b-a3b-instruct-25075. Queste includevano approcci few-shot e zero-shot, con variazioni in termini di contesto, persona, vincoli e l'inclusione del ragionamento Chain-of-Thought (CoT).
   • Selezione e Tuning del Modello: Il prompt con le migliori prestazioni è stato applicato a tre diversi LLM. Il modello più efficace è stato successivamente perfezionato tramite QLoRA per ottimizzarne le prestazioni.
   • Processo: Gli LLM hanno seguito un processo in due fasi: (1) classificazione binaria della valutatività e (2) classificazione multi-classe delle categorie di Atteggiamento per le frasi valutative.

3. Analisi Comparativa:

   • Le prestazioni dell'LLM sottoposto a fine-tuning sono state confrontate con il gold standard (ricercatore senior) e con gli studenti annotatori.
   • Lo studio ha investigato specificamente se gli LLM avessero difficoltà con gli stessi fenomeni linguistici specifici (es. significato implicito, identificazione del target) che causavano una bassa concordanza tra gli umani.

Risultati Chiave

• Prestazioni Umane: La concordanza tra gli annotatori tra gli studenti di linguistica è stata variabile e spesso bassa. La concordanza sulla decisione binaria "valutativo vs non valutativo" variava da lieve a moderata (Kappa $\ge$ 0.51 in alcuni domini come Intrattenimento e Politica, ma diminuendo significativamente in Storia e Psicologia). La concordanza sulle specifiche sottoclassi di Atteggiamento (Affetto, Giudizio, Apprezzamento) era ancora più bassa, con l'alpha di Krippendorff che spesso scendeva sotto lo 0.50 e talvolta assumeva valori negativi.
• Fonti di Errore Umano: L'analisi qualitativa ha rivelato che i disaccordi umani derivavano da:
  • Difficoltà nel distinguere tra significati espliciti e impliciti.
  • Confusione riguardo al "target della valutazione" (ad esempio, se un'emozione appartenga all'oratore o a una terza parte menzionata).
  • Sfide con frasi lunghe e complesse contenenti significati valutativi annidati.
  • Variazioni nella competenza linguistica inglese e nella conoscenza specifica del dominio.
• Prestazioni degli LLM: L'LLM sottoposto a fine-tuning ha raggiunto un F1-score di 0.77 rispetto al gold standard.
  • Confronto: L'LLM ha superato gli annotatori studenti e, cosa notevole, ha ottenuto una concordanza con il ricercatore senior (gold standard) superiore rispetto a quella ottenuta dagli studenti.
  • Allineamento delle Sfide: Lo studio ha rilevato che gli LLM non necessariamente faticano con gli stessi problemi specifici degli umani nei medesimi modi; piuttosto, hanno dimostrato la capacità di risolvere compiti di classificazione complessi in modo più coerente rispetto alla coorte umana formata ma inesperta.

Contributi Chiave

1. Schema di Annotazione: Il documento presenta uno schema di annotazione specifico per le categorie di Atteggiamento della Teoria dell'Appraisal, adattato per l'analisi a livello di frase nel discorso scientifico popolare parlato.
2. Confronto Empirico: Fornisce un confronto empirico diretto tra annotatori umani (sia tirocinanti che esperti) e LLM in un compito linguistico complesso e soggettivo.
3. Ottimizzazione del Prompt: Lo studio dimostra l'impatto del design del prompt (inclusi le strategie CoT e few-shot) sulle prestazioni degli LLM nell'annotazione pragmatica.

Significatività e Rivendicazioni
Gli autori affermano che gli LLM possono aiutare efficacemente nella risoluzione di compiti di annotazione complessi, potenzialmente superando le prestazioni dei linguisti in formazione in termini di coerenza e concordanza con gli standard esperti. Il documento suggerisce che se gli LLM possono annotare con successo teorie linguistiche complesse come l'Appraisal attraverso il prompting e il fine-tuning, ciò apre nuove strade per la ricerca nelle discipline umanistiche digitali. Nello specifico, implica che l'uso di corpora ampiamente annotati manualmente potrebbe non essere sempre strettamente necessario per classificare grandi porzioni di dati del parlato, a patto che gli LLM siano guidati correttamente. Lo studio conclude che gli LLM offrono una strategia valida per scalare i processi di annotazione in campi interdisciplinari, pur riconoscendo la necessità di una validazione delle prestazioni del modello compito per compito.