Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection

1. Il Problema

L'annotazione dei dati rimane un collo di bottiglia critico per l'apprendimento supervisionato nel NLP. Sebbene l'Apprendimento Attivo (Active Learning - AL) sia ampiamente utilizzato per ridurre i costi di annotazione selezionando solo gli istanze più informative, la sua adozione pratica è limitata da guadagni di prestazioni incerti e costi operativi elevati.
Con l'avvento dei Large Language Models (LLM) istruiti (instruction-tuned), è ora possibile etichettare migliaia di istanze a costi irrisori. Questo solleva due domande fondamentali:

1. Le etichette generate dagli LLM possono sostituire quelle umane all'interno del ciclo di Active Learning?
2. L'Active Learning rimane necessario quando è possibile etichettare un intero corpus in una sola volta a costi minimi?

Il paper affronta queste domande nel contesto della rilevazione dell'ostilità anti-immigrati nei commenti TikTok tedeschi, un compito complesso che richiede di distinguere tra l'ostilità verso un gruppo e la critica legittima alle politiche migratorie.

2. Metodologia

Dataset e Raccolta Dati

• Corpus: 277.902 commenti pubblici raccolti dai canali ufficiali di sei partiti politici tedeschi (CDU/CSU, Verdi, SPD, FDP, AfD, Die Linke) tra gennaio 2024 e settembre 2025.
• Pre-filtraggio: Un pipeline LLM (Llama-3.3-70B) ha filtrato i commenti per identificare quelli rilevanti per l'immigrazione, riducendo il corpus a 25.974 commenti.
• Annotazione Umana: 5.000 commenti sono stati annotati da 6 lavoratori crowd-sourcing (Prolific) nativi o fluenti in tedesco. È stato utilizzato un framework a due domande per separare la referenza all'immigrazione (Q1) dalla valutazione negativa del gruppo (Q2).
• Annotazione LLM: L'intero pool di 25.974 commenti è stato etichettato da GPT-5.2 (tramite API Batch) come "ANTI-IMMIGRANT" o "NOT ANTI-IMMIGRANT".

Configurazione Sperimentale

Lo studio confronta 7 condizioni sperimentali incrociando tre dimensioni:

1. Fonte di annotazione: Umana vs. LLM.
2. Strategia di campionamento: Active Learning (Entropia/BALD) vs. Campionamento Casuale vs. Pool Completo.
3. Volume: Da 530 istanze (AL) a 25.974 istanze (Full Pool).

• Modelli: Sono stati valutati quattro encoder transformer pre-addestrati (german-bert, ModernGBERT, gbert-base, xlm-r-base).
• Metriche: F1-Macro (prestazione complessiva) e F1-Anti (prestazione sulla classe positiva).
• Analisi dei Costi: Confronto dettagliato tra il costo dell'annotazione umana ($0.083/etichetta) e quella LLM ($0.002/etichetta).

3. Contributi Chiave

1. Dataset Pubblico: Rilascio di un nuovo dataset di 277.902 commenti politici tedeschi, con 25.974 etichette LLM e 5.000 annotazioni umane di alta qualità (gold standard).
2. Valutazione Comparativa Rigorosa: Il primo studio che confronta direttamente l'Active Learning umano vs. l'annotazione LLM su larga scala in condizioni controllate, analizzando non solo le metriche aggregate ma anche la struttura degli errori.
3. Analisi del Trade-off Costo-Prestazione: Dimostrazione empirica che l'annotazione LLM su larga scala può raggiungere prestazioni comparabili all'annotazione umana a una frazione del costo, ma con profili di errore sistematicamente diversi.

4. Risultati Principali

Prestazioni e Costi (RQ1)

• Parità di Costo: Un classificatore addestrato su 25.974 etichette LLM (costo: ~$43) raggiunge un F1-Macro comparabile a uno addestrato su 3.800 annotazioni umane (costo: ~$316).
• Active Learning vs. LLM: L'Active Learning con annotazione umana offre un vantaggio minimo rispetto al campionamento casuale nel pool pre-arricchito e, a parità di budget, fornisce prestazioni inferiori rispetto all'annotazione LLM completa.
• Scalabilità: Aumentando il volume dei dati LLM (da 3.800 a 25.974), si compensa la differenza di qualità delle etichette, permettendo di raggiungere o superare le prestazioni umane.

Errori e Profili di Confidenza (RQ2)

• Differenze Sistematiche: Sebbene il F1 aggregato sia simile, la struttura degli errori è diversa. I modelli addestrati su dati LLM tendono a sovrastimare la classe positiva (molti Falsi Positivi, pochi Falsi Negativi) rispetto allo standard umano.
• Confidenza Ingannevole: Gli errori commessi dai modelli LLM sono spesso associati a livelli di confidenza più alti rispetto a quelli dei modelli umani. Questo è critico per la moderazione dei contenuti: un sistema basato su LLM potrebbe non segnalare errori per la revisione umana perché li "sente" corretti.
• Meccanismo di Errore: L'LLM tende a confondere la critica alle politiche migratorie con l'ostilità verso il gruppo, applicando un confine decisionale più ampio rispetto al framework a due domande usato dagli umani.

Disaccordo Tematico (RQ3)

• Il disaccordo tra umani e LLM si concentra in discussioni tematicamente ambigue, dove il confine tra ostilità e critica politica è sottile (es. "Border Control", "Islam & Islamization").
• In questi contesti, l'LLM interpreta spesso riferimenti politici o religiosi come ostilità diretta, mentre gli umani (guidati dal framework a due domande) li classificano come critica politica o non pertinenti.

5. Significato e Implicazioni

• Ridefinizione dell'Active Learning: In scenari con pool di dati pre-filtrati e annotazione LLM a basso costo, l'Active Learning umano perde il suo vantaggio economico e prestazionale. La strategia migliore sembra essere l'annotazione LLM su larga scala piuttosto che il campionamento attivo umano.
• Scelta della Strategia di Annotazione: La decisione non dovrebbe basarsi solo sul F1 aggregato. Se l'applicazione richiede una precisione estrema (bassi Falsi Positivi), l'annotazione umana rimane superiore. Se l'obiettivo è la copertura (alto Recall) a basso costo, l'LLM è preferibile.
• Etica e Sicurezza: L'uso degli LLM riduce l'esposizione psicologica dei lavoratori umani a contenuti tossici, un vantaggio etico significativo. Tuttavia, il rischio di "allucinazioni" o interpretazioni errate sistematiche richiede una validazione attenta del profilo di errore specifico per il dominio.
• Conclusione: Non è necessario eliminare completamente gli umani dal ciclo, ma il loro ruolo deve evolvere. Gli umani sono essenziali per definire i confini decisionali in casi ambigui e per la validazione, mentre gli LLM possono gestire la scala. La scelta dipende dal profilo di errore accettabile per l'applicazione target.