Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science

Sintesi Tecnica: Due Errori, Nessun Vero: Audit del Bias di Desiderabilità Sociale negli Annotatori LLM per la Scienza Sociale Computazionale

Definizione del Problema
I Large Language Models (LLM) sono sempre più impiegati come annotatori a basso costo nella Scienza Sociale Computazionale (CSS) per misurare testi politici, hate speech, sentiment e opinione pubblica. Tuttavia, esiste una lacuna critica nella comprensione se gli errori "modellati dall'allineamento" di questi modelli preservino le quantità empiriche che i ricercatori intendono riportare. Sebbene l'accuratezza per singola istanza sia spesso il metrica standard, la CSS si basa su misurazioni aggregate (ad esempio, stime di prevalenza, confronti tra gruppi, spostamenti temporali). Il paper sostiene che un modello può possedere una precisione media superficialmente accettabile pur distorcendo sistematicamente la distribuzione sottostante delle etichette a causa del bias di risposta della desiderabilità sociale (SDR). Questo bias si manifesta come una tendenza a produrre risposte normativamente preferite piuttosto che quelle fedeli all'istanza di input, portando potenzialmente a conclusioni scientifiche errate riguardo al sentimento pubblico o alla prevalenza di contenuti dannosi.

Metodologia
Gli autori conducono un audit comparativo su tre modelli open-source con 7 miliardi di parametri e istruzioni ottimizzate: Zephyr-7B, Mistral-7B-Instruct-v0.3 e Qwen2.5-7B-Instruct. Questi modelli differiscono per famiglie di base e ricette di post-training (ad esempio, ottimizzazione delle preferenze, fine-tuning supervisionato delle istruzioni).

La valutazione copre sei task dal benchmark TweetEval:

1. Hate Speech (Linguaggio d'odio)
2. Offensive Language (Linguaggio offensivo)
3. Stance Detection (Aborto)
4. Sentiment
5. Emotion (Emozione)
6. Irony (Ironia)

Lo studio testa quattro condizioni di prompting per simulare interventi che i professionisti potrebbero utilizzare senza riaddestramento:

1. Neutro: Solo istruzione del task.
2. Safety Framing (Inquadramento della Sicurezza): Istruzioni esplicite riguardanti sicurezza, equità ed evitamento del danno.
3. Depersonalizzato: Inquadrare il modello come una funzione di etichettatura deterministica piuttosto che come un assistente utile.
4. Chain-of-Thought (CoT): Consentire il ragionamento intermedio prima dell'etichetta finale.

Questo design genera 72 celle sperimentali (3 modelli × 6 task × 4 prompt). Gli autori analizzano le prestazioni utilizzando quattro metriche complementari:

• Macro-F1: Prestazioni complessive del task.
• False Benign Rate (FBR): Il tasso con cui esempi realmente dannosi vengono assegnati a un'etichetta benigna.
• False Alarm Rate (FAR): Il tasso con cui esempi benigni vengono erroneamente etichettati come dannosi.
• Downstream Distortion (Distorsione a valle): L'errore assoluto tra la prevalenza della classe predetta e quella reale (focalizzandosi su "AGAINST" per lo stance sull'aborto e "HATE SPEECH" per l'hate speech).

Contributi Chiave

1. Audit Multi-Task: Una valutazione sistematica del comportamento di annotazione sensibile all'allineamento attraverso hate speech, linguaggio offensivo, stance, sentiment, emozione e ironia.
2. Evidenza dell'Insufficienza dell'Aggregato: Dimostrazione che le metriche aggregate (come Macro-F1 o la precisione totale della prevalenza) sono insufficienti per l'impiego nella CSS. Il paper espone casi in cui la precisione della prevalenza appare corretta solo perché gli errori condizionali di classi opposte (ad esempio, mancare contenuti dannosi mentre si segnalano eccessivamente contenuti benigni) si annullano accidentalmente a livello di corpus.
3. Tassonomia dei Fallimenti: L'identificazione di tre pattern di fallimento ricorrenti con firme diagnostiche specifiche:
   • Leniency Bias (Bias di Lenienza): Alto FBR e basso FAR (sottostima dei contenuti dannosi).
   • Overcorrection (Sovracorrezione): Basso FBR e alto FAR (sovrastima dei contenuti dannosi).
   • Neutrality Bias (Bias di Neutralità): Soppressione della prevalenza di classi di posizione forti a favore di etichette neutrali gonfiate.

Risultati Chiave

• Direzioni di Fallimento Divergenti: I modelli non falliscono in modo uniforme. Zephyr mostra un forte leniency bias, particolarmente sul linguaggio offensivo (FBR = 0,729, FAR = 0,031), sottostimando sistematicamente le etichette dannose. Al contrario, Mistral e Qwen mostrano overcorrection sull'hate speech, con Mistral che etichetta il 60,4% dei tweet non offensivi come hate speech (FAR = 0,604).
• Neutrality Bias sulla Posizione Politica: Sul task dello stance sull'aborto, tutti e tre i modelli sottostimano sistematicamente la prevalenza della posizione "AGAINST" (tasso reale: 67,5%) e gonfiano l'etichetta "NONE/Neutral". Sotto prompting neutro, Zephyr ha stimato l'opposizione solo al 27,9%, mentre Mistral e Qwen hanno stimato il 43,9%. Questo bias è persistito in tutte le condizioni di prompting.
• Inefficacia degli Interventi di Prompting: Nessun intervento di prompting (Safety, Depersonalized, CoT) ha corretto costantemente questi fallimenti in tutti i modelli e i task. In alcuni casi, gli interventi hanno peggiorato la distorsione (ad esempio, il framing di Safety ha ridotto ulteriormente la percentuale stimata di "AGAINST" per Mistral).
• Annullamento Accidentale: Un risultato critico riguarda i risultati di hate speech di Zephyr. Sotto prompting neutro, la prevalenza stimata da Zephyr (43,0%) corrispondeva esattamente al tasso reale. Tuttavia, questo era un "annullamento accidentale" di un alto FBR (0,316) e un alto FAR (0,239). Un ricercatore che si affidasse esclusivamente alla precisione della prevalenza concluderebbe erroneamente che il modello è affidabile, nonostante etichetti erroneamente una parte significativa delle singole istanze.
• Impatto Sostanziale: Le distorsioni osservate (che vanno da 14 a 40 punti percentuali) sono sufficientemente grandi da ribaltare le conclusioni empiriche sostanziali, come cambiare la caratterizzazione di un dataset da "fortemente oppositivo" a "equamente diviso" o far apparare un corpus quasi due volte più tossico di quanto sia in realtà.

Significatività e Rivendicazioni
Il paper sostiene che per l'IA affidabile nella scienza sociale computazionale, la metrica "di copertina" dell'accuratezza media è fuorviante. Il rischio primario non è semplicemente la minore accuratezza, ma la distorsione sistematica della misurazione che altera la storia empirica che un ricercatore riporta.

Gli autori affermano che:

1. L'allineamento modella i profili di errore: Le scelte di post-training portano a specifici bias direzionali (lenienza vs sovracorrezione) che differiscono tra i modelli, il che significa che un ricercatore che cambia modello a metà progetto potrebbe involontariamente invertire la propria conclusione empirica senza cambiare l'analisi.
2. Il Prompting è parte dello Strumento: La scelta del prompt agisce come un grado di libertà nascosto che può alterare significatamente le stime di prevalenza (ad esempio, uno scarto di 16,8 punti per Mistral sullo stance sull'aborto a seconda del prompt).
3. Protocollo di Validazione: I ricercatori devono andare oltre il Macro-F1. Prima di scalare una pipeline di annotazione, i professionisti dovrebbero validare gli errori condizionali di classe (FBR/FAR) e la distorsione della prevalenza a valle rispetto a un piccolo campione gold.
4. Standard di Reporting: Riportare il modello e il prompt come parte dello strumento di misurazione è un requisito base, non una disclosure opzionale, poiché i bias direzionali dell'annotatore sono ereditati da qualsiasi affermazione riguardante il discorso civico o l'opinione pubblica derivata dai dati.

Il paper conclude che un modello che appare calibrato sulle metriche aggregate può comunque fallire fondamentalmente la validità della misurazione richiesta dalla scienza sociale, rendendo necessaria una transizione verso la valutazione degli annotatori rispetto ai target inferenziali a valle piuttosto che rispetto a generici benchmark di classificazione.