From Fallback to Frontline: When Can LLMs be Superior Annotators of Human Perspectives?

1. Il Problema

Nelle attività di NLP soggettive (come il rilevamento di tossicità, offensività o danni), la raccolta di annotazioni umane rappresentative è spesso costosa, lenta o impossibile, specialmente per sottogruppi demografici specifici o intersezionali. Di conseguenza, i modelli linguistici di grandi dimensioni (LLM) vengono spesso utilizzati come annotatori. Tuttavia, esiste un pregiudizio diffuso secondo cui gli LLM sono al massimo un "compromesso pragmatico" (un fallback) e sono intrinsecamente inferiori alle prospettive umane reali.

Il paper sfida questa assunzione. Il problema centrale è: quando e perché gli LLM possono essere stime statisticamente superiori delle opinioni aggregate di un gruppo umano rispetto agli stessi annotatori umani?

2. Metodologia e Quadro Teorico

Riformulazione del Problema: Dalla Misurazione alla Stima

Gli autori riformulano l'attività di "assunzione di prospettiva" (Perspective-Taking, PT) non come una misurazione di opinioni individuali, ma come un problema di stima statistica di una grandezza latente: la media del giudizio di un gruppo ($f^*(x, g)$).
Né gli umani né gli LLM osservano direttamente questa media; entrambi devono inferirla. Questo permette di confrontarli come "stimatori" dello stesso target, utilizzando l'errore quadratico medio (MSE) come metrica di performance.

Decomposizione dell'Errore (Bias-Varianza-Correlazione)

L'errore di stima viene decomposto in tre componenti strutturali:

1. Bias (Pregiudizio): Scomposto in due "lenti":
   • Wide Lens (Rappresentazione): Quanto bene la conoscenza dello stimatore riflette la distribuzione della popolazione target (es. dati di addestramento per gli LLM, esperienza vissuta per gli umani).
   • Clear Lens (Elaborazione): Quanto fedelmente la rappresentazione interna viene tradotta in un giudizio numerico.
   • Accoppiamento (Coupling): Per gli umani, l'identità sociale e l'omofilia possono collegare rappresentazione ed elaborazione, creando un errore super-additivo (i bias si rafforzano a vicenda). Per gli LLM, queste fasi sono meccanicamente distinte (pre-training vs post-training), riducendo l'accoppiamento.
2. Varianza: La variabilità delle stime tra diversi annotatori. Gli umani mostrano alta varianza individuale; gli LLM sono più deterministici.
3. Correlazione: La correlazione residua tra gli errori degli annotatori. Gli umani condividono contesti sociali che aumentano la correlazione (un "pavimento" di errore irriducibile); gli LLM possono essere ingegnerizzati per ridurre questa correlazione.

Ipotesi Principali

• H1 (Regime di Budget): In scenari a basso budget (pochi annotatori), l'errore è dominato dalla varianza. Gli LLM, avendo bassa varianza, dovrebbero superare gli umani.
• H2 (Accoppiamento): Nelle stime "fuori gruppo" (out-group), gli umani soffrono di un forte accoppiamento tra bias di rappresentazione ed elaborazione, aumentando l'errore. Gli LLM sono più stabili.
• H3 (Limiti di Rappresentazione): Per gruppi molto specifici o rari, la mancanza di dati di addestramento negli LLM aumenta il bias di rappresentazione, rendendo gli umani (in-group) superiori.
• H4 (Ingegnerizzabilità): Gli errori degli LLM possono essere controllati selettivamente (scelta del modello, prompt, diversificazione).

Setup Sperimentale

• Dataset: "Toxicity Detection" (120 commenti con annotazioni dirette e PT umane per gruppi di genere) e "DICES" (dataset di sicurezza conversazionale con giudizi diretti su molteplici assi demografici).
• Protocolli: Confronto tra annotazione diretta umana, PT umana (in-group e out-group) e PT con LLM (zero-shot, vari modelli: GPT, Qwen, Gemma, DeepSeek).
• Valutazione: Simulazione di budget di annotazione ($k=1$ a $10$) tramite bootstrap per calcolare MSE, Bias e Varianza.

3. Risultati Chiave

1. Superiorità degli LLM in Regimi a Basso Budget:

   • Un singolo LLM (k=1) supera costantemente un singolo annotatore umano (anche in-group) nel prevedere la media del gruppo.
   • Una singola stima LLM è spesso paragonabile all'aggregazione di 3-5 annotazioni umane dirette. Questo è dovuto alla bassa varianza degli LLM rispetto all'alta variabilità umana.

2. Stabilità e Accoppiamento:

   • Gli LLM mantengono un errore stabile attraverso diversi gruppi target, mentre gli umani mostrano un aumento drastico dell'errore quando stimano prospettive "fuori gruppo" (es. uomini che stimano donne), confermando l'ipotesi dell'accoppiamento super-additivo.

3. Il Paradosso del Ragionamento (Reasoning Paradox):

   • Contrariamente all'intuizione, l'uso di prompt di ragionamento (Chain-of-Thought o modalità native di ragionamento) peggiora spesso le prestazioni di PT.
   • Il ragionamento induce un "criterion drift" (deriva dei criteri): il modello smette di stimare la distribuzione empirica del gruppo e inizia ad applicare un proprio standard di classificazione basato su regole (rubric-based), aumentando il bias sistematico.

4. Limiti della Rappresentazione:

   • Le prestazioni degli LLM peggiorano man mano che i gruppi target diventano più specifici (es. "donne nere con laurea") o meno prevalenti (es. minoranze etniche rare). In questi casi, il bias di rappresentazione domina e gli umani in-group mantengono un vantaggio.

5. Ingegnerizzabilità:

   • La scelta del modello influisce principalmente sul bias (Wide Lens), mentre il prompting e la struttura influenzano l'elaborazione (Clear Lens). La miscelazione di modelli diversi (model mixing) riduce l'errore, ma con guadagni marginali rispetto alla scelta del singolo modello migliore.

4. Contributi Principali

1. Formalizzazione Teorica: La PT è definita come stima statistica di un giudizio latente di gruppo, permettendo un confronto rigoroso tra umani e LLM basato su bias, varianza e correlazione.
2. Nuovo Framework di Analisi: Introduzione della "decomposizione a due lenti" (Wide/Clear Lens) e dell'ipotesi di accoppiamento per spiegare i fallimenti sistematici umani.
3. Evidenza Empirica: Dimostrazione che gli LLM possono superare gli umani (inclusi quelli del proprio gruppo) in scenari realistici a budget limitato, ridefinendo il loro ruolo da "fallback" a "frontline".
4. Scoperta del Paradosso del Ragionamento: Identificazione che il ragionamento esplicito può degradare la stima delle prospettive collettive a causa della deriva dei criteri.
5. Diagnostica Differenziale: Introduzione di un metodo per isolare la sensibilità specifica del gruppo dall'abilità generica di annotazione, rivelando i confini dove l'umano rimane insostituibile.

5. Significato e Implicazioni

Questo lavoro sposta il paradigma sull'uso degli LLM nelle NLP soggettive:

• Non Sostituzione, ma Integrazione Principale: Gli LLM non dovrebbero essere visti come un surrogato economico, ma come strumenti statistici superiori per stimare le medie di gruppo in condizioni di incertezza e budget limitato.
• Progettazione Consapevole: Le pipeline di annotazione dovrebbero essere progettate dinamicamente:
  • Usare LLM per stime aggregate su gruppi ampi, eterogenei o quando il budget è basso.
  • Usare Umani (specialmente in-group) per gruppi specifici, rari, o quando è necessaria legittimità procedurale e partecipazione diretta.
• Ingegneria delle Pipeline: Gli sviluppatori possono ottimizzare le prestazioni degli LLM agendo su bias e varianza tramite selezione del modello e prompt, evitando l'uso indiscriminato del ragionamento esplicito che può introdurre distorsioni.

In sintesi, il paper dimostra che, trattando la prospettiva come un problema di stima, gli LLM possono diventare la scelta "frontline" preferibile in molti scenari pratici, a patto di comprendere e gestire i loro limiti strutturali rispetto all'esperienza vissuta umana.