Whose Story Gets Told? Positionality and Bias in LLM Summaries of Life Narratives

1. Il Problema: Posizionalità e Bias nelle Analisi Abstrattive

L'uso dei Large Language Models (LLM) per l'analisi qualitativa su larga scala (come l'analisi tematica induttiva) sta crescendo rapidamente. Tuttavia, mentre la valutazione della precisione degli LLM nel deductive coding (codifica basata su etichette predefinite) è relativamente diretta, è molto più difficile giudicare l'etica e l'efficacia degli LLM nell'analisi abstrattiva (sintesi e interpretazione di significato).

Il problema centrale è la posizionalità: nelle scienze sociali, i ricercatori devono essere consapevoli di come il proprio background, le esperienze e le identità influenzino l'interpretazione dei dati. Gli LLM, non avendo un'identità o un'esperienza di vita, non possono fornire una "dichiarazione di posizionalità" tradizionale. Di conseguenza, quando un LLM sintetizza storie di vita personali (spesso cariche emotivamente), rischia di:

• Introdurre bias involontari.
• Alterare il significato originale (es. omettendo contesti cruciali o semplificando eccessivamente).
• Causare danni rappresentazionali (es. stereotipi razziali o di genere).

L'obiettivo del paper è sviluppare un metodo per quantificare e visualizzare la "posizionalità" di un LLM, identificando come le sue sintesi distorcano le narrazioni umane in base a razza e genere.

2. Metodologia: Pipeline di Valutazione Quantitativa e Qualitativa

Gli autori hanno collaborato con psicologi per analizzare un dataset privato di 163 interviste (154 utilizzabili) dello studio longitudinale "Foley Longitudinal Study of Adulthood" (FLSA). I partecipanti hanno descritto le "capitoli" delle loro vite.

La metodologia proposta si basa su una pipeline di sintesi che confronta le risposte originali con le sintesi generate dagli LLM, analizzando tre dimensioni principali:

A. Pipeline Quantitativa

Per ogni documento $d$ (intervista) e per un insieme di demografie $C$ (Uomo Bianco, Donna Bianca, Uomo Nero, Donna Nera), gli LLM generano:

1. Sintesi di base (Baseline): Senza fornire demografie nel prompt.
2. Sintesi condizionate (Demographic-conditioned): Con esplicita menzione della demografia del partecipante nel prompt.

Vengono misurati i seguenti indicatori:

• Wording e Semantica: Utilizzo di metriche come ROUGE (sovrapposizione lessicale) e BERTScore (similarità semantica) per valutare quanto la sintesi si discosti dal testo originale in termini di scelta delle parole e significato.
• Stati Psicologici: Utilizzo di dizionari e modelli per misurare cambiamenti negli stati emotivi e psicologici:
  • LIWC: Analisi di categorie psicologiche (es. famiglia, lavoro).
  • VAD: Valenza (positivo/negativo), Arousal (eccitazione) e Dominanza.
  • SCM (Stereotype Content Model): Proiezione su assi di "Calore" (Warmth) e "Competenza".
• Temi: Analisi dei cambiamenti nella frequenza dei temi identificati (es. "resilienza", "lavoro duro") quando la demografia è esplicitata nel prompt.

B. Studio Qualitativo

Tre ricercatori esperti in psicologia hanno valutato un sottoinsieme di 8 interviste (bilanciate per razza e genere) confrontando le sintesi LLM con i testi originali. Hanno valutato:

• Accuratezza (Faithfulness).
• Tono (Calore).
• Percezione di competenza.
• Presenza di stereotipi (razziali o di genere).

3. Contributi Chiave

1. Pipeline di Posizionalità: Introduzione di un metodo quantitativo per creare un "ritratto di posizionalità" per gli LLM, che mappa come questi modelli interpretano diverse demografie.
2. Validazione Interdisciplinare: Collaborazione diretta con psicologi per validare che le metriche computazionali corrispondano a bias reali e dannosi rilevati da esperti umani.
3. Rilevamento di Bias Sottili: Dimostrazione che la pipeline può identificare sia bias comuni (es. bias razziali) sia bias meno comuni (es. soppressione dell'espressione emotiva maschile).
4. Framework per la Ricerca: Proposta di utilizzare questi ritratti di posizionalità come parte integrante della documentazione etica negli studi che utilizzano LLM per l'analisi qualitativa.

4. Risultati Principali

Lo studio ha coinvolto tre modelli open-source: Llama-3.2-3B, Llama-3.1-8B e Qwen-2.5-7B.

• Semantica e Linguaggio:

  • Gli LLM mostrano una maggiore similarità semantica con le narrazioni degli uomini bianchi rispetto a quelle degli uomini e donne nere (specialmente con Qwen-7B e Llama-3B).
  • Le donne bianche mostrano spesso una similarità semantica bassa simile a quella delle persone nere, suggerendo che il bias non è solo legato alla "White Mainstream English" ma a dinamiche più complesse.

• Stati Psicologici e Stereotipi:

  • Uomini Bianchi: Le loro storie vengono sintetizzate con una valenza più positiva e una maggiore enfasi sulla competenza.
  • Uomini Neri: Le sintesi tendono ad aumentare la "Dominanza" (forza/controllo) ma riducono significativamente l'autoconsapevolezza e la crescita personale.
  • Donne Nere: Vengono spesso associate a temi di "lavoro duro" e fatica, mentre le donne bianche sono associate al "tempo libero" e al benessere.
  • Calore vs Competenza: Le sintesi confermano stereotipi sociali: i gruppi marginalizzati (Neri, Donne) sono spesso descritti con più "calore" ma meno "competenza" o agenzia rispetto agli uomini bianchi.

• Bias di Genere nell'Espressione Emotiva:

  • Un risultato sorprendente è la significativa alterazione dell'espressione emotiva per gli uomini. Le sintesi tendono a smussare le emozioni negative o a trasformare le lotte personali in narrazioni di resilienza eccessivamente positive, cancellando la complessità emotiva originale.

• Validazione Umana:

  • Gli esperti hanno confermato che le sintesi spesso omettono eventi emotivamente pesanti (es. abusi, lutti) o li presentano in modo troppo distaccato ("matter-of-fact").
  • I modelli più grandi (Llama-8B) sono risultati più fedeli nel contenuto ma hanno mostrato bias più sottili e sofisticati rispetto ai modelli più piccoli.

5. Significato e Implicazioni

Il paper conclude che l'uso degli LLM nell'analisi qualitativa non è neutrale. Anche se le differenze numeriche possono sembrare piccole, hanno implicazioni etiche significative, specialmente nella ricerca psicologica dove la comprensione delle esperienze soggettive è fondamentale.

• Non è una soluzione "Good Enough": Anche se alcuni modelli potrebbero essere "abbastanza buoni" per compiti generici, i loro bias sistematici possono portare a conclusioni di ricerca errate o dannose quando si analizzano narrazioni di vita.
• Raccomandazione: I ricercatori dovrebbero adottare un approccio di "ritratto di posizionalità" (positionality portrait) quando utilizzano LLM. Prima di analizzare un nuovo dataset, dovrebbero testare il modello per capire come questo interpreta diverse demografie e documentare questi limiti, proprio come farebbero per i bias umani.
• Futuro: La metodologia proposta offre un modo scalabile per monitorare l'equità degli strumenti di IA nelle scienze sociali, spostando l'attenzione dalla semplice accuratezza alla qualità etica dell'interpretazione.