Shiny Stories, Hidden Struggles: Investigating the Representation of Disability Through the Lens of LLMs

Sintesi Tecnica: Storie Luccicanti, Lotte Nascoste: Indagine sulla Rappresentazione della Disabilità Attraverso la Lente dei Modelli Linguistici di Grande Dimensione

Enunciato del Problema
Sebbene i Modelli Linguistici di Grande Dimensione (LLM) abbiano dimostrato la capacità di simulare personalità umane e generare testi che riflettono gruppi demografici diversi, esiste una preoccupazione critica riguardo a come questi modelli rappresentino le comunità storicamente emarginate. Ricerche precedenti hanno documentato estesamente pregiudizi e stereotipi negativi negli LLM. Tuttavia, recenti meccanismi di sicurezza, come guardie AI incorporate e tecniche di debiasing, potrebbero portare a una forma diversa di danno: la "sovracompensazione". Questo fenomeno si verifica quando i modelli, nel tentativo di evitare pregiudizi negativi, generano rappresentazioni eccessivamente positive, idealizzate o sanificate di gruppi emarginati. Questa "positività tossica" può cancellare le complessità, le sfide strutturali e le realtà emotive negative affrontate da queste comunità, silenziando efficacemente le loro esperienze vissute sotto una patina di ispirazione. Il paper si concentra specificamente sulla rappresentazione della disabilità, un gruppo che ha ricevuto relativamente meno attenzione nella letteratura sui pregiudizi nonostante affronti significativa discriminazione e svantaggi socio-economici.

Metodologia
Gli autori adottano un approccio di analisi comparativa, contrapponendo le auto-descrizioni di individui reali con disabilità alle rappresentazioni generate dall'IA. Lo studio coinvolge tre dataset principali:

1. REDD (Dataset del Mondo Reale): Una raccolta di 1.250 post sui social media (Reddit) scritti da individui che si identificano come persone con disabilità. I dati sono stati estratti da sei subreddit ($r/disability$, $r/blind$, $r/autism$, $r/depression$, $r/deaf$, $r/cerebralpalsy$). I post sono stati filtrati per garantire una prospettiva in prima persona e un esplicito riferimento alla disabilità, quindi annotati manualmente da tre annotatori umani (Kappa di Fleiss = 0,875).
2. LLMD (Dataset LLM-Disabilità): Rappresentazioni artificiali generate da tre LLM (GEMINI-1.5F, GPT-4O-MINI e MIXTRAL-8B). Utilizzando prompt a risposta aperta ispirati a studi precedenti sulle personalità, ai modelli è stato chiesto di immaginare di essere individui con specifiche disabilità (ad esempio, autismo, cecità, depressione) e di scrivere un post sui social media. Ciò ha portato a 1.080 post (360 per modello).
3. LLMND (Dataset LLM-Non Disabilità): Un set di controllo di 1.080 post generati dagli stessi modelli che simulano individui "generici" senza esplicito riferimento alla disabilità, utilizzati per isolare gli spostamenti linguistici specifici della persona con disabilità.

Metriche di Analisi
Lo studio utilizza un quadro quantitativo e qualitativo multidimensionale:

• Analisi del Sentimento: Utilizzo di VADER per classificare i post come positivi, negativi o neutri.
• Distribuzione delle Emozioni: Impiego del NRC Word-Emotion Association Lexicon (EmoLex) per quantificare la prevalenza di otto emozioni (rabbia, paura, anticipazione, fiducia, sorpresa, tristezza, gioia, disgusto).
• Rilevamento della Depressione: Applicazione di un modello all'avanguardia dal compito condiviso LT-EDI-ACL2022 per prevedere i livelli di depressione (nessuna, moderata, severa).
• Analisi Tematica e Lessicale: Utilizzo della metodologia "Fightin' Words" (z-score) per identificare parole distintive statisticamente significative tra i dataset. Queste parole vengono quindi raggruppate in cluster tematici utilizzando GPT-4O-MINI per interpretare le differenze semantiche.

Risultati Chiave
L'analisi produce due risultati principali riguardo alla rappresentazione della disabilità:

1. Idealizzazione e Positività Tossica (RQ1): Gli LLM divergono significativamente dalle auto-descrizioni di persone reali con disabilità.

   • Sentimento: Mentre il 53,06% dei post del mondo reale mostrava un sentimento negativo, i post generati dagli LLM erano schiacciantemente positivi (dal 96,39% al 99,72%).
   • Depressione: I post del mondo reale mostravano alti tassi di indicatori di depressione moderata (26,26%) e severa (20,42%). Al contrario, gli LLM hanno quasi completamente eliminato questi segnali; GPT-4O-MINI ha prodotto zero post con indicatori di depressione e MIXTRAL-8B ne ha prodotto solo uno.
   • Differenze Lessicali: I post del mondo reale si distinguevano per parole relative alle lotte mediche (dolore, ospedale, chirurgia), difficoltà economiche (lavoro, denaro, senzatetto) e stati emotivi negativi (odio, stress, suicidio). I post degli LLM erano dominati da parole di ispirazione e comunità (amore, grato, vittoria, forza, inclusivo), riflettendo una narrazione di "superamento" piuttosto che di convivenza con la disabilità.

2. Pregiudizio Negativo e Semplificazione Eccessiva (RQ2): Confrontando gli LLM che simulano individui con disabilità rispetto a individui generici, i modelli mostrano un distinto cambiamento nel tono.

   • Tono Emotivo: Nonostante la positività generale, i post che simulano la disabilità contenevano livelli significativamente più alti di emozioni negative (rabbia, tristezza, paura) e livelli più bassi di anticipazione positiva e gioia rispetto ai post che simulano individui generici.
   • Disparità Tematica: Gli LLM associano la disabilità in modo sproporzionato a temi di lotta, resilienza e advocacy, mentre le personalità generiche sono associate a lavoro, carriera e tempo libero (intrattenimento, avventura). Ciò suggerisce che gli LLM inquadrano la disabilità principalmente attraverso una lente di "lotta ed eccezionalità", trascurando altre sfaccettature della vita umana come il successo professionale o gli interessi ricreativi.

Significato e Contributi
Il paper contribuisce con un dataset pubblicamente disponibile (REDD e LLMD) e offre un esame critico del "pregiudizio positivo" nell'IA. Gli autori sostengono che la tendenza attuale all'iper-idealizzazione negli LLM, probabilmente guidata dall'apprendimento per rinforzo dal feedback umano (RLHF) e da salvaguardie di sicurezza, crea una narrazione "lucida" che maschera le "lotte nascoste" della disabilità.

Il significato di questo lavoro risiede nella sua dimostrazione che la mitigazione dei pregiudizi negli LLM non riguarda semplicemente la rimozione di stereotipi negativi, ma anche l'evitare una "positività tossica" che cancella la realtà della sofferenza e della disuguaglianza strutturale. Gli autori ipotizzano che affinché l'IA favorisca una genuina inclusione ed empatia, deve essere capace di rappresentare l'intero spettro delle emozioni umane, incluso il dolore, la frustrazione e la depressione, piuttosto che imporre un arco narrativo sanificato e ispirazionale. Lo studio sottolinea la necessità di politiche e pratiche di progettazione dell'IA che diano priorità a una rappresentazione autentica rispetto a ritratti superficialmente benevoli, assicurando che gli strumenti tecnologici siano allineati con le realtà vissute, sfumate e spesso difficili delle comunità emarginate.