Investigating Gender Stereotypes in Large Language Models via Social Determinants of Health

Questo studio esamina come i modelli linguistici di grandi dimensioni (LLM) perpetuino stereotipi di genere nel contesto dei determinanti sociali della salute, dimostrando che l'analisi delle interazioni tra questi fattori, specialmente nei dati sanitari francesi, è fondamentale per una valutazione più completa dei pregiudizi nei modelli.

L'essenziale

Ecco una spiegazione semplice e creativa del paper, pensata per chiunque voglia capire di cosa si tratta senza perdersi nei tecnicismi.

Immagina che i Modelli Linguistici (LLM), come quelli che usiamo per scrivere email o fare chat, siano come giganteschi cuochi robot. Questi robot hanno imparato a cucinare (o a rispondere) mangiando quasi tutto ciò che è stato scritto su internet: libri, articoli, forum, storie.

Il problema? Hanno mangiato anche i "piatti avvelenati" della società: i pregiudizi. Se la società pensa che "le donne fanno le infermiere" e "gli uomini fanno gli operai", il robot impara queste regole e le ripete, anche quando non dovrebbe.

🏥 La Missione: Investigare i "Pregiudizi Nascosti" nella Medicina

Gli autori di questo studio (ricercatori francesi) si sono chiesti: "Cosa succede se diamo a questi robot un paziente da diagnosticare, ma nascondiamo il suo nome e il suo genere? Il robot indovinerà comunque se è maschio o femmina basandosi solo su altri dettagli della sua vita?"

Hanno usato un concetto chiamato Determinanti Sociali della Salute (SDoH). Immagina che la salute di una persona non dipenda solo dai suoi sintomi, ma anche da:

• Che lavoro fa?
• È sposato o single?
• Fuma o beve?
• Quanto guadagna?
• Dove vive?

Questi sono i "sapori" della vita di una persona.

🕵️‍♂️ L'Esperimento: Il Gioco del "Chi è chi?"

Gli ricercatori hanno preso 1.700 cartelle cliniche reali di un ospedale francese. Hanno fatto una cosa molto intelligente: hanno censurato tutto ciò che poteva rivelare il genere (come le parole "lei" o "lui" o i nomi tipici). Hanno lasciato solo i "sapori" della vita (SDoH).

Poi hanno dato questi dati a 9 diversi robot (modelli AI) e hanno chiesto: "Secondo te, questo paziente è Maschio o Femmina?".

Ecco cosa è successo:

1. Il Robot "Indovina": Anche senza vedere il genere, i robot hanno indovinato con sorprendente precisione.

   • Se il paziente era pensionato o fumava, il robot pensava: "Ah, è quasi sicuramente un uomo!".
   • Se il paziente era studente o casalinga, il robot pensava: "Ah, è quasi sicuramente una donna!".
   • Se il paziente faceva l'operaio, il robot pensava: "Uomo". Se faceva l'impiegata, pensava: "Donna".

2. La Metafora dello Specchio: I robot non hanno "pensato" davvero. Hanno semplicemente guardato nello specchio della società. Se la società associa certi lavori o abitudini a un genere, il robot lo fa anche lui. È come se il robot dicesse: "Ho letto milioni di storie in cui gli uomini fumano e le donne studiano, quindi scommetto che è così".

3. Il Pericolo Reale: Perché questo è pericoloso? Immagina un medico che usa questo robot per fare una diagnosi. Se il robot vede un paziente che è "pensionato e fuma" (e quindi indovina che è un uomo), potrebbe ignorare sintomi tipici delle donne perché il suo "cervello" è bloccato su quell'etichetta. Potrebbe dire: "Non può essere un problema mestruale, è un uomo!", anche se i dati dicono il contrario. Questo è un errore di diagnosi causato da un pregiudizio.

🤖 Robot Piccoli vs. Robot Grandi

Gli studiosi hanno notato una cosa curiosa:

• I robot più piccoli (con meno "cervello") erano più sicuri di sé e più pregiudizievoli. Erano come un bambino che impara le regole a memoria senza capire le sfumature.
• I robot più grandi erano un po' più cauti, ma comunque pieni di pregiudizi.
• I robot specializzati in medicina (addestrati solo su testi medici) avevano ancora più pregiudizi di quelli normali! È come se, studiando solo i vecchi libri di medicina, avessero imparato che le donne sono "infermiere" e gli uomini "medici" ancora di più.

🧑‍🤝‍🧑 Umani vs. Robot: Siamo uguali?

Per vedere se i robot erano "cattivi" o se erano solo come noi, gli autori hanno chiesto a 9 persone reali di fare lo stesso gioco.
Risultato sorprendente? Le persone e i robot hanno fatto le stesse previsioni.
Se un'operaia era descritta come "sposata e con figli", sia l'umano che il robot tendevano a pensare che fosse una donna. Questo significa che il robot non ha inventato nulla di nuovo: sta solo riflettendo i nostri stessi stereotipi.

🛠️ Cosa possiamo fare?

Il paper ci dice che non possiamo aspettarci robot perfetti e privi di pregiudizi, perché sono stati addestrati sul nostro mondo imperfetto ("l'ombra nella caverna", come dice il testo).

Tuttavia, ci sono delle soluzioni:

1. Non fidarsi ciecamente: Sappiamo che questi robot hanno dei "punti ciechi".
2. Prompting intelligente: Possiamo istruire il robot con frasi specifiche tipo: "Ignora gli stereotipi di genere e basati solo sui dati medici". Alcuni robot (come Qwen) hanno risposto bene a questo, dicendo "Non sono sicuro" invece di indovinare.
3. Controllare i dati: Chi crea questi robot deve essere più attento a quali "sapori" (dati) mette nella pentola.

In sintesi

Questo studio è come una radiografia sociale. Ci mostra che i nostri assistenti digitali, se usati in medicina, potrebbero fare errori gravi perché pensano che il genere di una persona dipenda dal suo lavoro o dalle sue abitudini. La soluzione non è buttare via la tecnologia, ma imparare a usarla con gli occhi aperti, sapendo che il robot ha gli stessi pregiudizi che abbiamo noi, e a volte li amplifica.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Investigating Gender Stereotypes in Large Language Models via Social Determinants of Health", tradotto e adattato in italiano.

Titolo: Indagine sugli Stereotipi di Genere nei Modelli Linguistici di Grande Dimensione (LLM) tramite i Determinanti Sociali della Salute (SDoH)

1. Il Problema

I Modelli Linguistici di Grande Dimensione (LLM) stanno diventando strumenti promettenti per il supporto alla diagnosi medica, analizzando cartelle cliniche e storie dei pazienti. Tuttavia, questi modelli ereditano e amplificano i bias presenti nei dati di addestramento, rischiando di causare danni rappresentativi o allocativi, specialmente in contesti sensibili come la sanità.
Mentre le ricerche esistenti valutano i bias legati a singoli determinanti sociali della salute (SDoH) come genere o etnia, spesso trascurano le interazioni tra questi fattori e mancano di valutazioni specifiche per il contesto. In ambito medico, gli stereotipi di genere possono portare a diagnosi errate, trattamenti inappropriati e al rafforzamento delle disuguaglianze sanitarie. Ad esempio, un modello potrebbe suggerire problemi legati al ciclo mestruale per un paziente maschio se i dati contestuali (come l'occupazione o lo stato civile) attivano stereotipi latenti, ignorando il genere esplicitamente indicato.

2. Metodologia

Lo studio propone un framework per indagare gli stereotipi di genere negli LLM utilizzando dati anonimizzati da cartelle cliniche francesi.

• Dataset: È stato utilizzato un dataset di 1.700 sezioni di storia sociale anonimizzate da un ospedale universitario francese, annotate con 14 SDoH (genere, stato civile, occupazione, uso di sostanze, ecc.). Il dataset è stato filtrato per includere solo note con almeno tre SDoH e dati occupazionali, risultando in 958 note (52% maschi, 48% femmine).
• Neutralizzazione del Genere: Per isolare l'impatto degli SDoH ed evitare che i marcatori linguistici di genere del francese influenzino il modello, i testi sono stati pre-processati. Le informazioni SDoH sono state estratte e trasformate in coppie chiave-valore strutturate. I valori sono stati convertiti in opzioni binarie (Sì/No) o neutralizzati (es. "infirmier/infirmière" invece di "infirmière") per eliminare i segnali di genere espliciti, accettando una potenziale perdita di informazione come compromesso necessario.
• Compito di Probing: Il compito consiste nel chiedere all'LLM di prevedere il genere del paziente basandosi esclusivamente sulle informazioni SDoH neutralizzate. L'output è una previsione su una scala Likert a 7 punti (da 1=Femmina a 7=Maschio, con 4=Incerto). Una deviazione dal valore neutro (4) indica una dipendenza da stereotipi di genere.
• Modelli Testati: Sono stati valutati 9 LLM (inclusi Llama-3, Qwen2.5, Mistral, e modelli adattati al dominio medico come OpenBioLLM e Med42), sia open-source che adattati, con dimensioni variabili da 7B a 72B parametri.
• Metriche di Valutazione:
  • Bias Score (RMSE Modificato): Calcola la deviazione delle previsioni dalla neutralità (valore 4), ponderando la confidenza. Un punteggio negativo indica bias verso il femminile, positivo verso il maschile.
  • Analisi di Associazione: Utilizza il test esatto di Fisher per calcolare gli odds ratio tra specifici SDoH (es. Occupazione, Stato Civile) e le previsioni di genere, identificando quali fattori attivano stereotipi specifici.
• Confronto Umano: È stata condotta un'annotazione umana con 9 partecipanti per confrontare i pattern di stereotipi tra modelli e esseri umani.

3. Risultati Chiave

• Rilevamento degli Stereotipi: Tutti i modelli mostrano una tendenza a prevedere il genere basandosi sugli SDoH, confermando la presenza di stereotipi incorporati.
  • I modelli più piccoli (es. Llama-3.1-8B) mostrano spesso una maggiore confidenza e un bias più marcato rispetto alle versioni più grandi (es. Llama-3.3-70B), suggerendo che una capacità di elaborazione inferiore porta a un maggiore affidamento su euristiche stereotipate.
  • I modelli adattati al dominio medico tendono a mantenere o addirittura aumentare il bias rispetto alle loro controparti base.
• Interazioni SDoH-Genere: L'analisi di associazione ha rivelato pattern specifici:
  • Occupazione: Forte associazione tra "Lavoratori" (Workers) e previsioni maschili, e tra "Dipendenti" (Employees) o "Casalinghe" (Homemakers) e previsioni femminili.
  • Stato Civile e Sostanze: "Fumatori/Bevitori" e "Divorziati/Vedovi" sono associati al genere maschile, mentre "Studenti" e "Sposati/In relazione" mostrano associazioni variabili ma significative con il femminile in alcuni modelli.
  • Dimensione del Modello: Modelli con lo stesso training data ma dimensioni diverse (es. Qwen 7B vs 72B) codificano e recuperano i pattern demografici in modo diverso, indicando che il numero di parametri influenza la natura degli stereotimi appresi.
• Confronto con l'Uomo: L'analisi ha mostrato una somiglianza significativa tra gli stereotipi degli annotatori umani e quelli degli LLM. Entrambi i gruppi associano le stesse professioni e stati civili a specifici generi, suggerendo che gli LLM riflettono accuratamente (e potenzialmente amplificano) gli stereotipi sociali condivisi.
• Robustezza alla Neutralizzazione: Esperimenti comparativi hanno dimostrato che la rimozione dei marcatori linguistici di genere riduce drasticamente il bias, confermando che i modelli si basano pesantemente su questi indicatori quando presenti, ma continuano a utilizzare gli SDoH contestuali quando i marcatori linguistici sono assenti.

4. Contributi Principali

1. Framework di Probing: Introduzione di un metodo agnostico rispetto al modello per sondare gli stereotipi di genere utilizzando dati SDoH anonimizzati da cartelle cliniche, adattabile a diverse lingue e popolazioni.
2. Analisi delle Interazioni: Prima indagine sistematica sulle interazioni tra genere e 13 altri SDoH (in particolare l'Occupazione) all'interno di contesti clinici, superando l'approccio decontestualizzato delle ricerche precedenti.
3. Validazione Umano-Macchina: Dimostrazione empirica che gli LLM e gli esseri umani condividono pattern di stereotipi simili quando valutano gli stessi dati SDoH, fornendo una linea di base per la valutazione del bias.
4. Implicazioni per la Sicurezza: Evidenziazione del rischio che gli LLM possano sovrascrivere (override) informazioni esplicite (come il genere dichiarato) basandosi su inferenze stereotipate derivate da altri dati del paziente, con potenziali conseguenze negative sulla diagnosi.

5. Significato e Conclusioni

Lo studio sottolinea che, anche se gli LLM sono probabilistici e derivano la loro conoscenza da dati sbilanciati ("ombre sulla parete della caverna"), la loro integrazione in ambito medico richiede una gestione attenta dei bias.

• Rilevanza Clinica: La capacità di un modello di "correggere" un input basato su stereotipi (es. diagnosticare problemi mestruali a un uomo) rappresenta un rischio reale per la sicurezza del paziente.
• Mitigazione: Sebbene non sia possibile eliminare completamente il bias, strategie di prompting mirate (che istruiscono esplicitamente il modello a ignorare i marcatori di genere) possono ridurre l'impatto degli stereotipi incorporati.
• Futuro: Il lavoro suggerisce che la valutazione delle prestazioni degli LLM in ambito medico deve includere necessariamente l'analisi delle interazioni tra SDoH, non solo la valutazione di singoli fattori. È necessario un compromesso pragmatico tra capacità del modello e neutralità, privilegiando modelli adattati che mostrino almeno un livello di neutralità paragonabile a quello umano.

In sintesi, il paper dimostra che l'uso di dati SDoH neutralizzati è un metodo efficace per rivelare bias nascosti negli LLM, offrendo uno strumento cruciale per garantire un'integrazione più sicura ed equa dell'IA nella sanità.