LLM Bias Evaluation: Gender, Racial, and Age Disparities in Occupational and Crime Scenarios

Sintesi Tecnica: Valutazione dei Bias di Genere, Razza ed Età nei Large Language Models

Problematica
Nonostante i significativi progressi nei Large Language Models (LLM), l'ampia adozione in ambito enterprise è ostacolata da persistenti problemi di bias che compromettono l'usabilità, l'affidabilità e l'equità. Il bias negli LLM non è un semplice artefatto tecnico, ma una preoccupazione sociale capace di rinforzare gli stereotipi e propagare disinformazione. Sebbene i ricercatori abbiano sviluppato strategie di mitigazione — come strati di debiasing, dataset di riferimento specializzati (ad es. Winogender, Winobias) e il Reinforcement Learning con Feedback Umano (RLHF) — il bias residuo rimane. Questo documento postula che gli attuali LLM leader, nonostante l'impiego di tali tecniche di debiasing, mostrino ancora deviazioni significative dalle distribuzioni statistiche del mondo reale in scenari occupazionali e criminali. Inoltre, gli autori ipotizzano che gli sforzi di mitigazione possano involontariamente portare a un "over-indexing" (sovra-indicizzazione) su specifiche sottoclassi, potenzialmente esacerbando il bias anziché risolverlo.

Metodologia
Lo studio conduce un'analisi comparativa di quattro modelli state-of-the-art rilasciati nel 2024: Gemini 1.5 Pro, Llama 3 70B, Claude 3 Opus e GPT-4o. La ricerca si concentra su due categorie primarie di bias:

1. Bias di Genere Occupazionale: Valutazione dell'associazione di genere in 20 diverse professioni.
2. Bias Demografico in Scenari Criminali: Valutazione delle associazioni di genere, razza ed età attraverso sei tipi di crimine (rapina, frode, omicidio, abuso di droghe, guida in stato di ebbrezza, vandalismo).

Generazione e Classificazione dei Dati:
Gli autori hanno utilizzato API per generare un dataset robusto composto da 10.400 storie (8.000 occupazionali e 2.400 scenari criminali).

• Occupazionali: I prompt richiedevano storie ispiratrici di 500 parole per specifiche professioni.
• Criminali: I prompt richiedevano storie di 500 parole riguardanti individui che commettevano specifici crimini, istruendo esplicitamente i modelli a includere dettagli demografici.
• Classificazione: Gli stessi quattro LLM sono stati impiegati per classificare le storie generate. Le storie occupazionali sono state classificate per genere (binario: maschio/femmina). Le storie criminali sono state classificate per genere (maschio/femmina/non-binario), gruppi di età (<18, 19-30, 30-50, >50) e razza (Nero, Bianco, Asiatico).

Benchmarking:
Le distribuzioni generate sono state messe a confronto con dati autorevoli del mondo reale:

• Dati Occupazionali: U.S. Bureau of Labor Statistics (BLS).
• Dati Criminali: Rapporti dell'U.S. Federal Bureau of Investigation (FBI).
• Validazione: Una revisione manuale di controllo qualità (QA) umana è stata condotta per verificare i risultati della classificazione automatizzata.

Risultati Chiave
Lo studio ha quantificato il bias calcolando la deviazione standard degli output dei modelli rispetto alle statistiche del mondo reale.

• Bias di Genere Occupazionale:

  • Tutti e quattro i modelli hanno mostrato un pattern coerente: aderiscono ampiamente agli stereotipi di genere tradizionali per ruoli a predominanza femminile (es. infermiere, receptionist) e maschile (es. vigile del fuoco, operaio edile).
  • Tuttavia, si sono verificate deviazioni significative in ruoli ad alto status o tecnici. Per professioni come Ingegneri del Software, Avvocati e CEO, i modelli hanno generato frequentemente personaggi femminili a tassi significativamente più alti rispetto ai dati BLS, suggerendo un tentativo di correzione che ha portato a una sovra-compensazione.
  • La deviazione media dai dati BLS tra i modelli è stata di circa il 37%.

• Bias negli Scenari Criminali:

  • Genere: I modelli hanno mostrato comportamenti divergenti. GPT-4o ha rispecchiato da vicino le statistiche maschili dell'FBI in alcune aree, ma ha sovrarappresentato i maschi in altre. Gemini 1.5 Pro e Llama 3 70B hanno significativamente sottorappresentato i maschi negli scenari criminali (ad es. prevedendo una partecipazione femminile del 96% nei casi di guida in stato di ebbrezza, dove i dati FBI mostrano un 74% maschile). Claude 3 Opus ha presentato una distribuzione più equilibrata. La deviazione media di genere è stata del 54%.
  • Razza: La maggior parte dei modelli (Claude, GPT-4o, Llama) ha sovrarappresentato gli individui bianchi negli scenari criminali rispetto ai dati FBI, mentre ha sottorappresentato i neri. Gemini 1.5 Pro ha mostrato notevolmente una minore rappresentazione di individui bianchi. La deviazione media di razza è stata del 28%.
  • Età: Le deviazioni sono state generalmente inferiori ai bias di genere e razza (media del 17%), sebbene Llama 3 70B tendesse a sovrarappresentare la fascia d'età 31-50 e Gemini 1.5 Pro a sovrarappresentare la fascia 18-30.

• Sintesi delle Prestazioni dei Modelli (Deviazione Standard dai Dati del Mondo Reale):

  • Llama 3 70B ha mostrato la deviazione più alta nel bias di genere criminale (71,87%).
  • Gemini 1.5 Pro ha mostrato la deviazione più alta nel bias razziale criminale (45,31%).
  • Claude 3 Opus ha mostrato la deviazione più alta nel bias di età criminale (30,59%).
  • Tutti i modelli hanno mostrato livelli di deviazione simili per il bias di genere occupazionale (compresi tra il 33% e il 39%).

Significatività e Rivendicazioni
Il documento sostiene che, nonostante l'integrazione di avanzate tecniche di debiasing come RLHF e red teaming, i principali LLM continuano a esibire un bias sostanziale. Un risultato critico è che le strategie di mitigazione portano spesso all'over-indexing su specifiche sottoclassi (ad es. sovrarappresentazione di donne in professioni maschili o di individui bianchi in scenari criminali) piuttosto che al raggiungimento della parità statistica.

Gli autori sostengono che questi risultati evidenziano i limiti degli attuali approcci di mitigazione del bias. Lo studio suggerisce che l'applicazione di semplici strati di debiasing o il fine-tuning su dataset specifici sia insufficiente e possa portare a una scarsa generalizzazione o a nuove forme di bias. Il documento conclude che vi è un urgente bisogno di approcci più efficaci e sfumati per la mitigazione del bias per garantire un uso responsabile dell'IA, specialmente man mano che gli LLM vengono sempre più integrati in applicazioni enterprise, processi di assunzione e sistemi di supporto giudiziario. Il framework proposto serve come baseline per valutare i modelli futuri e altri tipi di bias (politici, socio-economici) attraverso l'ingegneria dei prompt open-ended.