Fairness in LLM-Generated Surveys

Sintesi Tecnica: Equità nei Sondaggi Generati da LLM

Problematica
I Large Language Models (LLM) sono emersi come alternative valide ai sondaggi tradizionali per simulare schemi socio-politici ed economici, essendo capaci di generare dataset sintetici che rispecchiano le risposte umane. Tuttavia, l'applicabilità globale di questi modelli è discutibile a causa di bias inesplorati derivanti dai loro dati di addestramento, che sono prevalentemente centrati sugli Stati Uniti. Sebbene gli LLM dimostrino prestazioni elevate in contesti ben rappresentati come gli Stati Uniti, la loro capacità di modellare in modo accurato ed equo i comportamenti socio-politici in regioni sottorappresentate, come il Cile, rimane poco esplorata. Questo studio affronta la lacuna critica nella comprensione di come gli LLM operino attraverso diversi contesti socio-demografici e geografici, esaminando specificamente se questi modelli perpetuino i pregiudizi sociali esistenti o rappresentino in modo inadeguato popolazioni specifiche.

Metodologia
Lo studio impiega un framework comparativo utilizzando dati di sondaggi pubblici dal Cile (Centro de Estudios Públicos - CEP) e dagli Stati Uniti (American National Election Studies - ANES). Il design della ricerca include tre esperimenti di previsione:

1. Voto Presidenziale: Prevedere le scelte di voto nelle elezioni presidenziali statunitensi del 2020 e in quelle cilene del 2021.
2. Opinione sull'Aborto: Prevedere le posizioni individuali sull'aborto basandosi su caratteristiche socio-demografiche.
3. Referendum Costituzionale: Prevedere gli esiti del referendum costituzionale cileno del 2022.

Modelli e Prompt: Lo studio valuta molteplici modelli, tra cui GPT-3.5-turbo, GPT-4-turbo, Llama-13b e Mistral (v0.2). Viene utilizzata una configurazione di "prompt predefinito", che incorpora il ragionamento Chain-of-Thought (CoT), esempi few-shot (5 istanze casuali) e l'inglese come lingua primaria, sebbene venga testato anche lo spagnolo. Per garantire un confronto cross-country equo, viene addestrato un Random Forest in-sample per stabilire un limite superiore alla precisione della previsione, fungendo da baseline per normalizzare le prestazioni del modello rispetto alla prevedibilità intrinseca dei dati.

Metriche:

• Accuratezza (Accuracy): Misura la correttezza della previsione a livello individuale.
• Similitudine di Jensen-Shannon (JSS): Misura l'allineamento globale tra le distribuzioni di probabilità previste e quelle reali (schemi a livello di gruppo).
• Uguaglianza dell'Accuratezza Complessiva (Overall Accuracy Equality): Un criterio di equità che valuta se l'accuratezza della previsione sia uguale tra gruppi protetti e non protetti.
• Regressione Logistica: Utilizzata per analizzare come specifiche variabili socio-demografiche (genere, età, istruzione, identità politica, ecc.) e le loro intersezioni influenzino la probabilità di una previsione corretta.

Contributi Chiave

1. Framework Innovativo: Introduzione di un framework per misurare i bias socio-demografici negli LLM attraverso diversi contesti geografici.
2. Valutazione Comparativa: Un confronto diretto delle capacità predittive degli LLM utilizzando domande politiche e morali comparabili tra Cile e Stati Uniti.
3. Analisi della Mitigazione dei Bias: Un esame delle tecniche di prompting e delle strategie di fine-tuning per affrontare le disparità di prestazione.

Risultati

• Disparità Geografiche: I modelli superano costantemente i dataset statunitensi rispetto ai dataset cileni in tutte le metriche (Accuratezza e JSS). Questo divario persiste anche dopo aver normalizzato la prevedibilità dei dataset, indicando un forte bias verso i dati di addestramento centrati sugli Stati Uniti.
• Prestazioni del Modello: Llama-13b è emerso come il modello con le migliori prestazioni, superando spesso il benchmark del Random Forest in-sample nel catturare i trend della popolazione (alto JSS), sebbene abbia comunque incontrato difficoltà con l'accuratezza a livello individuale in Cile. Il fine-tuning sui dati cileni ha prodotto solo miglioramenti marginali e, in alcuni casi, ha introdotto bias distribuzionali.
• Bias Socio-Demografici:
  • Cile: Sono stati osservati bias significativi contro le donne, gli adulti anziani, gli individui con livelli di istruzione inferiori e le persone religiose. L'identità politica ha giocato un ruolo fondamentale, con le visioni centriste predette meno accuratamente rispetto alle ideologie forti di sinistra o di destra. L'analisi intersezionale ha rivelato che le donne anziane, religiose e con basso livello di istruzione hanno affrontato l'accuratezza di previsione più bassa.
  • Stati Uniti: Le prestazioni sono state più stabili rispetto a genere ed età, ma hanno mostrato disparità basate sull'identità politica (le visioni di sinistra sono state predette più accuratamente) e sul reddito (gli individui a basso reddito sono stati predetti meno accuratamente). L'analisi intersezionale ha evidenziato un bias specifico contro le donne non bianche.
• Previsione Individuale vs. di Gruppo: Sebbene gli LLM abbiano dimostrato una forte capacità di replicare le distribuzioni macro-livello (alto JSS), hanno faticato a catturare le sfumature delle identità socio-politiche individuali, risultando in una minore accuratezza individuale rispetto ai trend di gruppo.

Significatività e Rivendicazioni
Il documento afferma che, sebbene gli LLM siano strumenti potenti per simulare ampi trend socio-politici, il loro attuale dispiegamento in regioni sottorappresentate rischia di perpetuare le iniquità a causa dei bias nei dati di addestramento. Lo studio asserisce che la natura "centrata sugli Stati Uniti" dei corpora di pre-addestramento limita la generalizzabilità di questi modelli, rendendoli meno efficaci in contesti come il Cile, dove le sfumature culturali e linguistiche differiscono.

Gli autori sottolineano che garantire l'equità richiede di andare oltre il semplice dispiegamento generico dei modelli. Argomentano la necessità di strategie specifiche per il contesto, tra cui la raccolta di dati di addestramento più diversificati e rappresentativi, l'incorporazione di caratteristiche socio-demografiche durante il fine-tuning e l'applicazione di vincoli di equità. Lo studio conclude che affrontare queste disparità è essenziale per l'applicazione etica dell'IA nella ricerca delle scienze sociali, garantendo che i modelli non svantaggino sistematicamente specifici gruppi socio-demografici o falliscano nel rappresentare le popolazioni sottorappresentate.