A Systematic Analysis of Biases in Large Language Models

Questo studio analizza sistematicamente i pregiudizi politici, ideologici, geopolitici, linguistici e di genere presenti in quattro ampiamente utilizzati modelli linguistici su larga scala, rivelando che, nonostante i tentativi di allineamento alla neutralità, questi modelli mantengono diverse forme di inclinazione e bias.

L'essenziale

Immagina che i grandi modelli linguistici (come quelli che usi per scrivere email, fare ricerche o chattare) siano come cuochi stellati molto famosi. Questi cuochi hanno cucinato milioni di piatti (dati) imparando da ricette scritte da persone reali. Il problema è che le persone non sono perfette: a volte hanno pregiudizi, opinioni politiche diverse o stereotipi. Di conseguenza, anche questi "cuochi digitali" potrebbero aver assorbito involontariamente i gusti, i pregiudizi e le preferenze dei loro "insegnanti" umani.

Questo studio, condotto da ricercatori di Singapore, ha deciso di mettere alla prova quattro di questi "cuochi" digitali famosi (chiamati Qwen, DeepSeek, Gemini e GPT) per vedere se sono davvero neutri o se, in realtà, hanno i loro "gusti personali" nascosti.

Ecco cosa hanno scoperto, spiegato con parole semplici e qualche metafora:

1. La Bilancia Politica: Chi pende da che parte?

Immagina di chiedere a questi cuochi di riassumere una notizia politica in modo neutro, come se dovessero scrivere un articolo per un giornale che non prende mai posizione.

• Cosa hanno fatto: Hanno confrontato i loro riassunti con articoli scritti da giornali di sinistra e di destra.
• Il risultato: In generale, sono bravi a stare in equilibrio. Tuttavia, quando scrivono riassunti di alta qualità (molto ben fatti), tendono a sembrare leggermente più vicini alla sinistra.
• Le eccezioni:
  • Gemini sembra avere un leggero gusto per la destra.
  • GPT è leggermente più vicino alla sinistra.
  • DeepSeek è stato il più equilibrato, come un arbitro che non sbaglia mai un fischio.

2. L'Ideologia: Chi capisce meglio le sfumature?

Qui i ricercatori hanno chiesto ai modelli di dire se una notizia fosse di sinistra, destra o centro, specialmente su temi caldi come l'immigrazione, i diritti LGBT o l'aborto.

• Il risultato: Non sono tutti uguali nel capire le sfumature.
  • Gemini è un po' "sordo" alle differenze ideologiche: tende a dire che tutto è "centro", ma se sbaglia, sbaglia più spesso a favore della destra.
  • GPT è molto sensibile e tende a capire meglio le sfumature della sinistra.
  • Qwen e DeepSeek a volte confondono le idee: quando sbagliano, tendono a scambiare le posizioni opposte (es. dire che una notizia di destra è di sinistra), come se non avessero afferrato bene il "linguaggio" di chi la pensa diversamente.

3. L'Alleanza Globale: Chi voterebbe come chi?

Immagina di chiedere a questi modelli di fare finta di essere i delegati dell'ONU e votare su risoluzioni internazionali.

• Il risultato: Ogni modello ha un "amico" geopolitico diverso.
  • Tutti tendono ad essere d'accordo con i paesi dell'America Latina e dell'Africa (forse perché nei loro dati di addestramento queste voci sono presenti).
  • Gemini è il più simile alla realtà: vota in modo molto simile ai delegati umani reali. Curiosamente, è l'unico che non è d'accordo con gli USA e invece concorda con paesi come Cina e Corea del Nord.
  • GPT e Qwen invece tendono a non essere d'accordo con l'Europa dell'Est e mostrano forti disaccordi con la Cina e la Corea del Nord.

4. La Lingua: Pensano diversamente in lingue diverse?

I ricercatori hanno chiesto ai modelli di scrivere storie su culture immaginarie, ma in 92 lingue diverse. L'idea era: "Se parli in una lingua diversa, pensi in modo diverso?"

• Il risultato: Sorprendentemente, no. Non pensano che il mondo sia "inglese" solo perché i loro dati sono pieni di inglese.
• L'eccezione: Quando parlano lingue dell'Africa meridionale (che hanno meno dati disponibili), i modelli tendono a "pensare" in modo molto simile a come pensano in inglese. È come se, quando parlano una lingua rara, usassero un "traduttore mentale" che li riporta al loro modo di pensare originale.

5. Il Genere: Chi rappresentano di più?

Hanno fatto rispondere ai modelli a un sondaggio globale sui valori (World Values Survey) senza dire loro se erano uomini o donne.

• Il risultato: Tutti e quattro i modelli hanno risposto in modo molto più simile alle donne che agli uomini.
• Il campione: GPT è quello che si allinea di più con i valori femminili e si distacca di più da quelli maschili.
• Il messaggio: I modelli sembrano avere una "predisposizione" verso valori più progressisti, che spesso coincidono con le tendenze globali femminili.

La Conclusione: Perché succede?

I ricercatori spiegano che questi modelli sono come spugne: assorbono tutto ciò che leggono. Se le persone che hanno scritto i dati di addestramento avevano pregiudizi, i modelli li avranno ereditati. Anche quando proviamo a "insegnar loro" ad essere buoni e neutri (un processo chiamato allineamento), a volte finiamo per insegnar loro i nostri stessi pregiudizi umani, che non sono perfetti.

In sintesi: Questi modelli sono strumenti incredibili, ma non sono "oracoli" neutri. Hanno i loro gusti, le loro preferenze politiche e le loro visioni del mondo. Come utenti, dobbiamo essere consapevoli che quando chiediamo loro un parere, stiamo ascoltando una versione "distillata" delle opinioni umane, con tutte le sue imperfezioni. Non sono macchine perfette, ma specchi un po' distorti della nostra società.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "A Systematic Analysis of Biases in Large Language Models" in lingua italiana.

Titolo: Un'Analisi Sistematica dei Bias nei Modelli Linguistici di Grande Dimensione (LLM)

Autori: Xulang Zhang, Rui Mao, Erik Cambria (Nanyang Technological University, Singapore).

---

1. Il Problema

I Modelli Linguistici di Grande Dimensione (LLM) sono diventati strumenti indispensabili per l'acquisizione di informazioni e il supporto alle decisioni umane. Tuttavia, la loro integrazione nella vita quotidiana solleva preoccupazioni critiche riguardo alla loro capacità di fornire risposte eque e imparziali. Nonostante gli sforzi di allineamento (alignment), esiste il rischio che i modelli perpetuino pregiudizi, stereotipi e messaggi dannosi ereditati dai dati di addestramento o introdotti durante le fasi di ottimizzazione (come il Reinforcement Learning from Human Feedback - RLHF).

La letteratura esistente ha esplorato singoli aspetti del bias (genere, razza, cultura, politica), ma manca spesso di un'analisi olistica e sistematica che esamini simultaneamente diverse dimensioni (politica, ideologia, alleanze geopolitiche, linguaggio e genere) su modelli LLM ampiamente utilizzati, specialmente considerando che molti di questi sono ora closed-source o difficili da adattare localmente.

2. Metodologia

Gli autori hanno condotto un'analisi comparativa su quattro modelli LLM ampiamente adottati: Qwen (v2.5-7B-Instruct), DeepSeek (V3-0324), Gemini (2.5-flash) e GPT (4o-mini).

Lo studio si basa su cinque esperimenti progettati rigorosamente per sondare diverse dimensioni del bias:

1. Bias Politico (Neutralità):

   • Task: Riassunto neutrale di notizie politiche (n=1.018 eventi) provenienti da fonti di centro.
   • Analisi: Confronto tra i riassunti generati e le notizie originali di fonti di sinistra e destra utilizzando la cosine similarity tra gli embedding contestuali (generati dal modello Qwen Embedding).
   • Obiettivo: Determinare se la "neutralità" percepita dal modello si allinea effettivamente a una delle due fazioni politiche.

2. Bias Ideologico:

   • Task: Classificazione dello stance ideologico (sinistra, centro, destra) di articoli su cinque temi carichi ideologicamente: elezioni, razza, immigrazione, LGBT e aborto.
   • Analisi: Valutazione della capacità del modello di distinguere le sfumature retoriche e identificare eventuali allineamenti intrinseci.

3. Bias di Alleanza Geopolitica:

   • Task: Simulazione di delegati dell'Assemblea Generale delle Nazioni Unite (UNGA) per votare su 5.602 risoluzioni (1946-2012).
   • Analisi: Calcolo dell'accordo di voto tra i LLM e 200 delegati reali utilizzando il Coefficiente Kappa di Cohen.
   • Obiettivo: Mappare le affinità geopolitiche e le tendenze di alleanza dei modelli.

4. Bias Linguistico:

   • Task: Completamento di cinque storie open-ended su culture fittizie, tradotte in 92 lingue target.
   • Analisi: Le storie generate sono state re-tradotte in inglese e analizzate tramite PCA (Analisi delle Componenti Principali) sugli embedding per visualizzare la distribuzione semantica e le "modalità di pensiero" in diverse lingue.

5. Bias di Genere:

   • Task: Risposta a domande dell'World Values Survey (WVS) (sezioni su Valori Sociali ed Etici) senza assegnare un genere al modello.
   • Analisi: Confronto delle risposte dei LLM con le medie delle risposte di uomini e donne reali (dati WVS Wave 7). Misurata la distanza assoluta per determinare l'affinità verso un genere specifico.

3. Risultati Chiave

• Politica: Sebbene i modelli siano generalmente neutrali, mostrano lievi inclinazioni.

  • Gemini: Mostra una tendenza verso la destra.
  • GPT: Mostra una leggera inclinazione verso la sinistra.
  • DeepSeek: Si dimostra il più politicamente neutro con una buona qualità di generazione.
  • Osservazione: I riassunti di alta qualità tendono ad allinearsi più con la narrazione di sinistra, mentre quelli di qualità inferiore con quella di destra.

• Ideologia:

  • Gemini: È il meno sensibile alle sfumature ideologiche, tende a classificare erroneamente le notizie come "centro" e si allinea meglio con la retorica di destra (specialmente su razza e LGBT).
  • GPT: È il più sensibile alle distinzioni ideologiche e si allinea più strettamente con la sinistra.
  • Qwen e DeepSeek: Mostrano prestazioni simili, ma tendono a classificare erroneamente le notizie come l'opposto della fazione reale piuttosto che come centro, suggerendo una difficoltà nel cogliere i pattern retorici fondamentali.

• Alleanze Geopolitiche:

  • Tutti i modelli mostrano un accordo maggiore con i delegati dell'America Latina e dell'Africa (Ovest e Centro), sebbene l'accordo non sia forte.
  • Gemini: È l'unico modello che mostra un disallineamento significativo con gli USA (classificato al 181° su 200 delegati) e un accordo con regimi comunisti come Cina, Corea del Nord e Vietnam.
  • GPT: Mostra forte disaccordo con i delegati di basso rango e con la Cina/USA.
  • Qwen: Mostra disaccordo con l'Europa Occidentale e l'Est Europa.

• Linguaggio:

  • Non c'è un'inclinazione generale verso le lingue ad alta risorsa (inglese, cinese, spagnolo) nel pensiero astratto.
  • Tuttavia, per Qwen, DeepSeek e Gemini, le storie generate in lingue dell'Africa meridionale formano un cluster semantico vicino all'inglese, suggerendo un effetto di transfer learning che omogeneizza il pensiero in lingue a bassa risorsa.
  • GPT mostra la distribuzione più diversificata, indicando un pre-addestramento multilingue più equilibrato.

• Genere:

  • Tutti e quattro i modelli si allineano significativamente di più ai valori femminili rispetto a quelli maschili.
  • GPT mostra la maggiore affinità con le donne (differenza del 36,77% nell'accordo tra risposte femminili e maschili).
  • I modelli tendono ad adottare posizioni più progressiste (es. aborto, eutanasia, ruoli di genere), riflettendo le tendenze globali femminili.
  • Qwen e DeepSeek mostrano risposte con valori contraddittori, indicando una mancanza di una posizione di valore unificata e determinata.

4. Contributi Chiave

1. Analisi Olistica: Fornisce una delle prime valutazioni sistematiche che copre simultaneamente politica, ideologia, alleanze, linguaggio e genere su modelli LLM moderni.
2. Metodologia Innovativa: Introduce l'uso di dati reali (voti UNGA, World Values Survey) e tecniche di embedding per quantificare bias sottili e affinità geopolitiche/culturali.
3. Scoperte Contraddittorie: Dimostra che l'allineamento umano non elimina i bias, ma può talvolta amplificarli o spostarli (es. l'allineamento verso valori progressisti femminili).
4. Implicazioni per l'AI Safety: Evidenzia che i modelli non sono agenti di neutralità assoluta e che le loro "opinioni" sono ereditate dai dati di addestramento e dalle tecniche di allineamento.

5. Significato e Conclusioni

Lo studio conclude che, nonostante gli sforzi di allineamento, gli LLM perpetuano i bias e le affinità dei loro corpus di addestramento e delle tecniche di feedback umano. Poiché gli esseri umani sono intrinsecamente biasati, l'idea di addestrare l'AI a "pensare come noi" potrebbe non essere l'obiettivo ideale.

Gli autori suggeriscono un cambio di paradigma: invece di cercare di modellare l'intelligenza artificiale sull'immagine della cognizione umana (che è imperfetta e parziale), si dovrebbe puntare a sviluppare una teoria dell'intelligenza per gli LLM che garantisca neutralità, robustezza e incertezza calibrata fin dalla progettazione, pur mantenendo la capacità di interfacciarsi con la diversità dei valori umani. Questo è cruciale per evitare che gli utenti globali siano fuorviati dalle inclinazioni specifiche di ciascun modello quando vengono utilizzati per compiti critici.