Geopolitical alignment: Endorsement effects in large language models

Sintesi Tecnica: Allineamento Geopolitico ed Effetti di Endorsement nei Large Language Models

Problema
I large language models (LLM) sono sempre più impiegati come intermediari nel lavoro politico, incaricati di riassumere briefing, confrontare progetti e generare giudizi che informano le decisioni umane. Mentre la letteratura esistente ha ampiamente documentato i pregiudizi relativi all'ideologia domestica, alla rappresentanza demografica e alle preferenze di sicurezza, rimane poco chiaro se gli LLM possiedano orientamenti geopolitici impliciti che ne modellano le valutazioni del contenuto politico. Nello specifico, il documento indaga se l'identità di un sostenitore estero (ad esempio, gli Stati Uniti, l'Unione Europea, la Cina o la Russia) alteri la valutazione di una politica da parte di un LLM anche quando il contenuto sostanziale della politica rimane costante. Questa questione è critica poiché i governi inquadrano sempre più la governance dell'IA in termini di sovranità e competizione strategica.

Metodologia
Lo studio impiega un esperimento di endorsement, un design adattato dalla psicologia politica e dalla ricerca sull'opinione pubblica, per inferire la valenza percepita di specifici attori.

• Design Sperimentale: L'esperimento mantiene fisso il contenuto della politica mentre randomizza l'attore estero descritto come sostenitore. Sono stati utilizzati due vignette politiche: una economica (una piattaforma doganale digitale condivisa) e una di sicurezza (una piattaforma di segnalazione di incidenti cyber condivisa). Entrambe sono descritte come moderate e tecnocratiche.
• Sostenitori (Endorsers): I sostenitori randomizzati sono gli Stati Uniti, l'Unione Europea, la Cina e la Russia.
• Modelli Testati: Sono stati valutati quattro LLM: OpenAI GPT-5, Anthropic Claude Sonnet, Google Gemini 2.5 Flash e DeepSeek Chat.
• Condizioni:
  1. Solo numerica: I modelli forniscono un singolo punteggio intero (0–100) senza spiegazione.
  2. Giustificazione: I modelli forniscono un punteggio e una breve giustificazione (massimo 100 parole) in formato JSON.
• Raccolta Dati: Sono state raccolte dieci risposte per ogni cella politica-dominio-sostenitore per modello, con un totale di 80 osservazioni per modello per condizione (320 totali per modello attraverso entrambe le condizioni).
• Analisi: Lo studio utilizza la regressione Ordinary Least Squares (OLS) per stimare gli scostamenti specifici per paese nei punteggi di approvazione, isolando gli effetti del dominio della sicurezza e del prompt di giustificazione dalle differenze di base tra i paesi.

Risultati Chiave
I risultati dimostrano chiari effetti di endorsement geopolitico, sebbene l'entità e la natura di questi effetti varino significativamente per modello e condizione.

1. Condizione di Base Solo Numerica:

   • Modelli Occidentali (GPT-5, Claude Sonnet, Gemini): Questi modelli assegnano punteggi di approvazione sostanzialmente più bassi a politiche sostenute da Cina e Russia rispetto a politiche identiche sostenute da USA o UE.
     • GPT-5: Mostra una penalizzazione costante per la Cina (14 punti inferiore) e la Russia (17 punti inferiore) rispetto agli USA.
     • Claude Sonnet: Mostra una penalizzazione moderata nella vignetta economica ma una penalizzazione severa nella vignetta di sicurezza per Cina e Russia (circa 19 e 28 punti inferiori, rispettivamente).
     • Gemini: Esibisce le penalizzazioni descrittive più grandi, in particolare contro la Russia (circa 47 punti inferiore rispetto agli USA) e la Cina (circa 35 punti inferiore), anche nel dominio economico.
   • DeepSeek: Essendo l'unico modello non occidentale nel campione, DeepSeek non mostra una differenziazione sistematica statisticamente significativa tra i sostenitori nella condizione solo numerica, agendo come un'eccezione di base.

2. Effetti della Condizione di Giustificazione:

   • GPT-5: La richiesta di giustificazione aumenta moderatamente i punteggi per tutti i sostenitori ma mantiene il divario Occidente/non-Occidente.
   • Claude Sonnet: Il pattern generale rimane intatto; il prompt ha poco effetto sui punteggi USA/UE ma abbassa leggermente quelli della Russia.
   • Gemini: La richiesta di giustificazione attenua le penalizzazioni, aumentando i punteggi per Cina e Russia di circa 16–19 punti, sebbene rimangano inferiori rispetto agli endorsement occidentali.
   • DeepSeek: Il prompt di giustificazione attiva drasticamente il ragionamento geopolitico. Mentre la condizione solo numerica non mostrava bias, la condizione di giustificazione innesca grandi scostamenti negativi per la Cina (-23,3 punti) e la Russia (-33,3 punti), allineando il comportamento di DeepSeek più strettamente ai modelli occidentali.

3. Analisi Qualitativa delle Giustificazioni:

   • Endorsement Occidentali: Le giustificazioni per il supporto di USA/UE tipicamente inquadrano l'endorsement come un "segnale di credibilità", segnalando fattibilità, capacità istituzionale e coordinamento multilaterale. Le preoccupazioni sono inquadrate come rischi standard di implementazione.
   • Endorsement Non Occidentali: Le giustificazioni per il supporto di Cina/Russia spesso riformulano la stessa politica attraverso le lenti della sicurezza dei dati, della sorveglianza, della dipendenza strategica e del rischio geopolitico. L'identità del sostenitore agisce come un "segnale di avvertimento", introducendo rischi politici latenti che non sono presenti nel testo della politica stessa.

Contributi Principali

• Sostantivi: Il documento estende la letteratura sul pregiudizio politico negli LLM dall'ideologia domestica alla legittimità internazionale. Fornisce prove che le valutazioni dei modelli possono dipendere dall'identità di un sostenitore estero anche quando il contenuto della politica è fisso, suggerendo che i modelli codifichino teorie implicite di fiducia e minaccia.
• Metodologici: Applica un design standard di esperimento di endorsement delle scienze sociali al comportamento dei modelli, trattando gli LLM come oggetti di misurazione sperimentale piuttosto che solo come strumenti di predizione. Dimostra inoltre che le richieste di spiegazione non sono meramente diagnostiche; possono alterare la valutazione stessa, rivelando schemi di ragionamento (o bias) che rimangono muti nelle uscite puramente numeriche.

Significato e Rivendicazioni
Il documento sostiene che gli effetti di endorsement geopolitico siano un potenziale fattore di confondimento nell'analisi politica assistita dai modelli. Un modello può apparire come se stesse valutando la fattibilità o il rischio mentre contemporaneamente reagisce allo sponsor della proposta. Gli autori sostengono che ciò non implichi necessariamente che i modelli siano "normativamente errati" riguardo alla fiducia geopolitica, che può essere rilevante per l'implementazione nel mondo reale. Tuttavia, il problema risiede nel fatto che i modelli importano questi giudizi silenziosamente, senza dichiararne il peso o distinguere la sostanza della politica dalla legittimità dello sponsor.

Lo studio conclude che, per usi ad alto rischio, sia le modalità solo numeriche che quelle basate sulla giustificazione dovrebbero essere testate, poiché gli audit basati esclusivamente su una modalità potrebbero mancare o travisare i bias sottostanti. Gli autori chiedono ricerche future per identificare dove questi effetti entrino nella pipeline del modello (pre-training, tuning, system prompt) e per rendere misurabile e contestabile il ruolo del contesto politico nel giudizio del modello.