Estimating the Geopolitical Preferences of Large Language Models from United Nations Voting Data

Sintesi Tecnica: Stima delle Preferenze Geopolitiche dei Large Language Models dai Dati di Votazione delle Nazioni Unite

Definizione del Problema
Il documento affronta la sfida di misurare le preferenze geopolitiche espresse dai Large Language Models (LLM). Mentre gli audit esistenti si affidano spesso a sondaggi o test semplici, gli autori sostengono che tali metodi siano insufficienti per catturare un allineamento geopolitico complesso. La ricerca sulle relazioni internazionali (RI) ha stabilito da tempo che misurare le preferenze geopolitiche è difficile, richiedendo metodi che recuperino le posizioni latenti dalle scelte osservate piuttosto che affidarsi all'origine dello sviluppatore o alle risposte a un piccolo set di questioni contese. Il problema centrale è determinare se l'orientamento geopolitico di un LLM possa essere inferito dal paese di origine del suo sviluppatore o se le sue preferenze espresse divergano significativamente dagli attori statali, in particolare nel contesto della politica internazionale dove le azioni degli stati possono contraddire i principi prevalenti nei testi di addestramento.

Metodologia
Lo studio adatta l'approccio dinamico dell'ideale-punto ordinale dalle relazioni internazionali, specificamente la metodologia sviluppata da Bailey et al. (2017) (BSV), al problema dell'allineamento.

• Universo dei Dati: L'analisi utilizza l'archivio congelato della UN Digital Library (versione 5, febbraio 2026), che copre le sessioni regolari dell'UNGA 1–80 (1946–2025). Il dataset include 5.555 risoluzioni divisive, registrate e adottate, comprendenti 841.403 scelte di paesi osservate e 22.220 scelte di modelli.
• Disegno Sperimentale: Quattro LLM contemporanei—GPT-5 (OpenAI), Claude Sonnet (Anthropic), Gemini (Google) e DeepSeek (DeepSeek)—sono stati inseriti come rispondenti aggiuntivi nella matrice di voto dell'UNGA.
  • Prompting: Ogni modello ha ricevuto il testo sostanziale completo di ogni risoluzione, insieme ai metadati (simbolo, titolo, data, agenda).
  • Vincoli: I modelli sono stati istruiti a valutare la proposta "basandosi solo sul suo contenuto sostanziale", con il divieto esplicito di assumere un ruolo nazionale, e sono stati tenuti a produrre esattamente una parola: "SUPPORT" (SUPPORTO), "ABSTAIN" (ASTIENSI) o "OPPOSE" (OPPOSIZIONE).
• Strategia di Stima:
  1. Similitudine Diretta (S-score): Una statistica di accordo ternario (Signorino e Ritter, 1999) che mappa opposizione, astensione e supporto rispettivamente a -1, 0 e 1. Questo misura l'accordo categorico osservato ma è fortemente influenzato dalle frequenze marginali di risposta.
  2. Stima dell'Ideale-Punto Dinamico: Un modello spaziale latente in cui un'utilità latente $Z_{itv} = \beta_v \theta_{it} + \epsilon_{itv}$ determina il voto.
     • $\theta_{it}$ rappresenta l'ideale-punto dell'attore-sessione.
     • $\beta_v$ è il parametro di discriminazione della risoluzione.
     • Il modello utilizza un prior dinamico per collegare l'attore-sessione adiacente e le risoluzioni ricorrenti per colmare il tempo, smussando le traiettorie.
     • La scala è orientata in modo che la posizione media degli Stati Uniti superi la posizione media della Russia.
  • Robustezza: Una replica è stata condotta utilizzando l'originale universo di paesi BSV e il campionatore (sessioni 1–67) per verificare che i risultati non fossero guidati da archivi aggiornati o tecniche di campionamento moderne.

Risultati Chiave
L'analisi produce quattro fatti empirici primari riguardanti il comportamento e l'allineamento dei modelli:

1. Soglie di Risposta Divergenti: I modelli utilizzano le categorie di risposta in modo differente.

   • GPT-5: 97,3% Supporto, 1,5% Astensione, 1,2% Opposizione.
   • Gemini: 88,5% Supporto.
   • Claude Sonnet: 77,8% Supporto, 18,7% Astensione.
   • DeepSeek: 37,8% Supporto, 17,4% Astensione, 44,8% Opposizione (l'unico modello in cui l'opposizione è la categoria modale).
   • Nota: Gli alti tassi di supporto non sono unici per i modelli; paesi come il Messico (92,6%) e l'Indonesia (91,4%) mostrano schemi simili su questo ordine del giorno.

2. Posizioni Spaziali Latenti (2001–2025):

   • GPT-5, Claude Sonnet e Gemini: I loro punti ideali sono concentrati vicino al centro dell'intervallo P5 ma sono più vicini alla Russia tra i cinque membri permanenti. Per GPT-5, la distanza media dalla Russia/URSS è 0,248, rispetto a 2,411 dagli Stati Uniti.
   • DeepSeek: Occupa una posizione distinta, più pro-americana, essendo più vicino alla Francia (0,408) piuttosto che alla Cina, nonostante sia stato sviluppato da un'azienda cinese.
   • Stati Uniti: Tutti i quattro modelli sono più lontani dagli Stati Uniti nel periodo moderno.

3. Divergenza Politica Specifica:

   • In un sottoinsieme di 2.104 risoluzioni in cui gli Stati Uniti hanno votato "No" mentre Cina e Russia/URSS hanno votato "Sì", i modelli hanno mostrato una significativa divergenza dagli Stati Uniti:
     • GPT-5 ha supportato il 96,1% di queste.
     • Gemini ha supportato l'83,4%.
     • Claude Sonnet ha supportato il 65,2%.
     • DeepSeek ha supportato il 36,1% (opponendosi al 47,4%).
   • Questo divario è guidato da risoluzioni riguardanti i diritti economici/sociali, l'autodeterminazione della Palestina, la decolonizzazione e il controllo multilaterale delle armi.

4. Discrepanza di Misurazione:

   • L'accordo grezzo (S-score) e la prossimità dell'ideale-punto latente classificano i modelli in modo differente. Mentre gli S-score classificano la Cina come il membro P5 più vicino per GPT-5, Claude e Gemini (a causa degli alti tassi di supporto complessivo), l'estimatore dell'ideale-punto classifica la Russia come la più vicina. Ciò accade perché il modello dell'ideale-punto conferisce leva alle risoluzioni che discriminano tra posizioni geopolitiche, mentre l'accordo grezzo è meccanicamente gonfiato dagli alti tati di supporto comuni sia ai modelli che alla Cina.

Significatività e Rivendicazioni
Il documento apporta contributi sia metodologici che sostanziali:

• Metodologici: Dimostra che i metodi sviluppati nelle RI e nelle scienze sociali per stimare le preferenze geopolitiche (specificamente i modelli dinamici di ideale-punto) possono illuminare l'allineamento degli LLM. Sostiene che i punteggi di allineamento richiedono una teoria della misurazione; riportare solo i tassi di supporto o l'accordo grezzo può portare a conclusioni fuorvianti sulla posizione geopolitica latente.
• Sostanziali: Lo studio documenta un divario robusto tra le scelte dei modelli contemporanei e il comportamento di voto degli Stati Uniti sull'agenda adottata e divisiva dell'UNGA.
  • Origine dello Sviluppatore vs Allineamento: I risultati mettono in guardia contro l'inferenza dell'allineamento internazionale di un modello dall'origine del suo sviluppatore. I modelli americani (GPT-5, Claude) sono i più lontani dagli Stati Uniti nello spazio latente, mentre il modello cinese (DeepSeek) è il più vicino alla Francia.
  • Natura dell'Allineamento: Gli autori suggeriscono che i modelli possano aggregare il linguaggio normativo (umanitario, di sviluppo, principi multilaterali) prevalente nei testi di addestramento piuttosto che la strategia statale. Quando vengono interrogati senza un ruolo nazionale, i modelli tendono ad approvare principi ampiamente formulati (es. diritto al cibo, autodeterminazione) che gli Stati Uniti spesso rifiutano come parte di pacchetti diplomatici più ampi.
• Implicazioni per la Governance e la Ricerca:
  • Ricerca: I ricercatori che utilizzano gli LLM come codificatori o rispondenti simulati devono sottoporre a audit gli atteggiamenti specifici del modello, poiché sostituire un modello con un altro può spostare il supporto di quasi 60 punti percentuali e alterare quale membro P5 appare più vicino.
  • Politica: Le strategie di "IA Sovrana" non possono presumere che un modello ospitato domesticamente rifletta la posizione internazionale rivelata dallo stato. I governi che integrano i modelli in flussi di lavoro sensibili necessitano di valutazioni specifiche per il compito rispetto ad effettivi corpora politici, non solo di test di sicurezza generici.

Il documento conclude che l'allineamento geopolitico è una proprietà empirica del modello, del prompt, del corpus, del periodo e della strategia di misurazione, e che applicare le tecniche di misurazione delle RI agli LLM rende il problema dell'allineamento più difficile ma più preciso.