Estimating the Geopolitical Preferences of Large Language Models from United Nations Voting Data

Technische Samenvatting: Het schatten van geopolitieke voorkeuren van Large Language Models op basis van VN-stemgegevens

Probleemstelling
Het artikel behandelt de uitdaging van het meten van de geopolitieke voorkeuren die door Large Language Models (LLM's) worden geuit. Terwijl bestaande audits vaak vertrouwen op enquêtes of eenvoudige tests, betogen de auteurs dat deze methoden onvoldoende zijn om complexe geopolitieke afstemming (alignment) te vangen. Onderzoek naar internationale betrekkingen (IR) heeft lang vastgesteld dat het meten van geopolitieke voorkeuren moeilijk is en methoden vereist die latente posities herstellen uit geobserveerde keuzes, in plaats van te vertrouwen op de herkomst van de ontwikkelaar of reacties op een kleine set omstreden vragen. Het centrale probleem is de vraag of de geopolitieke oriëntatie van een LLM kan worden afgeleid van het thuisland van de ontwikkelaar, of dat de geuite voorkeuren significant afwijken van die van statelijke actoren, met name in de context van internationale politiek waar staatsacties kunnen contrasteren met de principes die prevalent zijn in trainings-teksten.

Methodologie
De studie past de dynamische ordinale ideaal-punt benadering aan uit de internationale betrekkingen, specifiek de methodologie ontwikkeld door Bailey et al. (2017) (BSV), toe op het alignment-probleem.

• Data Universum: De analyse maakt gebruik van het bevroren archief van de Digitale Bibliotheek van de Verenigde Naties (versie 5, februari 2026), dat de reguliere UNGA-sessies 1–80 (1946–2025) beslaat. De dataset bevat 5.555 controversiële, geregistreerde, aangenomen resoluties, bestaande uit 841.403 geobserveerde landkeuzes en 22.220 modelkeuzes.
• Experimenteel Ontwerp: Vier hedendaagse LLM's—GPT-5 (OpenAI), Claude Sonnet (Anthropic), Gemini (Google) en DeepSeek (DeepSeek)—werden als aanvullende respondenten in de UNGA-stemmatrix geplaatst.
  • Prompting: Elk model ontving de volledige inhoudelijke tekst van elke resolutie, samen met metadata (symbool, titel, datum, agenda).
  • Restricties: Modellen kregen de instructie om de voorstellen te evalueren "gebaseerd uitsluitend op de inhoudelijke tekst", werd expliciet een nationale rol ontzegd, en werd verplicht om exact één woord te produceren: "SUPPORT" (STEUN), "ABSTAIN" (ONTHOUDING) of "OPPOSE" (TEGEN).
  • Estimatiestrategie:
    1. Directe Gelijkenis (S-score): Een ternaire overeenstemmingsstatistiek (Signorino en Ritter, 1999) die oppositie, onthouding en steun mapt naar -1, 0 en 1. Dit meet geobserveerde categorische overeenstemming, maar wordt sterk beïnvloed door marginale responsfrequenties.
    2. Dynamische Ideaal-Punt Schatting: Een latent ruimtelijk model waarbij een latente nutswaarde $Z_{itv} = \beta_v \theta_{it} + \epsilon_{itv}$ de stem bepaalt.
       • $\theta_{it}$ vertegenwoordigt het ideaalpunt van de actor-sessie.
       • $\beta_v$ is de discriminatieparameter van de resolutie.
       • Het model gebruikt een dynamische prior om aangrenzende actor-sessies en terugkerende resoluties te koppelen om tijd te overbruggen en trajecten te verzachten (smoothing).
       • De schaal is georiënteerd zodanig dat de gemiddelde positie van de VS groter is dan de gemiddelde positie van Rusland.
    3. Robuustheid: Een replicatie werd uitgevoerd met de oorspronkelijke BSV-landen-universe en sampler (sessies 1–67) om te verifiëren dat de bevindingen niet werden gedreven door geüpdatete archieven of moderne samplingtechnieken.

Belangrijkste Resultaten
De analyse levert vier primaire empirische feiten op met betrekking tot modelgedrag en alignment:

1. Divergerende Respons-drempels: Modellen gebruiken respons-categorieën verschillend.

   • GPT-5: 97,3% Support, 1,5% Abstain, 1,2% Oppose.
   • Gemini: 88,5% Support.
   • Claude Sonnet: 77,8% Support, 18,7% Abstain.
   • DeepSeek: 37,8% Support, 17,4% Abstain, 44,8% Oppose (het enige model waarbij oppositie de modale categorie is).
   • Noot: Hoge steunpercentages zijn niet uniek voor modellen; landen als Mexico (92,6%) en Indonesië (91,4%) vertonen vergelijkbare patronen op deze agenda.

2. Latente Ruimtelijke Posities (2001–2025):

   • GPT-5, Claude Sonnet en Gemini: Hun ideaalpunten zijn geconcentreerd nabij het midden van de P5-range, maar zijn het dichtst bij Rusland onder de permanente vijf. Voor GPT-5 is de gemiddelde afstand tot Rusland/USSR 0,248, vergeleken met 2,411 van de Verenigde Staten.
   • DeepSeek: Bezet een duidelijke, meer pro-Amerikaanse locatie, zijnde het dichtst bij Frankrijk (0,408) in plaats van China, ondanks het feit dat het is ontwikkeld door een Chinees bedrijf.
   • Verenigde Staten: Alle vier de modellen zijn in de moderne periode het verst verwijderd van de Verenigde Staten.

3. Specifieke Beleidsdivergentie:

   • In een subset van 2.104 resoluties waarbij de VS "Nee" stemde terwijl China en Rusland/USSR "Ja" stemden, vertoonden de modellen een significante divergentie van de VS:
     • GPT-5 steunde 96,1% van deze gevallen.
     • Gemini steunde 83,4%.
     • Claude Sonnet steunde 65,2%.
     • DeepSeek steunde 36,1% (tegen 47,4%).
   • Deze kloof wordt gedreven door resoluties betreffende economische/sociale rechten, Palestijnse zelfbeschikking, dekolonisatie en multilaterale wapenbeheersing.

4. Meetverschil:

   • Ruwe overeenstemming (S-score) en latente ideaal-punt nabijheid rangschikken modellen verschillend. Terwijl S-scores China als het dichtstbijzijnde P5-lid rangschikken voor GPT-5, Claude en Gemini (vanwege hoge algemene steunpercentages), rangschikt de ideaal-punt estimator Rusland als het dichtstbijzijnde. Dit komt doordat het ideaal-punt model meer gewicht geeft aan resoluties die differentiëren tussen geopolitieke posities, terwijl de ruwe overeenstemming mechanisch wordt opgeblazen door de hoge steunpercentages die zowel bij de modellen als bij China gebruikelijk zijn.

Betekenis en Claims
Het artikel levert zowel methodologische als inhoudelijke bijdragen:

• Methodologisch: Het demonstreert dat methoden ontwikkeld voor de sociale wetenschappen en IR voor het schatten van geopolitieke voorkeuren (specifiek dynamische ideaal-punt modellen) de alignment van LLM's kunnen verhelderen. Het stelt dat alignment-scores een meettheorie vereisen; het rapporteren van enkel steunpercentages of ruwe overeenstemming kan leiden tot misleidende conclusies over de latente geopolitieke positionering.
• Inhoudelijk: De studie documenteert een robuuste kloof tussen de keuzes van hedendaagse modellen en het stemgedrag van de VS op de aangenomen, controversiële UNGA-agenda.
  • Ontwikkelaarsherkomst versus Alignment: De resultaten waarschuwen tegen het afleiden van de internationale alignment van een model op basis van het thuisland van de ontwikkelaar. Amerikaanse modellen (GPT-5, Claude) zijn het verst verwijderd van de VS in de latente ruimte, terwijl het Chinese model (DeepSeek) het dichtst bij Frankrijk ligt.
    • Aard van Alignment: De auteurs suggereren dat modellen normatieve taal (humanitaire, ontwikkelings-, en multilaterale principes) aggregeren die prevalent is in de trainingsdata, in plaats van staatsstrategie. Wanneer geprompt zonder een nationale rol, hebben modellen de neiging om breed geformuleerde principes te steunen (bijv. recht op voedsel, zelfbeschikking) die de VS vaak verwerpt als onderdeel van grotere diplomatieke pakketten.
• Implicaties voor Governance en Onderzoek:
  • Onderzoek: Onderzoekers die LLM's gebruiken als coders of gesimuleerde respondenten, moeten model-specifieke attitudes auditeren, aangezien het vervangen van één model door een ander de steun met bijna 60 procentpunten kan verschuiven en de perceptie van welk P5-lid het dichtstbij ligt kan veranderen.
  • Beleid: "Sovereign AI"-strategieën kunnen er niet vanuit gaan dat een lokaal gehost model de nationale internationale positie van de staat weerspiegelt. Overheden die modellen integreren in gevoelige workflows, hebben taakspecifieke evaluaties nodig tegen werkelijke beleidscorpora, niet alleen tegen generieke veiligheidstests.

Het artikel concludeert dat geopolitieke alignment een empirische eigenschap is van het model, de prompt, de corpus, de periode en de meetstrategie, en dat het toepassen van IR-meettechnieken op AI de alignment-problematiek moeilijker maar preciezer maakt.