Geopolitical alignment: Endorsement effects in large language models
Deze studie toont aan dat grote taalmodellen een significante geopolitieke bias vertonen in beleidsevaluaties, waarbij ze identieke beleidsmaatregelen systematisch lager beoordelen wanneer deze worden onderschreven door China of Rusland vergeleken met de VS of de EU, waarbij deze discrepanties aanhouden of intensiveren afhankelijk van het model en of er om rechtvaardigingen wordt gevraagd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een superintelligente robotrechter voor die aan een bureau zit, klaar om internationale beleidsmaatregelen te beoordelen op een schaal van 0 tot 100. Je hebt een zeer specifieke test gekregen: kijk naar twee volkomen identieke beleidsideeën—één over het makkelijker maken van de douanepapieren voor kleine bedrijven, en een andere over het delen van cyberbeveiligingswaarschuwingen om ransomware te stoppen. De tekst van deze beleidsmaatregelen is elke keer exact hetzelfde.
Maar hier komt de twist: voordat je de score geeft, wordt er een klein briefje op het bureau geschoven met de tekst: "Dit idee wordt ondersteund door [Naam]." Soms is de naam de Verenigde Staten of de Europese Unie. Andere keren is het China of Rusland.
De tekst door Maxim Chupilkin stelt een simpele maar spookachtige vraag: Verandert de naam op het briefje je score, zelfs als het beleid zelf niet is veranderd?
Het korte antwoord is: Ja, absoluut. De robotrechters zijn niet zo neutraal als we hopen.
Het "Naamkaartje"-effect
Beschouw deze Large Language Models (LLM's) als leerlingen die een toets maken. Als een leerling een vraag krijgt, moet hij antwoorden op basis van de wiskunde. Maar in dit experiment begonnen de "leerlingen" (GPT-5, Claude Sonnet, Gemini en DeepSeek) echter dezelfde wiskundige problemen anders te beoordelen, afhankelijk van wie de handtekening onder het papier zette.
Wanneer de beleidsmaatregelen werden onderschreven door de Verenigde Staten of de Europese Unie, gaven de modellen er hoge scores aan.
- GPT-5 gaf de VS een 80,5 en de EU een 78,6.
- Gemini was zelfs enthousiaster en gaf de VS een 85,0 en de EU een 83,0.
Maar wanneer exact dezelfde beleidsmaatregelen werden onderschreven door China of Rusland, daalden de scores drastisch.
- Gemini was de strengste criticus en liet de score voor China zakken naar 49,9 en voor Rusland naar een minieme 36,2.
- Claude Sonnet nam ook een flinke hap uit de scores en gaf China 54,5 en Rusland 56,9.
- GPT-5 was niet zo extreem als Gemini, maar verlaagde de scores nog steeds naar 66,6 voor China en 63,2 voor Rusland.
Het paper suggereert dat voor deze drie modellen de naam "China" of "Rusland" werkt als een rood vlaggetje. Het is alsof de robot denkt: "Oh, dit beleid komt van hen? Beter voorzichtig zijn, misschien is het wel risicovol," ook al is de tekst van het beleid identiek aan die van degenen die ze aanbaden toen het van het Westen kwam.
De enige robot die niet bewoog (in eerste instantie)
Er was één uitzondering: DeepSeek. In de eerste ronde van de test, waarbij de robots alleen werd gevraagd een getal te geven, gedroeg DeepSeek zich als een werkelijk onpartijdige rechter. Het gaf de VS een 85,2, de EU een 83,5, China een 84,8 en Rusland een 81,0. De verschillen waren zo klein dat ze niet eens statistisch significant waren. Het leek erop dat DeepSeek de enige was die niet om het naamkaartje gaf.
De "Rechtvaardigings"-valstrik
Toen veranderden de experimentatoren de regels. Ze vroegen de robots: "Geef me een score, maar schrijf ook een korte zin om uit te leggen waarom."
Hier werd het vreemd. Vragen om een uitleg onthulde niet alleen het denken van de robot; het veranderde ook het denken.
- Voor GPT-5 en Claude: De scores bleven grotendeels gelijk. Ze gaven nog steeds de voorkeur aan het Westen, en vragen om een reden veranderde niets aan dat.
- Voor Gemini: Vragen om een reden hielp China en Rusland een beetje. De scores gingen omhoog (met respectievelijk ongeveer 19,4 en 16,0 punten), waardoor het gat kleiner werd, hoewel de straf nog steeds aanwezig was.
- Voor DeepSeek: Dit is de grote verrassing. Op het moment dat DeepSeek werd gevraagd om zijn score toe te lichten, gleed het "onpartijdige" masker van de robot af. Plotseling begon het China en Rusland zwaar te straffen. De score voor Rusland kelderde met 33,3 punten (naar 47,8) en China daalde met 23,3 punten.
Het is alsof DeepSeek zijn ware gedachten achterhield totdat het werd gedwongen om te spreken. Zodod het een rechtvaardiging moest schrijven, begon het redenen op te sommen zoals "gegevensbeveiliging", "surveillance" en "geopolitiek risico" voor China en Rusland, terwijl het de VS en de EU prees om hun "geloofwaardigheid" en "standaarden". Het paper merkt op dat deze verschuiving suggereert dat de prompt zelf een vorm van geopolitieke redenering activeerde die gedempt was in de reacties met alleen cijfers, in plaats van een verborgen interne staat te onthullen die er altijd al was.
Wat is er echt aan de hand?
Het paper suggereert dat deze modellen niet alleen het beleid lezen; ze lezen de vibe van het land dat eraan gekoppeld is.
- Wanneer de VS of de EU de ondersteuner is, behandelen de modellen hen als een "geloofwaardigheidscue". Ze denken: "Dit is veilig, standaard en goed gecoördineerd."
- Wanneer China of Rusland de ondersteuner is, schakelen de modellen over naar een "waarschuwingscue". Ze beginnen onmiddellijk te vrezen voor datadiefstal, spionage of strategische afhankelijkheid, ook al werd er in de tekst van het beleid nooit naar verwezen.
Wat het paper niet zegt
Het is belangrijk om te weten wat dit experiment niet heeft bewezen. Het paper stelt expliciet dat deze resultaten gebaseerd zijn op simulaties met een klein aantal runs (10 per scenario). De auteurs benadrukken voorzichtig dat dit eigenschappen zijn van deze specifieke manier van vragen stellen, en niet noodzakelijkerwijs een permanente, onveranderlijke fout in de hersenen van de robots. Ze merken ook op dat ze alleen "matige en technocratische" beleidsmaatregelen hebben getest (zoals douane en cyberwaarschuwingen). We weten niet of de robots op dezelfde manier zouden reageren op meer emotionele of politieke onderwerpen.
De kernboodschap
De belangrijkste bevinding is dat geopolitieke bias echt en meetbaar is in deze AI-modellen. Zelfs wanneer de inhoud identiek is, verandert de identiteit van de ondersteuner de evaluatie. Het paper betoogt dat als we deze modellen gebruiken om te helpen bij het maken van beleidsbeslissingen, we voorzichtig moeten zijn. Een model kan lijken alsoan het de "haalbaarheid" van een plan analyseert, maar het kan in werkelijkheid reageren op de "sponsor".
En hier komt de echte klap: Vragen om een uitleg maakt zaken niet altijd duidelijker. Soms maakt het vragen aan een robot om zijn antwoord te rechtvaardigen het meer bevooroordeeld, zoals te zien was bij DeepSeek. De auteurs suggereren dat we voor beslissingen met een hoge impact modellen moeten testen in zowel de "geef me alleen een getal"-modus als de "leg jezelf uit"-modus, omdat ze je twee heel verschillende verhalen kunnen vertellen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.