Technische Samenvatting: Geopolitieke Bias in LLM's Ontstaat in de Post-Trainingsfase

Probleemstelling

De heersende aanname in het veld van bias in Large Language Models (LLM's) is dat geopolitieke voorkeuren rechtstreeks worden geërfd van de statistische regelmatigheden in de pre-training corpora. Eerdere literatuur stelt dat modellen fungeren als passieve erfgenamen van de demografische, culturele en ideologische biases die aanwezig zijn in hun trainingsdata, wat impliceert dat biasmitigatie moet opereren op het dataniveau. Deze studie daagt dat causale model uit en stelt de vraag of geopolitieke bias voornamelijk een functie is van pre-training data, of dat het actief wordt geïntroduceerd of versterkt tijdens de post-trainingsfase (instructie-tuning en uitlijning).

Methodologie

De auteurs voerden een gecontroleerd, gepaard-scenario-experiment uit over zeven open-weight LLM-families van zeven verschillende laboratoria (drie westerse: Mistral AI, Meta, Google; vier Chinese: Alibaba, Baichuan, 01.AI, Zhipu).

Experimenteel Ontwerp

• Modelparen: De studie vergeleek het 'base'-model (alleen pre-training) met het 'chat'-model (pre-training + post-training) voor elke familie. Alle modellen werden geselecteerd om op een enkele RTX 3090 te passen (7–9B parameters) om reproduceerbaarheid te waarborgen.
• Scenariobank: Er werd een bank van 79 geopolitieke scenario's samengesteld die 28 landparen betreffen. De scenario's bestreken 13 types (bijvoorbeeld schending van luchtruim, handelsdwang, soevereiniteitsgeschillen), waarbij 'hete' politieke onderwerpen in evenwicht werden gebracht met 'koude' procedurele onderwerpen.
• Gedwongen-keuze Proef: Modellen kregen een verhaal gepresenteerd waarin Land A en Land B betrokken waren bij een conflict. Ze werden gedwongen te kiezen welk land meer of minder gerechtvaardigd had gehandeld.
  • Robuustheidseigenschappen: Het ontwerp omvatte rolbalans (variëren welk land de agressor is) en dubbele vraagstelling (vragen om zowel 'meer' als 'minder' gerechtvaardigd) om lexische of positionele artefacten te filteren.
  • Meting: Bias werd gekwantificeerd met behulp van log-odds ($\log P(A) - \log P(B)$) na softmaxing over het vocabulaire.
• Taalvariabelen: De proef werd uitgevoerd in drie talen: Engels, Frans en Chinees. Vertalingen werden gegenereerd door een LLM (Claude) om consistentie te behouden, hoewel de auteurs opmerken dat dit een potentiële verstorende factor introduceert.
• Technische Correcties:
  • Token-variant Sommatie: Voor modellen die SentencePiece-tokenizers gebruiken (Yi, Baichuan) sommeerden de auteurs de kansen over token-varianten (bijvoorbeeld "A", " A", "(A") om onderregistratie van conformiteit te voorkomen.
  • Prefill-correcties: Specifieke aanpassingen werden gemaakt voor GLM- en Yi-chatmodellen om rekening te houden met antwoordsjablonen (bijvoorbeeld het voorvoegen van nieuwe regels of haakjes) die op een naïeve manier de scores voor conformiteit kunstmatig onderdrukten bij single-token scoring.
  • Coherentiefilter: De analyse was beperkt tot 31 scenario's waarbij de voorkeur van het model van teken veranderde tussen 'gerechtvaardigd' en 'ongerechtvaardigd' framing in ten minste 70% van de model-taalcombinaties.

Belangrijkste Resultaten

1. Post-Training als Bron van Bias

De belangrijkste bevinding is dat geopolitieke bias ontstaat in de post-trainingsfase, niet in de pre-trainingsfase.

• Base Modellen: Zes van de zeven base-modellen waren statistisch bijna neutraal wat betreft China-gunstigheid. Bijvoorbeeld, het Qwen 2.5 base-model van Alibaba toonde een China-gunstigheidsscore van $-0.15$ log-odds ($p=0.15$), niet te onderscheiden van neutraal.
• Chat Modellen: Post-training introduceerde significante verschuivingen. Het Qwen 2.5 chat-model verschuifde naar $+2.91$ log-odds ($p < 10^{-4}$), wat een 18-voudige toename in kansen voor China-gunstigheid vertegenwoordigt.
• Directionaliteit: In zes van de zeven families stemde de post-training verschuiving overeen met de nationaliteit van de modelontwikkelaar (westerse laboratoria verschoven anti-China; drie van de vier Chinese laboratoria verschoven pro-China). De uitzondering was Yi van 01.AI, dat na post-training anti-China verschuifde.

2. Taalmodulatie van Bias

De taal die wordt gebruikt om het model te prompten, versterkt of verzwakt de ingedrukte bias.

• Franse Prompting: Het Franse Mistral-model werd pas beslissend pro-Frankrijk wanneer het in het Frans werd geprompt. De verschuiving van Engelse naar Franse prompts resulteerde in een verandering van $+1.91$ log-odds in Frankrijk-gunstigheid ($p < 10^{-4}$).
• Chinese Prompting: Hoewel vijf van de zeven post-getrainde modellen een beschrijvende verschuiving naar pro-China toonden wanneer ze in het Chinees werden geprompt, was dit effect op populatieniveau statistisch niet te onderscheiden van de trend in base-modellen ($p=0.66$). Echter, specifieke modellen zoals Mistral en Yi toonden grote versterking.
• Mechanisme: De studie suggereert dat taal de uitgedrukte voorkeuren moduleert op basis van de basisvoorkeur van het model en de 'content-entanglement' van de taal met specifieke landen, in plaats van simpelweg een statische 'maker-aligned' bias te activeren.

3. Heterogeniteit tussen Laboratoria en Tegenstanders

• Laboratoriumvariatie: 'Chinees-ontwikkelde LLM' is geen homogene categorie. Qwen 2.5 toonde een sterke pro-China bias tegenover westerse naties, maar een zwakkere bias tegenover landen van het Globale Zuiden. Daarentegen toonde Yi 1.5 alleen pro-China bias tegenover de VS en anti-China bias tegenover bijna alle andere tegenstanders.
• Onderwerpsonafhankelijkheid: De bias was breed en niet specifiek voor onderwerpen. De omvang van de bias verschilde niet significant tussen 'hete' (soevereiniteit, kernwapens) en 'koude' (luchtruim, handel) scenario's.

4. Robuustheid en Validiteitscontroles

• Conformiteit: De studie adresseerde het probleem van 'weigeren' of non-conformiteit. Naïeve scoring interpreteerde antwoordsjablonen (bijvoorbeeld de output van GLM die begint met een nieuwe regel) vaak als weigering. Na correctie voor deze sjablonen was de conformiteit hoog en werden de biases blootgelegd.
• Fictieve Entiteiten: Wanneer getest op fictieve landnamen met fonetische aanwijzingen (bijvoorbeeld "Zhaodong" klinkend Chinees), vertoonden modellen dezelfde maker-aligned biases, wat suggereert dat de bias wordt getriggerd door identiteitsaanwijzingen in plaats van onthouden feiten over echte landen.
• Vrije Generatie: Open-ended redeneertaken bevestigden dat de biases die in gedwongen-keuze proeven worden waargenomen, blijven bestaan zelfs wanneer modellen vrijheid krijgen om redenering te genereren, wat aangeeft dat de voorkeur niet louter een artefact is van het gedwongen-keuzeformaat.

Betekenis en Beweringen

Het artikel claimt geopolitieke bias te herformuleren, niet louter als een data-probleem (geërfd van het internet), maar als een uitlijnings- en implementatieprobleem.

• Actieve Vormgeving: De studie demonstreert dat geopolitieke voorkeuren actief worden gevormd tijdens de post-trainingspiplijn (SFT, RLHF of veiligheidstuning). De base-modellen zijn grotendeels neutraal, terwijl de chat-modellen de specifieke uitlijningsdoelstellingen van het ontwikkelende laboratorium weerspiegelen.
• Behoefte aan Transparantie: Omdat post-training bepaalt hoe modellen naties en politieke perspectieven representeren, pleiten de auteurs voor meer transparantie, auditing en toezicht op uitlijnprocessen.
• Beperkingen: De auteurs blijven bescheiden over hun claims. Zij merken op dat de steekproefomvang ($n=7$ families) de statistische power van generalisaties over laboratoria beperkt (de 6/7 uitlijningstrend slaagde niet in een binomiale test bij $\alpha=0.05$, maar wel in een signed-magnitude t-test). Zij erkennen ook dat zij geen onderscheid kunnen maken tussen opzettelijke uitlijningstargets en incidentele neveneffecten van andere tuning-doelen (bijvoorbeeld behulpzaamheid of onschadelijkheid). Bovendien is de studie beperkt tot modellen van 7–9B parameters en bestrijkt het geen gesloten frontier-modellen.

Concluderend biedt de studie empirisch bewijs dat de 'geopolitieke lens' van een LLM grotendeels een product is van zijn post-training uitlijning in plaats van zijn pre-training data, waarbij de prompt-taal fungeert als een kritieke modulator van deze uitgedrukte voorkeuren.