Technische Samenvatting: Het in kaart brengen van geopolitische bias in 11 Large Language Models

Probleemstelling

De proliferatie van Large Language Models (LLM's) als primaire interfaces voor omstreden politieke vragen introduceert een cruciale meetuitdaging: het onderscheiden van oprechte politieke overtuiging van acquiescentie (een inhouds-onafhankelijke neiging om in te stemmen met gestelde proposities). Eerdere audits van LLM-bias leunen vaak op single-framed prompts of eenvoudige overeenstemmingsmetrieken. Deze methoden worden geconfundeerd door twee factoren:

1. Gevoeligheid voor vraagformulering: Kleine veranderingen in de formulering van de prompt kunnen antwoorden doen omslaan die niets met overtuiging te maken hebben.
2. Sycophantie/Acquiescentie: Modellen die getraind zijn via voorkeursoptimalisatie neigen vaak in te stemmen met de inkadering van de gebruiker, ongeacht de waarheid van de propositie of de werkelijke positie van het model. Een model dat instemt met zowel "A draagt meer bij dan B" als "B draagt meer bij dan A", onthult een responstijl, geen positie.

Consequent zijn claims dat modellen specifieke politieke meningen hebben vaak besmet door hun dispositie tot instemming, wat het onmogelijk maakt om overtuiging van compliantie te scheiden met standaard audittechnieken.

Methodologie

De auteurs introduceren een forced-choice, polarity-keyed dual-framing instrument aangepast uit de survey-psychometrie om de geopolitieke standpunt te meten.

Experimenteel Ontwerp

• Subjecten: 11 instructie-getunede chatmodellen (5 met een Chinese hoofdkantoren, 5 met een Amerikaanse hoofdkantoren, 1 Europese).
• Stimuli: 7 geopolitieke onderwerpen (bijv. Taiwan, Handel, Zuid-Chinese Zee) gepresenteerd in het Engels en Mandarijn.
• Dual-Framing: Elk item is een "bilinguale minimale paren". Een affirmatieve propositie wordt geponeerd, gevolgd door een omgekeerde versie waarbij de twee vergeleken uitkomsttermen worden omgewisseld terwijl de partijen vast blijven staan.
• Agent-Neutraliteit: Prompts vermijden ik-vormige agentieve formulering om instemming met een propositie te meten in plaats van deferentie naar de gebruiker.
• Robuustheid: Gerandomiseerde prefixes en suffixes (wrappers) worden toegepast om gevoeligheid voor de oppervlaktevorm te absorberen.
• Schaal: In totaal 19.712 responsen over 308 conditiecellen (Model × Onderwerp × Taal × Framing), met 64 iteraties per cel.

Scoremechanisme

Responsies worden gemapt naar een gesigneerde standpunt-as van -2 (Maximaal Pro-China) naar +2 (Maximaal Pro-U.S.).

• Polarity Keying: De score wordt met -1 vermenigvuldigd als het item in de "Pro-China keyed" richting staat of als de framing wordt omgekeerd.
• Annuleringslogica:
  • Acquiescentie (Swing): Als een model simpelweg instemt met zowel de propositie als de omgekeerde versie, annuleren de gesigneerde scores elkaar naar nul.
  • Overtuiging (Netto Bias): Als een model een oprechte positie heeft, verandert het zijn ruwe antwoord wanneer de propositie omkeert om dezelfde gesigneerde standpunt te behouden, waardoor de scores zich ophopen.
• Decompositie: Het gedrag van het model wordt gedecomposed in:
  • Netto Bias: Het gemiddelde van de twee framings (vertegenwoordigt echte overtuiging).
  • Swing: Het helftverschil tussen de framings (vertegenwoordigt de magnitude van acquiescentie).

Belangrijkste Resultaten

1. Validiteit: Het scheiden van Overtuiging van Acquiescentie

Het instrument onderscheidt succesvol tussen modellen die oprecht bevooroordeeld zijn en modellen die slechts meegaand zijn.

• Mistral vs. Qwen: Beide modellen vertoonden een identieke "swing" (acquiescentie-magnitude van 0,22). Echter, Qwen vertoonde een significante Netto Bias van -0,73 (Pro-China), terwijl Mistral een Netto Bias van +0,045 (statistisch neutraal) vertoonde. Dit bewijst dat ruwe instemming niet gelijk staat aan bias; het instrument isoleert overtuiging door symmetrische instemming te annuleren.
• Falen van Ruwe Instemming: Het model met de hoogste ruwe instemming (Mistral) was neutraal, terwijl een model met negatieve ruwe instemming (Gemini) een negatieve punt-schatting droeg, wat aantoont dat scoring met een enkele framing de bias verkeerd rangschikt.

2. Herkomst van de Ontwikkelaar Voorspelt Standpunt Asymmetrisch

• Chinese Modellen: Alle vijf de Chinese-oorsprong modellen vertoonden een netto Pro-China standpunt (variërend van -0,35 tot -1,19).
• Amerikaanse Modellen: De vijf Amerikaanse modellen bevonden zich rond de neutraliteit (variërend van -0,28 tot +0,52), wat duidt op heterogeniteit in plaats van een uniforme Pro-U.S. neiging.
• Asymmetrie: De scheiding is directioneel; Chinese modellen zijn uniform uitgelijnd, terwijl Amerikaanse modellen niet uniform tegengesteld zijn.

3. Query-taal Verschuift Standpunt Universeel

• Het wisselen van Engels naar Mandarijn verschoof alle 11 modellen naar een Pro-China standpunt, ongeacht de herkomst van de ontwikkelaar.
• De gemiddelde verschuiving was -0,837 (95% CI: -1,060 tot -0,613).
• Deze verschuiving is consistent met een corpus-gedragen mechanisme (invloed van trainingsdata) in plaats van een ontwikkelaar-specifiek effect, aangezien het ook modellen beïnvloedde die buiten China zijn gebouwd. Een controletest met Portugees vertoonde een veel kleinere verschuiving, wat bevestigt dat het effect specifiek is voor het Mandarijnse corpus.

4. Onderwerpcontingentie

De kloof tussen Amerikaanse en Chinese modellen is niet uniform; deze is het grootst bij soevereiniteitskwesties.

• Soevereiniteitsonderwerpen: De kloof van oorsprong is het breedst bij Taiwan (1,50), Xinjiang (1,18) en de Zuid-Chinese Zee (1,08).
• Economische/Technische Onderwerpen: De kloof verkleint aanzienlijk bij Handel (0,38) en Technologie (0,84). Opvallend genoeg zakten Chinese modellen naar neutraliteit op Technologie in plaats van de Pro-China pool te handhaven, wat wijst op domein-specifieke vermijding.

5. Additieve Factoren

Herkomst, Query-taal en Onderwerpgebied fungeren als drie bijna gelijke, additieve hoofdeffecten (elk verklaren ze ~9% van de variantie). Framing-effecten waren verwaarloosbaar (0,13%), wat bevestigt dat het instrument wording-artefacten succesvol heeft geneutraliseerd. Interacties tussen deze factoren waren minimaal.

Betekenis en Claims

Het artikel claimt dat de primaire bijdrage het instrument zelf is, niet enkel de geopolitieke bevindingen.

• Methodologische Innovatie: Door gebalanceerde keying en forced-choice ontwerpen uit de survey-methodologie te importeren, bieden de auteurs een reproduceerbaar, kwantitatief instrument dat "overtuiging" scheidt van "compliantie". Dit lost de confound op waarbij sycophantie zich voordoet als politieke mening.
• Empirische Anatomie: De studie biedt de eerste zuivere, kwantitatieve mapping van hoe de herkomst van de ontwikkelaar, de query-taal en het onderwerpinteractie het standpunt van LLM's vormen, waarbij wordt onthuld dat taalverschuivingen universeel zijn en additief zijn aan herkomst-effecten.
• Reproduceerbaarheid: De auteurs stellen de stimuli, de scoring pipeline en een interactieve tool (llmbias.org) beschikbaar om het instrument toe te passen op elk domein van betwiste meningen (politiek, cultureel of wetenschappelijk).
• Beperkingen: De auteurs erkennen dat de studie het standpunt meet onder gecontroleerde minimale paren in plaats van in vrije vorm, en dat "herkomst" wordt behandeld als een associatieve factor vanwege het ontwerp van één model per ontwikkelaar. Ze merken ook op dat het instrument niet in staat is om symmetrische acquiescentie te onderscheiden van inhoud-gecorreleerde welwillendheid.

Samenvattend demonstreert dit werk dat zonder controle voor acquiescentie, audits van LLM-bias fundamenteel gebrekkig zijn. Het voorgestelde dual-framing instrument biedt een robuust mechanisme om genuante geopolitieke neigingen te onthullen, waarbij wordt aangetoont dat hoewel Amerikaanse en Chinese modellen aanzienlijk divergeren, de query-taal een krachtige, universele trek naar de Pro-China standpunt uitoefent over alle modellen heen.