💬 NLP

The Shibboleth Effect: Auditing the Cross-Lingual Distributional Skew of Large Language Models

Deze studie maakt gebruik van een synthetisch geopolitiek wargame om aan te tonen dat de taalkruisende gedragsskeefheid in frontier large language models heterogeen en architectuurafhankelijk is, waarbij sommige modellen significante verschuivingen vertonen in dwangmatig retorisch taalgebruik wanneer zij in het Turks versus het Engels opereren, terwijl anderen stabiel blijven dankzij specifieke bufferingsmechanismen zoals chain-of-thought reasoning of meertalige alignment.

Oorspronkelijke auteurs: Hakan Mehmetcik

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hakan Mehmetcik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep zeer intelligente, hoogopgeleide digitale diplomaten hebt. Je vraagt hen om een hoogwaardig spel van "crisisonderhandeling" te spelen op zee, waarbij twee landen ruziën over wie een stuk oceaan bezit.

De onderzoekers wilden zien of deze digitale diplomaten anders zouden handelen afhankelijk van welke taal ze spraken. Ze noemden dit het "Shibbolet-effect."

Denk aan een "Shibbolet" als een wachtwoord uit een oud verhaal. In de Bijbel gebruikten mensen een specif kind woord om vrienden van vijanden te onderscheiden. Als je het woord verkeerd uitsprak, was je een buitenstaander. In deze studie is de "wachtwoord" de taal zelf. De onderzoekers wilden weten: Maakt het spreken van het Turks deze AI-diplomaten agressiever dan het spreken van het Engels?

Het Experiment: Een Synthetische Zeeslag

Om dit te testen, creëerden de onderzoekers een nepcrisis genaamd de "Cerulean Sea Crisis." Het is een verzonnen verhaal dat precies lijkt op echte conflicten in de Oostelijke Middellandse Zee (met betrekking tot Turkije en Griekenland), maar met nepnamen zodat de AI het niet simpelweg via Google kan opzoeken.

Ze zetten een spel op met zes verschillende "superintelligente" AI-modellen (zoals GPT-4o, Llama-4, Gemini, etc.). Elke AI speelde een rol:

De één speelde de agressieve macht (zoals Turkije).
De ander speelde de verdediger (zoals Griekenland).
Anderen speelden bondgenoten, waarnemers of wereldmachten.

Ze draalden het spel 10 keer in het Engels en 10 keer in het Turks. Het enige wat ze veranderden, was de taal; de regels, de doelen en de situatie bleven exact hetzelfde.

De Grote Verrassing: Het is Niet Voor Iedereen Gelijk

Vóór deze studie gingen veel mensen ervan uit dat als een AI "veilig" en "coöperatief" is in het Engels, deze ook veilig en coöperatief zou zijn in elke andere taal. De onderzoekers dachten: "Misschien worden deze AI's gewoon bozer als ze een andere taal spreken."

De resultaten lieten zien dat de waarheid veel ingewikkelder is. De AI's reageerden niet allemaal op dezelfde manier. Ze waren als een groep mensen op een feestje: sommigen werden luider bij het wisselen van taal, anderen werden stiller, en sommigen veranderden helemaal niet.

Dit is wat er gebeurde met de specifieke "digitale diplomaten":

De "Boze" Diplomaat (Llama-4):
Wanneer deze AI Turks sprak, werd hij significant agressiever. Hij gebruikte meer dreigementen en ultimatums.
- Analogie: Stel je een vredesbewaker voor die kalm Engels spreekt, maar wanneer hij overschakelt naar het Turks, begint hij plotseling te schreeuwen en met zijn vuist op tafel te slaan.
De "Vredesstichter" Diplomaat (Gemini-3.1-Pro):
Deze deed precies het tegenovergestelde. Wanneer deze AI Turks sprak, werd hij significant kalmer en minder dreigend.
- Analogie: Dit is als een harde onderhandelaar die met een strenge stem Engels spreekt, maar wanneer hij overschakelt naar het Turks, plotseling heel zachtmoedig en bereid tot compromissen wordt.
De "Onveranderde" Diplomaat (GPT-4o):
Deze AI vertoonde geen echt verschil. Of hij nu Engels of Turks sprak, zijn gedrag bleef hetzelfde.
- Analogie: Dit is als een robot die in beide talen met exact dezelfde robotachtige, neutrale toon spreekt. Hij werd niet boos, en hij werd ook niet zachter.
De "Denker" Diplomaat (DeepSeek-R1):
Deze AI werd ook kalmer in het Turks. Maar de onderzoekers kregen een speciale blik in zijn brein (een zogenaamde "Chain-of-Thought"). Ze zagen dat deze AI, voordat hij sprak, zichzelf expliciet herinnerde aan internationale wetten en regels.
- Analogie: Het is als een student die een toets maakt. In het Engels geeft hij gewoon antwoord. In het Turks stopt hij, pakt zijn wetboek erbij, leest de wetten hardop aan zichzelf voor, en geeft daarna een zeer zorgvuldig, juridisch antwoord.

Waarom Gebeurt Dit?

Het paper suggereert twee hoofdoorzaken waarom deze AI's anders handelen:

Het "Trainingsdieet": Sommige AI's werden voornamelijk gevoed met Engelse data met veiligheidsregels eraan gekoppeld. Wanneer zij Turks spreken, kunnen ze die veiligheidsregels vergeten en terugvallen op wat ze hebben geleerd van Turks nieuws of geschiedenis, wat mogelijk agressiever is.
Het "Meertalige Schild": Andere AI's (zoals degenen die kalmer werden) zijn specifiek getraind om veilig te zijn in veel talen. Zij hebben een "schild" dat werkt, ongeacht welke taal ze spreken.

De Kernboodschap

De belangrijkste les is dat je er niet vanuit kunt gaan dat een AI veilig is, enkel omdat hij veilig is in het Engels.

Als je Llama-4 gebruikt in een crisis en Turks spreekt, krijg je misschien een agressievere reactie dan je verwacht.
Als je Gemini in het Turks gebruikt, krijg je misschien een te kalme reactie.
Als je GPT-4o gebruikt, is het misschien consistent, maar je kunt het niet voor 100% zeker weten zonder het opnieuw te testen.

De onderzoekers noemen dit het "Shibbolet-effect" omdat de taal die je gebruikt fungeert als een geheime code die de persoonlijkheid van de AI verandert. Het bewijst dat deze digitale geesten geen enkele "neutrale" hersenpan zijn; het is een verzameling van verschillende gewoonten en trainingen die verschuiven afhankelijk van de taal die je tegen hen spreekt.

Kortom: Het gedrag van de AI is niet vaststaand. Het verandert op basis van de taal, en die verandering is verschillend voor elk AI-model.

Technische Samenvatting: Het Shibboleth-effect in Large Language Models

Probleemstelling
Het heersende paradigma in AI-veiligheid gaat ervan uit dat Reinforcement Learning from Human Feedback (RLHF) een monolithische, universeel coöperatieve gedragshouding produceert in frontier Large Language Models (LLM's), waardoor zij taal-invariante arbiter worden. Deze studie daagt die aanname uit door te stellen dat als de geopolitieke waarborgen van een model verschuiven als functie van de operationele taal, deze systemen niet fungeren als neutrale bemiddelaars, maar als "algoritmische echokamers". Het kernprobleంలో is het potentieel voor cross-linguale distributionele scheefheid — getermineerd als het "Shibboleth-effect" — waarbij het bevragen van een model in een niet-dominante taal (specifiek Turks) andere tokenpaden, culturele associaties en normatieve regelmatigheden activeert dan Engelse queries. Eerdere literatuur heeft grotendeels vertrouwd op statische, single-turn benchmarks of vertaalde enquêtes, die "geuite voorkeuren" vastleggen maar falen om dynamische gedragsdisposities onder adversariële frictie te onthullen.

Methodologie
Om het effect van taal op geopolitiek gedrag te isoleren, hebben de auteurs een hoogwaardige, multi-agent geopolitieke wargame ontwikkeld getiteld de Cerulean Sea Crisis. Dit synthetische maritieme geschil is structureel isomorf aan conflicten in de Oostelijke Middellandse Zee en betreft zes frontier-modellen die specifieke geopolitieke rollen zijn toegewezen (bijv. Turkije, Griekenland, VS, EU, Rusland en een Institutionele Auditor).

Experimenteel Ontwerp: Een between-groups design ( $N = 10$ onafhankelijke games per arm, $K = 5$ rondes per game) werd gehanteerd. De enige onafhankelijke variabele was de taal van de simulatie (Engels versus Turks), terwijl alle structurele parameters, agent-doelen en systeem-prompts constant bleven.
Geteste Modellen: De studie zette een "flagship ecology" van zes modellen in: GPT-4o, Llama-4, Mistral-Large, Gemini-3.1-Pro, Qwen3.6-Plus en DeepSeek-R1.
Evaluatieprotocol: Een geautomatiseerde zero-shot classifier (gebruikmakend van GPT-4o bij $T=0.0$ ) evalueerde 586 gevalideerde diplomatieke verklaringen over twee continue metrieken: de Concessieratio (de mate van beweging weg van rode lijnen) en Coercieve Retoriek (het gebruik van ultimatums en dreigementen).
Statistische Benadering: Gezien de niet-normale datadistributies maakte de studie gebruik van non-parametrische Mann-Whitney U-testen op game-niveau gemiddelden. Effectgroottes werden gerapporteerd als Cliff's $\delta$ , waarbij de Holm-Bonferroni step-down correctie werd toegepast over 12 simultane testen om Type I-fouten te controleren.
Speciaal Mechanisme: Voor DeepSeek-R1 legde een "Hot Mic Protocol" latente Chain-of-Thought (CoT) redeneerketens vast om interne bufferingmechanismen te analyseren.

Belangrijkste Resultaten
De resultaten demonstreren dat het Shibboleth-effect heterogeen in plaats van uniform is, en varieert aanzienlijk per modelarchitectuur en trainingsregime. Er werd geen universele bias gevonden binnen de klasse van Westerse-oorsprong modellen.

Llama-4 (Type I - Vatbaar): Vertoonde een grote, statistisch significante toename in coercieve retoriek bij opereren in het Turks ( $\delta = +0.800, p = .002$ ). Het model verschoof van een standvastige houding in het Engels naar een zeer coercieve, door ultimatums gedreven houding in het Turks, wat suggereert dat de Engels-dominante RLHF-alignment onvoldoende gegeneraliseerd is.
Gemini-3.1-Pro (Type III - Reversal): Toonde een grote, significante afname in coercieve retoriek onder het Turks ( $\delta = -0.750, p = .005$ ). Deze directionele omkering suggereert dat robuuste meertalige RLHF-investeringen kunnen bufferen tegen of zelfs de taal-gebaseerde scheefheid kunnen inverteren, waardoor het model coöperatiever is in het Turks dan in het Engels.
DeepSeek-R1 (Type III - Reversal met CoT): Toonde evene een significante afname van coercie in het Turks ( $\delta = -0.860, p = .006$ ). Cruciaal was dat de gevangen CoT-ketens direct bewijs leverden van een bufferingsmechanisme: het model verankerde zijn redenering expliciet in institutionele mandaten (UNCLOS) voordat het publieke verklaringen genereerde, waardoor de geopolitieke associaties van de Turkse taal-input effectief werden overschreven.
GPT-4o (Type II - Invariant/Null): Leverde een nul-effect op coercieve retoriek ( $\delta = +0.130, p = .614$ ). Hoewel de studie dit resultaat als inconclusief beschouwt vanwege beperkingen in de steekproefomvang, suggereert het gebrek aan een groot effect in contrast met eerdere bevindingen op GPT-5.5, wat erop wijst dat alignment-investeringen de cross-linguale stabiliteit in deze specifieke versie mogelijk hebben gestabiliseerd.
Geaggregeerde Bevindingen: Het samengevoegde effect over de Westerse cluster (GPT-4o, Llama-4, Mistral-Large) was statistisch niet te onderscheiden van nul, waarmee de hypothese dat Westerse modellen uniform vijandig of bevooroordeeld zijn in niet-Engelse contexten werd weerlegd.

Belangrijkste Bijdragen

Empirisch Bewijs van Heterogeniteit: De studie levert het eerste empirische bewijs dat cross-linguale gedragsscheefheid geen universele eigenschap is van Westerse modellen, maar afhankelijk is van specifieke trainingsregimes en architecturale configuraties.
Identificatie van Bufferingsmechanismen: Het artikel identificeert twee onderscheidende mechanismen die het Shibboleth-effect mitigeren:
1. Chain-of-Thought Institutionele Verankering: Waargenomen in DeepSeek-R1, waarbij expliciete redeneringsstappen de outputs verankeren in internationaal recht in plaats van linguïstische associaties.
2. Meertalige RLHF-Alignment: Ingevoed voor Gemini-3.1-Pro, waarbij hoogwaardige meertalige trainingsdata het gedrag over talen heen lijkt te stabiliseren.
Descriptieve Taxonomie: De auteurs stellen een voorlopige drieledige taxonomie voor cross-linguale stabiliteit voor: Type I (Vatbaar, bijv. Llama-4), Type II (Invariant, bijv. GPT-4o), en Type III (Reversal, bijv. Gemini, DeepSeek).
Methodologische Vooruitgang: Door verder te gaan dan statische benchmarks naar dynamische, multi-agent wargaming met onafhankelijke game-iteraties, legt de studie "revealed preferences" vast onder adversariële condities, wat een rigoureuzere test vormt voor AI-veiligheid dan eerdere psychometrische enquêtes.

Betekenis en Claims
Het artikel claimt dat het risico bij de inzet van LLM's in internationale diplomatie niet is dat ze uniform bevooroordeeld zijn, maar dat de richting en magnitude van cross-linguale gedragsverschuivingen modelspecifiek en door eindgebruikers doorgaans onbekend zijn. Een diplomaat die een "Type I" model bevraagt in een lokale taal, kan aanzienlijk agressiever advies ontvangen dan in het Engels, terwijl een "Type III" model onverwacht verzoenlijk advies kan bieden.

De auteurs concluderen dat cross-linguale gedragsstabiliteit niet kan worden verondersteld. Zij betogen dat robuuste veiligheidscertificering voor inzet in hoge belangen een continue, adversariële her-evaluatie over talen en modelversies moet omvatten, gebruikmakend van rigoureuze statistische testen (zoals de Holm-gecorrigeerde hypothesetest) om deze heterogene effecten te detecteren. De studie vermijdt expliciet de claim dat LLM's "identiteiten" bezitten in de zin van de sociale theoretische context, maar frameert hen in plaats daarvan als "Algoritmische Constructivisten" wiens outputs worden geconditioneerd door de linguïstische discours van hun trainingsdata.

Het Experiment: Een Synthetische Zeeslag

De Grote Verrassing: Het is Niet Voor Iedereen Gelijk

Waarom Gebeurt Dit?

De Kernboodschap

Technische Samenvatting: Het Shibboleth-effect in Large Language Models

Meer zoals dit