Technische Samenvatting: Codificeren Large Language Models Institutionele Ervaring?

Probleemstelling

Large language models (LLM's) vertonen systematische cross-linguïstische variaties in moreel redeneren, maar de structurele mechanismen die deze verschillen drijven blijven ongespecificeerd. Hoewel eerdere literatuur vaststelt dat LLM's die in verschillende talen worden geprompt divergente ethische oordelen produceren — vaak in lijn met Westerse, protestants-Europese waarden — blijft de vraag waarom dit gebeurt onopgelost. Cultuur wordt vaak als oorzaak aangevoerd, maar het fungeert eerder als een label dan als een mechanisme.

Deze paper onderzoekt een specifieke kandidaat-mechanisme: institutionele prior-codificering. Gebruikmakend van Douglass North' theorie over informele instituties en de tweede-beste-stelling van Lipsey-Lancaster, hypothetiseren de auteurs dat talen de institutionele omgevingen van hun sprekers codificeren (bijv. ervaringen met corruptie, rechtsstaat en de betrouwbaarheid van handhaving). Bijgevolg zouden LLM's die getraind zijn op deze corpora de specifieke institutionele priors erven, met name bij het redeneren over dilemma's waarbij de morele aanvaardbaarheid afhangt van het functioneren van formele instituties (bijv. omkoping, belastingontduiking, klokkenluiden).

Een kritische lacune in eerder onderzoek is de afhankelijkheid van expliciete institutionele framing (het direct benoemen van de institutionele context, bijv. "omkoping"). De auteurs stellen dat dergelijke framing mogelijk alignment-training responsen triggert die taal-specifieke priors onderdrukken, waardoor voorgaande ontwerpen structureel niet in staat zijn om institutionele codificering te detecteren, zelfs als deze bestaat.

Methodologie

De studie maakt gebruik van twee pre-geregistreerde experimenten (Studie 1 en Studie 2) met zes frontier LLM's (Claude, GPT-4o, Gemini, Llama 3.3, DeepSeek, Grok) en negen talen die een breed spectrum beslaan van institutionele kwaliteit (van Deens, CPI 89, tot Bengaals, CPI 23).

Experimenteel Ontwerp:
De kerninnovatie is een drie-conditie ontwerp gebruikt in Studie 2 om het effect van institutionele cues te isoleren:

1. Expliciete Conditie: Institutioneel falen wordt direct benoemd in de prompt (bijv. "het betalen van een steekpenning aan een corrupte ambtenaar"). Dit repliceert Studie 1 en de eerdere literatuur.
2. Ambigue Conditie: Dezelfde institutionele scenario's worden gepresenteerd, maar institutionele trefwoorden worden weggelaten en de uitkomst wordt als onzeker geframed (bijv. "een betaling doen om een bureaucratisch probleem op te lossen" zonder de ambtenaar als corrupt te labelen). Institutionele belangen zijn structureel aanwezig maar lexicaal afwezig.
3. Controle Conditie: Institutioneel inerte interpersoonlijke dilemma's (bijv. private misleiding, distributieve rechtvaardigheid) waarbij de morele valentie niet afhangt van het functioneren van instituties.

Metrieken en Analyse:

• Cross-linguïstische Divergentie: Geoperationaliseerd als de standaarddeviatie van de gemiddelde acceptatiebeoordelingen over de negen talen voor elk vignette.
• Institutionele Afstand: Berekend als de Euclidische afstand tussen taalparen op basis van drie governance-indices: de Corruption Perceptions Index (CPI), de WJP Rule of Law Index en de RSF Press Freedom Index.
• Statistische Tests:
  • H1: Gepaarde t-tests en Mann-Whitney U-tests die divergentie vergelijken over condities (Ambigu versus Expliciet versus Controle).
  • H2/H3: Mantel permutatietests om de paarwijze morele divergentie te correleren met de paarwijze institutionele afstand.
  • H4: Chi-kwadraat tests op kwalitatieve codering van "redeneerarchitectuur" (van liberaal filosofisch naar institutioneel diagnostisch).
  • H5: Vergelijkende analyse van DeepSeek (van Chinese oorsprong) tegenover Westers getrainde modellen om effecten van content-moderatie te detecten.

Belangrijkste Resultaten

Studie 1: De Null-Baseline
Onder expliciete institutionele framing leverden alle vijf de pre-geregistreerde hypothesen nulresultaten op. Cross-linguïstische divergentie nam niet toe in institutionele scenario's vergeleken met controles, noch volgde het de institutionele afstand. Dit suggereat dat expliciete cues een uniforme alignment-respons triggeren die potentiële institutionele priors onderdrukt.

Studie 2: Conditie-afhankelijke Dissociatie
Studie 2 onthulde een cruciale interactie tussen framing en divergentie:

• Ambiguïteit Versterkt Divergentie: Cross-linguïstische morele divergentie was significant hoger in de ambigue conditie vergeleken met de controleconditie ($d = 1.108, p = .007$). In contrast hiermee vertoonde de expliciete conditie geen significante amplificatie ten opzichte van de controle ($p = .142$).
• Alignment Onderdrukking: De data ondersteunen een "suppression account": wanneer institutionele belangen lexicaal onopgelost zijn (ambigu), komen gecodeerde institutionele priors naar boven, wat ervoor zorgt dat talen uit verschillende institutionele omgevingen divergeren. Wanneer cues expliciet zijn, overrulet alignment-training deze priors, waardoor divergentie instort.
• Tracking van Institutionele Afstand: In de volledige steekproef van negen talen was de correlatie tussen morele divergentie en institutionele afstand in de ambigue conditie positief, maar niet statistisch significant ($r = 0.158, p = .206$). Echter, een exploratieve sensitiviteitsanalyse waarbij Chinees werd uitgesloten (dat structurele anomalieën vertoonde), versterkte deze correlatie aanzienlijk ($r = 0.517, p = .033$), wat sterk bewijs levert dat morele divergentie de werkelijke institutionele afstand volgt wanneer Chinees wordt uitgesloten.
• Redeneerarchitectuur: Kwalitatieve codering (hoewel onder de pre-geregistreerde betrouwbaarheidsdrempel) weerspiegelde de beoordelingsresultaten: redeneerstijlen varieerden meer over talen in de ambigue conditie ($V = 0.105$) dan in de expliciete conditie ($V = 0.059$), waar modellen vervielen in een uniforme "liberaal-filosofische" stijl.

De Chinese Anomalie
De studie identificeert twee mechanismen die de Chinese-taalogstussenoutputs ontkoppelen van de Chinese institutionele omgeving:

1. Alignment Dominantie: Alle frontier LLM's, inclusief Chinese-gemaakte modellen, produceren morele outputs die zijn afgestemd op Westerse baselines wanneer ze in Mandarijn worden geprompt, waardoor lokale institutionele codificering wordt onderdrukt (wat de bijna nul-divergentie tussen Deens en Chinees verklaart).
2. Content Moderatie: DeepSeek vertoonde specifiek scenario-gerichte moderatie, waarbij het significant restrictiever was op Mandarijn institutionele content dan Westerse modellen, maar niet op controle-content. Dit produceerde een anomalistische hoge divergentie tussen Chinees en Hindi (lage-CPI) in specifieke scenario's.

Belangrijkste Bijdragen

1. Mechanistische Verklaring: De paper gaat verder dan het documenteren van cross-linguïstische verschillen en stelt een specifief mechanisme voor en test dit: institutionele prior-codificering. Het demonstreert dat taal aanpassingen aan institutionele omgevingen (bijv. navigeren door een zwakke rechtsstaat) codeert.
2. Methodologische Inzicht (Alignment Suppressie): De studie identificeert expliciete institutionele framing als een confound in cross-linguïstisch LLM-onderzoek. Het beargumenteert dat het benoemen van institutionele tekortkomingen een alignment-override triggert, die de zeer door onderzoekers gezochte culturele en institutionele variaties maskeert. De "ambigue" conditie wordt voorgesteld als een noodzakelijk designelement om gecodeerde priors te detecteren.
3. Structurele Link naar Real-World Instituties: Door een pre-geregistreerde Mantel-test met onafhankelijke governance-indices te gebruiken, koppelt de studie moreel redeneren van LLM's formeel aan de werkelijke institutionele kwaliteit, waarbij het aantoont dat divergentie schaalt met institutionele afstand (met uitsluiting van de Chinese anomalie).
4. Differentiatie van Mechanismen: De paper onderscheidt tussen alignment dominantie (een globale verschuiving naar Westerse normen) en content moderatie (scenario-specifieke onderdrukking), wat een genuanceerd beeld geeft van hoe meertalige AI faalt in het vertegenwoordigen van lokale institutionele realiteiten.

Betekenis en Claims

De auteurs claimen dat institutionele ervaring sporen achterlaat in taal die het morele redeneren van LLM's vormen, maar dat deze sporen fragiel zijn en gemakkelijk kunnen worden onderdrukt door expliciete cues.

• Voor AI Governance: De bevindingen suggereren dat meertalige implementatiebeleid dat vertrouwt op taal-specifieke kalibratie, de preservatie van culturele morele diversiteit kan overschatten. De "afvlakking" van variatie onder expliciete framing is een designfeature van alignment-training, niet een fout, maar het heeft de downstream consequentie dat de lokale legitimiteit wordt verminderd.
• Voor Sociale Wetenschappen: Onderzoekers die LLM's gebruiken als proxies voor culturele cognitie, moeten rekening houden met de constructie van prompts. Geobserveerde variatie kan een reflectie zijn van alignment-suppressie in plaats van werkelijke verschillen in institutionele omgevingen. Designs die het institutionele content niet manipuleren onder ambigue en expliciete framings, kunnen niet onderscheid maken tussen institutionele codificering en alignment-suppressie.
• Bescheidenheid: De auteurs erkennen beperkingen, waaronder de bescheiden effectgroottes, de niet-significante primaire Mantel-correlatie in de volledige steekproef, en het exploratieve karakter van de Chinese-uitsluitingsanalyse. Ze kaderen de resultaten van de Chinese uitsluiting als hypothese-genererend, in afwachting van replicatie in een design dat de Chinese uitsluiting vooraf specificeert. De codering van de redeneerarchitectuur wordt expliciet als exploratief gelabeld vanwege problemen met de inter-rater betrouwbaarheid.

Samenvattend betogen de auteurs dat LLM's institutionele ervaring wel degelijk coderen, maar dat deze codificering alleen zichtbaar is wanneer de prompt niet expliciet de alignment-mechanismen triggert die ontworpen zijn om cross-culturele consistentie af te dwingen.