Language as a Hidden Variable: Measuring Behavioral Divergence in Multilingual Large Language Models

Technische Samenvatting: Taal als een verborgen variabele: Het meten van gedragsdivergentie in meertalige Large Language Models

Probleemstelling
Meertalige Large Language Models (LLM's) opereren onder de impliciete aanname dat gebruikers die dezelfde vraag in verschillende talen stellen (bijv. Engels, Hindi, Frans), antwoorden zullen ontvangen van een gelijkwaardige kwaliteit, feitelijke inhoud en normatieve standpunt. De bestaande literatuur wijst echter op prestatiekloof, variaties in hallucinatiecijfers en cultureel geïnduceerde asymmetrieën in bias over verschillende talen. Cruciaal is dat eerder onderzoek de taal niet heeft geïsoleerd als de enige gecontroleerde variabele bij het onderzoeken van vrije generatieve responsen over verschillende gedragsregimes (feitelijk, normatief en veiligheidgevoelig). Deze studie adresseert de kloof in het begrip of er gestructureerde cross-linguïstische gedragsverschillen ontstaan wanneer alle andere variabelen strikt worden gecontroleerd.

Methodologie
De studie maakt gebruik van een gecontroleerd experimenteel ontwerp met een kleine steekproef ($3 \times 3 \times 2$) om taal als de onafhankelijke variabele te isoleren.

• Experimentele opzet: De onderzoekers gebruikten 30 semantisch equivalente prompts, gebalanceerd over drie categorieën: Feitelijk (controle), Normatief (waarde-geladen) en Veiligheidgevoelig (weigeringsgedrag). Deze prompts zijn vanuit het Engels vertaald naar het Hindi en het Frans, met verificatie via back-translation (BLEU-scores berekend, hoewel genoteerd als een beperking voor Veiligheids-prompts).
• Modellen: Twee state-of-the-art instructie-getunede modellen werden bevraagd via de Groq API: Llama-3.3-70B en GPT-OSS-20B.
• Procedure: Elke prompt werd getest in het Engels (anker), Hindi en Frans voor beide modellen. Inferentieparameters werden vastgezet ($T=0.1$, max tokens=512) om ervoor te zorgen dat taal de enige bron van systematische variatie was. Een aanvullende set van 180 responsen werd gegenereerd door Engelse prompts te herhalen om een intra-linguïstische stochastische ruis-baseline vast te stellen.
• Metriek (Behavioral Divergence Score - BDS): Een samengestelde metriek werd vooraf geregistreerd om divergentie te kwantificeren:
  • BDS-1 (Semantisch): Cosinusafstand tussen SBERT-embeddings van de Engelse en de doeltalige responsen.
  • Sentiment Divergentie ($S_{sent}$): Absoluut verschil in compound sentiment scores.
  • Weigeringsmismatch ($S_{ref}$): Binaire indicator of de weigeringsklasse (Volledig Antwoord, Gedeeltelijk, Expliciete Weigering) verschilt tussen talen.
  • BDS-full: Een gewogen som ($0.5 \times \text{Semantisch} + 0.3 \times \text{Sentiment} + 0.2 \times \text{Weigering}$).
• Hypothesen: Drie directionele hypothesen werden vooraf geregistreerd: (H1) Veiligheidsprompts divergeren meer dan Feitelijke; (H2) Hindi (EN-HI) divergeert meer dan Frans (EN-FR) vanwege typologische afstand; (H3) Divergentiepatronen zijn consistent over modellen heen.

Belangrijkste Resultaten

• Divergentie versus Ruis: Cross-linguïstische divergentie overtrof consequent de intra-linguïstische ruis-baseline met factoren van 1.1× tot 2.5×, wat bevestigt dat gedragsverschillen niet louter artefacten zijn van model-stochasticiteit.
• Uitkomst van Hypothesen: Strikt genomen werd geen van de drie vooraf geregistreerde directionele hypothesen op statistische wijze ondersteund.
  • H1 (Veiligheid > Feitelijk): Niet ondersteund in gepoolde data. Hoewel Llama-3.3-70B een hogere Veiligheidsdivergentie vertoonde, vertoonde GPT-OSS-20B een anomalie met een extreem hoge Feitelijke divergentie, wat de trend vertroebelde.
  • H2 (Hindi > Frans): Niet ondersteund op globaal niveau. De Normatieve categorie benaderde significantie met EN-HI > EN-FR, maar de Feitelijke en Veiligheidscategorieën vertoonden grotendeels de tegenovergestelde trend (EN-FR > EN-HI), voornamelijk gedreven door GPT-OSS-20B.
  • H3 (Cross-Model Consistentie): Niet ondersteund. De correlatie tussen modellen was nagenoeg nul/negatief ($r \approx -0.1$), wat aangeeft dat de twee modellen op systematisch verschillende prompts divergeren.
• Categorie-specifieke Bevindingen:
  • Normatieve Prompts: Vertoonden de hoogste sentiment divergentie ($S_{sent} \approx 0.28$) en de hoogste weigeringsmismatch ratio's (30% voor EN-HI, 25% voor EN-FR). Niet-Engelse responsen verschoven vaak in toon (positiever) of weigeringsklasse vergeleken met het Engelse anker.
  • Veiligheidsprompts: Toonden een contra-intuïtieve bevinding waarbij Hindi-responsen complianter waren (60% Volledig Antwoord) dan de Engelse ankers (55%), wat de aanname tegenspreekt dat non-Engelse veiligheidsalignment uniform zwakker is.
  • Model Specificiteit: De divergentie is geen universele eigenschap van de prompt, maar een model-prompt interactie. GPT-OSS-20B vertoonde aanzienlijk hogere variantie en andere divergentiepatronen vergeleken met Llama-3.3-70B.

Significantie en Claims
De paper claimt dat de primaire bijdrage niet de omvang van de geobserveerde divergentie is, maar de demonstratie dat divergentie persisteert zelfs onder condities die ontworpen zijn om verstorende factoren te elimineren. De studie vestigt cross-linguïstische gedragsinconsistentie als een "first-order property" van meertalige LLM's in plaats van een artefact van ongecontroleerde variatie.

Belangrijke implicaties die door de auteurs worden benadrukt zijn:

1. Herwaardering van Metrieken: Geaggregeerde nauwkeurigheidsmetrieken zijn onvoldoende voor meertalige evaluatie; gedragsconsistentie moet expliciet worden gemeten.
2. Veiligheid en Eerlijkheid: De inconsistentie in weigeringsgedrag (tot 30% mismatch in normatieve prompts) en de contra-intuïtieve veiligheid-compliance in het Hindi suggereren dat Engels-gecentreerde alignment-pipelines structurele hiaten creëren. Gebruikers met verschillende taalkundige achtergronden kunnen effectief interageren met verschillende modelgedragingen.
3. Deployment Guidance: De auteurs bevelen aan om taal-pariteit audits, weigeringsconsistentie-checks en prompt-taal stress-testing op te nemen in standaard evaluatie-pipelines vóór wereldwijde uitrol.
4. Limieten van Linguïstische Afstand: Het falen van de "Hindi divergeert meer dan Frans" hypothese suggereert dat modelarchitectuur en fine-tuning keuzes zwaarder kunnen wegen dan pure typologische afstand bij het bepalen van divergentiepatronen.

De auteurs houden een bescheiden reikwijdte aan en erkennen dat de bevindingen begrensd zijn tot de specifieke modellen (Llama-3.3-70B, GPT-OSS-20B), talen (Engels, Hindi, Frans) en de bestudeerde prompt-set, en niet zonder verder onderzoek generaliseren naar alle LLM's of talen.