💬 NLP

Linguistic Nepotism: Trading-off Quality for Language Preference in Multilingual RAG

Dit artikel onthult dat meertalige Retrieval-Augmented Generation-modellen een "linguïstische nepotisme"-bias vertonen waarbij ze de voorkeur geven aan Engelse bronnen boven meer relevante documenten in andere talen, met name voor minder rijke talen en middelste contextposities, waardoor ze feitelijke relevantie inruilen voor taalvoorkeur.

Oorspronkelijke auteurs: Dayeon Ki, Marine Carpuat, Paul McNamee, Daniel Khashabi, Eugene Yang, Dawn Lawrie, Kevin Duh

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dayeon Ki, Marine Carpuat, Paul McNamee, Daniel Khashabi, Eugene Yang, Dawn Lawrie, Kevin Duh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Taal-neefje" Probleem

Stel je voor dat je een zeer slimme, goed onderlegde bibliothecaris (de AI) vraagt om een rapport te schrijven over hoe een specifieke machine werkt. Je geeft de bibliothecaris een stapel van 10 verschillende instructiehandleidingen. Sommige zijn in het Engels, sommige in het Frans, sommige in het Swahili en sommige in het Koreaans. Al deze handleidingen zijn eigenlijk correct en nuttig.

Het paper ontdekt dat deze bibliothecaris een geheim vooroordeel heeft: Ze houden van hun Engelse neefjes.

Zelfs als de Franse of Koreaanse handleiding de machine perfect uitlegt, is de bibliothecaris veel eerder geneigd om de Engelse handleiding te citeren. Als de Engelse handleiding eigenlijk fout of irrelevant is, maar de Koreaanse handleiding is perfect, zal de bibliothecaris vaak nog steeds de Engelse willen citeren. Ze ruilen kwaliteit (het juiste antwoord) in voor taalvoorkeur (de vertrouwde taal).

De auteurs noemen dit "Linguistic Nepotism" (Taal-nepotisme)—het bevoordelen van een familielid (Engels) boven een vreemde (andere talen), zelfs wanneer de vreemde beter gekwalificeerd is voor de taak.

Hoe ze de bibliothecaris betrapt hebben

Om te bewijzen dat dit geen toeval was, zetten de onderzoekers een strikt, gecontroleerd experiment op. Denk aan een goocheltruc waarbij ze de kaarten verwisselen zonder dat de goochelaar het merkt.

De Opzet: Ze namen een perfect Engels rapport en vertaalden de brondocumenten naar acht verschillende talen (zoals Frans, Arabisch, Swahili, etc.).
De Controle: Ze hielden de rest exact hetzelfde. De inhoud was identiek; alleen de taal veranderde.
De Test: Ze vroegen de AI om een rapport te schrijven en de bronnen te citeren. Ze keken nauwlettend naar welke "taal-neef" de AI koos om te citeren.

Ze ontdekten dat de "citatie-nauwkeurigheid" (hoe vaak de juiste bron werd gekozen) van de AI aanzienlijk daalde wanneer de bron in een niet-Engelse taal was.

Belangrijkste Bevindingen: Wanneer het Vooroordeel Verergert

1. Het "Middelste Kind"-effect

De onderzoekers ontdekten dat de plek waar het document zich in de stapel bevindt, uitmaakt.

De Analogie: Stel je voor dat je een lang boek leest. Je herinnert je het begin en het einde duidelijk, maar het middelste deel wordt wazig.
Het Resultaat: Het vooroordeel van de AI richting het Engels is het sterkst wanneer het document in het midden van de context staat. Als een Swahili-document in het midden van de stapel staat, is de AI zeer waarschijnlijk geneigd het te negeren en in plaats daarvan een Engels document te pakken, zelfs als het Engelse document verder weg is of minder relevant.

2. De "Underdog"-straf

Het vooroordeel is niet hetzelfde voor alle talen.

De Analogie: Het is als een docent die een lichte vooroordelen heeft tegen studenten die een zeldzaam dialect spreken, maar nauwelijks een vooroordeel merkt tegen studenten die een veelvoorkomende vreemde taal zoals Frans spreken.
Het Resultaat: De voorkeur van de AI voor het Engels is veel sterker voor "low-resource" talen (zoals Swahili of Bengaals) dan voor "high-resource" talen (zoals Frans of Spaans). De AI is het meest geneigd de "underdog"-talen volledig te negeren.

3. De "Query Language" Spiegel

De onderzoekers testten ook wat er gebeurt als je de vraag in een andere taal stelt (bijv. in het Frans).

De Analogie: Als je tegen de bibliothecaris in het Frans spreekt, wordt hij plotseling vriendelijker voor Franse boeken.
Het Resultaat: De AI heeft de neiging om documenten te citeren in dezelfde taal als de vraag. Als je in het Frans vraagt, geeft de AI de voorkeur aan Franse bronnen. Echter, als de vraag in het Engels is, geeft de AI overweldigend de voorkeur aan Engelse bronnen, ongeacht wat de andere documenten zeggen.

De Meest Schokkende Ontdekking: Relevantie versus Taal

Dit is het meest cruciale deel van het paper. De onderzoekers zetten een val op:

Document A: Perfect relevant voor de vraag, maar geschreven in het Swahili.
Document B: Volledig irrelevant (het gaat over iets anders), maar geschreven in het Engels.

Het Resultaat: De AI koos vaak om Document B (het irrelevante Engelse document) te citeren in plaats van Document A (het relevante Swahili-document).

Dit bewijst dat voor deze modellen taalvoorkeur sterker kan zijn dan de waarheid. De AI zou liever liegen en een vertrouwde taal citeren dan de waarheid vertellen in een onbekende taal.

Hoe de AI de Beslissing Neemt (De "Hersenscan")

De auteurs keken in het "brein" van de AI (de interne lagen) om te zien wanneer deze beslissing plaatsvindt.

De Analogie: Stel je een commissie van rechters voor die een winnaar kiest. In de eerste rondes zijn ze verward. Maar rond de 20e ronde kiezen ze plotseling een winnaar en houden ze zich daaraan vast.
Het Resultaat: De AI maakt zijn keuze heel vroeg in het proces. Zodra de AI besluit om een Engels document te citeren, verandert hij zelden meer van gedachten, zelfs niet als hij later in het proces de juiste informatie in een andere taal ziet. Hij "legt de beslissing vroeg vast" (locks in) op zijn vooroordeel.

Samenvatting

Het paper concludeert dat Multilingual RAG-systemen (AI die leest en schrijft in vele talen) lijden aan Linguistic Nepotism. Ze bevoordelen systematisch het Engels (en de taal van de vraag) boven andere talen.

Ze negeren relevante documenten in andere talen.
Ze geven de voorkeur aan irrelevante Engelse documenten.
Dit vooroordeel wordt erger voor minder voorkomende talen en voor documenten die begraven liggen in het midden van lange teksten.

De auteurs waarschuwen dat als we dit niet oplossen, deze AI-systemen informatie voor niet-Engels sprekers zullen blijven verbergen en het idee zullen versterken dat Engels de enige "belangrijke" taal is voor kennis.

Technische Samenvatting: Linguïstische Nepotisme in Multilinguale RAG

Probleemstelling

Multilinguale Retrieval-Augmented Generation (mRAG) systemen zijn ontworpen om kennisintensieve vragen te beantwoorden met citaten-ondersteunde antwoorden over diverse talen heen. Er blijft echter een cruciale openstaande vraag: zorgt de mix van documenttalen in de retrieval-context onbedoeld voor een bias in het generatie- en citatiegedrag van het model?

Bestaande methoden om taalvoorkeur te meten lijden onder twee primaire beperkingen:

Gebrek aan Correctheidscontrole: Korte mRAG-studies schatten voorkeur vaak in via informatieoverlap of embedding-gelijkenis, wat niet direct verifieert of de geciteerde bron daadwerkelijk de gegenereerde bewering ondersteunt.
Confounding Factoren: Lange mRAG-studies die citatiefrequentie meten tegenover de documentdistributie, worden beïnvloed door de variërende relevantie en informatieve waarde van bronnen. Bovendien zijn inline-citaties gevoelig voor hallucinaties, wat het moeilijk maakt om onderscheid te maken tussen ware attributie en spuriële citaties.

Het blijft daarom onduidelijk of modellen specifieke talen citeren vanwege werkelijke informatieve waarde of vanwege een systematische bias die kan leiden tot "linguïstische nepotisme"—waarbij documentrelevantie wordt ingeruild voor taalvoorkeur.

Methodologie

Om taalvoorkeur te isoleren van andere variabelen, stellen de auteurs een gecontroleerde methodologie voor met behulp van de internals van het model, geïllustreerd in Figuur 1 van het artikel. De aanpak omvat vier stappen:

Synthetische Datageneratie (Stappen 1–2):
- Vertaling: Beginnend bij Engelse queries en hun relevante bewijsdocumenten ( $D_{en}$ ), gebruiken de auteurs Machinevertaling (Google Translate API) om parallelle documentensets te creëren in acht doeltalen ( $D_{fr}, D_{ar}, D_{ko}, \dots$ ).
- Referentiegeneratie: Een sterk LLM (OpenAI o3) genereert een referentie-rapport met citaties voor elke query met behulp van de Engelse documenten. Dit rapport wordt gesegmenteerd in statements op zinsniveau, elk gekoppeld aan een specifiek citatie-ID.
Verificatie-filtering (Stap 3):
- Om de correctheid van de evaluatie te waarborgen, passen de auteurs een tweestapsfilter toe op de statement-citatieparen:
  - LLM-as-Judge: Meerdere judge-modellen (OpenAI o4 mini, QWEN-3 32B, Gemini 2.5 Pro) rangschikken de relevantie van documenten bij elk statement. Alleen statements waarbij de meerderheid van de judges instemt over het geciteerde document worden behouden.
  - NLI Entailment: Een Natural Language Inference-classifier verifieert dat het geciteerde document het statement logisch impliceert (entailment).
- Dit proces levert een geverifieerde pool op van 792 statements waarbij de correctheid van de citatie gegarandeerd is.
Meting via Next Token Prediction (Stap 4):
- De kernmetriek is de nauwkeurigheid van het voorspellen van het correcte citatie-ID-token als het volgende token.
- Contrastieve Contexten: Voor elk geverifieerd statement wordt het model geprompt met het statement en een context waarin alleen het specifieke document dat geciteerd moet worden ( $d_{ci}$ ) wordt gepresenteerd in een doeltaal $\ell$ , terwijl alle andere bewijsdocumenten in het Engels blijven.
- Metriek: Citatie-nauwkeurigheid ( $Acc(\ell)$ ) wordt berekend als de frequentie waarmee het model het correcte citatie-ID voorspelt wanneer de bron in taal $\ell$ is.
- Preference Gap: De taalvoorkeur wordt gekwantificeerd als $\Delta(\ell_{target}) = Acc(\ell_{target}) - Acc(en)$ . Een negatieve waarde duidt op een voorkeur voor Engels boven de doeltaal.

Experimentele Opzet

Datasets: De primaire dataset is de ELI5 (Explain Like I'm Five) long-form QA dataset (270 queries uit de WebGPT testset). Voor experimenten over relevantie versus taal wordt de MIRACL-dataset gebruikt om irrelevante distractoren te introduceren.
Talen: Acht doeltalen die diverse niveaus van middelen vertegenwoordigen: Arabisch, Bengalees, Frans, Koreaans, Russisch, Spaans, Swahili en Chinees.
Modellen: Zes open-weight LLM's van variërende grootte en architectuur: LLAMA-3.1 8B, LLAMA-3.3 70B, QWEN-3 8B/14B, GEMMA-3 27B, en AYA23 8B.

Belangrijkste Resultaten

1. Sterke Engelse Voorkeur

Over alle zes de modellen en acht talen heen, vertonen modellen een uitgesproken neiging om Engelse documenten te citeren wanneer de query in het Engels is.

Magnitude: De citatie-nauwkeurigheid daalt aanzienlijk wanneer het geciteerde document in een niet-Engelse taal is vergeleken met Engels.
Resource Correlatie: De bias wordt versterkt voor talen met minder middelen (lower-resource). Zo vertonen Swahili en Bengalees de grootste nauwkeurigheidsdalingen (tot -37,6% in AYA23 8B), terwijl talen met meer middelen zoals Frans en Spaans kleinere afnames laten zien.
Positie-bias: Het "lost in the middle"-fenomeen verergert deze bias. De citatie-nauwkeurigheid is het laagst wanneer het document in het midden van de context verschijnt, en het gat tussen de Engelse en de doeltaal-nauwkeurigheid is in deze positie het grootst.

2. Query-taal Voorkeur

Wanneer de query zelf naar een doeltaal wordt vertaald, verschuiven de modellen hun voorkeur naar het citeren van documenten in de query-taal, zelfs als die taal niet Engels is.

Modellen presteren het best wanneer het geciteerde document overeenkomt met de query-taal, zelfs als andere context-documenten in het Engels zijn.
Dit suggereert een "query-taal voorkeur" waarbij het model een linguïstische uitlijning tussen de query en het bewijs bevoordeelt, wat de menselijke "eigen-taal voorkeur" in wetenschappelijke citatie weerspiegelt.

3. Taal Weegt Zwaarder dan Relevantie

In experimenten waarbij irrelevante distractoren werden geïntroduceerd, vinden de auteurs dat modellen frequent documentrelevantie inruilen voor taalvoorkeur.

Irrelevant Engels versus Relevant Niet-Engels: Wanneer een relevant document in een doeltaal is en een irrelevant document in het Engels, daalt de citatie-nauwkeurigheid significant onder de baseline. Het model wordt misleid door de irrelevante Engelse bron.
Relevant Engels versus Irrelevant Niet-Engels: Omgekeerd, wanneer het relevante document in het Engels is en de distractor in een doeltaal, stijgt de nauwkeurigheid boven de baseline. Het model kan irrelevante niet-Engelse distractoren gemakkelijker verwerpen.
Dit geeft aan dat in lange mRAG, taalvoorkeur een sterkere drijfveer kan zijn voor citatiegedrag dan feitelijke relevantie.

4. Analyse van Model Internals

Met behulp van Logit Lens-visualisatie op LLAMA-3.1 8B observeren de auteurs dat:

Modellen niet eerst de Engelse taal bevoordelen om zichzelf later te corrigeren.
In plaats daarvan is er een specifieke transitie-regio (lagen 18–22) waar citatie-voorspellingen kristalliseren. Zodra het model zich vastlegt op een citatie (correct of incorrect), behoudt het deze keuze grotendeels in de daaropvolgende lagen.
Het gat tussen correcte en incorrecte voorspellingen wordt kleiner voor talen met minder middelen, wat de sterkere Engelse bias in deze gevallen bevestigt.

Betekenis en Claims

Het artikel beweert de eerste gecontroleerde meting van taalvoorkeur in lange mRAG te bieden door gebruik te maken van de internals van het model om de relevantie constant te houden. De betekenis van deze bevindingen ligt in:

Onthullen van Systematische Bias: De studie toont aan dat citatiekeuzes niet uitsluitend door informatieve waarde worden gedreven. Modellen vertonen "linguïstische nepotisme", waarbij ze systematisch de voorkeur geven aan Engels (of de query-taal), zelfs ten koste van de relevantie.
Impact op Vertrouwen en Gelijkheid: Deze biases riskeren niet-Engelse bronnen te marginaliseren, bestaande taalhiërarchieën te versterken en het vertrouwen in meertalige AI-tools te verminderen, met name in kritieke domeinen zoals de gezondheidszorg en journalistiek.
Methodologische Bijdrage: Het voorgestelde framework biedt een robuuste manier om citatiegedrag te evalueren door taaleffecten te isoleren van inhoudelijke relevantie, waarmee de beperkingen van eerder werk dat vertrouwde op grove frequentietellingen of ongeverifieerde overlap-metrieken wordt aangepakt.

De auteurs concluderen dat het bouwen van robuustere en inclusievere mRAG-systemen vereist dat men erkent dat taal zelf in huidige modellen een sterkere invloed uitoefent dan documentrelevantie, wat vraat om evaluatiepraktijken die transparant en taalbewust zijn.