Technische Samenvatting: Verbeteren van Cross-Linguale Feitelijke Herinnering via Consistentie-gestuurde Reinforcement Learning

Probleemstelling

Large Language Models (LLM's) die voornamelijk op Engelse data zijn getraind, coderen enorme hoeveelheden wereldkennis, maar falen vaak in het betrouwbaar ontsluiten van deze kennis wanneer ze in niet-Engelse talen worden bevraagd. Dit fenomeen, getiteld cross-linguale feitelijke inconsistentie, wordt niet primair veroorzaakt door een tekort aan opgeslagen kennis. In plaats daarvan suggereren mechanistische studies dat de fout optreedt tijdens de "taaltransitie"-fase: het model kan het juiste concept wel ophalen in tussenliggende lagen (vaak in een Engels-gecentreerde of taal-agnostische latente ruimte), maar faalt er vervolgens in om dit concept betrouwbaar te mappen naar de juiste doel-taal tokens in de laatste lagen.

Hoewel Continual Pretraining (CPT) op parallelle corpora heeft aangetoond de vertaalvloeiendheid te verbeteren, slaagt het er vaak niet in om substantieel de prestaties te verhogen op veeleisende taken zoals feitelijke herinnering. Dit suggereert dat, hoewel parallelle data de interne representaties uitlijnt, het de het model niet voldoende leert om die uitgelijnde kennis via niet-Engelse interfaces te ontsluiten.

Methodologie

1. De POLYFACT Dataset

Om het gebrek aan grootschalige, volledig parallelle meertalige feitelijke data aan te pakken, introduceren de auteurs POLYFACT.

• Constructie: Afgeleid van Wikidata "truthy" triples, bevat de dataset 100.000 feiten over 12 typologisch diverse talen (inclusief hoog-resource talen zoals Engels, Chinees en Spaans, en laag-resource talen zoals Swahili en Bengaals).
• Formaat: Het is een multiple-choice vraagenset (MCQ) waarbij elk feit volledig parallel is over alle 12 de talen. Voor elk feit worden drie afleiders (distractoren) gesampled uit co-occurrent objecten met dezelfde eigenschap om plausibiliteit te garanderen.
• Kwaliteit: De dataset onderging strikte kwaliteitscontrole met behulp van een web-gegronde LLM-judge (GPT-4o) en handmatige beoordeling, waarbij een overeenkomst van 91% werd bereikt tussen de LLM en menselijke annotatoren.

2. Trainingsbenaderingen

De studie vergelijkt drie post-training strategieën op twee 7B-schaal modellen (OLMo-2-1124-7B en Qwen-2.5-7B):

1. Continual Pretraining (CPT): Lichte pretraining op een gebalanceerde parallelle corpus (TED2025) om representaties uit te lijnen vóór de fine-tuning.
2. Supervised Fine-Tuning (SFT): Training op POLYFACT met een gezamenlijk doel dat een standaard classificatieverlies combineert met een consistentie-term. De consistentie-term minimaliseert de KL-divergentie tussen de output-distributies van het model over de 12 parallelle talen, wat het model aanmoedigt om consistente antwoorden te produceren ongeacht de invoer-taal.
3. Consistency-Driven Reinforcement Learning (GRPO): Een Group Relative Policy Optimization benadering waarbij de beloningsfunctie expliciet cross-linguale consistentie stimuleert.
   • Beloningsmechanisme: Voor een groep van 8 rollouts (elke groep bevat 12 parallelle generaties) wordt de beloning berekend op basis van correctheid (+1), straffen voor hallucinaties (-0.5), en een specifieke bonus (+1) als alle 12 talen in de groep correct zijn beantwoord. Dit dwingt het model om een gedeeld retrieval-pad te leren in plaats van taal-specifieke memorisatie.

3. Mechanistische Analyse

De auteurs maken gebruik van twee interpreteerbaarheid-instrumenten om te analyseren hoe deze methoden de interne architectuur van het model hervormen:

• LAHIS: Analyseert attention heads om de bijdragen van taal-specifieke verwerking te bepalen.
• LAPE: Identificeert taal-specifieke neuronen in MLP-lagen door activatiefrequentie en entropie te meten.

Belangrijkste Resultaten

Prestatiewinst

• GRPO vs. SFT: GRPO presteert consequent beter dan SFT over alle evaluatie-benchmarks (POLYFACT, KLAR, en Global-MMLU).
  • Op POLYFACT behaalt GRPO de hoogste nauwkeurigheid in zowel hoog- als laag-resource talen.
  • Op KLAR (een benchmark voor vrije tekstgeneratie) verbetert GRPO de prestaties in bijna alle talen, terwijl SFT vaak achteruitgaat. Dit geeft aan dat SFT primair leert om antwoordkandidaten te matchen (patroonherkenning) in plaats van echte cross-linguale retrieval te verbeteren.
  • Op Global-MMLU (dat multi-step redeneren vereist) generaliseren GRPO-modellen beter dan SFT of CPT-alleen modellen.
• Rol van CPT: Lichte CPT op parallelle data leverde beperkte extra winst op wanneer gecombineerd met post-training. In sommige gevallen leidde CPT gevolgd door post-training tot lagere prestaties dan post-training vanaf het basismodel alleen, wat suggereert dat alignment alleen geen betere toegang tot kennis garandeert.

Cross-Linguale Transfer

GRPO demonstreert superieure generalisatie naar held-out talen (talen die niet gezien zijn tijdens de post-training, zoals Grieks, Oekraïens en Hebreeuws).

• De winst is het meest uitgesproken voor talen die scripts of subwords delen met de trainings-talen (bijv. Latijnse schrift-talen of talen die Persisch-Arabische subwords delen).
• Prestatiedalingen worden waargenomen in "script-geïsoleerde" talen (bijv. Grieks, Koreaans), wat aangeeft dat hoewel GRPO gedeelde representaties verbetert, het nog steeds beperkt wordt door tokenisatie-grenzen.

Mechanistische Inzichten

• Taal-Routing: GRPO herstructureert fundamenteel de meertalige computatie. In tegen tegenstelling tot het basismodel, dat taal-routing beslissingen direct neemt (vaak in de eerste laag), vertraagt GRPO de linguïstische specialisatie naar latere lagen. Dit creëert een grotere, gedeelde taal-agnostische tussenruimte.
• Neuron Specialisatie: GRPO vergroot het aandeel Engels-specifieke neuronen (met ~38%) terwijl de specialisatie in andere talen (bijv. Bengaals en Swahili) afneemt. Dit suggereert dat de RL-objective de gedragsruimte van het model "samendrukt", waardoor het wordt aangemoedigd om te vertrouwen op de meest stabiele representatieve ruggengraat (Engels) als pivot voor andere talen.
• Head Sharing: Terwijl SFT de pairwise head overlap aanzienlijk verhoogt (vooral onder Indo-Europese talen), bereikt GRPO een meer gematigde toename in overlap, maar drijft het een diepere reorganisatie van de verwerking aan, waarbij de focus verschuift van de vroege routing-lagen.

Betekenis en Claims

Het artikel stelt dat cross-linguale feitelijke inconsistentie minder een probleem is van ontbrekende kennis, en meer een probleem van onbetrouwbare toegang tot bestaande latente kennis.

• Primaire Bijdrage: De auteurs demonstreren dat consistency-driven reinforcement learning (GRPO) een effectiever mechanisme is dan Supervised Fine-Tuning (SFT) of lichte Continual Pretraining voor het verbeteren van cross-linguele feitelijke herinnering. GRPO slaagt door gedeelde interne representaties te bevorderen en de meertalige routing te reorganiseren om ervoor te zorgen dat feitelijke concepten consistent over talen heen worden geraadpleegd.
• Dataset Release: De release van POLYFACT biedt een cruciale bron voor het bestuderen en benchmarken van cross-linguele feitelijke consistentie, waarmee het eerdere gebrek aan grootschalige, volledig parallelle meertalige QA-data wordt geadresseerd.
• Bescheiden Omvang: De auteurs erkennen dat hun methode de toegang tot feiten verbetert, maar niet noodzakelijkerwijs bredere meertalige redeneeruitdagingen oplost (zoals te zien in de Global-MMLU resultaten). Bovendien is de aanpak momenteel beperkt tot 7B-schaal modellen en mogelijk niet generaliseerbaar naar significant verschillende architecturen of grotere modellen zonder verder onderzoek. Het artikel merkt ook op dat biases in de onderliggende Wikidata-bron (bijv. Engels-gecentreerde eigennamen) onbedoeld bepaalde foutmodi kunnen versterken, zoals het beantwoorden van vragen over eigennamen in het Engels in plaats van de doeltaal.