ReasonXL: Shifting LLM Reasoning Language Without Sacrificing Performance

Het paper introduceert ReasonXL, een groot parallel corpus met redeneertraces in vijf Europese talen, en toont aan dat grote taalmodellen via een combinatie van toezichtsfine-tuning en versterkingslering met verifieerbare beloningen effectief kunnen worden aangepast om volledig in een doeltaal te redeneren zonder prestatieverlies, terwijl representatieanalyse een functionele scheiding tussen taalidentiteit in vroege lagen en adaptatie in hogere lagen onthult.

De kern

ReasonXL: Hoe we AI dwingen om in je eigen taal na te denken (zonder dat het dom wordt)

Stel je voor dat je een zeer slimme, universitair opgeleide assistent hebt die alles weet. Maar er is één groot probleem: deze assistent denkt alleen in het Engels.

Als je hem in het Nederlands een ingewikkelde wiskundepuzzel geeft, leest hij je vraag, denkt hij even na in zijn hoofd (in het Engels), en geeft hij vervolgens het antwoord in het Nederlands. Dit klinkt misschien niet erg, maar het is alsof je een chef-kok vraagt om een Italiaans gerecht te bereiden, maar die chef alleen recepten in het Frans kent. Hij moet eerst vertalen, en dat kan leiden tot fouten, misverstanden en een gebrek aan vertrouwen.

Dit is precies wat er gebeurt met de meeste grote AI-modellen (LLMs). Zelfs als je ze in het Duits, Frans of Spaans vraagt om te redeneren, denken ze stiekem in het Engels.

De auteurs van dit paper, ReasonXL, wilden dit veranderen. Ze wilden AI-modellen leren om volledig in je eigen taal te denken, zonder dat ze daarvoor minder slim worden.

Hier is hoe ze dat hebben gedaan, vertaald in simpele beelden:

1. De Grote Bibliotheek (ReasonXL)

Om een AI te leren in een nieuwe taal te denken, heb je eerst veel voorbeelden nodig. Stel je voor dat je een student wilt leren hoe je een wiskundeprobleem in het Italiaans oplost. Je kunt niet zomaar zeggen: "Denk in het Italiaans." Je moet hem laten zien hoe dat eruit ziet.

De auteurs hebben een enorme bibliotheek gecreëerd genaamd ReasonXL.

• Wat is het? Een verzameling van meer dan 2 miljoen voorbeelden in vijf talen (Engels, Duits, Frans, Italiaans, Spaans).
• Het geheim: Elke voorbeeld bevat niet alleen de vraag en het antwoord, maar ook de gedachtenstroom (de "redenatie") van de AI.
• De analogie: Het is alsof ze een school hebben gebouwd waar studenten niet alleen het antwoord op een proefwerk zien, maar ook de volledige, stap-voor-stap uitleg van hoe de leraar tot dat antwoord kwam, geschreven in hun moedertaal.

2. De Twee-Stappen Training (SFT + RL)

Met deze bibliotheek hebben ze een AI-model getraind. Ze deden dit in twee fases, zoals het trainen van een atleet:

• Fase 1: Het Leren (Supervised Fine-Tuning / SFT)
  De AI kreeg duizenden voorbeelden te zien van mensen die in het doelwit (bijvoorbeeld Duits) naalden. De AI leerde: "Oh, als ik een vraag krijg, moet ik mijn gedachten ook in het Duits uitspreken."

  • Het resultaat: De AI begon nu in het Duits te denken, maar hij werd een beetje slordig. Zijn antwoorden werden minder nauwkeurig. Het was alsof hij de taal had geleerd, maar zijn wiskundekennis een beetje vergeten was door de verwarring.

• Fase 2: De Fijnafstelling (Reinforcement Learning / RL)
  Nu kwam de echte trainer. De AI kreeg oefeningen, en als hij het goed deed in het Duits, kreeg hij een beloning. Als hij per ongeluk weer in het Engels begon te denken of een fout maakte, kreeg hij een straf.

  • Het resultaat: De AI leerde dat hij niet hoefde te kiezen tussen "goed denken" en "in het juiste taal denken". Hij kon beide. Na deze training was hij net zo slim als voorheen, maar hij dacht nu volledig in het doelwit.

3. Wat hebben ze ontdekt? (De "Geheime Gang" in het brein)

Dit is het meest fascinerende deel. De auteurs keken niet alleen naar de resultaten, maar ook naar het "brein" van de AI (de interne werking) om te zien wat er precies veranderde.

Ze ontdekten een interessante verdeling, alsof het brein van de AI twee verschillende afdelingen heeft:

• De Voordeur (De vroege lagen):
  Ze vonden dat de eerste paar lagen van het AI-brein fungeren als een poortwachter. Deze lagen beslissen puur: "In welke taal gaan we praten?" Als je deze lagen van een getraind model neemt en in het originele model stopt, begint het originele model plotseling in het doelwit te denken. Het is de "taal-switch".
• De Werkvloer (De bovenste lagen):
  De bovenste lagen van het brein zijn waar het echte zware werk gebeurt: het oplossen van de wiskunde, het vinden van feiten en het bouwen van de logica. Hier veranderden de meeste gewichten tijdens de training. Deze lagen zorgen voor de kwaliteit van het antwoord, ongeacht de taal.

De grote les: Je kunt de "taal-switch" (de voordeur) herschakelen zonder de "werkvloer" (de intelligentie) te verstoren.

Waarom is dit belangrijk?

Vroeger dachten experts dat AI's moesten denken in het Engels om slim te blijven. Dit paper bewijst het tegendeel.

• Betrouwbaarheid: Als je in het Spaans met een AI praat, wil je dat hij in het Spaans nadenkt, zodat je zijn redenering kunt volgen en vertrouwen.
• Geen verlies aan kwaliteit: Je hoeft niet te kiezen tussen "slim zijn" en "in je eigen taal zijn". Je kunt beide hebben.

Kort samengevat:
ReasonXL heeft een enorme bibliotheek gebouwd om AI's te leren in hun eigen taal te denken. Ze hebben getoond dat je dit kunt doen zonder dat de AI dommer wordt, en ze hebben ontdekt dat het "taal-delen" van een AI eigenlijk heel makkelijk te sturen is via een specifieke poort in zijn brein. Het is een grote stap naar AI die echt voor iedereen werkt, in de taal die we het liefst spreken.

Technische samenvatting

tags en\boxed{}` voor het antwoord.
* Repetitie: Strafpunten voor herhalingen en "length-hacking".
* Doel: De verloren redeneringskwaliteit herstellen terwijl de taalkwaliteit behouden blijft.

3. Belangrijkste Bijdragen

1. ReasonXL Corpus: De publicatie van een groot, parallelle dataset voor cross-domain redeneren in vijf talen, wat een nieuwe standaard zet voor meertalig onderzoek.
2. Validatie van Taal-specifieke Redenering: Het bewijs dat LLMs effectief kunnen worden aangepast om volledig in een doeltaal te redeneren zonder prestatieverlies, door een combinatie van SFT en RLVR.
3. Mechanistische Analyse: Een diepgaande analyse van hoe deze aanpassing de interne werking van het model verandert, met name op het niveau van gewichten en activaties.

4. Resultaten

• Prestaties: De modellen die door de volledige pijplijn (SFT + RL) zijn gegaan, halen prestaties die gelijk zijn aan of zelfs beter zijn dan het basismodel (SmolLM3-3B) op wetenschappelijke taken (MATH, GPQA, MGSM) in de doeltaal.
  • Voorbeeld: Het Italiaanse model verbeterde gemiddeld met 6 punten ten opzichte van het basismodel.
• Taalkwaliteit: Na de SFT-fase redeneert het model 100% in de doeltaal. De RL-fase behoudt dit percentage volledig.
• Algemene Kennis: Er is slechts een minimale daling in algemene kennis (gemeten in Engels op benchmarks zoals MMLU), wat aangeeft dat de feitelijke kennisbasis intact blijft ondanks de verschuiving in redeneertaal.
• Cross-linguale Transfer: Het aanpassen aan één taal heeft over het algemeen een positief of neutraal effect op andere talen (bijv. Italiaans en Duits), hoewel de prestaties in het Engels iets dalen (de prijs voor het afdwingen van een specifieke redeneertaal).

5. Mechanistische Analyse (Interpretability)

De auteurs onderzochten hoe het model intern verandert tijdens de training:

• Gewichtsveranderingen: De grootste wijzigingen in de modelgewichten vinden plaats in de bovenste lagen van het transformer-netwerk. De SFT-fase zorgt voor de meeste veranderingen; RL voegt slechts kleine, gerichte verfijningen toe.
• Activatie-Drift en "Bottleneck":
  • Er is een duidelijke "vallei" in de cosine-similariteit tussen het basismodel en de gefinetuned modellen in de vroege lagen (laag 6-8).
  • Activatie Patching: Door de activaties van laag 6-8 van het gefinetuned model te injecteren in het basismodel, schakelt het basismodel direct over naar de doeltaal (bijv. Frans).
  • Conclusie: Er is een functionele verdeling: de vroege lagen (6-8) fungeren als een taal-routingsbottleneck die bepaalt in welke taal er wordt geredeneerd. De bovenste lagen zijn verantwoordelijk voor de inhoudelijke kwaliteit en het verfijnen van de redenering binnen die gekozen taal.
• Efficiëntie: RL bereikt een grotere gedragsdivergentie van het basismodel met veel kleinere parameterupdates dan SFT, wat suggereert dat RL een efficiëntere manier is om representaties te herschikken.

6. Betekenis en Conclusie

Dit paper daalt de aanname dat Engels een noodzakelijke tussenstap is voor hoogwaardig redeneren in LLMs. Door ReasonXL en de voorgestelde tweestaps-pijplijn kunnen modellen direct in hun moedertaal redeneren met gelijkwaardige of betere prestaties.

De bevindingen hebben praktische implicaties:

• Efficiëntie: Taalaanpassing kan gericht worden op specifieke lagen (de vroege lagen voor taalkeuze, de late lagen voor inhoud), wat parameter-efficiënte methoden (PEFT) kan sturen.
• Toekomst: De dataset is een "levend" corpus dat verder wordt uitgebreid, en de methodiek is schaalbaar naar grotere modellen.

Samenvattend toont ReasonXL aan dat het mogelijk is om de "taal van denken" van een AI permanent en effectief te verschuiven, wat de toegankelijkheid en betrouwbaarheid van AI voor niet-Engelstalige gebruikers aanzienlijk verbetert.