💬 NLP

When Domains Interact: Asymmetric and Order-Sensitive Cross-Domain Effects in Reinforcement Learning for Reasoning

Dit artikel biedt de eerste systematische analyse van Group Relative Policy Optimization (GRPO) over meerdere redeneerdomeinen, waarbij wordt onthuld dat de trainingsprestaties worden gekenmerkt door uitgesproken asymmetrie, ordegevoeligheid en strategieafhankelijkheid, hetgeen domeinbewuste en ordebewuste trainingsontwerpen noodzakelijk maakt.

Oorspronkelijke auteurs: Wang Yang, Shouren Wang, Chaoda Song, Chuang Ma, Xinpeng Li, Nengbo Wang, Kaixiong Zhou, Vipin Chaudhary, Xiaotian Han

Gepubliceerd 2026-02-03

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Wang Yang, Shouren Wang, Chaoda Song, Chuang Ma, Xinpeng Li, Nengbo Wang, Kaixiong Zhou, Vipin Chaudhary, Xiaotian Han

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar enigszins rigide student traint om verschillende soorten puzzels op te lossen: Wiskunde, Wetenschap, Logica en Breinbrekers. Je hebt een speciale onderwijsmethode genaamd GRPO, wat lijkt op een coach die de student feedback geeft nadat deze een probleem heeft geprobeerd op te lossen, om hem zo gedurende de tijd beter te laten worden.

Dit artikel stelt een eenvoudige vraag: Maakt het uit welk vak je de student eerst leert, en maakt het uit of je ze één voor één leert of ze allemaal door elkaar mengt?

De onderzoekers ontdekten dat het antwoord een overtuigend "Ja!" is, en de resultaten zijn verrassend eenzijdig. Hier is wat zij ontdekten, uitgelegd aan de hand van alledaagse analogieën:

1. Het "Wiskunde-magneet"-effect (Asymmetrie)

Beschouw Wiskunde als een superkracht die heel gemakkelijk te vangen is.

De bevinding: Als je de student traint in Wetenschap, Logica of zelfs Breinbrekers, worden hun Wiskundige vaardigheden magisch beter (met ongeveer 25%).
De adder onder het gras: Het werkt niet andersom. Als je ze traint in Wiskunde, helpt dat hen nauwelwel niet om beter te worden in Logica of Breinbrekers.
De analogie: Stel je voor dat Wiskunde een "universeel oplosmiddel" is. Het gieten van Wiskunde-training in het brein van de student lost barrières op en helpt bij het oplossen van Wiskundeproblemen, zelfs als ze oorspronkelijk iets anders bestudeerden. Maar het gieten van Logica-training in het brein lost geen barrières op voor Logica; het blijft gewoon in de Logica-emmer.

2. De "Volgorde van Bewerkingen"-valstrik (Ordegevoeligheid)

De volgorde waarin je de vakken onderwijst, verandert de uitkomst drastisch. Het is als het bakken van een cake: als je de ingrediënten in de verkeerde volgorde mengt, stort de cake in.

Het paar Wiskunde & Wetenschap:
- Goede volgorde (Wiskunde → Wetenschap): Als je eerst Wiskunde leert en daarna Wetenschap, wordt de student een genie in beide. Ze scoren 83% op Wiskunde en 41% op Wetenschap.
- Slechte volgorde (Wetenschap → Wiskunde): Als je eerst Wetenschap leert en daarna Wiskunde, raakt de student in de war. Hun Wiskunde-score daalt en hun Wetenschap-score stort in naar 25%.
- De analogie: Denk aan Wiskunde als een stevig fundament. Als je het Wetenschaps-huis op een solide Wiskunde-fundament bouwt, staat het hoog en trots. Als je probeert het Wiskunde-huis op een wankel Wetenschaps-fundament te bouwen, wankelen en vallen beide constructies.
De botsing tussen Logica & Wetenschap:
- De bevinding: Wetenschap en Logica haten elkaar. Ongeacht welk vak je eerst leert, als je probeert het andere vak daarna te leren, vergeet de student het eerste vak.
- De analogie: Het is alsoals proberen twee verschillende talen te leren die compleet tegenovergestelde grammatica regels gebruiken. Als je Frans (Wetenschap) leert en daarna probeert een verzonnen buitenaardse taal (Logica) te leren, worden de Franse regels door elkaar gehusseld.
- De oplossing: De enige manier om beide te redden, is door ze te mengen. In plaats van eerst Frans en dan het Buitenaardse te leren, leer je een beetje Frans en een beetje Buitenaards in dezelfde les. Deze "gemengde training" stopt de verwarring en helpt de student beide te leren.

3. De Mythe van "Eén maat voor iedereen"

Het artikel bewijst dat er geen enkelvoudig "perfect schema" is voor het onderwijzen van alle vakken.

Voor Wiskunde: Een strikt schema (sequentiële training) werkt het best. Je moet vakken één voor één onderwijzen in een specifieke volgorde.
Voor Wetenschap en Logica: Een gemengd schema werkt het best. Je moet alle data in een blender gooien en ze samen onderwijzen.
Het gevaar: Als je het verkeerde schema kiest (zoals Wetenschap vóór Wiskunde onderwijzen), kun je een enorme hoeveelheid prestatie verliezen — een daling van een gemiddelde score van 70% naar 56%. Dat is het verschil tussen een "A"-student en een "C"-student.

Samenvatting

Het artikel concludeert dat wanneer je AI traint om te redeneren:

Wiskunde is speciaal: Het helpt andere onderwerpen, maar andere onderwerpen helpen het niet veel.
Timing is alles: Wiskunde vóór Wetenschap onderwijzen is een winnende strategie; het andersom doen is een ramp.
Mix en Match: Voor sommige onderwerpen (zoals Wetenschap en Logica) moet je de trainingsdata mengen om te voorkomen dat ze met elkaar in conflict komen.

De onderzoekers hebben een "trainingskaart" gemaakt om precies aan te geven welke volgorde voor welk onderwerp werkt, waarbij ze waarschuwen dat het negeren van deze regels kan leiden tot AI-modellen die veel minder goed zijn in redeneren dan ze zouden kunnen zijn.

Technische Samenvatting: Wanneer Domeinen Interageren in GRPO voor Redeneren

Probleemstelling

Hoewel Group Relative Policy Optimization (GRPO) een hoeksteen is geworden voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's), blijft het gedrag ervan onder multi-domein training onvoldoende begrepen. Bestaand onderzoek heeft zich grotendeels gericht op single-domain toepassingen (bijv. wiskunde of code) of onafhankelijke studies van specifieke domeinen (bijv. logica of puzzels). Bijgevolg zijn de interacties tussen verschillende redeneerdomeinen tijdens training — specifiek hoe sequentiële versus gemengde domeinstrategieën prestaties, transfer en interferentie beïnvloeden — niet systematisch gekarakteriseerd. Dit artikel adresseert het gat in het begrip van hoe domeinspecifieke signalen interageren, of de trainingsvolgorde ertoe doet, en of er een universele trainingsstrategie bestaat voor multi-domein redeneren.

Methodologie

De auteurs voeren een systematische empirische studie uit met behulp van het Qwen3-4B-Base model, getraind met standaard GRPO. Het experimentele kader omvat vier representatieve redeneerdomeinen:

Wiskunde: Afkomstig van Skywork-OR1-RL-Data.
Wetenschap: Afkomstig van OpenScienceReasoning-2 (STEM-subset).
Logica: Afkomstig van de Knights-and-Knaves dataset.
Puzzel: Afkomstig van Enigmata-Data.

De studie is georganiseerd in drie analytische fasen:

Single-Domain Generalisatie: Modellen worden getraind op één domein en geëvalueerd op andere domeinen om cross-domein transfercapaciteiten te meten.
Cross-Domein Interactie: De auteurs onderzoeken bidirectionele effecten door modellen sequentieel te trainen (bijv. Domein A $\rightarrow$ Domein B) en prestatieveranderingen op beide domeinen te meten ten opzien van single-domain baselines. Dit kwantificeert "vergeten" (interferentie) en "facilitatie" (transfer).
Multi-Domein Trainingsstrategieën: Het artikel vergelijkt sequentiële training (het trainen op domeinen één na het ander in verschillende volgordes) met gemengde training (het trainen op een gecombineerde dataset van meerdere domeinen gelijktijdig).

Evaluatie vindt plaats op standaard benchmarks: MATH500 voor wiskunde, GPQA voor wetenschap, en specifieke testsplits voor logica en puzzels.

Belangrijkste Bijdragen en Resultaten

1. Asymmetrische Single-Domain Generalisatie

De studie onthult een sterk asymmetrisch transferpatroon:

Wiskunde: Vertoont sterke cross-domein transfer. Training op wetenschaps-, logica- of puzzeldata verbetert de nauwkeurigheid van wiskundig redeneren met ongeveer 18–25%.
Wetenschap: Toont matige transferbaarheid, waarbij het profiteert van andere domeinen maar minder dan wiskunde.
Logica en Puzzel: Deze domeinen zijn grotendeels domeinspecifiek. Training op andere domeinen levert verwaarloosbare winst op (vaak <4%), en hoge prestaties in deze gebieden worden alleen bereikt door in-domein training.

2. Volgordegevoelige Cross-Domein Interacties

De volgorde van training heeft een significante impact op de uiteindelijke prestaties, met interacties die niet wederkerig zijn:

Wiskunde $\leftrightarrow$ Wetenschap: De volgorde is cruciaal. Training Wiskunde $\rightarrow$ Wetenschap bereikt een hoge nauwkeurigheid op beide (83% Wiskunde / 41% Wetenschap). Het omdraaien van de volgorde naar Wetenschap $\rightarrow$ Wiskunde veroorzaakt substantiële degradatie (77% Wiskunde / 25% Wetenschap).
Logica $\leftrightarrow$ Wetenschap: Wetenschapstraining interfereert consistent met logisch redeneren, ongeacht de volgorde. Training op wetenschap na logica veroorzaakt een daling van ~5% in logica-nauwkeurigheid; training op logica na wetenschap veroorzaakt een daling van ~7,6%.
Puzzel: Het puzzeldomein is grotendeels ongevoelig voor interferentie van andere domeinen.

3. Geen Universele Optimale Strategie

Het artikel toont aan dat geen enkele enkele trainingsparadigma optimaal is voor alle domeinen:

Sequentiële Training: Begunstigt Wiskunde. De optimale sequentie (bijv. Logica $\rightarrow$ Wiskunde $\rightarrow$ Wetenschap) kan de wiskundige nauwkeurigheid naar 84% stuwen, wat single-domain training overtreft. Echter, een slechte ordening (bijv. Wetenschap $\rightarrow$ Wiskunde $\rightarrow$ Logica) kan resulteren in gemiddelde nauwkeurigheden van slechts 56%.
Gemengde Training: Begunstigt Wetenschap, Logica en Puzzel. Voor deze domeinen presteert gemengde training vaak beter dan de beste sequentiële strategieën en single-domain baselines. Specifiek mitigeert gemengde training op Logica en Wetenschap effectief de interferentie die in sequentiële settings wordt waargenomen.

Betekenis en Claims

Het artikel claimt dat GRPO in multi-domein settings uitgesproken asymmetrie, volgordegevoeligheid en strategie-afhankelijkheid vertoont. De auteurs benadrukken dat:

Trainingsvolgorde is Cruciaal: Het negeren van de sequentie van domeinen kan substantiële bias introduceren, wat leidt tot prestatiekloven van wel 28 procentpunten (bijv. 84% vs. 56% gemiddelde nauwkeurigheid afhankelijk van de strategie).
Domeinbewust Ontwerp is Noodzakelijk: Een "one-size-fits-all" benadering is suboptimaal. Effectieve multi-domein training vereist het afstemmen van de strategie op de specifieke betrokken domeinen (bijv. het gebruik van sequentiële training voor wiskunde-zware doelen en gemengde training voor wetenschaps/logica-doelen).
Fundament voor Toekomstig Werk: Deze studie vormt de eerste systematische onderzoek naar deze cross-domein effecten en legt de basis voor geprincipeerd multi-domein reinforcement learning in redeneermodellen.

De auteurs concluderen dat het begrijpen en expliciet beheren van deze cross-domein interacties essentieel is voor het bouwen van robuuste, generaliseerbare redeneermodellen naarmate het veld verschuift van single-domein optimalisatie naar complexe multi-domein trainingsregimes.