💬 NLP

Advancing General-Purpose Reasoning Models with Modular Gradient Surgery

Dit artikel introduceert **Modular Gradient Surgery (MGS)**, een methode die gradiëntconflicten tussen verschillende domeinen oplost om de prestaties van algemene redeneermodellen tijdens reinforcement learning aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Min Cai, Yu Liang, Longzheng Wang, Yan Wang, Yueyang Zhang, Long Xia, Zhiyuan Sun, Xi Ye, Daiting Shi

Gepubliceerd 2026-02-11

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Min Cai, Yu Liang, Longzheng Wang, Yan Wang, Yueyang Zhang, Long Xia, Zhiyuan Sun, Xi Ye, Daiting Shi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme robot aan het trainen bent. Je wilt dat deze robot twee dingen heel goed kan: hij moet een briljante wiskundige zijn (die complexe sommen oplost) én een gezellige, empathische gesprekspartner (die een leuk praatje maakt).

Het probleem? Als je de robot alleen maar wiskunde leert, wordt hij een saaie rekenmachine die geen emotie begrijpt. En als je hem alleen maar leert praten, vergeet hij hoe hij die lastige breuken moet uitrekenen. Dit noemen onderzoekers "interferentie".

Dit paper, getiteld "Modular Gradient Surgery", heeft een slimme oplossing gevonden voor dit probleem. Hier is de uitleg in gewone mensentaal.

Het probleem: De "Strijd in het Brein"

Er zijn twee manieren waarop mensen dit probleem meestal proberen op te lossen, maar beide hebben een fout:

De "Eerst dit, dan dat" methode (Sequential RL): Je traint de robot eerst een week lang alleen maar wiskunde. Daarna laat je hem een week lang alleen maar praten.
- Wat er misgaat: De robot heeft een soort "geheugenverlies". Zodra hij leert praten, "overschrijft" die nieuwe kennis de wiskunde. Het is alsof je een bibliotheek vol wiskundeboeken leegtrekt om plaats te maken voor kookboeken.
De "Alles door elkaar" methode (Mixed RL): Je geeft de robot een enorme bak met opdrachten: de ene minuut een som, de volgende minuut een vraag over het weer.
- Wat er misgaat: De instructies raken in de knoop. De robot krijgt tegenstrijdige signalen. De wiskunde-instructie zegt: "Wees heel strikt en logisch!", terwijl de chat-instructie zegt: "Wees creatief en losjes!". In het "brein" van de robot botsen deze signalen (de zogenaamde gradients) met elkaar, waardoor hij van alles een beetje leert, maar nergens echt goed in wordt.

De oplossing: "Modular Gradient Surgery" (De Chirurgische Ingreep)

De onderzoekers ontdekten iets belangrijks: het brein van een AI-model is niet één grote grijze massa, maar bestaat uit verschillende modules (stukjes). Sommige stukjes zijn goed in het opslaan van feiten, andere in het leggen van logische verbanden.

In plaats van het hele brein te proberen te repareren als één grote klomp, stelt het team Modular Gradient Surgery (MGS) voor.

De Metafoor: De Orkestdirigent
Stel je een orkest voor waar de violen een vrolijk liedje willen spelen, maar de trompetten een dramatische mars. Als de dirigent probeert iedereen tegelijkertijd te dwingen, ontstaat er een enorme herrie (chaos in de data).

De "Modular Gradient Surgery" werkt als een super-slimme dirigent die per instrumentengroep kijkt wat er gebeurt:

Hij ziet dat de violen en trompetten in de hoge tonen met elkaar botsen. Hij grijpt in bij de violen om de botsing te voorkomen, zodat ze hun melodie kunnen behouden zonder de trompetten te dwarsbomen.
Maar hij ziet ook dat de pauken en de cello's juist heel goed samenwerken. Daar grijpt hij niet in. Hij laat ze gewoon hun werk doen.

Door alleen in te grijpen op de specifieke "modules" waar de instructies met elkaar botsen, blijft de rest van het brein ongestoord groeien.

Wat is het resultaat?

De onderzoekers hebben dit getest op bekende AI-modellen (zoals Llama en Qwen) en de resultaten waren indrukwekkend:

De robot werd veel beter in wiskunde, zonder dat hij zijn sociale vaardigheden verloor.
Hij werd veel beter in chatten, zonder dat hij dommer werd in logisch denken.
Hij bleef stabiel, zelfs als je hem heel lang bleef trainen.

Kortom: In plaats van de AI te dwingen te kiezen tussen "slim" of "gezellig", zorgt deze nieuwe techniek ervoor dat de AI de verschillende vaardigheden in zijn brein kan organiseren, zodat hij de beste van beide werelden kan zijn.

Technische Samenvatting: Modular Gradient Surgery (MGS)

1. Het Probleem: Cross-Domain Interferentie

Het trainen van Large Reasoning Models (LRM's) met sterke Chain-of-Thought (CoT) capaciteiten via Reinforcement Learning (RL) is zeer succesvol voor specifieke domeinen (zoals wiskunde of code). De grote uitdaging is echter het trainen van één enkel algemeen model dat uitblinkt in diverse, heterogene domeinen (bijv. wiskunde, algemene chat en instructie-opvolging).

Het onderzoek identificeert dat de twee gangbare strategieën tekortschieten:

SEQUENTIAL RL (Na elkaar trainen): Dit leidt tot Mode Interference. Dit uit zich in twee vormen:
- Forgetting (Vergeten): Prestaties op het eerste domein nemen af zodra het tweede domein wordt getraind.
- Rigidity (Rigiditeit): Het model wordt te "star" door de eerste training, waardoor het minder effectief leert in het tweede domein (vaak door een afname in entropie/exploratie).
MIXED RL (Multi-task training): Hierbij worden data van verschillende domeinen in dezelfde batch gemengd. Dit leidt tot Gradient Conflicts: de gradiënten (updates) van het ene domein werken de optimalisatie van het andere domein tegen (negatieve cosinus-gelijkenis).

2. Methodologie: Modular Gradient Surgery (MGS)

De auteurs stellen Modular Gradient Surgery (MGS) voor om de conflicten in MIXED RL op te lossen. De kern van hun aanpak is gebaseerd op de architecturale eigenschap dat Transformers modulair zijn.

Het concept: In plaats van de gradiënten van het hele model als één grote vector te behandelen (zoals bij de standaard PCGrad-methode), past MGS "gradient surgery" toe op het niveau van individuele modules (zoals de Attention-lagen en MLP-lagen).
Waarom modulair? Verschillende componenten in een Transformer hebben verschillende functies: MLP-lagen zijn vaak geassocieerd met kennisopslag, terwijl Attention-lagen verantwoordelijk zijn voor informatie-routing en redeneren. Conflicten zijn vaak gelokaliseerd in specifieke modules.
Het algoritme:
1. Bereken de gradiënten voor elke taak/domein afzonderlijk binnen een batch.
2. Splits de parameters op in modules ( $\phi$ ).
3. Voor elke module wordt gecontroleerd of de gradiënten van taak $i$ en taak $j$ een negatieve dot-product hebben (een conflict).
4. Indien er een conflict is, wordt de gradiënt van taak $i$ geprojecteerd op het orthogonale complement van de gradiënt van taak $j$ . Dit verwijdert de destructieve component zonder de constructieve updates te blokkeren.
5. Dit proces wordt onafhankelijk per module uitgevoerd, waardoor het model niet onnodig conservatief wordt (wat bij Global Gradient Surgery wel het geval is).

3. Belangrijkste Bijdragen

Systematische analyse: De eerste grondige studie naar de beperkingen van sequentiële versus gemengde RL-strategieën bij het trainen van redeneermodellen.
Nieuwe techniek (MGS): De introductie van een module-bewuste methode voor gradiënt-manipulatie die specifiek is ontworpen voor de architectuur van LLM's.
Mechanistische inzichten: Het aantonen dat bepaalde modules (zoals LayerNorm) cruciaal zijn voor het stabiliseren van de balans tussen verschillende taken.

4. Resultaten

De effectiviteit van MGS werd getest op de Llama en Qwen modelfamilies over drie domeinen (Math, Chat, Instruction Following):

Verbeterde prestaties: MGS behaalt gemiddeld 4,3 punten (16,6%) verbetering op Llama en 4,5 punten (11,1%) op Qwen ten opzichte van standaard multi-task RL.
Balans: In tegenstelling tot sequentiële training (waarbij één domein vaak ten koste gaat van het andere), zorgt MGS voor een veel gebalanceerd profiel. Het model blijft sterk in zowel wiskunde als conversatie.
Schaalbaarheid: De voordelen van MGS nemen toe naarmate de training langer duurt en naarmate er meer taken (bijv. drie in plaats van twee) worden toegevoegd.
Efficiëntie: De extra computationele overhead is verwaarloosbaar bij het gebruik van moderne parallelle trainingsframeworks zoals FSDP.

5. Betekenis en Conclusie

Dit onderzoek is significant omdat het een fundamentele barrière wegneemt voor het bouwen van General-Purpose Reasoning Models. Het biedt een principieel en efficiënt recept om de tegenstrijdige doelen van verschillende RL-beloningen (zoals objectieve wiskundige correctheid versus subjectieve chat-voorkeuren) te verenigen. MGS laat zien dat we door de modulaire natuur van neurale netwerken te benutten, de "interferentie-oorlog" tussen verschillende taken kunnen winnen, wat de weg vrijmaakt voor de volgende generatie veelzijdige AI-agenten.