💬 NLP

Enough is as good as a feast: A Comprehensive Analysis of How Reinforcement Learning Mitigates Task Conflicts in LLMs

Dit artikel demonstreert dat reinforcement learning (RL) superieur is aan supervised fine-tuning bij modelmerging door taakconflicten te mitigeren via kleinere gradiëntupdates, een convergent optimalisatiedoelstelling die conflicterende parameterwijzigingen minimaliseert, en de gezamenlijke optimalisatie van positieve en negatieve voorbeelden om robuuste, onbevooroordeelde prestaties te waarborgen.

Oorspronkelijke auteurs: Zixuan Ren, Jinliang Lu, Junhong Wu, Yang Zhao, Dai Dai, Hua Wu, Haifeng Wang, Chengqing Zong

Gepubliceerd 2026-07-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zixuan Ren, Jinliang Lu, Junhong Wu, Yang Zhao, Dai Dai, Hua Wu, Haifeng Wang, Chengqing Zong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een gigantische bibliotheek bent waar elk boek een superintelligent robotbrein is, bekend als een Large Language Model (LLM). Deze hersenen zijn ongelooflijk, maar ze worden vaak getraind om een expert te zijn in slechts één ding: de een houdt van wiskunde, een ander is een programmeerwizard en een derde is een meester in het vertellen van grappen. Soms willen we deze hersenen combineren tot één "superbrein" dat alles tegelijk kan doen. Dit proces wordt model merging genoemd. Denk aan het proberen te mengen van twee verschillende smoothies—één aardbei en één spinazie—in één enkele beker. Meestal, wanneer je ze mengt, botsen de smaken en eindig je met een vies, onherkenbaar slib waarbij noch de aardbei, noch de spinazie goed smaakt. In de wereld van AI wordt dit "slib" een task conflict genoemd, waarbij de kennis van de ene taak de andere taak verstoort.

Al een lange tijd proberen wetenschappers deze hersenen te mengen zonder de smaak te verpesten. Meestal nemen ze twee modellen die zijn getraind met een methode genaamd Supervised Fine-Tuning (SFT). Je kunt SFT zien als een strenge leraar die een student een tekstboek met de juiste antwoorden geeft en zegt: "Leer dit precies uit het hoofd." Maar onlangs is een nieuwe methode genaamd Reinforcement Learning (RL) populair geworden. RL is meer als een videogame: de AI probeert dingen uit, krijgt punten voor goede zetten en leert door middel van vallen en opstaan om zijn score te maximaliseren. De grote vraag is: als we onze expertbreinen trainen met deze "videogame"-stijl (RL) in plaats van de "strenge tekstboek"-stijl (SFT), zullen ze dan beter samensmelten?

Dit artikel, getiteld "Enough Is as Good as a Feast," duikt diep in die vraag. De onderzoekers namen modellen die met beide methoden waren getraind en probeerden deze op verschillende manieren te mergen, waarbij ze ze testten op vijf verschillende vaardigheden: wiskunde, programmeren, instructies opvolgen, logische puzzels oplossen en items rangschikken. Ze kwamen tot een verrassende ontdekking: RL-getrainde modellen zijn veel beter in het mergen. Terwijl de SFT-modellen veranderden in dat "vieze slib" wanneer ze werden gemengd, waarbij ze tot wel 65% van hun vermogen op bepaalde taken verloren, bleven de RL-modellen verrassend scherp en verloren ze zeer weinig prestatie.

Waarom gebeurt dit? De auteurs suggereren drie redenen, gebruikmakend van hun eigen slimme analogieën. Ten eerste gebruikt RL on-policy data, wat betekent dat de AI leert van zijn eigen recente pogingen in plaats van van een vaststaand tekstboek. Dit houdt de "leerstappen" klein en zacht, zodat de AI niet per ongeluk de kennis die hij al van andere taken heeft, overschrijft. Ten tweede heeft RL een natuurlijke "stopknop". Naarmate de AI echt goed wordt in een taak, worden de updates die hij aan zijn brein maakt steeds kleiner en kleiner. Het artikel noemt dit het idee dat "enough is as good as a feast" (genoeg is even goed als een overvloed). Zodra de AI genoeg heeft geleerd om de klus goed te klaren, stopt hij met het maken van grote, verstorende veranderingen. In tegen testelling hiermee blijft SFT grote veranderingen aanbrengen, zelfs wanneer het model al perfect is, wat een puinhoop veroorzaakt wanneer je het met een ander model probeert te mengen. Ten slotte leert RL van zowel goede voorbeelden als slechte voorbeelden (positieve en negatieve samples). Dit helpt de AI niet alleen te begrijpen wat hij wel moet doen, maar ook wat hij niet moet doen, wat zorgt voor een schonere, meer gebalanceerde set instructies die niet botst met andere taken.

Kortom, het artikel suggereert dat als je een veelzijdige, veelgetalenteerde AI wilt bouwen door verschillende experts bij elkaar te voegen, het trainen met Reinforcement Learning lijkt op het gebruiken van een zachte, precieze hand om de smoothie te mengen, terwijl de traditionele methode lijkt op het ingrediënten in een blender gooien op hoge snelheid. Het resultaat? Een veel lekkerder, krachtiger superbrein.

Technische Samenvatting: Enough is as Good as a Feast

Probleemstelling

Model merging is een cruciale techniek geworden voor het consolideren van meerdere gespecialiseerde Large Language Models (LLM's) tot één verenigd model, zonder dat toegang tot de oorspronkelijke trainingsdata of dure hertraining vereist is. Echter, een centrale uitdaging in dit proces is taakconflict: wanneer parameters van onafhankelijk gefinetunede modellen worden gefuseerd, leidt interferentie tussen hen vaak tot significante prestatieafname.

Hoewel recent onderzoek zich heeft gericht op het ontwikkelen van betere merging-strategieën (bijv. Task Arithmetic, TIES-Merging, DARE), is de impact van het trainingsparadigma dat gebruikt wordt om de bronmodellen te creëren, grotendeels genegeerd. De meeste bestaande werken gaan ervan uit dat modellen getraind zijn via Supervised Fine-Tuning (SFT). Dit paper onderzoekt of de keuze tussen SFT en Reinforcement Learning (RL) als post-training paradigma invloed heeft op de vatbaarheid van modellen voor taakconflicten tijdens het mergen.

Methodologie

De auteurs hebben een uitgebreide empirische en theoretische analyse uitgevoerd waarbij modellen die gefinetuned zijn met SFT vergeleken worden met modellen die gefinetuned zijn met RL (specifiek PPO, GRPO en REINFORCE++).

Experimentele Opzet

Basismodellen: Llama-3.2-3B, Llama-3.1-8B en Mistral-Small-3-24B.
Taken: Vijf representatieve taken die automatische verificatie mogelijk maken: Mathematisch Redeneren, Code Generatie, Instructie Opvolging, Logische Puzzels en Ranking.
Merging Strategieën: De studie evalueerde vier merging-methoden: Model Averaging, TIES-Merging, Task-Arithmetic en DARE+TIES.
Protocol: Pairwise merging werd uitgevoerd tussen modellen die gefinetuned zijn op verschillende taken om de preservatie van prestaties te meten.

Theoretische en Empirische Analyse

Om de geobserveerde verschillen te verklaren, hebben de auteurs drie specifieke mechanismen geanalyseerd die RL onderscheiden van SFT:

On-Policy Data: Het vergelijken van de gradiëntnormen van updates afgeleid van on-policy data (RL) versus vaste offline datasets (SFT).
Intrinsieke Optimalisatiedynamiek: Theoretische analyse van hoe RL-objectieven (specifiek de advantage function) zich gedragen naarmate de training convergeert, vergeleken met de updates met vaste intensiteit van SFT.
Positieve vs. Negatieve Samples: Een gecontroleerd experiment dat het effect van negatieve samples isoleert door een "RL-Pos" variant te creëren waarbij de advantages van negatieve samples op nul worden gezet.

Belangrijkste Resultaten

1. Superieure Prestatiepreservatie in RL-modellen

Over alle vijf de taken, vier merging-strategieën en drie basismodel-architecturen heen, vertonen RL-getrainde modellen consistent aanzienlijk minder prestatieafname na het mergen vergeleken met SFT-getrainde modellen.

Grootte van de verbetering: In de "Puzzle" taak leden SFT-modellen tot wel 65% prestatieverlies met bepaalde merging-methoden, terwijl RL-modellen verliezen beperkten tot onder de 10% in de meeste gevallen.
Generaliteit: Het voordeel van RL bleef standhouden, ongeacht het specifieke RL-algoritme (PPO, GRPO, REINFORCE++) of de grootte van het basismodel.

2. Mechanismen die Taakconflicten Mitigeren

Het paper identificeert drie primaire factoren die bijdragen aan de robuustheid van RL:

Kleinere Gradiëntmagnitudes via On-Policy Data: RL vertrouwt op data gesampled uit het huidige model, wat nauw aansluit bij de distributie van het model. Dit resulteert in aanzienlijk kleinere parameter-update normen vergeleken met SFT (bijv. in Math taken waren de SFT update normen ~6.5 vs. ~0.78 voor RL). Kleinere updates verminderen het risico op het overschrijven van kennis verworven van andere taken.
Adaptieve Convergentie ("Enough is as Good as a Feast"): Theoretische analyse (Theorem 1 & 2) toont aan dat naarmate RL-training convergeert, de verwachte advantage ( $A$ ) naar nul nadert. Bijgevolg neemt de magnitude van parameter-updates van nature af. In contrast hiermee past SFT updates toe met een vaste intensiteit, ongeacht convergentie. Deze intrinsieke eigenschap van RL vermindert progressief het aantal en de magnitude van conflicterende parameter-updates.
Gezamenlijke Optimalisatie van Positieve en Negatieve Samples: RL optimaliseert over zowel positieve (hoge reward) als negatieve (lage reward) voorbeelden. Experimenten die volledige RL vergeleken met "RL-Pos" (alleen positieve samples) toonden aan dat de inclusie van negatieve samples leidt tot meer unbiased updates, hogere convergentiestabiliteit en een verdere reductie van cross-task conflicten.

3. Visualisatie van het Prestatielandschap

Het visualiseren van het loss-landschap rondom gemergde parameters onthulde dat hoewel zowel SFT als RL modellen robuust zijn tegen willekeurige ruis, lijden SFT-modellen onder ernstige degradatie wanneer ze worden verstoord in de richting van taak-geïnduceerde updates (mergen met een andere taak). RL-modellen behouden echter een stabiele prestatie in deze richtingen, wat aangeeft dat hun geleerde parameters meer taak-orthogonaal en minder verstrengeld zijn.

Belangrijkste Bijdragen

Paradigma Ontdekking: Het paper stelt vast dat RL-getrainde modellen inherent geschikter zijn voor model merging dan SFT-getrainde modellen, een bevinding die standhoudt over diverse merging-methoden, algoritmen en basismodellen heen.
Mechanistische Verklaring: Door middel van empirische en theoretische analyse schrijven de auteurs deze superioriteit toe aan drie factoren: het stabiliserende effect van on-policy data, de zelf-attenuerende aard van RL-updates tijdens convergentie, en het conflict-reducerende effect van gezamenlijke optimalisatie over positieve en negatieve samples.
Strategisch Inzicht: Het werk suggereert dat RL niet louter een alternatief is voor SFT voor alignment, maar een fundamenteel robuuster paradigma vormt voor multi-task post-training in foundation models, wat een schaalbaar pad biedt voor het bouwen van generalistische modellen zonder vanaf nul te hoeven hertrainen.

Betekenis

Het paper betoogt dat de keuze van het post-training paradigma een kritische, maar voorheen onderbelichte factor is in het succes van model merging. Door aan te tonen dat RL taakconflicten natuurlijk mitigeert, bieden de auteurs een nieuw perspectief op hoe robuuste, generalistische LLM's gebouwd kunnen worden. Deze bevinding daagt de heersende focus op enkel merging-strategieën uit en benadrukt het belang van de trainingsdynamiek die aan het mergen voorafgaat. De resultaten suggereren dat voor toepassingen die de integratie van meerdere gespecialiseerde capaciteiten vereisen, het gebruik van RL-getrainde modellen als bron voor merging een superieur fundament biedt voor het behoud van prestaties over diverse taken.