Technische Samenvatting: Wanneer Model Merging de Rivaliteit met Joint Multi-Task Reinforcement Learning Evenaart

Probleemstelling

Model merging wordt vaak voorgesteld als een alternatief voor joint multi-task training, met name in reinforcement learning (RL) scenario's waarbij onafhankelijke agenten worden uitgebracht en hun trainingsdata niet gecombineerd kan worden. Echter, de bewering dat merging overeenkomt met joint training is zelden empirisch getoetst tegen de baseline die het beoogt te vervangen, aangezien joint modellen doorgaans niet beschikbaar zijn in de cross-domein scenario's waarin merging wordt toegepast. Dit artikel adresseert deze kloof door een gecontroleerde vergelijking te construeren: het trainen van RL-specialisten op disjuncte taaksubsets, het mergen van deze, en het afzetten van het resultaat tegen een gezamenlijk getraind model op dezelfde data.

Methodologie

De studie maakt gebruik van de AppWorld benchmark, een interactieve digitale-agent omgeving met taken geannoteerd op moeilijkheidsgraad. De experimentele opzet omvat de volgende componenten:

• Basismodel & Architectuur: Alle modellen zijn gefinetuned van Qwen3-8B met behulp van LoRA (Low-Rank Adaptation) met rang $r=16$ op de attention en MLP projectiematrices.
• Trainingsregime: Specialisten worden getraind met behulp van LOOP (Leave-One-Out Policy Optimization), een critic-vrije policy-gradient methode die de voordelen van RLOO combineert met PPO-achtige clipping.
  • Difficulty-1 Specialist: Getraind uitsluitend op difficulty-1 taken.
  • Difficulty-2 Specialist: Getraind uitsluitend op difficulty-2 taken.
  • Joint Model: Getraind op de unie van difficulty-1 en difficulty-2 taken.
• Merging Strategieën: De task vectors van de specialisten (parameter offsets van het basismodel) worden gemerged met behulp van:
  • TIES: Trimt coördinaten met een lage magnitude en lost tekenconflicten op via magnitude voting.
  • RAM+: Partitioneert coördinaten op basis van support co-occurrence (gedeeld vs. uniek) en versterkt unieke richtingen.
• Evaluatie: Modellen worden geëvalueerd op een hold-out testset (168 taken) met behulp van Task-Goal Completion (TGC) (binaire succesratio) en een continue partial-credit metriek (fractie van geslaagde unit tests).
• Geometrische Analyse: Het artikel introduceert een gekalibreerde geometrische diagnostiek om de relatie tussen de task vectors van de specialisten te meten. Dit omvat globale cosinus gelijkenis, tekenovereenkomst en support overlap. Cruciaal is dat de auteurs deze metingen kalibreren tegen een vloer (random rank-16 adapters) en een plafond (checkpoints uit dezelfde run) om te onderscheiden tussen leer-signalen en artefacten van low-rank parametrisatie.

Belangrijkste Bijdragen

1. Empirische Nulhypothese: Het artikel stelt vast dat, binnen deze gecontroleerde setting, model merging statistisch ononderscheidbaar is van joint multi-task RL op de primaire TGC-metriek. Bovendien zijn gedragsbewuste merging-methoden (RAM+, TIES) ononderscheidbaar van naïeve middeling.
2. Geometrische Verklaring: De auteurs demonstreren dat het gebrek aan interferentie die complexe merging vereist, te wijten is aan de bijna-orthogonaliteit van de task vectors van de specialisten. Ondanks een support overlap van 65% (een gevolg van identieke LoRA target modules), blijft de directionele uitlijning (cosinus gelijkenis) laag (0.06–0.10). Deze kleine gedeelde component ontwikkelt zich tijdens de training maar blijft onderscheidend van de low-rank initialisatie vloer.
3. Ontkoppeling van Support en Richting: De studie onthult dat in LoRA-gebaseerde RL-specialisten, support co-occurrence (de basis voor RAM) niet impliceert dat er sprake is van directionele uitlijning. Omdat de vectoren bijna orthogonaal zijn, neigen support-gebaseerde merging-strategieën naar eenvoudige middeling, waardoor complexe teken- of subspace resolutie overbodig wordt.
4. Metrische Sensitiviteitsanalyse: Hoewel de continue partial-credit metriek laat zien dat gemergede modellen lager scoren dan joint modellen, argumenteren de auteurs dat dit niet duidt op een falen van merging als substituut voor joint training. De metriek-reversal (merges presteren beter dan joint op TGC, maar slechter op continue scores) en het gebrek aan emergente cross-task capaciteit (joint performance overtreft de beste specialist niet) suggereren dat het verschil een mechanisch gevolg is van het middelen van bijna-orthogonale vectoren in plaats van een verlies aan capaciteit.

Resultaten

• Prestatie-pariteit: Op de primaire metriek (TGC) vallen de Difficulty-1 specialist, Difficulty-2 specialist, Joint model, TIES merge en RAM+ merge allemaal binnen een statistisch overlappend spectrum (12.5% – 16.1% geaggregeerde TGC). Geen enkele paargewijze contrast tussen RL-modellen is significant ($p \geq 0.56$).
• Geometrische Bevindingen:
  • Cosinus Gelijkenis: De globale cosinus tussen de specialisten is 0.06–0.10, wat monotoon stijgt vanaf bijna nul tijdens de training, maar verzadigt ruim onder het plafond (0.78–0.81 voor checkpoints uit dezelfde run).
  • Tekenovereenkomst: De tekenovereenkomst op gedeelde support is ~52%, consistent met toeval.
  • Support Overlap: Hoog (~65%) door gedeelde LoRA modules, maar dit vertaalt zich niet naar directionele interferentie.
• Merging Dynamiek: Omdat de vectoren bijna orthogonaal zijn, reduceren TIES en RAM+ effectief tot uniforme middeling. De "unieke" sets in RAM zijn te klein om significante amplificatie te drijven, en tekenconflicten in TIES worden willekeurig opgelost door een gebrek aan consensus.
• Checkpoint Selectie: Een analyse van "merge-aware" early stopping (het selecteren van checkpoints om interferentie te minimaliseren terwijl de reward wordt gemaximaliseerd) toont geen hefboomwerking in deze regime. Interferentie en capaciteit groeien samen; het optimale punt voor merging valt samen met het piekcapaciteit checkpoint, waardoor er geen alternatief is van hoge capaciteit met lage interferentie.

Betekenis en Claims

Het artikel presenteert zijn bevindingen als een gekalibreerde nul: een zorgvuldig afgebakende karakterisering van waar model merging volstaat.

• Voor Praktische Gebruikers: In settings waar data gecombineerd kan worden, biedt merging geen statistisch voordeel boven joint RL op deze schaal (8B parameters, ~10 iteraties). Echter, voor gebruikers die data niet kunnen combineren, bieden de resultaten de zekerheid dat merging de prestaties die joint RL zou hebben geleverd, niet evident opoffert.
• Mechanistisch Inzicht: De studie verheldert dat het succes van merging in deze context niet te danken is aan de verfijning van het merging-algoritme (zoals RAM of TIES), maar aan de inherente geometrie van de geleerde task vectors. De bijna-orthogonaliteit van LoRA-gebaseerde RL-specialisten minimaliseert interferentie, waardoor complexe ontwarring onnodig wordt.
• Beperkingen en Reikwijdte: De auteurs zijn bescheiden over de reikwijdte en merken op dat deze resultaten specifief zijn voor de binnen-benchmark setting, de LoRA-parametrisatie en de specifieke difficulty splits die gebruikt zijn. Zij erkennen dat grotere modellen, andere trainingsregimes of full fine-tuning andere geometrische eigenschappen zouden kunnen opleveren waar merging-methoden meer invloed op kunnen uitoefenen. Het artikel claimt expliciet niet dat merging universeel superieur is of dat de geobserveerde "nul" geldt voor alle multi-task scenario's, maar focust op de specifieke condities waaronder merging overeenkomt met joint training.