Technische Samenvatting: Multi-task Code LLM's: Data Mix of Model Merge?

Probleemstelling

De opkomst van agentische frameworks heeft de vraag gecreëerd naar kleinere, gespecialiseerde code Large Language Models (LLM's) die naast frontier-modellen kunnen opereren om een balans te vinden tussen prestaties, kosten en inferentiebeperkingen. De praktische implementatie vereist echter vaak dat deze kleine modellen meerdere codetaken gelijktijdig kunnen afhandelen (bijv. codegeneratie en code-samenvatting). Er bestaan twee primaire strategieën voor het creëren van dergelke multi-task modellen:

1. Data Mixture: Het fine-tunen van een basismodel één keer op een gecombineerde dataset van alle gewenste taken.
2. Model Merging: Het trainen van aparte "specialistische" modellen voor elke taak en het achteraf samenvoegen van hun gewichten.

Hoewel zowel data mixing als model merging actieve onderzoeksgebieden zijn, blijft de relatieve effectiviteit specifiek voor code LLM's onderbelicht. Het is onduidelijk welke strategie betere multi-task prestaties oplevert, hoe model schaal deze keuze beïnvloedt, en of analyse in de gewichtsruimte de optimale strategie kan voorspellen.

Methodologie

De auteurs hebben uitgebreide experimenten uitgevoerd waarbij data-mixture Supervised Fine-Tuning (SFT) werd vergeleken met vier state-of-the-art model merging technieken over twee modelfamilies (Qwen2.5-Coder en DeepSeekCoder) op twee schalen (ongeveer 1.5B/1.3B en 7B parameters).

• Taken: De studie richtte zich op twee afzonderlijke codetaken: Code Generatie (gebruikmakend van KodCode, HumanEval, MBPP) en Code Samenvatting (gebruikmakend van CodeXGLUE Code-to-Text).
• Strategieën:
  • Data Mixture: SFT op een geschud combinatie van generatie- en samenvattingsdatasets.
  • Model Merging: Het trainen van afzonderlijke specialisten voor generatie en samenvatting, gevolgd door het mergen van deze via Linear, TIES (Trim, Elect Sign & Merge), DARE (Drop And Rescale), en DELLA (Deep Linear Learning Alignment).
• Analyse: De auteurs introduceerden een diagnostische benadering in de gewichtsruimte, waarbij de laag-specifieke $L_2$-afstand tot het basismodel werd gemeten en de Pearson-correlaties tussen taakspecifieke gewichtsupdates werden berekend om interferentie en representationele overlap te begrijpen.

Belangrijkste Bijdragen

1. Scale-Swept Vergelijking: Het artikel biedt een uitgebreide empirische vergelijking van data mixing versus model merging voor code LLM's op 2B en 7B schaal.
2. Gewichtsruimte-diagnostiek: De auteurs stellen het gebruik van laag-specifieke gewichtsverschuivingen en inter-taak update-correlaties voor als een mechanistisch diagnostisch instrument. Ze ontdekten dat kleinere modellen een hoge correlatie vertonen tussen taak-updates (wat duidt op interferentie), terwijl grotere modellen een lage correlatie vertonen (wat duidt op orthogonale representaties).
3. Praktische Richtlijnen: De studie stelt een duidelijke vuistregel vast op basis van model schaal:
   • Kleine Modellen (~2B): Data-mixture SFT is de geprefereerde strategie, aangezien het mergen van specialisten leidt tot significante prestatiedegradatie door capaciteitsbeperkingen.
   • Grote Modellen (7B): Model merging is superieur en evenaakt vaak de individuele specialisten of overtreft zelfs de prestaties met minimale gemiddelde degradatie (<2,1%).

Resultaten

De evaluatie op de HumanEval, MBPP en CodeXGlue benchmarks onthulde een duidelijke schaalafhankelijke divergentie in de effectiviteit van de strategie:

• Kleine Modellen (1.3B/1.5B):
  • Data-mixture SFT presteerde consequent beter dan merging strategieën. Bijvoorbeeld, op Qwen 1.5B bereikte data mixing slechts een gemiddelde degradatie van -1,26% vergeleken met de specialisten, terwijl merging methoden (Linear, TIES, DELLA) verliezen leden van -7% tot -27%.
  • Gewichtsanalyse toonde een hoge Pearson-correlatie tussen generatie- en samenvattingsupdates in kleine modellen, wat suggereert dat ze vergelijkbare parameters aanpassen, wat leidt tot destructieve interferentie bij het mergen.
• Grote Modellen (7B):
  • Model merging presteerde significant beter dan data mixing. Op Qwen 7B bereikte de DELLA merge de beste algehele prestaties (-2,08% gemiddeld verlies), wat de data-mixture SFT (-2,57%) licht overtrof.
  • Op DeepSeek 7B bereikte DARE merging bijna perfecte prestatiebehoud (-0,01% gemiddeld verlies), en overtrof zelfs de specialisten op specifieke metrieken (bijv. MBPP pass@1 verbeterde van 0,775 naar 0,799).
  • Gewichtsanalyse onthulde een lage correlatie tussen taak-updates in 7B modellen, wat aangeeft dat ze gebruikmaken van afzonderlijke representationele paden, waardoor ze zonder conflict gecombineerd kunnen worden.
• Architectuur-specifiteit: Het optimale merging algoritme varieerde per architectuur; DELLA presteerde het best voor Qwen-Coder 7B, terwijl DARE uitblonk voor DeepSeek-Coder B.

Betekenis en Claims

Het artikel claimt bruikbare inzichten te bieden voor practitioners die resource-beperkte agentische systemen implementeren. De primaire betekenis ligt in de bevinding dat de optimale multi-task leerstrategie fundamenteel wordt bepaald door model schaal in plaats van enkel door taalkenmerken.

• Voor Kleine Modellen: Investeren in zorgvuldige data-mixture strategieën tijdens de training levert superieure resultaten op vergeleken met post-hoc merging, waardoor de "catastrofale interferentie" veroorzaakt door beperkte parametercapaciteit wordt vermeden.
• Voor Grote Modellen: Het mergen van taakspecifieke specialisten biedt overtuigende voordelen, wat modulaire ontwikkeling mogelijk maakt waarbij teams modellen onafhankelijk van elkaar kunnen optimaliseren voordat ze worden gecombineerd. Deze aanpak vermindert de trainingskosten door redundante multi-task training te vermijden en maakt het mogelijk om nieuwe capaciteiten toe te voegen zonder vanaf nul opnieuw te hoeven trainen.

De auteurs concluderen dat met een zorgvuldige strategie-selectie, kleine agentische systemen kunnen genieten van multi-task code intelligentie zonder verspillende over-training, en dat analyse in de gewichtsruimte kan dienen als een voorspellend instrument voor het selecteren van de juiste strategie vóór de implementatie.