Navigating the Accuracy-Size Trade-Off with Flexible Model Merging

1. Het Probleem

In het huidige paradigma van "pre-training followed by fine-tuning" zijn er voor specifieke taken vaak afzonderlijke fine-tuned modellen beschikbaar. Het deployen van al deze individuele modellen leidt tot hoge opslag- en implementatiekosten. Aan de andere kant leidt het samenvoegen (mergen) van al deze modellen in één enkel model (multi-task learning) vaak tot een aanzienlijke daling in nauwkeurigheid door parameterconflicten tussen de taken.

Bestaande methoden voor modelmerging (zoals Task Arithmetic of TIES-Merging) focussen bijna uitsluitend op het creëren van één enkel samengevoegd model (grootte $1\times$). Dit creëert een rigide trade-off:

• Maximale nauwkeurigheid: Behouden van alle individuele modellen (grootte $M\times$, waar $M$ het aantal taken is).
• Minimale grootte: Eén samengevoegd model (grootte $1\times$), maar met een aanzienlijk nauwkeurigheidsverlies.

Er is een gebrek aan systematisch onderzoek naar de relatie tussen modelgrootte en nauwkeurigheid in het gebied tussen deze twee uitersten, vooral zonder gebruik te maken van extra trainingsdata (data-free).

2. Methodologie: FLEXMERGE

De auteurs introduceren FLEXMERGE, een nieuw, data-vrij framework dat het mogelijk maakt om samengevoegde modellen te genereren met willekeurige groottes, variërend van $1\times$ tot $M\times$, inclusief niet-gehele getallen (bijv. $1.75\times$).

Kernprincipes:

• Block-level Granulariteit: In plaats van het hele model als één eenheid te behandelen, wordt elk model opgebroken in sequentiële blokken (bijv. transformer-blokken, of zelfs individuele lagen zoals Attention en MLP).
• Bottom-up Greedy Strategie: Het framework begint met alle individuele fine-tuned modellen. In elke iteratie identificeert het het paar blokken (van verschillende taken) met de hoogste cosinus-similariteit en voegt deze samen.
• Flexibele Groottes: Het proces stopt zodra de gewenste doelgrootte ($S_{target}$) is bereikt. Hierdoor kunnen modellen worden gegenereerd die bijvoorbeeld 1.5 keer zo groot zijn als een enkel model, waarbij sommige blokken nog gescheiden zijn en andere al samengevoegd.
• Algoritme-onafhankelijkheid: FLEXMERGE is een unificerend framework dat bestaande data-vrije merging-algoritmen (zoals TA, TIES-Merging, PCB, Consensus, EMR) toepast op het blok-niveau in plaats van op het niveau van het volledige task-vector.

Complexiteit:
Het algoritme gebruikt een Disjoint Set Union (DSU) structuur en pre-computeert similariteiten. De totale tijdscomplexiteit wordt gedomineerd door de similariteitsberekening: $O(B \cdot M^2 \cdot d_{max})$, waarbij $B$ het aantal blokken is, $M$ het aantal taken, en $d_{max}$ de maximale grootte van een blok. Dit maakt het zeer efficiënt, zelfs voor grote aantallen taken.

3. Belangrijkste Bijdragen

1. Eerste studie over het volledige grootte-spectrum: FLEXMERGE is het eerste framework dat systematisch samengevoegde modellen genereert over het volledige spectrum van groottes, inclusief fractionele groottes.
2. Unificerend Framework: Het ondersteunt een breed scala aan data-vrije merging-algoritmen binnen één architectuur.
3. Systematische Karakterisering: Het biedt een grondige analyse van de nauwkeurigheids-grootte trade-off, wat leidt tot nieuwe inzichten over hoe algoritmen presteren bij verschillende schalen.
4. Efficiëntie: Het framework introduceert een efficiënte implementatie die inferentie-overhead minimaliseert en merging-tijden in de orde van seconden houdt voor tientallen taken.

4. Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op visuele (ViT-B/32, ViT-L/14) en NLP-benchmarks (T5-Base/Large, T0-3B met PEFT), met tot wel 30 taken.

Kernbevindingen:

• Steile Nauwkeurigheidswinsten: Zelfs een bescheiden toename in modelgrootte leidt tot enorme nauwkeurigheidsverbeteringen.
  • Bijvoorbeeld: Het verdubbelen van de grootte van $1\times$ naar $2\times$ resulteert in een stijging van de gemiddelde nauwkeurigheid met tot 13,5% (bij TA op ViT-B/32 met 8 taken).
  • Bijna volledige fine-tuning nauwkeurigheid wordt vaak bereikt bij groottes ver onder het maximum (bijv. bij $6\times$ voor 8 taken en $23.5\times$ voor 30 taken).
• Inconsistentie in Algoritme-rangschikking: De prestatie-rangschikking van merging-algoritmen verandert naarmate de modelgrootte toeneemt.
  • Simpele methoden (zoals "Vanilla Averaging") kunnen complexere methoden (zoals TIES-Merging) overtreffen bij grotere groottes (bijv. $3\times$ of $4\times$).
  • Dit suggereert dat bij grotere groottes de parameterinterferentie van nature afneemt, waardoor geavanceerde interferentie-reductietechnieken minder kritiek worden.
• Vergelijking met Channel Merging: FLEXMERGE presteert consequent beter dan recente methoden zoals "Channel Merging" (Zhang et al., 2025), voornamelijk omdat FLEXMERGE flexibeler is in het aantal clusters per laag (geen vaste $K$ per laag vereist).
• Inferentie-overhead: Voor mask-gebaseerde methoden (zoals Consensus en EMR) verlaagt het vergroten van het modelgrootte de reconstructie-latentie aanzienlijk, omdat minder blokken dynamisch hoeven te worden gereconstrueerd.

5. Betekenis en Impact

Dit paper opent een nieuwe ontwerpdimensie voor modelmerging:

• Verschuiving van de focus: De gemeenschap zou niet langer alleen moeten focussen op het optimaliseren van algoritmen voor de $1\times$ limiet, maar moet algoritmen ontwikkelen en vergelijken over het volledige spectrum van groottes.
• Praktische toepasbaarheid: Practitioners kunnen nu een nauwkeurige afweging maken tussen opslagkosten en prestaties. Ze kunnen kiezen voor een model dat bijvoorbeeld $2\times$ of $3\times$ zo groot is als een enkel model om bijna de volledige nauwkeurigheid te behalen, in plaats van te kiezen tussen een onnauwkeurig klein model of een duur groot model.
• Data-vrijheid: De methode vereist geen toegang tot trainingsdata, wat cruciaal is voor privacy-gevoelige toepassingen of scenario's met proprietary data.

Samenvattend demonstreert FLEXMERGE dat de "accuracy-size trade-off" in modelmerging veel gunstiger is dan eerder gedacht, en dat het flexibel aanpassen van de modelgrootte een krachtige strategie is om de beperkingen van zowel individuele modellen als strakke single-model mergers te overwinnen.