Dynamic Model Merging Made Slim

Technische Samenvatting: DiDi-Merging

Probleemstelling
Modelmerging maakt het mogelijk om fijnafgestemde modellen opnieuw te gebruiken zonder gezamenlijke training of toegang tot de originele data, waarmee de hoge kosten voor het implementeren van meerdere taakspecifieke modellen worden aangepakt en de onuitvoerbaarheid van multi-task training vanwege privacy- of rekenbeperkingen wordt opgelost. Waar statische merging modellen samenvoegt tot één enkel checkpoint, lijdt het aan taakinterferentie. Dynamische merging verbetert de flexibiliteit door invoer te routeren naar taakrelevante expertcomponenten, maar bestaande methoden kampen met een kritieke opslagbottleneck. Huidige dynamische benaderingen vallen uiteen in twee suboptimale extremen:

1. Zwaar Gedeeld: Het onderhouden van een volledig groot gedeeld model met kleine taakspecifieke experts (bijv. TALL-Mask, EMR-Merging), wat resulteert in parameteraantallen die niet kleiner zijn dan het oorspronkelijke model.
2. Zwaar Expert: Het verwerpen van het gedeelde component en het opslaan van alle kennis in taakspecifieke expertvectoren (bijv. TSV-C, SMILE), waardoor de opslag lineair schaalt met het aantal taken.
   Geen van beide benaderingen balanceert effectief de afweging tussen gedeelde kennis en taakspecifiek vermogen, wat leidt tot excessive opslagoverhead (typisch $\ge 2\times$ de grootte van één fijnafgestemd model).

Methodologie: DiDi-Merging
De auteurs stellen DiDi-Merging (Dynamic Merging with Differentiable Rank) voor, een slank dynamisch merging-framework dat parameters balanceert tussen gedeelde en taakspecifieke experts via differentieerbare rank-toewijzing. De methode werkt in drie fasen:

1. Low-Rank Decompositie: Taakvectoren ($\tau_t = \theta_t - \theta_0$) worden ontleed in een matrix met gedeelde kennis ($M_s$) verkregen via statische middeling, en taakspecifieke expertresiduen ($M_t = \tau_t - M_s$). Beide matrices worden ontleed via Singular Value Decomposition (SVD).
2. Differentieerbare Rank-Optimalisatie: In plaats van een vaste rank-toewijzing, formuleert de methode parameterbudgettering als een differentieerbaar optimalisatieprobleem. Een gladde truncatiefunctie herschikt singuliere waarden op basis van een leerbare continue rank-parameter $r$. Het doel minimaliseert een taakreconstructieverlies (Mean Squared Error tussen gereconstrueerde en originele taakvectoren) terwijl het afwijkingen van een doelcompressieverhouding bestraft. Dit stelt het model in staat om gezamenlijk de ranks van gedeelde en expertcomponenten te optimaliseren, waarbij meer capaciteit wordt toegewezen aan diverse taken en minder aan vergelijkbare taken, zonder toegang tot de originele trainingsdata.
3. Data-vrije Verfijning: Na het bepalen van optimale ranks worden de getruncateerde low-rank parameters verfijnd met behulp van een data-vrije optimalisatiestap. Low-rank LoRA-stijl modules ($A, B$) worden geïnitieerd vanuit de getruncateerde SVD en bijgewerkt om het reconstructieverlies ten opzichte van de opgeslagen taakvectoren te minimaliseren, waardoor prestatieverlies tijdens truncatie wordt teruggewonnen.

Belangrijkste Bijdragen

1. Identificatie van Falingsmodi: Het artikel karakteriseert bestaande dynamische merging-methoden als lijdend aan "zwaar gedeeld" of "zwaar expert" toewijzingsextremen, die beide leiden tot suboptimale afwegingen tussen nauwkeurigheid en efficiëntie.
2. Differentieerbare Rank-toewijzing: DiDi-Merging introduceert een mechanisme om gezamenlijk de ranks van gedeelde en per-taak experts te optimaliseren via een differentieerbaar SVD-truncatie-doel, waardoor de noodzaak voor handmatige rank-tuning of data-toegang wordt geëlimineerd.
3. Slank Dynamisch Merging: Het framework bereikt bijna verliesloze prestaties met aanzienlijk gereduceerde opslag. Het komt overeen met eerdere dynamische baselines bij 1.24$\times$ het parameteraantal van één fijnafgestemd model en overtreft deze bij 1.4$\times$, waarbij het methoden die $\ge 2\times$ opslag vereisen aanzienlijk overtreft.

Experimentele Resultaten
DiDi-Merging werd geëvalueerd op het gebied van visie, Large Language Models (LLMs) en Multimodal Large Language Models (MLLMs):

• Visie: Op een 8-taken ViT-B/32-benchmark kwam DiDi-Merging-S (1.24$\times$ budget) overeen met de sterkste dynamische baseline (TSV-C bij 2.08$\times$) met 89,3% nauwkeurigheid versus 89,5%, terwijl het minder dan 60% van de opslag gebruikte. Bij 1.4$\times$ behaalde het de hoogste totaalscore (89,8%).
• LLMs: Bij het samenvoegen van Llama-3.1-8B-Instruct en Qwen-2.5-7B-Instruct over vier domeinen, overtrof DiDi-Merging-L (2.0$\times$ budget) eerdere dynamische methoden met gemiddeld +5,4% op Llama-3.1-8B, met significante winsten op instructievolgbenchmarks zoals AlpacaEval-2.
• MLLMs: In multimodale settings (visie, audio, video, puntwolk) overtrof DiDi-Merging consistent data-vrije dynamische baselines (NaiveMC, MMER) terwijl het een slank parameterfootprint behield. Opmerkelijk is dat het op bepaalde taken prestatiebehoud van meer dan 100% bereikte door gebruik te maken van gedeelde cross-modale kennis.
• Efficiëntie: De methode vereist bescheiden rekenbronnen (ongeveer 1,1 GB GPU-geheugen) en draait in ongeveer 14 minuten voor de optimalisatiefase op ViT-B/32.

Betekenis en Beweringen
Het artikel beweert dat DiDi-Merging een belangrijke stap voorwaarts is in het praktisch maken van dynamische modelmerging voor grootschalige implementatie. Door weg te bewegen van de "zwaar gedeeld" of "zwaar expert" dichotomie, bereikt het een Pareto-optimale afweging tussen parameter-efficiëntie en nauwkeurigheid. De auteurs benadrukken dat de methode volledig data-vrij is, uitsluitend vertrouwend op opgeslagen taakvectoren voor verfijning, wat privacy behoudt en de drempel verlaagt voor het samenvoegen van gespecialiseerde modellen. Het framework wordt gepresenteerd als een algemene oplossing toepasbaar op visie, taal en multimodale domeinen, waardoor de implementatie van expertensembles mogelijk wordt zonder de opslagoverhead van het onderhouden van meerdere volledige modellen of de prestatiedegradering van statische merging.