Technische Samenvatting: Wanneer Gedeelde Kennis Schade Toebrengt: Spectrale Over-accumulatie bij Modelsamenvoeging

1. Probleemstelling

Modelsamenvoeging combineert meerdere fijngefineerde modellen tot één geünificeerd model door direct te opereren in de gewichtenruimte, en biedt zo een lichtgewicht alternatief voor hertraining. Waar bestaande methoden zich voornamelijk richten op het oplossen van conflicten tussen taakupdates (bijvoorbeeld via masking of pruning), negeren ze vaak een specifiek faalmechanisme: spectrale over-accumulatie.

De auteurs identificeren dat wanneer meerdere taken uitgelijnde spectrale richtingen delen (d.w.z. overlappende singuliere vectoren), een eenvoudige lineaire combinatie van taakmatrices deze gedeelde componenten herhaaldelijk aggregeert. Dit fenomeen leidt tot:

• Inflatie van singuliere waarden: De singuliere waarden die corresponderen met gedeelde deelruimten worden disproportioneel groot.
• Spectrale onbalans: Het samengevoegde model wordt gedomineerd door een paar top-spectrale deelruimten die gedeelde kennis bevatten, terwijl taakspecifieke componenten in de overige deelruimten worden onderdrukt.
• Verslechtering van prestaties: In tegenstelling tot de intuïtie dat gedeelde kennis voordelig is, beïnvloedt het over-tellen van deze kennis het model en vermindert het de downstream-prestaties op zowel visuele als taalkundige benchmarks.

2. Methodologie: Singuliere Waarden Kalibratie (SVC)

Om spectrale over-accumulatie aan te pakken zonder extra data, training of optimalisatie te vereisen, stellen de auteurs Singuliere Waarden Kalibratie (SVC) voor, een post-processing methode.

Theoretische Grondslag

De methode steunt op een projectieanalyse in de output-ruimte. Door de samengevoegde taakmatrix $\Delta W_{merge}$ te decomponeren via Singuliere Waarden Decompositie (SVD), definiëren de auteurs een gedeelde basis van de output-ruimte $\{u_r\}$. Ze projecteren individuele taakmatrices op deze basis om te meten hoeveel elke taak bijdraagt aan specifieke spectrale deelruimten.

• Projectiecoëfficiënt ($s_i^r$): Deze metriek kwantificeert de schaling van de respons van taak $i$ in deelruimte $r$ na samenvoeging. Als $s_i^r > 1$, geeft dit aan dat de samengevoegde update de richting van taak $i$ heeft versterkt door constructieve accumulatie vanuit andere taken (spectrale over-telling).
• Inflatiemechanisme: Het artikel toont aan dat positieve cross-taak inproducten in de output-ruimte leiden tot $s_i^r > 1$, waardoor de samengevoegde singuliere waarde $\sigma_r$ de projectie-optimale grootte overschrijdt die nodig is om de capaciteiten van individuele taken te behouden.

Algoritme Stappen

1. Basisconstructie: Bereken de SVD van de samengevoegde taakmatrix $\Delta W_{merge} = U\Sigma V^\top$ om de linker singuliere vectoren $\{u_r\}$ te verkrijgen als het gedeelde coördinatenstelsel.
2. Overlappingskwantificering: Bereken voor elke deelruimte $r$ en taak $i$ de projectiecoëfficiënt $s_i^r = \frac{\langle a_{merge}^r, a_i^r \rangle}{\|a_i^r\|_2^2}$, waarbij $a^r$ de respons langs $u_r$ voorstelt.
3. Kalibratiefactor: Aggregeer deze coëfficiënten over taken om een kalibratiefactor $\gamma_r$ voor elke deelruimte af te leiden. Deze factor is ontworpen om deelruimten met sterke over-telling (waar veel $s_i^r$ groot zijn) te verzwakken.
   • $\gamma_r = K / \sum_{i=1}^K \max(\alpha, s_i^r)$, waarbij $\alpha$ een hyperparameter is (standaard $1/K$) die instabiliteit voorkomt.
4. Herschaling: Pas de singuliere waarden aan terwijl de singuliere vectoren (richtingen) vast blijven: $\tilde{\sigma}_r = \gamma_r \sigma_r$.
5. Reconstructie: Reconstrueer de gekalibreerde samengevoegde matrix $\tilde{\Delta W}_{merge} = \sum \tilde{\sigma}_r u_r v_r^\top$ en werk de voorgeprogrammeerde gewichten bij.

3. Belangrijkste Bijdragen

• Identificatie van Spectrale Over-telling: Het artikel isoleert een specifiek faalmechanisme bij modelsamenvoeging waarbij redundante aggregatie van gedeelde kennis singuliere waarden in dominante deelruimten inflatieert, onderscheiden van traditionele gewichtenconflicten.
• SVC-methode: Een trainingsvrije en datavrije post-processing techniek die overlap in de output-ruimte kwantificeert en singuliere waarden herschaalt om spectrale balans te herstellen. Het fungeert als een plug-in module die compatibel is met bestaande samenvoegingsbaselines.
• Theoretische en Empirische Validatie: De auteurs bieden een theoretische analyse die projectiemismatches koppelt aan inflatie van singuliere waarden en tonen aan dat dit fenomeen aanhoudt over diverse samenvoegingsstrategieën (bijvoorbeeld Task Arithmetic, TIES, DARE).

4. Experimentele Resultaten

De auteurs evalueerden SVC op diverse benchmarks met Vision-modellen (ViT-B/32, ViT-B/16, ViT-L/14) en Language-modellen (BERT, T5, LLaMA2-7B, T0).

• Computer Vision (CV): Op een classificatiebenchmark met 8 taken verbeterde SVC de baseline Task Arithmetic (TA) met 13,0% (van 68,9% naar 81,9% gemiddelde nauwkeurigheid). Het leverde ook consistente winsten op ten opzichte van andere sterke baselines zoals TIES, DARE en TSV-M.
• Natural Language Processing (NLP): SVC verbeterde de prestaties over classificatie- en generatieve taken heen. Bijvoorbeeld, op het T0-model met IA3-fijnafstelling, verbeterde SVC TA met 12,3%. Op LLaMA2-7B toonde het aanzienlijke winsten op de AlpacaEval- en GSM8K-benchmarks.
• Generaliteit: De methode bleek effectief over verschillende modelgroottes en architecturen. Het fungeerde ook als een "preferentieoptimalisatie"-tool, waardoor het samengevoegde model specifieke taken kon prioriteren door de kalibratie aan te passen op basis van een doeltaak.
• Efficiëntie: SVC introduceert minimale overhead en vereist slechts één offline SVD- en reconstructiestap zonder gradiëntberekening of auxiliaire data.

5. Betekenis en Claims

Het artikel claimt dat mislukkingen bij modelsamenvoeging niet uitsluitend het gevolg zijn van conflicterende updates, maar ook voortkomen uit de redundante accumulatie van uitgelijnde componenten. Door de focus te verschuiven van conflictoplossing naar spectrale balans, biedt SVC een eenvoudig maar effectief mechanisme om het "over-tellen" van gedeelde kennis te corrigeren.

De auteurs positioneren SVC als een complementair hulpmiddel dat bovenop bestaande samenvoegingsmethoden kan worden toegepast (inclusief spectrale-ruimtemethoden zoals Iso-CTS) om de prestaties verder te verfijnen. Ze benadrukken dat, hoewel andere methoden conflicten of rank-collapse kunnen aanpakken, SVC specifiek gericht is op de inflatie van dominante deelruimten veroorzaakt door constructieve interferentie, waardoor een meer gebalanceerd spectrum wordt hersteld en de generalisatie over meerdere taken wordt verbeterd.