Technische Samenvatting: PACT – Preserving Anchored Cores in Task-Vectors for Model Merging

Probleemstelling

Model merging (model-fusie) is een opgekomen, trainingsvrije alternatief voor multi-task learning, met als doel meerdere taakspecifieke gefinetunede modellen te combineren tot één enkel multi-task model. Het dominante paradigma, Task Arithmetic, deelt de gefinetunede gewichten op in pre-trained parameters ($\theta_0$) en taakvectoren ($\Delta_t = \theta_t - \theta_0$), waarbij de fusie uitsluitend plaatsvindt in de taakvectorruimte. Deze aanpak gaat impliciet uit van de veronderstelling dat alle taakspecifieke kennis is gecodeerd binnen de taakvectoren, terwijl het pre-trained model slechts dient als een gedeeld initialisatiepunt.

De auteurs dagen deze aanname uit door te stellen dat dit niet klopt vanwege de intrinsieke taakvoorkeuren van pre-trained modellen. Zij identificeren een fenomeen waarbij taak-kritische kennis "verankerd" blijft in de pre-trained gewichten in plaats van volledig te worden overgedragen naar de taakvectoren. Deze dimensies, getiteld Load-Bearing Wall (LBW) dimensies (dragende wand-dimensies), vertonen verwaarloosbare updates tijdens het fine-tunen (kleine $|\Delta_t|$), maar zijn essentieel voor het behoud van de taakprestaties. Bestaande fusiemethoden, die uitsluitend opereren op taakvectoren, overschrijven of vervormen deze LBW-dimensies onbedoeld bij het aggregeren van meerdere taken, wat leidt tot prestatievermindering.

Methodologie: PACT (Preserve Anchored Cores)

Om de kwetsbaarheid van LBW-dimensies aan te pakken, stellen de auteurs PACT voor, een data-vrij framework dat ontworpen is om taakspecifieke kennis die verankerd is in het pre-trained model te beschermen tijdens het fusieproces.

1. Identificatie van LBW-dimensies

Het artikel karakteriseert LBW-dimensies vanuit twee perspectieven:

• Scalar-Weight Perspectief: Met behulp van Fisher-informatie en enrichment scores identificeren de auteurs specifieke parameters die een kleine magnitude hebben in de taakvector, maar een hoge sensitiviteit vertonen ten opzichte van de taakverliesfunctie (task loss).
• Subspace Perspectief: Met behulp van Singular Value Decomposition (SVD) definiëren de auteurs de LBW-subspace ($V_{t,LBW}$) voor een taak $t$. Deze wordt afgeleid door de principale subspace van de pre-trained gewichten ($V_{0,K}$) te projecteren op het orthogonale complement van de actieve update-subspace van de taak ($V_{t,k}$). Formeel:
  $$V_{t,LBW} = \text{orth}\left((I - V_{t,k}V_{t,k}^\top)V_{0,K}\right)$$
  Deze subspace vangt de pre-trained feature-richtingen op die cruciaal zijn voor de taak en die tijdens het fine-tunen ongemoeid zijn gebleven.

2. Het PACT-algoritme

PACT werkt door taakvectoren te filteren voordat standaard fusie-algoritmen (bijv. Task Arithmetic, TSV-M, Iso-C) worden toegepast. De kernmechanisme behelst het construeren van een Global Orthogonal Shield voor elke taak om te voorkomen dat de updates van die taak interfereren met de LBW-subspaces van andere taken.

• Shield Constructie: Voor een specifieke taak $t$ aggregeert het algoritme de LBW-subspaces van alle andere taken ($V_{j,LBW}$ voor $j \neq t$) en construeert een verenigde orthonormale basis $V_{t}^{protect}$ met behulp van QR-decompositie. Dit schild representeert de unie van kritieke pre-trained afhankelijkheden die vereist zijn voor alle andere taken.
• Filtering: De taakvector $\Delta_t$ wordt geprojecteerd op het orthogonale complement van dit schild om componenten te verwijderen die de "heilige ruimtes" van andere taken zouden overschrijven:
  $$\tilde{\Delta}_t = \Delta_t - \Delta_t V_{t}^{protect}(V_{t}^{protect})^\top$$
• Merging (Fusie): De gefilterde vectoren $\{\tilde{\Delta}_t\}$ worden vervolgens gefuseerd met behulp van bestaande algoritmen.

3. Efficiënt Variant (Randomized SVD)

Om de schaalbaarheid te verbeteren, stellen de auteurs een efficiënte variant voor met behulp van Randomized SVD (RSVD). Aangezien PACT primair vereist de top-$k$ singuliere vectoren te extraheren, benadert RSVD deze componenten met een aanzienlijk lagere computationele complexiteit ($O(mnk)$ versus $O(mn^2)$ of $O(n^3)$) en een kleinere geheugenvoetafdruk, terwijl het tevens fungeert als een impliciete regularisator die hoogfrequente ruis gladstrijkt.

Belangrijkste Bijdragen

1. Heroverweging van Task Arithmetic Aannames: Het artikel toont empirisch aan dat taakvectoren niet de volledige taakspecifieke kennis bevatten. Het identificeert en valideert causaal het bestaan van LBW-dimensies—parameters die minimale updates ontvangen maar cruciaal zijn voor prestaties.
2. Causale Validatie: Door middel van gecontroleerde perturbatie-experimenten (op zowel scalar- als subspace-niveau) tonen de auteurs aan dat:
   • Het wijzigen van LBW-dimensies (zelfs met kleine magnitudes) catastrofale prestatiedalingen veroorzaakt.
   • Standaard fusie deze dimensies overschrijft, en het herstellen ervan de prestaties herstelt.
   • Subspace-ablatie van LBW-componenten leidt tot prestatiedegradatie die ordes van grootte groter is dan willekeurige subspace-ablatie.
3. PACT Framework: De voorstel van een data-vrij, geometrisch framework dat orthogonale schilden construeert om interfererende updates te filteren, wat naadloos integreert met bestaande scalar-weight en subspace-gebaseerde fusiemethoden.
4. Theoretische Analyse: De auteurs bieden theoretische grenzen (bounds) aan die aantonen dat de prestatiedegradatie veroorzaakt door de filtering van PACT gecontroleerd wordt door de projectie van de taakgradiënt en de update op de beschermingsruimte, wat garandeert dat de eigen prestaties behouden blijven als de taakupdate geconcentreerd is in de actieve subspace.

Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op vision-benchmarks (ViT-B/32, ViT-B/16, ViT-L/14) over 8, 14 en 20 taken, waarbij zowel full fine-tuning als LoRA fine-tuning settings werden behandeld.

• Prestatiewinsten: PACT verbetert consequent mainstream fusiemethoden (Task Arithmetic, TSV-M, Iso-C).
  • PACT-Iso-C bereikt State-of-the-Art (SOTA) prestaties in alle 9 geëvalueerde scenario's (3 backbones $\times$ 3 aantal taken).
  • In de 20-taken setting met ViT-L/14 bereikt PACT-Iso-C 95,1% absolute nauwkeurigheid en 98,3% genormaliseerde nauwkeurigheid, waarmee het de vorige beste (Iso-CTS) met een aanzienlijke marge overtreft.
• LoRA Adaptatie: PACT verbetert ook de fusieprestaties voor LoRA-gefinetunede modellen, wat aantoont dat LBW-effecten aanhouden zelfs wanneer de pre-trained parameters bevroren zijn tijdens het fine-tunen (omdat de LBW-kennis in het basismodel resideert).
• Efficiëntie: De RSVD-variant bereikt prestaties die vergelijkbaar zijn met volledige SVD (en soms superieur door impliciete denoising) terwijl de computationele complexiteit drastisch wordt verminderd.
• Ablatie Studies:
  • Static vs. Dynamic: Een statische baseline (S-PACT) die alleen filtert tegen de pre-trained kern zonder rekening te houden met de LBW-subspaces van andere taken, levert beperkte winst op, wat het belang van dynamische, wederzijdse bescherming onderstreept.
  • Layer-wise Depth: Het filteren van vroege fundamentele lagen (waar de intrusie-energie het hoogst is) levert de meest significante verbeteringen op, hoewel globale filtering vereist is voor hoge taakbelastingen.

Betekenis en Claims

Het artikel claimt dat model merging niet enkel gaat over het oplossen van conflicten tussen taakupdates, maar ook over het actief respecteren en beschermen van de kritieke pre-trained fundamenten. Door de "Load-Bearing Wall" dimensies te identificeren, onthullen de auteurs een fundamenteel blinde vlek in bestaande taakvector-gebaseerde methoden: zij manipuleren wat expliciet is gecodeerd in taakvectoren, maar negeren de kennis die impliciet is opgeslagen in het pre-trained model.

De betekenis van PACT ligt in het vermogen om:

• Een geometrisch perspectief op model merging te bieden dat bestaande algebraïsche benaderingen aanvult.
• Een modulaire, data-vrije oplossing te bieden die geïntegreerd kan worden in elke bestaande taakvector-fusiepipeline zonder toegang nodig te hebben tot de originele trainingsdata.
• Nieuwe SOTA-prestaties te vestigen over diverse vision-taken en model-schalen, waarmee bewezen wordt dat het beschermen van verankerde kernen essentieel is voor robuuste multi-task synthese.

De auteurs concluderen dat hoewel PACT enige computationele overhead introduceert (wat wordt verzacht door de RSVD-variant), het een noodzakelijke paradigmaverschuiving biedt voor het afhandelen van de structurele afhankelijkheden die inherent zijn aan pre-trained modellen tijdens fusie. Toekomstig werk wordt gesuggereerd om dit framework uit te breiden naar Large Language Models (LLMs) en om adaptieve dimensionaliteiten voor de beschermingsschilden te verkennen.