Technische Samenvatting: Modelsamenvoeging door Projectie in de Uitvoerruimte

Probleemstelling

De proliferatie van taakspecifiek fijngefineerde taal- en visiemodellen heeft een vraag gecreëerd naar modellsamenvoeging—het proces van het combineren van meerdere fijngefineerde checkpoints in één multi-taakmodel zonder hertraining. Hoewel bestaande praktische benaderingen zoals Task Arithmetic, Model Soups, TIES en DARE empirisch succes hebben aangetoond, vertrouwen ze op heuristische ontwerpkeuzes (bijvoorbeeld vaste scalair gewichten, stochastische masking of op teken gebaseerde pruning). Cruciaal is dat deze methoden ontberen aan een formele wiskundige karakterisering van optimale combinatiegewichten en geen precieze verliesfunctie bezitten waarvoor ze bewezen optimaal zijn.

Methodologie

De auteurs stellen een raamwerk voor dat modellsamenvoeging formuleert als een convex kwadratisch programma (QP) over residu-updates, gebaseerd op een perspectief van projectie in de uitvoerruimte.

1. Formulering als een Convex QP

Het artikel begint met de observatie dat samenvoeging via diagonale maskers op fijngefineerde residuen kan worden omgezet in een convex QP.

• Opzet: Gegeven een basismodel met gewichten $\theta$ en $K$ fijngefineerde modellen met residu-updates $\{\delta^{(k)}_N\}$ op een specifieke laag $N$, is het doel om een samengevoegd residu $\delta_{merge}$ te vinden.
• Diagonale Maskering: De methode past een diagonaal masker $D_k = \text{diag}(d^{(k)})$ toe op elk residu voordat wordt opgeteld: $\delta_{merge}(d) = \sum_{k=1}^K D_k \delta^{(k)}_N$.
• Doelstelling: De methode minimaliseert een kwaliteitsdoelstelling voor gekalibreerde kwadratische uitvoer $J(d) = \sum_{j \in \mathcal{K}} \|A_j d + b_j\|^2$ over een kalibratieset $\mathcal{K}$. Hier vertegenwoordigt $b_j$ de fout van het basismodel op invoer $x_j$, en encodeert $A_j$ het lineariseerde effect van de residuen op de uitvoer.
• Optimaliteit: Het oplossen van dit QP levert gewichten op die de kwadratische uitvoerverlies minimaliseren. Bestaande methoden (Task Arithmetic, Model Soups, TIES, DARE) blijken te corresponderen met specifieke haalbare punten of speciale gevallen van dit QP (bijvoorbeeld vaste scalairen of specifieke stochastische maskers), wat impliceert dat de QP-oplossing theoretisch superieur of gelijk is onder hetzelfde doel.

2. Algemene Basis en Onherleidbare Fout

De auteurs breiden de diagonale maskeraanpak uit tot een algemene basis-formulering om de beperkingen van as-gealigneerde (diagonale) samenvoeging aan te pakken.

• Projectieperspectief: Samenvoeging wordt gezien als het benaderen van de residufouten van een basismodel met behulp van een deelruimte van kandidaatcorrecties. De optimale oplossing komt overeen met het projecteren van residuen van het basismodel op de deelruimte die wordt opgespannen door kandidaat-updates in de uitvoerruimte.
• Onherleidbare Fout: Het artikel leidt een gesloten-formule diagnose af voor de onherleidbare fout van een gekozen basis. Deze fout wordt bepaald door het fractie van residu-energie dat wordt gevangen door de gekozen deelruimte.
• Optimale Basis: De analyse toont aan dat de optimale basis voor het ontspannen projectieprobleem wordt gegeven door de leading eigenvectoren van de residu-energiematrix $S = \sum_{j} b_j b_j^\top$.
• Karakterisering van Afweging: Het raamwerk kwantificeert de afweging tussen de computationele efficiëntie van het diagonale QP en de prestatiewinsten van de optimale basis. Het stelt vast dat diagonale samenvoeging optimaal is wanneer model-updates decomponeren in onafhankelijke modi in een gedeelde basis; anders is de "suboptimaliteitskloof" meetbaar via het gevangen fractie van energie.

3. Uitbreiding naar Meerdere Lagen

Voor samenvoeging over meerdere lagen stellen de auteurs een sequentieel laag-voor-laag algoritme voor. Aangezien de gezamenlijke optimalisatie over lagen niet-convex is vanwege niet-lineaire interacties, past de methode het single-layer QP sequentieel toe. In elke stap wordt het residu bijgewerkt met het huidige samengevoegde model, en wordt het QP opgelost voor de volgende laag, waarbij de benodigde Jacobianen opnieuw worden berekend.

Belangrijkste Bijdragen

1. Unificerend Raamwerk: Het artikel omvat bestaande heuristische samenvoegingsmethoden (Task Arithmetic, Model Soups, TIES, DARE) als speciale gevallen van een diagonaal-masker QP, en biedt een unificerend wiskundig perspectief.
2. Convexe Formulering: Het stelt vast dat modellsamenvoeging kan worden geformuleerd als een convex kwadratisch programma over residu-updates, wat een globaal minimum garandeert voor de gekozen basis.
3. Gesloten-Formule Diagnose: De auteurs introduceren een berekenbare diagnose—het fractie van residu-energie gevangen door een gekozen basis—dat de downstream samenvoegingskwaliteit voorspelt met alleen de kalibratieset, zonder volledige downstream-evaluatie te vereisen.
4. Karakterisering van Optimale Basis: Het werk identificeert de output-gewogen hoofdcomponenten van residu-activaties als de optimale basis voor het minimaliseren van kwadratische uitvoerverlies, en verduidelijkt wanneer diagonale samenvoeging voldoende is en wanneer een complexere basis vereist is.
5. Empirische Validatie: Het raamwerk wordt gevalideerd over taal (LLaMA 3.1) en visie (ViT-B/32, MNIST) benchmarks, en toont consistente winsten ten opzichte van bestaande heuristieken.

Experimentele Resultaten

• Single-Layer Prestaties: In single-layer samenvoegingsexperimenten op ViT-B/32 (fijngefineerd op CIFAR-10, STL-10, Imagenette, EuroSAT) en LLaMA 3.1, bereikt de QP-oplossing de laagste Gemiddelde Kwikfout (MSE) over alle datasets en de beste gemiddelde nauwkeurigheid in vergelijking met Task Arithmetic, Model Soups, TIES, DARE en Fisher-gewogen samenvoeging.
• Basisanalyse: Experimenten op MNIST-cijferclassificatietaken tonen aan dat de optimale basis (top eigenvectoren van de residumatrix) consistent de laagste MSE bereikt. De standaard diagonale basis, hoewel minder effectief dan de optimale basis, blijft concurrerend en presteert beter dan benchmark-heuristieken, wat het gebruik ervan als een efficiënte proxy valideert.
• Meerdere-Lagen Winsten: De sequentiële multi-layer uitbreiding op LLaMA 3.1 toont consistente verbeteringen in zowel MSE als nauwkeurigheid over code-, instructievolgende- en wiskundetaken in vergelijking met basismethoden.
• Diagnostische Bruikbaarheid: De "gevangen energie"-metiek voorspelt succesvol de prestatieranking van verschillende basiskeuzes, en bevestigt het theoretische verband tussen het vangen van residu-energie en downstream-verlies.

Betekenis en Claims

Het artikel claimt een unificerend theoretisch raamwerk te bieden dat het succes van bestaande heuristieken verklaart en een principiële methode biedt om deze te verbeteren.

• Theoretische Strenge: In tegenstelling tot eerdere methoden die vertrouwen op ad-hoc regels, biedt deze aanpak een precieze wiskundige notie (minimaliseren van kwadratische uitvoerverlies via projectie) waarvoor de methode optimaal is.
• Praktische Bruikbaarheid: Het raamwerk biedt een berekenbare diagnose om te bepalen wanneer de dure optimale basis noodzakelijk is versus wanneer het goedkopere diagonale QP volstaat.
• Bescheidenheid: De auteurs erkennen beperkingen, en merken op dat het raamwerk is afgeleid voor een lineariseerde kwadratische uitvoerdoelstelling. Ze stellen expliciet dat het uitbreiden van het raamwerk naar niet-kwadratische verliezen (zoals cross-entropy) en het ontwikkelen van schaalbare benaderingen voor de optimale basis in hoog-dimensionale settings belangrijke richtingen blijven voor toekomstig werk. Ze merken ook op dat een lagere MSE niet altijd perfect correleert met een hogere taaknauwkeurigheid, een beperking die in hun LLM-experimenten werd waargenomen.

Kortom, het artikel herformuleert modellsamenvoeging van een heuristische combinatie van gewichten naar een convex optimalisatieprobleem in de uitvoerruimte, en biedt zowel een theoretische rechtvaardiging voor bestaande methoden als een weg naar optimalere samenvoegingsstrategieën.