Model soups need only one ingredient

Technische Samenvatting: MonoSoup

Probleemstelling

Het heersende "pre-train-then-finetune"-paradigma voor fundamentele modellen leidt vaak tot een afruil tussen in-distributie (ID) nauwkeurigheid en out-of-distribution (OOD) robuustheid. Hoewel fine-tuning de prestaties op specifieke taken verbetert, veroorzaakt het frequent "representatie-instorting" (representation collapse), waarbij het model te veel specialiseert op de trainingsdata, wat de algemene kennis en OOD-prestaties verslechtert.

Bestaande oplossingen, zoals Model Soups, verzachten dit door de gewichten van meerdere fine-tuned checkpoints te middelen. Deze aanpak is echter computationeel en qua opslag prohibitief, omdat het vereist dat tientallen modellen worden getraind en bewaard. Andere methoden zoals Model Stock reduceren dit tot twee modellen, maar gaan nog steeds uit van toegang tot meerdere checkpoints, wat in de praktijk vaak onrealistisch is omdat repositories meestal slechts één best presterende versie opslaan. Bovendien passen single-model methoden zoals Wise-FT (interpolatie van pre-trained en fine-tuned gewichten) uniforme interpolatie toe, waardoor ze niet inspelen op de fijnmazige, anisotrope aard van gewichtsupdates over verschillende lagen en richtingen.

De kernvraag die wordt behandeld is: Kunnen we de voordelen van model soups behouden wanneer er slechts één fine-tuned model beschikbaar is?

Methodologie: MonoSoup

Het artikel introduceert MonoSoup, een data-vrije, hyperparameter-vrije, post-hoc methode die een sterke ID–OOD balans bereikt met een enkel checkpoint. De methode werkt op de hypothese dat de gewichtsupdate van een enkel fine-tuned model zowel dominante, taakspecifieke richtingen bevat als zwakkere componenten die, hoewel ze potentieel ruis bevatten, residu-signalen coderen die cruciaal zijn voor OOD-robuustheid.

1. Spectrale Decompositie via SVD

Voor elke laag $\ell$ analyseert MonoSoup de gewichtsupdate-matrix $\Delta W^{(\ell)} = W^{(\ell)}_{FT} - W^{(\ell)}_{0}$ met behulp van Singular Value Decomposition (SVD):
$$\Delta W^{(\ell)} = U^{(\ell)} \Sigma^{(\ell)} V^{(\ell)\top}$$
Het spectrum van singuliere waarden wordt verdeeld in twee complementaire componenten:

• High-Energy Component ($W^{(\ell)}_{High}$): Legt de hoofdsubruimte vast die geassocieerd wordt met taakspecifieke adaptatie.
• Low-Energy Component ($W^{(\ell)}_{Low}$): Legt het orthogonale complement vast. Hoewel deze vaak ruis bevat, betogen de auteurs dat deze richtingen informatie behouden die cruciaal is voor OOD-generalisatie.

2. Automatische Partitionering

In tegen tegenstelling tot methoden die een vaste drempelwaarde vereisen, bepaalt MonoSoup de partitioneringsindex $k$ automatisch met behulp van de entropie-gebaseerde effectieve rang (Roy & Vetterli, 2007):
$$k^{(\ell)} = \left\lfloor \exp\left( - \sum_i p^{(\ell)}_i \ln p^{(\ell)}_i \right) \right\rfloor$$
waarbij $p^{(\ell)}_i$ de genormaliseerde singuliere waarde-distributie is. Dit stelt de methode in staat om zich aan te passen aan de heterogene spectrale eigenschappen van verschillende lagen en architecturen zonder handmatige afstemming.

3. Adaptieve Herweging

In plaats van de low-energy component te verwerpen, herweegt MonoSoup beide componenten met laag-specifieke coëfficiënten $\lambda^{(\ell)}_{High}$ en $\lambda^{(\ell)}_{Low}$:
$$W^{(\ell)}_{MonoSoup} = \lambda^{(\ell)}_{High} W^{(\ell)}_{High} + \lambda^{(\ell)}_{Low} W^{(\ell)}_{Low}$$
De coëfficiënt voor de low-energy component, $\lambda^{(\ell)}_{Low}$, wordt afgeleid van twee signalen:

1. Spectrale Verval ($\rho^{(\ell)}$): Meet de steilheid van het spectrum van singuliere waarden.
2. Geometrische Uitlijning ($\cos \alpha^{(\ell)}$): Meet het deel van de update-energie dat door low-energy richtingen wordt gedragen.

De weegregel is gedefinieerd als:
$$\lambda^{(\ell)}_{Low} = \rho^{(\ell)} + (1 - \rho^{(\ell)}) \cos \alpha^{(\ell)}$$
$$\lambda^{(\ell)}_{High} = 1 - \lambda^{(\ell)}_{Low}$$
Deze formulering zorgt ervoor dat low-energy componenten alleen worden behouden wanneer het spectrum vlak is of de update goed is uitgelijnd, waardoor ruis effectief wordt onderdrukt terwijl robuuste signalen behouden blijven.

Belangrijkste Bijdragen

1. Geometrische Analyse van Merging: De auteurs stellen vast dat succesvolle multi-model merging afhangt van de uitlijning van fine-tuning updates. Ze valideren dit door Similarity-Filtered Greedy Soup (SFGS) te introduceren, een data-vrije variant die modellen selecteert op basis van geometrische uitlijning in plaats van validatiemetrieken, waarmee wordt bevestigd dat uitlijning een betrouwbare proxy is voor de effectiviteit van merging.
2. MonoSoup Algoritme: Een nieuw, single-checkpoint methode dat gewichtsupdates decomponeert in high- en low-energy subruimten en ze adaptief herweegt. Het elimineert de noodzaak voor meerdere checkpoints terwijl het de anisotrope effecten aanpakt die door uniforme interpolatie-methoden worden genegeerd.
3. Empirische Validatie: Uitgebreide experimenten op vision (CLIP, ConvNeXt) en taalmodellen (Qwen) laten zien dat MonoSoup consequent de OOD-generalisatie verbetert terwijl de ID-nauwkeurigheid gelijk blijft of zelfs toeneemt.

Resultaten

• Vision (CLIP ViT-B/32): MonoSoup verbetert de gemiddelde OOD-nauwkeurigheid van de sterkste baseline met $\sim 1\%$ en herstelt tot wel 8% bij zwakkere, representatie-gecollabeerde checkpoints, terwijl de sterke ID-nauwkeurigheid behouden blijft. Het evenaart of overtreft de prestaties van multi-model methoden (Model Soups, Model Stock) met slechts één checkpoint.
• Taal (Qwen3-0.6B): Op benchmarks voor wiskundige redenering en QA presteert MonoSoup beter dan de fine-tuned baseline en de LiNeS methode. Het laat significante winsten zien op uitdagende OOD-taken zoals GSMPlus en GSM8KPlatinum (tot +9.2 punten).
• Integratie: Wanneer gecombineerd met Wise-FT, biedt MonoSoup een sterker startpunt voor interpolatie, wat resulteert in Pareto-fronten die die van Wise-FT en LiNeS alleen domineren.
• Efficiëntie: MonoSoup is een one-shot, data-vrije operatie. Voor een model met 14 miljard parameters vermindert het de wandkloktijd met $\sim 10^3$–$10^4\times$ en de opslag met een orde van grootte vergeleken met het trainen van meerdere checkpoints voor Model Soups.

Betekenis en Claims

Het artikel beweert dat MonoSoup een praktisch, "plug-and-play" alternatief biedt voor multi-checkpoint ensembling. Door de voordelen van model soups te comprimeren in een single-model procedure, adresseert het de computationele en opslagbarrières van robuuste modelimplementatie. De auteurs benadrukken dat hun aanpak bijzonder waardevol is voor beoefenaars die niet de middelen hebben om grote hyperparameter-sweeps te reproduceren of meerdere checkpoints te onderhouden.

Cruciaal is dat het artikel opmerkt dat hoewel MonoSoup de robuustheid tegen natuurlijke distributieverschuivingen aanzienlijk verbetert, het geen vervanging is voor applicatiespecifieke veiligheidsevaluaties tegen adversariële perturbaties. De primaire maatschappelijke bijdrage van de methode is de substantiële reductie in de compute- en opslagkosten die nodig zijn voor de implementatie van robuuste modellen, waardoor hoogwaardige, generaliseerbare AI toegankelijker wordt.