📊 statistics

Variational Model Merging for Pareto Front Estimation in Multitask Finetuning

Dit artikel stelt Variational Model Merging voor, een nieuw Bayesiaans raamwerk dat flexibele niet-Gaussische posteriors benut om de kwaliteit en schatting van Pareto-fronten in multitask fine-tuning aantoonbaar te verbeteren, waarbij het bestaande methoden die vertrouwen op eenvoudigere Gaussische aannames overtreft.

Oorspronkelijke auteurs: Hugo Monzón Maldonado, Nico Daheim, Thomas Möllenhoff, Iryna Gurevych, Mohammad Emtiyaz Khan

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hugo Monzón Maldonado, Nico Daheim, Thomas Möllenhoff, Iryna Gurevych, Mohammad Emtiyaz Khan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die probeert het perfecte "fusion"-gerecht te creëren dat drie verschillende smaken balanceert: pittig, zoet en zuur. Je wilt een recept dat niet alleen als geheel goed smaakt, maar ook de best mogelijke combinaties van deze smaken biedt zonder dat de één de anderen overstemt. In de wereld van Kunstmatige Intelligentie wordt dit Multitask Finetuning genoemd. Je hebt een slim AI-model en je wilt dat het tegelijkertijd goed is in drie verschillende taken (zoals het herkennen van katten, het vertalen van Frans en het oplossen van wiskundeproblemen).

Het probleem is dat het vinden van het perfecte "recept" (de juiste mix van gewichten voor elke taak) ongelooflijk duur en tijdrovend is. Het is alsof je het gerecht duizenden keren vanaf nul moet maken, waarbij je telkens de ingrediënten een klein beetje verandert, alleen maar om te zien welke versie het best smaakt.

Dit paper introduceert een slimme afkorting genaamd Variational Model Merging. Zo werkt het, onderverdeeld in eenvoudige concepten:

1. De Oude Manier: "De Gemiddelde Soep"

Voorheen probeerden onderzoekers de beste mix te raden door simpelweg het "gemiddelde" van drie aparte modellen te nemen. Stel je voor dat je drie chefs hebt: één die geweldig is in pittig eten, één in zoet en één in zuur. De oude methode was om een lepel van de soep van elke chef in een kom te doen, ze te mengen en te hopen dat het resultaat heerlijk is.

De paper stelt dat dit gelijkstaat aan Simple Averaging (simpel gemiddelde nemen). Het is goedkoop en snel, maar het resultaat is vaak flauw of mist het doel. Het is een "luie" gok die de complexe chemie tussen de smaken niet begrijpt.

2. Het Nieuwe Idee: "Het Bayesiaanse Receptenboek"

De auteurs stellen een slimmere manier voor met behulp van een concept uit de statistiek genaamd Bayesiaanse Inferentie. In plaats van alleen de soepen te mengen, behandelen ze het werk van elke chef als een "waarschijnlijkheidskaart" of een receptenboek dat niet alleen beschrijft wat de smaak is, maar ook hoe zeker de chef daarvan is.

De "Posterior" (Het Receptenboek): Wanneer een model een taak leert, creëert het een "posterior distributie". Zie dit als een kaart die laat zien op alle mogelijke manieren waarop je het model kunt aanpassen om die specifieke taak goed uit te voeren.
Het Mergen van Kaarten: In plaats van de uiteindelijke soepen te mengen, mengen deze nieuwe methode de kaarten. Het vermenigvuldigt de receptenboeken met elkaar om een nieuwe, gecombineerde kaart te creëren die de best mogelijke compromissen tussen de taken laat zien.

3. De Geheime Saus: "Flexibele Kaarten"

De grootste ontdekking van het paper is dat de vorm van deze kaarten ertoe doet.

Rigide Kaarten (Isotrope Gaussians): Stel je een kaart voor die ervan uitgaat dat de smaak een perfecte, ronde cirkel is. Dit is eenvoudig, maar vaak fout. Dit leidt tot de oude methode van "Simple Averaging".
Flexibele Kaarten (Full Gaussians & Mixtures): Stel je een kaart voor die kan rekken, vervormen en zelfs kan splitsen in meerdere vlekken om complexe vormen te vangen. Dit is wat de auteurs Variational Model Merging noemen.

De Analogie:
Als je probeert de beste plek te vinden om een auto te parkeren op een drukke parkeerplaats:

Simple Averaging is als het gokken van het midden van de parkeerplaats. Je rijdt misschien tegen een auto aan.
Hessian-Weighted Merging is als het tekenen van een cirkel rond de lege plekken. Beter, maar je mist misschien nog steeds een krappe hoek.
Variational Model Merging (Mixture of Gaussians) is als het tekenen van een flexibel, rekbaar net dat zich perfect om elke enkele lege parkeerplek heen wikkelt, ongeacht de vreemde vorm.

4. Het Resultaat: Een Betere "Pareto Front"

In de wiskunde is een Pareto Front een lijst van alle "perfecte" afwegingen. Het is de set van oplossingen waarbij je niet meer "pittig" kunt krijgen zonder wat "zoetheid" te verliezen.

Het paper beweert dat door deze flexibele, rekbare kaarten (specifiek, mengsels van Gaussische distributies) te gebruiken, zij deze lijst van perfecte afwegingen veel nauwkeuriger kunnen schatten dan voorheen.

Ze hebben dit getest op beeldherkenning (AI leren zien) en taalmodellen (AI leren vertalen).
De Bevinding: Hun nieuwe methode vond betere "recepten" (taakmixen) dan simpel gemiddelde of zelfs complexere methoden van voorheen. Het kwam dichter bij de resultaten die je zou krijgen als je de tijd en het geld had om het gerecht duizenden keren vanaf nul te bereiden, maar het deed het in een fractie van de tijd.

Samenvatting

Het paper vindt niet een nieuwe manier om het gerecht te bereiden (het model vanaf nul trainen). In plaats daarvan vindt het een slimmere manier om de restjes te mengen.

Door de modellen niet te behandelen als vaste punten maar als flexibele, probabilistische kaarten, en deze kaarten vervolgens te mergen met geavanceerde wiskunde, kunnen ze de beste manier vinden om verschillende AI-vaardigheden te combineren zonder de dure, repetitieve arbeid nodig te hebben om de AI keer op keer opnieuw te trainen. Het is alsof je een superintelligente sous-chef hebt die drie verschillende soepen kan proeven en je direct de exacte verhouding kan vertellen die nodig is om het perfecte fusion-gerecht te maken, wat je uren aan kookwerk bespaart.

Technische Samenvatting: Variational Model Merging voor Pareto Front Estimatie in Multitask Finetuning

Probleemstelling

Multitask finetuning vereist dat beoefenaars optimale taak-mengstrategieën (wegingsvectoren $\alpha$ ) bepalen om de prestaties over meerdere doelstellingen te balanceren. Hoewel Pareto-fronten een rigoureus kader bieden voor het begrijpen van de relaties tussen taken en het identificeren van niet-gedomineerde oplossingen, is het berekenen ervan evenredig duur. Dit vereist doorgaans talrijke onafhankelijke finetuning-runs om verschillende weegconfiguraties te evalueren, een kostenpost die slecht schaalt met grote modellen (bijv. LLM's) en hoogdimensionele parameterruimtes.

Bestaande benaderingen proberen dit te verzachten door model merging te gebruiken om goedkope surrogaatmodellen te creëren voor Pareto-front estimatie. De huidige methoden vertrouwen echter vaak op eenvoudige middeling of vaste kwadratische surrogaten zonder een theoretische garantie dat deze merging-strategieën hoogwaardige Pareto-schattingen opleveren. Er is een gebrek aan onderzoek dat expliciet nieuwe model-merging methoden ontwerpt om de kwaliteit van Pareto-front estimaties direct en bewijsbaar te verbeteren.

Methodologie: Variational Model Merging

De auteurs stellen Variational Model Merging voor, een Bayesiaans kader dat model merging verenigt met de estimatie van Pareto-fronten. Het kerninzicht is om model merging te beschouwen als gedistribueerde Bayesiaanse computation waarbij de gezamenlijke posterior wordt gevormd door de taakspecifieke distributies te vermenigvuldigen met de macht $\alpha_t$ .

Theoretisch Kader

Posterior Merging: Het artikel stelt vast dat de minimizer van een gewogen multitask-loss (Vergelijking 1) overeenkomt met de Maximum A Posteriori (MAP) schatting van een samengevoegde posterior $p_\alpha(\theta) \propto p_0(\theta)^\gamma \prod p_t(\theta)^{\alpha_t}$ .
Variational Approximation: Omdat exacte posteriors onhandelbaar zijn, vervangen de auteurs de taakspecifieke posteriors $p_t$ en de prior $p_0$ door handelbare variational benaderingen $q_t$ en $q_0$ uit een exponentiële familie.
Surrogaat-losses: De merging-operatie minimaliseert een gewogen som van surrogaat-losses $\hat{\ell}_t(\theta) = -\log q_t(\theta)$ $\hat{ℓ}_{t} (θ) = - lo g q_{t} (θ)$ . De keuze van de variational familie $Q$ $Q$ bepaalt de expressiviteit van de surrogaat:
- Isotrope Gaussische verdeling: Leidt tot eenvoudige middeling (lineaire surrogaten), equivalent aan standaard model soups of task arithmetic.
- Volledige Gaussische verdeling: Integreert Hessian-informatie, wat leidt tot kwadratische surrogaten (bijv. Fisher-gewogen middeling).
- Mixture of Gaussians (MoG): Biedt zeer flexibele, niet-convexe surrogaten die in staat zijn om complexe geometrieën van de loss-landscape te vangen.

Belangrijke Algoritmische Bijdragen

De auteurs leiden een praktische merging-strategie af met behulp van Mixtures of Exponential Families (specifiek Mixtures of Gaussians).

Algoritme 1: Een Expectation-Maximization (EM) procedure wordt gebruikt om de modus van de samengevoegde mixture posterior te vinden. Dit omvat het iteratief bijwerken van de mixture weights $\hat{\pi}_{tk}$ en de samengevoegde parameters $\theta_\alpha$ .
Efficiëntie: De methode maakt het mogelijk om Pareto-front estimaties voor veel $\alpha$ -waarden te genereren met verwaarloosbare computationele overhead na de initiële single-task training en posterior-benaderingsstappen.
Implementatievarianten: Het artikel beschrijft vier specifieke implementaties variërend van eenvoudige middeling (AdamW-SG) tot Hessian-gewogen middeling (IVON-Hess) en Mixture-gewogen middeling (MultiIVON-Hess en SoupIVON-Hess).

Belangrijkste Theoretische Resultaat

Het artikel bewijst dat flexibelere posteriors noodzakelijkerwijs betere merging-methoden opleveren.

Door het probleem te kaderen in termen van de Kullback-Leibler (KL) divergentie tussen de ware optimale posterior $q^*_\alpha$ en de benaderde samengevoegde posterior $q_\alpha$ , laten de auteurs zien dat de benaderingsfout wordt geminimaliseerd wanneer de variational familie expressiever is.
Specifiek, als de variational familie $Q_1$ een strikte deelverzameling is van $Q_2$ ( $Q_1 \subset Q_2$ ), dan is de samengevoegde oplossing met gebruik van $Q_2$ gegarandeerd minstens even goed als, en doorgaans beter dan, die met $Q_1$ . Dit impliceert dat Mixture-weighted merging theoretisch beter zou moeten presteren dan Hessian-weighted en Simple merging bij het estimeren van het Pareto-front.

Experimentele Resultaten

De auteurs valideren hun theorie over vision en taal transformers (ResNet-20, ViT-B/32, RoBERTa, GEMMA-2B) op taken waaronder beeldclassificatie, sentimentanalyse en machinevertaling.

Pareto Front Kwaliteit: Over alle benchmarks heen produceert Mixture-Weighted Merging consistent Pareto-front estimaties die dichter bij het ware multitask finetuning front liggen dan Hessian-Weighted of Simple Merging.
Dekking: Flexibele posteriors (Mixtures) zijn in staat om trade-off regio's en oplossingen te ontdekken die eenvoudige scalarisatie of minder expressieve merging-methoden missen. Zo verbeterde Mixture merging de nauwkeurigheid in ResNet-20 van 76,9% (Simple) naar 87,2%, naderend de 90,4% die werd bereikt door volledige multitask finetuning.
Kostenefficiëntie: Hoewel het genereren van de initiële surrogaten single-task training vereist, duurt het schatten van het Pareto-front voor honderden $\alpha$ -combinaties slechts seconden via merging, vergeleken met uren of dagen die nodig zijn voor volledige multitask finetuning sweeps.
Schaalbaarheid: De methode schaalt naar miljarden-parameter modellen (GEMMA-2B) met behulp van parameter-efficiënte finetuning (LoRA), waarbij merging ongeveer 1 minuut duurt vergeleken met 17 uur voor gezamenlijke training.

Betekenis en Claims

Het artikel claimt een zeldzaam geval te zijn waar Bayesiaanse ideeën expliciet worden gebruikt om Pareto-analyse te verbeteren in deep learning.

Theoretische Kloof Gevuld: Het biedt het eerste theoretische bewijs dat het verhogen van de flexibiliteit van de posterior benadering in model merging de kwaliteit van Pareto-front estimaties direct verbetert.
Praktisch Nut: Het biedt een praktisch recept voor beoefenaars om snel de trade-offs tussen taken te verkennen en hoogpresterende weegstrategieën te identificeren zonder de prohibitieve kosten van uitputtende multitask finetuning.
Nieuwigheid: In tegenstelling tot eerdere werken die merging louter als een post-hoc hulpmiddel gebruiken of vertrouwen op vaste kwadratische surrogaten, stelt dit werk een nieuwe klasse van merging-methoden voor (Variational Model Merging) die afgeleid zijn van first principles om het estimatieproces zelf te optimaliseren.

De auteurs erkennen beperkingen en merken op dat exacte Bayesiaanse posteriors computationeel onhandelbaar zijn voor grote netwerken, wat noodzakelijkerwijs benaderingen (bijv. diagonale Hessians) vereist die een zekere prestatiekloof introduceren vergeleken met exacte oplossingen. De empirische resultaten suggereren echter dat de voorgestelde flexibele benaderingen deze kloof aanzienlijk verkleinen ten opzichte van bestaande baselines.