🤖 machine learning

Tunable MAGMAX: Preference-Aware Model Merging for Continual Learning

Dit artikel introduceert Tunable MAGMAX, een voorkeursbewust modelsamenvoegingskader voor continu leren dat automatisch voorkeursvectoren construeert om taakspecifieke prestaties te sturen, waardoor effectieve aanpassing van samengevoegde modellen aan diverse inzetomgevingen mogelijk wordt zonder handmatige specificatie.

Oorspronkelijke auteurs: Kei Hiroshima, Kento Uchida, Shinichi Shirakawa

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kei Hiroshima, Kento Uchida, Shinichi Shirakawa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een meesterkok voor die vijf volledig verschillende keukens heeft geleerd: Italiaans, Japans, Mexicaans, Indiaas en Frans. In de wereld van Kunstmatige Intelligentie is deze kok een "Continual Learning"-model. Het probleem is dat wanneer de kok leert perfecte Sushi te maken, hij of zij misschien begint te vergeten hoe je een perfecte Pizza maakt. Dit heet "catastrophic forgetting" (catastrofaal vergeten).

Meestal proberen onderzoekers dit op te lossen door één "Superkok" te creëren die op alle vijf de keukens "behoorlijk" is, met als doel de hoogste gemiddelde score. Maar in de echte wereld werkt dat niet altijd. Een restaurant in Tokio geeft misschien alleen om Sushi en helemaal niets om Pizza. Een restaurant in Mexico heeft misschien het tegenovergestelde nodig. Ze willen geen "Superkok"; ze willen een kok die een Sushi-meester is, maar bij de andere gerechten gewoon "goed genoeg" is.

Dit artikel introduceert een nieuw hulpmiddel genaamd Tunable MAGMAX om precies dat probleem op te lossen. Hieronder wordt uitgelegd hoe het werkt, met behulp van eenvoudige analogieën:

1. Het probleem met de oude manier (MAGMAX)

De vorige methode, genaamd MAGMAX, was als een "jurylid van een talentenjacht". Het bekeek de vaardigheden van de kok voor elk gerecht en koos de ene beste zet voor elke stap in het koken. Als de beste zet van de kok voor het snijden van uien kwam uit zijn Italiaanse training, behield hij die. Als de beste zet voor het kruiden kwam uit zijn Japanse training, behield hij die.

Het resultaat? Een geweldige "gemiddelde" kok. Maar, zoals het artikel aangeeft, zit er een gebrek aan: de laatste keuken die de kok leerde, domineerde vaak het uiteindelijke recept. Als de kok Frans als laatste leerde, zou het eindgerecht te veel op Frans eten kunnen smaken, zelfs als het restaurant Italiaans wilde. Je kon de kok niet gemakkelijk zeggen: "Hé, ik wil dat je 80% Italiaans bent en slechts 20% Frans."

2. De nieuwe oplossing: Tunable MAGMAX

De auteurs stellen Tunable MAGMAX voor. Denk hierbij aan het geven van een afstandsbediening aan de restaurantuitbater met een schuifregelaar voor elke keuken.

Het voorkeursvector (De afstandsbediening): Dit is een lijst met getallen die het systeem vertelt hoeveel van elke "keukenvaardigheid" bewaard moet worden. Als je een op Sushi gerichte kok wilt, zet je de "Japans"-schuifregelaar omhoog en de "Italiaans"-schuifregelaar omlaag.
Het samenvoegingsproces: In plaats van alleen de ene beste zet voor elke stap te kiezen, kijkt Tunable MAGMAX naar het "vaardigheidsbudget". Als je de Japanse schuifregelaar hoog zet, zorgt het systeem ervoor dat een groot aantal van de zetten van de kok uit zijn Japanse training komt. Als je de Italiaanse schuifregelaar laag zet, worden er slechts een paar Italiaanse zetten behouden.

Hiermee kun je een aangepast model bouwen voor een specifieke omgeving (zoals een specifieke stad of ziekenhuis) zonder de hele kok vanaf nul opnieuw te moeten trainen.

3. Hoe stellen we de afstandsbediening in? (Het "magische" deel)

Je zou kunnen vragen: "Hoe weet ik welke getallen ik op de schuifregelaars moet zetten? Moet ik gokken?"

Het artikel zegt nee. Ze hebben een manier bedacht om de afstandsbediening automatisch in te stellen op basis van een kleine steekproef van de nieuwe omgeving.

De analogie: Stel je voor dat je een nieuw restaurant opent in een regenachtige stad. Je hoeft niet voor de hele wereld te koken; je hoeft alleen maar te weten wat de lokale bevolking eet.
De methode: Het systeem neemt een kleine steekproef van data uit je nieuwe locatie (het "meta-dataset"). Vervolgens vergelijkt het deze steekproef met de trainingsdata die het al heeft.
- Als je labels hebt (namen van gerechten): Het controleert: "Serveert het nieuwe restaurant meer Tacos of meer Sushi?" Het berekent de gelijkenis en stelt de schuifregelaars dienovereenkomstig in.
- Als je alleen foto's hebt (geen namen): Het gebruikt een wiskundig hulpmiddel genaamd "Optimal Transport" om naar de "vorm" van de data te kijken. Het vraagt zich af: "Lijken de foto's van eten hier meer op de Italiaanse trainingsset of de Japanse?"

Zodra het deze gelijkenis berekent, bouwt het automatisch het perfecte "voorkeursvector" (de instellingen van de afstandsbediening) voor die specifieke omgeving.

4. De resultaten

De onderzoekers testten dit op standaard AI-benchmarks (zoals CIFAR-100 en ImageNet-R), die vergelijkbaar zijn met gestandaardiseerde kookwedstrijden.

Controle: Ze toonden aan dat ze door de schuifregelaars te veranderen, het model extreem goed konden laten presteren op specifieke taken (zoals het eerste of het laatste gerecht dat werd geleerd), terwijl ze andere taken iets lieten dalen.
Aanpasbaarheid: Toen ze verschillende "doelomgevingen" simuleerden (het mengen van verschillende soorten data), creëerde hun automatische methode consequent betere koks dan de oude methoden. Het kon een model bouwen dat perfect was afgestemd op een "Regenachtige Stad" of een "Zonnige Stad", gewoon door te kijken naar een kleine steekproef van data uit die stad.

Samenvatting

Kortom, Tunable MAGMAX is een manier om een algemeen AI-model dat veel dingen heeft geleerd, op maat te maken voor een specifieke taak zonder het opnieuw te trainen. Het gebruikt een "voorkeursvector" om te beslissen hoeveel van elke geleerde vaardigheid bewaard moet worden, en het kan de juiste instellingen automatisch bepalen door te kijken naar een kleine steekproef van de nieuwe omgeving. Het is alsof je een meesterkok hebt die zijn hele menu direct kan aanpassen om perfect te passen bij de specifieke smaak van elke nieuwe wijk waarin hij opent.

Technische Samenvatting: Tunable MAGMAX

Probleemstelling

Continu Leren (CL) heeft tot doel modellen sequentieel op meerdere taken te trainen terwijl catastrofaal vergeten (CF) wordt beperkt. Hoewel recente vooruitgang in Groot Voorgetrainde Modellen (LPM's) en model-mergingtechnieken zoals MAGMAX (Maximum Magnitude Selection) effectieve CL-prestaties hebben aangetoond, optimaliseren bestaande methoden voornamelijk voor de gemiddelde prestatie over alle taken. Ze slagen er niet in om in te spelen op de praktische noodzaak om modellen te construeren die variabele implementatieomgevingen of specifieke gebruikersvoorkeuren accommoderen. Bijvoorbeeld: een medisch diagnosesysteem in het ene ziekenhuis kan prioriteit geven aan tumoropsporing, terwijl een ander prioriteit geeft aan hartafwijkingen, ondanks dat beide hetzelfde basis-LPM gebruiken. Huidige CL-technieken, inclusief MAGMAX, bieden geen adequate mechanismen om taakspecifieke prestatieprioriteiten flexibel aan te passen. Bovendien leidt de afhankelijkheid van MAGMAX van elementsgewijze selectie van de maximale magnitude vaak ertoe dat de taakvector van de laatst getrainde taak de gemergedde model domineert, wat mogelijk resulteert in suboptimale prestaties op eerdere taken.

Methodologie

Het artikel stelt Tunable MAGMAX voor, een voorkeursbewust model-mergingkader dat is ontworpen om taakspecifieke prestaties in CL te controleren. De methode breidt MAGMAX uit door een voorkeursvector in te voeren die het aantal elementen bepaalt dat tijdens het mergingproces uit elke taakvector wordt geselecteerd.

Kernmechanisme: Tunable MAGMAX

In standaard MAGMAX wordt de gemergedde taakvector gevormd door voor elke parameterindex het element met de maximale absolute magnitude over alle taakvectoren te selecteren. Tunable MAGMAX wijzigt dit door een begrotingsbeperking af te dwingen die wordt gedefinieerd door een voorkeursvector $\mathbf{n}_T = (n_1, \dots, n_T)$ , waarbij $\sum n_t = d$ (het totale aantal modelparameters).

Selectieproces: Het algoritme iteratieert door taken in omgekeerde volgorde (van de laatste taak $T$ naar de eerste). Voor elke taak $t$ identificeert het niet-geselecteerde parameters waarbij de vector van taak $t$ de grootste magnitude heeft onder de resterende taken.
Begrotingshandhaving: Als het aantal van nature geselecteerde elementen de begroting $n_t$ overschrijdt, wordt het overschot willekeurig verwijderd om aan het quotum te voldoen. Als de begroting na de eerste doorgang niet is gehaald, voert het algoritme extra uitlijningsiteraties uit ( ingesteld op $K=2$ in de experimenten) om de resterende niet-geselecteerde parameters toe te wijzen aan taken die hun begroting nog niet hebben bereikt.
Resultaat: Hierdoor kan het gemergedde model worden bevooroordeeld ten opzichte van specifieke taken door meer parameters toe te wijzen aan hun corresponderende taakvectoren, waardoor de afweging in prestaties tussen vroege en late taken wordt gecontroleerd.

Automatische Voorkeursconstructie

Om de noodzaak van handmatige specificatie van de voorkeursvector te elimineren, stellen de auteurs een op gelijkenis gebaseerd mechanisme voor. Dit maakt gebruik van een kleine hoeveelheid meta-data ( $D_{meta}$ ) uit de doelimplementatieomgeving om gelijkenis te berekenen met de trainingsdatasets ( $D_t$ ).

Op kenmerken gebaseerd (OT): Als kenmerkensets beschikbaar zijn, wordt de gelijkenis berekend met behulp van de Optimal Transport (OT)-afstand tussen de ingebedde kenmerken van de trainings taak en de meta-data.
Op labels gebaseerd: Als alleen labelssets beschikbaar zijn, wordt de gelijkenis berekend op basis van het inwendig product van empirische labelverdelingen.
De voorkeursvector $n_t$ wordt vervolgens geconstrueerd door parameters evenredig toe te wijzen aan deze gelijkenisscores.

Belangrijkste Bijdragen

Tunable MAGMAX Kader: Een nieuwe model-mergingmethode die het aantal geselecteerde elementen uit elke taakvector reguleert via een voorkeursvector, waardoor flexibele controle over taakspecifieke prestaties in continu leren mogelijk wordt.
Op gelijkenis gebaseerde Automatisering: Een methode om automatisch geschikte voorkeursvectoren te construeren die zijn toegesneden op doelomgevingen door gebruik te maken van datasetgelijkenis (via OT-afstand of labelverdeling) tussen kleine hoeveelheden doel-meta-data en trainingsdatasets.
Empirische Validatie: Demonstratie via CL-benchmarks (CIFAR-100 en ImageNet-R) dat het kader succesvol gemergedde modellen construeert die zich aanpassen aan diverse doelomgevingen, en dat het basismethoden overtreft of gelijkwaardig is in specifieke implementatiescenario's.

Experimentele Resultaten

De auteurs evalueerden Tunable MAGMAX op klassen-incrementele leerinstellingen met CIFAR-100 en ImageNet-R met variërende aantallen taken ( $T \in \{5, 20, 50\}$ ).

Controleerbaarheid: Door een schalingscoëfficiënt $\alpha$ in de voorkeursvector te variëren, slaagde de methode erin de prestatiefocus te verschuiven. Hoge $\alpha$ -waarden prioriteerden eerdere taken, terwijl lage $\alpha$ -waarden latere taken prioriteerden, wat de mogelijkheid aantoont om prestaties tussen taken te laten afwegen.
Aanpassing aan Doelomgeving: In experimenten die diverse doelomgevingen simuleerden (gebalanceerde en ongebalanceerde mengsels van taken), behaalde Tunable MAGMAX met label-gebaseerde gelijkeniscontrole consequent hogere of vergelijkbare gemiddelde nauwkeurigheid in vergelijking met basismethoden (MAGMAX, TIES-Merging, Model Soup en willekeurige menging).
Robuustheid: De label-gebaseerde voorkeurscontrole toonde superieure robuustheid over variërende aantallen taken in de doelomgeving in vergelijking met de OT-gebaseerde aanpak, met name wanneer de doelomgeving een klein aantal taken omvatte.

Betekenis en Beweringen

Het artikel beweert dat Tunable MAGMAX een praktische oplossing biedt voor het implementeren van continu lerende modellen in scenario's waar taakprioriteiten verschillen per applicatie of gebruiker. Door voorkeursbewuste controle mogelijk te maken zonder de rekenkosten van hertraining vanaf nul, stelt de methode praktici met beperkte middelen in staat om gemergedde modellen aan te passen aan specifieke implementatiebehoeften. De auteurs merken op dat hoewel de methode effectief ingaat op de behoefte aan flexibele taakprioritering, deze afhankelijk is van de beschikbaarheid van meta-data om de doelomgeving te benaderen en momenteel geen rekening houdt met afhankelijkheden tussen trainings taken.