🤖 machine learning

Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning

Dit artikel stelt Traject-Regularisatie Samenvoegen (TRM) voor, een nieuw raamwerk dat opslagbeperkingen en optimalisatiestagnatie in continu leren aanpakt door model samenvoegen te herformuleren als een optimalisatieproces binnen een uitgebreide trajectsubruimte om state-of-the-art prestaties te bereiken.

Oorspronkelijke auteurs: Xi Wang, Cheng Deng

Gepubliceerd 2026-05-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xi Wang, Cheng Deng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Vergetelijke Kok" en de "Zware Koelkast"

Stel je voor dat je een kok bent die elke dag een nieuw recept probeert te leren.

Het Doel: Je wilt een meester worden in alle recepten (Continual Learning).
Het Probleem: Als je je te hard concentreert op het nieuwe gerecht van vandaag, kun je vergeten hoe je het gerecht van gisteren kookt. Dit heet "catastrophic forgetting" (catastrofaal vergeten).
De Oude Oplossing: Normaal gesproken houden koks een enorme koelkast vol met elk ingrediënt en elk recept dat ze ooit hebben gebruikt, zodat ze kunnen terugkijken en zich kunnen herinneren.
De Beperking: In dit paper zeggen de auteurs: "Geen grote koelkasten toegestaan!" Je mag alleen het recept houden dat je zojuist hebt geleerd en het recept dat je direct daarvoor hebt geleerd. Je kunt geen oude data of oude modellen opslaan. Dit is een strikte privacy- en opslagregel.

De Huidige Tekortkoming: De "Slechte Overdracht"

Bestaande methoden proberen je "Oude Recept" en je "Nieuwe Recept" te combineren tot één "Meesterrecept" (Model Merging). De auteurs hebben echter ontdekt dat huidige methoden dit slecht doen wanneer ze niet naar de geschiedenis kunnen kijken.

Ze hebben drie specifieke manieren geïdentificeerd waarop deze "overdracht" misgaat:

Het "Gemiddelde is Saai" Probleem (Suboptimale Lokale Convergentie):
Stel je voor dat je een perfect lasagne-recept en een perfect sushi-recept hebt. Als je ze gewoon halverwege mengt, krijg je een vreemd, middelmatig gerecht dat op geen van beide lijkt. Huidige methoden proberen een "globaal gemiddelde" te vinden, maar dit verpest de specifieke details die nodig zijn voor elke taak. Het resultaat is een model dat goed genoeg is in alles, maar geweldig in niets.
Het "Gebroken Structuur" Probleem (Verstoring van Semantische Representatie):
Denk aan een gebouw. Het fundament (lagere lagen) draagt het gewicht, maar de specifieke kamers (hogere lagen) zijn waar de unieke functies plaatsvinden. Wanneer huidige methoden twee modellen samenvoegen, breken ze per ongeluk de interne bedrading. Het is alsof je probeert twee huizen te samenvoegen door hun muren tegen elkaar te slaan; de kamers belanden op de verkeerde plekken en het huis houdt op om logisch te zijn.
Het "Vastzitten in Modder" Probleem (Verlies van Optimalisatie Plasticiteit):
Stel je voor dat je met een auto rijdt. Als je parkeert in een diepe, vlakke vallei, is het moeilijk om de auto weer in beweging te krijgen omdat er geen helling is om af te rollen. Huidige samenvoegingsmethoden parkeren het model vaak in een "vlakke vallei" van wiskunde. Wanneer de volgende nieuwe taak arriveert, is het model zo "stijf" en vastgezet dat het niets nieuws kan leren. Het heeft zijn vermogen om zich aan te passen verloren.

De Oplossing: TRM (Trajectory Regularized Merging)

De auteurs stellen een nieuwe methode voor genaamd TRM. In plaats van blind de twee recepten te mengen, behandelen ze het samenvoegingsproces als een geleide zoektocht naar de perfecte plek op een kaart.

Hier is hoe TRM werkt, met gebruik van drie "regels" om de beste plek te vinden:

Regel 1: Blijf Trouw aan de Nieuwe Taak (Task Alignment)
- Analogie: Voordat je de keuken verlaat, zorg ervoor dat het nieuwe gerecht daadwerkelijk lekker smaakt.
- Wat het doet: Het dwingt het samengevoegde model om direct goed te presteren op de huidige taak, waardoor we de specifieke details van het nieuwe recept niet verliezen.
Regel 2: Houd het Huis Intact (Prediction Consistency)
- Analogie: Zorg ervoor dat de kamers in het nieuwe huis nog steeds overeenkomen met de kamers in het oude huis. Laat de keuken niet eindigen in de badkamer.
- Wat het doet: Het controleert of de interne "bedrading" van het model niet in de war is geraakt. Het zorgt ervoor dat het interne begrip van de wereld van het model stabiel en logisch blijft.
Regel 3: Houd de Motor Draaiende (Gradient Responsiveness)
- Analogie: Parkeer de auto niet in een vlakke vallei. Parkeer hem op een lichte heuvel zodat de motor kan opstarten en gemakkelijk vooruit kan bewegen.
- Wat het doet: Het zorgt ervoor dat het model niet "vastzit". Het houdt de wiskundige "helling" steil genoeg zodat wanneer de volgende nieuwe taak arriveert, het model snel en gemakkelijk kan leren.

Het Geheime Ingrediënt: De "Magische Duw"

Omdat de auteurs geen oude data mogen bekijken, werken ze met zeer beperkte informatie (alleen een rechte lijn tussen het oude en het nieuwe model). Om dit op te lossen, introduceren ze een "Perturbation Vector" (een gecontroleerde, willekeurige duw).

Analogie: Stel je voor dat je in een rechte lijn loopt, maar je hebt het gevoel dat je tegen een muur aanloopt. Je zet een kleine, berekende stap opzij (geen willekeurige struikelbeweging, maar een bewuste stap) om te zien of er een beter pad is.
Waarom: Dit geeft het model een beetje "beweegruimte" om een betere plek te vinden zonder de hele geschiedenis te hoeven onthouden.

De Resultaten

De auteurs hebben deze "Kok" (het model) getest op verschillende moeilijke kookuitdagingen (datasets zoals CIFAR100, ImageNet-R en Stanford Cars).

Het Resultaat: TRM sloeg consequent de andere methoden.
De Score: Op de moeilijkste test (ImageNet-R met 20 taken) behaalde TRM 82,7% nauwkeurigheid, terwijl de volgende beste methode slechts 79,3% haalde.
De Efficiëntie: Dit deed het zonder een enorme koelkast nodig te hebben (geen opgeslagen data) en het duurde niet veel langer om te koken (trainen) dan de andere methoden.

Samenvatting

Het paper betoogt dat het simpelweg middelen van twee AI-modellen samen hun vermogen vernietigt om later nieuwe dingen te leren. Door drie specifieke regels te gebruiken om de smaak, de structuur en de "motor" van het model te controleren, en door een kleine, berekende stap opzij te zetten, hebben de auteurs een manier gecreëerd om modellen te samenvoegen die ze scherp, stabiel en klaar houdt voor wat er ook komt, allemaal zonder oude data te hopen.

Technische Samenvatting: Revitalisering van het Begin: Het Vermijden van Opslagafhankelijkheid voor Modelsamenvoeging in Continue Lering

1. Probleemstelling

Continue Lering (CL) heeft als doel modellen in staat te stellen kennis sequentieel te verwerven zonder catastrofale vergetelheid. Hoewel Modelsamenvoeging is opgekomen als een trainingsvrij paradigma voor het integreren van gespecialiseerde expertise in een uniek multi-task model, staan bestaande methoden in een kritisch conflict met de strikte geheugenbeperkingen van CL. De meeste huidige samenvoegingstechnieken (bijvoorbeeld Model Stock, TIES, MagMax) vereisen toegang tot alle vorige taakvectoren en het initiële model tijdens de samenvoegingsfase. Dit is functioneel equivalent aan het opslaan van het volledige ensemble van eerdere experts, wat het CL-principe schendt dat het behoud van historische data of modellen verbiedt.

De auteurs tonen aan dat onder strikte CL-beperkingen – waarbij alleen de huidige expert en het direct samengevoegde model beschikbaar zijn – bestaande methoden lijden aan catastrofale prestatiedegradatie (tot 6%). Door middel van diagnostische experimenten identificeert het artikel drie oorzaken voor dit falen:

Suboptimale lokale convergentie: Bestaande methoden geven prioriteit aan globale uitlijning, waardoor samengevoegde modellen in gebieden met hoog verlies terechtkomen, ver verwijderd van de optimale bassins van individuele taken, wat leidt tot accumulatie van taakspecifieke fouten.
Verstoring van structurele semantische representatie: Lineaire samenvoeging verbreekt de delicate functionele afhankelijkheden tussen lagen, wat aanzienlijke semantische drift veroorzaakt, met name in diepere lagen waar taakspecifieke semantics worden gecodeerd.
Verlies van optimalisatieplastische: Samengevoegde modellen vertonen vaak "richtingsstijfheid", waarbij de hoekafwijking van gradiënten wordt geminimaliseerd. Dit geeft aan dat het model vastzit in pathologisch vlakke gebieden van het verlieslandschap, wat resulteert in verdwijnende gradiënten en een onvermogen om zich aan te passen aan daaropvolgende taken.

2. Methodologie: Traject-geregulariseerde Samenvoeging (TRM)

Om deze beperkingen aan te pakken zonder historische data op te slaan, stellen de auteurs Traject-geregulariseerde Samenvoeging (TRM) voor. Dit kader herformuleert de samenvoegingsfase als een geleide optimalisatieprobleem binnen een geaugmenteerd trajectsubruimte.

Constructie van de Geaugmenteerde Subruimte:
In plaats van uitsluitend te zoeken naar een oplossing binnen de 1D lineaire span van de huidige taakvector ( $\tau_t$ ) en de vorige taakvector ( $\tau_{t-1}$ ), introduceert TRM een perturbatievector $P$ die orthogonaal staat op de span van deze vectoren. Deze uitbreiding compenseert voor de informatie die verloren gaat door opslagbeperkingen, waardoor de zoektocht elastischere gebieden van de niet-convexe parameter ruimte kan verkennen. De samengevoegde taakvector wordt geformuleerd als:
$\tau_{mrg}^t(\alpha, \beta) = \alpha \cdot \tau_t + (1-\alpha) \cdot \tau_{t-1} + \beta \cdot P$
waarbij $\alpha$ en $\beta$ respectievelijk interpolatie- en expansiecoëfficiënten zijn.

Multi-objectief Supervisiesignaal:
Om de optimale coëfficiënten $\{\alpha, \beta\}$ te identificeren, optimaliseert TRM een geünificeerde objectieve functie bestaande uit drie synergetische beperkingen:

Taakuitlijning ( $L_{align}$ ): Minimaliseert het empirische risico (cross-entropy verlies) op de huidige taak. Dit zorgt ervoor dat het samengevoegde model verankerd blijft bij de nieuwste expertise, waardoor verplaatsing vanuit hoog-precisie lokale bassins wordt voorkomen.
Predictieconsistentie ( $L_{pre}$ ): Minimaliseert de L2-afstand per laag tussen de verborgen representaties van het samengevoegde model en het functionele centroid van het huidige gefinetuned model en het vorige geconsolideerde model. Er wordt een progressief wegingsschema toegepast dat hogere lagen prioriteit geeft waar taakspecifieke semantics resideert, om structurele semantische drift te voorkomen.
Gradiëntresponsiviteit ( $L_{res}$ ): Maximaliseert de kwadratische norm van de gradiënt op de huidige taak. Gebaseerd op de observatie dat er laag-niveau feature-overlappen bestaan tussen sequentiële taken, maximaliseert het maximaliseren van de gradiëntnorm op de huidige taak de kinetische responsiviteit van het model opnieuw, waardoor wordt gegarandeerd dat het niet vastzit in vlakke gebieden en plastische eigenschappen behoudt voor toekomstige taken.

Het totale verlies wordt gedefinieerd als $L_{total} = L_{align} + \lambda_1 L_{pre} + \lambda_2 L_{res}. Bovendien wordt, om vroege convergentie naar lokale optima tijdens de zoektocht te voorkomen, de initialisatie uitgevoerd met een stochastische crossover van parameters uit het vorige en het huidige model.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

Identificatie van Beperkingen: Het benadrukt dat bestaande methoden voor modelsamenvoeging niet volledig voldoen aan CL-principes en aanzienlijke prestatiedegradatie ondergaan wanneer kennisopslag niet is toegestaan.
Theoretische Analyse: Het analyseert de oorzaken van deze kloof (verlies van lokale optimaliteit, semantische drift en verlies van plastische eigenschappen) en herformuleert samenvoeging als een probleem van het zoeken naar een optimaal punt binnen een orthogonaal geaugmenteerd trajectsubruimte.
Nieuw Kader: Het stelt TRM voor, een methode geleid door drie beperkingen (taakuitlijning, predictieconsistentie en gradiëntresponsiviteit) om historische stabiliteit te harmoniseren met toekomstige plastische eigenschappen zonder afhankelijk te zijn van opgeslagen modellen of data replay.
Empirische Validatie: Het demonstreert state-of-the-art prestaties over meerdere benchmarks onder strikte CL-beperkingen.

4. Experimentele Resultaten

De auteurs evalueerden TRM op drie datasets: CIFAR100, ImageNet-R en Stanford Cars, met behulp van class-incremental learning (CIL) met variërende aantallen taken (5, 10 en 20). De gebruikte backbone was CLIP ViT-B/16.

Prestaties: TRM behaalde state-of-the-art resultaten in de meeste instellingen. Op ImageNet-R overtrof het eerdere SOTA-methoden met marges van 1,4% tot 3,4% over 5, 10 en 20 taken. Op CIFAR100 verbeterde het de vorige SOTA met 3,1% (5 taken) en 1,5% (10 taken).
Ablatiestudies: Het verwijderen van een van de drie beperkingen leidde tot prestatiedalingen, wat bevestigt dat stabiliteit (uitlijning/consistentie) en plastische eigenschappen (responsiviteit) elkaar wederzijds versterken.
Schaalbaarheid: Experimenten op de grootschalige ImageNet1K (100 taken) en verschillende backbones (ViT-L/14, LAION-voorgerecetteerde ViT-B/16) bevestigden de robuustheid en schaalbaarheid van de methode.
Efficiëntie: Hoewel TRM een lichte toename in trainingstijd introduceert ten opzichte van sommige baselines (bijvoorbeeld 33 minuten versus 30 minuten op ImageNet-R), behaalt het aanzienlijke prestatiewinsten met minimale overhead.
Optimalisatiestabiliteit: Analyse van de Hessiaanse spectrale norm toonde aan dat TRM een matige en stabiele kromming van het verlieslandschap handhaaft, waardoor de pathologische scherpte wordt vermeden die geassocieerd wordt met slechte generalisatie.

5. Betekenis en Beweringen

Het artikel beweert dat TRM de kloof succesvol overbrugt tussen de theoretische voordelen van modelsamenvoeging en de praktische beperkingen van continue lering. Door de noodzaak te vermijden om historische taakvectoren op te slaan of data te replaceren, biedt TRM een schaalbare en privacybehoudende oplossing voor het integreren van gespecialiseerde expertise. De auteurs stellen dat hun methode catastrofale vergetelheid in continue datastromen effectief mitigeert door het "begin" van de volgende trainingsfase te revitaliseren – waarbij wordt gegarandeerd dat het samengevoegde model start vanuit een toestand die zowel stabiel is (behoud van eerdere kennis) als plastisch (klaar voor nieuwe optimalisatie). Het werk suggereert dat het herformuleren van samenvoeging als een beperkte optimalisatie binnen een geaugmenteerde subruimte een levensvatbare weg vooruit is voor CL, die verder gaat dan eenvoudige heuristieken voor lineaire interpolatie.