🤖 machine learning

Towards Adaptive Continual Model Merging via Manifold-Aware Expert Evolution

MADE-IT is een nieuwe methode voor continue model-merging die redundantie en verzadiging voorkomt door experts adaptief te laten evolueren op basis van hun geometrische eigenschappen en een trainingsvrije, impliciete routering te gebruiken.

Oorspronkelijke auteurs: Haiyun Qiu, Xingyu Wu, Kay Chen Tan

Gepubliceerd 2026-04-27

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haiyun Qiu, Xingyu Wu, Kay Chen Tan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt. In het begin is er maar één bibliothecaris die alles weet over algemene kennis. Maar naarmate de tijd verstrijkt, komen er steeds nieuwe specialismen bij: de ene dag moet hij alles weten over kwantumfysica, de volgende dag over bakrecepten, en daarna over de geschiedenis van de Romeinen.

Dit onderzoek, genaamd MADE-IT, gaat over hoe we een "super-bibliothecaris" kunnen bouwen die steeds nieuwe taken leert zonder de oude kennis te vergeten, zonder dat de bibliotheek verandert in een onoverzichtelijke chaos van duizenden boeken.

Hier is de uitleg in drie simpele stappen:

1. Het probleem: De "Vergeetachtige Expert" en de "Rommelige Opslag"

Als je een slim model (de bibliothecaris) steeds nieuwe dingen leert, gebeuren er meestal twee vervelende dingen:

Vergeten: Hij leert zoveel over bakken, dat hij plotseling niet meer weet hoe hij een atoom moet beschrijven. (Dit noemen wetenschappers catastrophic forgetting).
Rommel: Om alles te onthouden, gaat hij steeds meer "extra hersencellen" (experts) toevoegen. Voor je het weet, is de bibliotheek zo groot dat hij de weg niet meer vindt en het systeem veel te traag en duur wordt.

2. De oplossing: De "Slimme Gereedschapskist" (Expert Evolution)

In plaats van voor elke nieuwe taak een compleet nieuwe expert aan te nemen, kijkt MADE-IT heel slim naar de vorm van de nieuwe kennis.

De Metafoor: Stel je voor dat je een gereedschapskist hebt. Er komt een nieuwe taak aan: "een schilderij maken". In plaats van direct een nieuwe, dure set penselen te kopen, kijkt MADE-IT eerst: "Hebben we al iets dat hierop lijkt?"

Als de nieuwe kennis heel erg lijkt op wat we al hebben (bijvoorbeeld: we hebben al een kwast), dan smelt hij de nieuwe kennis samen met de oude. Zo blijft de kist compact.
Als de nieuwe kennis echt uniek is (bijvoorbeeld: een boormachine), dan voegt hij pas een nieuwe expert toe.

Dit doen ze niet door naar de losse schroefjes te kijken, maar naar de "geometrie" (de vorm) van de kennis. Dit noemen ze Manifold-Aware Evolution. Het is alsof je niet kijkt naar het gewicht van een gereedschap, maar naar de vorm van de handgreep om te zien waar het bij hoort.

3. De uitvoering: De "Onzichtbare Gids" (Implicit Routing)

Als je eenmaal een hele verzameling experts hebt (een kwast, een boormachine, een hamer), hoe weet de bibliothecaris dan bij een nieuwe vraag welke expert hij moet gebruiken?

Normaal gesproken heb je een "manager" nodig die de vraag leest en zegt: "Jij, de hamer, kom eens hier!" Maar die manager moet ook weer getraind worden en kost extra ruimte.

De Metafoor: MADE-IT gebruikt een onzichtbare gids. In plaats van een manager, kijkt het systeem simpelweg naar de "vorm" van de vraag. Als de vraag aanvoelt als "iets hards en zwaars", dan glijdt de vraag vanzelf naar de hamer. Er is geen extra manager nodig; de vraag en de expert passen als een puzzelstukje in elkaar. Dit noemen ze Implicit Routing.

Samenvatting

MADE-IT is eigenlijk een slimme manier om een AI-model te laten groeien als een levend organisme:

Het is efficiënt: Het kopieert niet alles, maar hergebruikt wat het al weet.
Het is slim: Het herkent de "vorm" van kennis om te beslissen of het iets nieuws moet kopen of iets ouds moet verbeteren.
Het is snel: Het heeft geen ingewikkelde tussenpersonen nodig om te beslissen wie wat moet doen.

Het resultaat? Een AI die steeds slimmer wordt, heel veel verschillende dingen kan, maar toch compact en razendsnel blijft!

Technische Samenvatting: MADE-IT

1. Het Probleem: Het Verzadigings-Redundantie Dilemma

Het paper richt zich op Continual Model Merging (CMM). In tegenstelling tot traditionele model-merging (waarbij alle modellen tegelijk beschikbaar zijn), gaat CMM ervan uit dat taakspecifieke modellen sequentieel binnenkomen. De auteurs identificeren twee fundamentele problemen bij bestaande methoden:

Het Verzadigings-Redundantie Dilemma:
- Backbone-gecentreerde methoden (die parameters in een vaste architectuur proberen te passen) lijden aan parameterverzadiging en catastrofale vergetelheid.
- Mixture-of-Experts (MoE) varianten lossen interferentie op door nieuwe experts toe te voegen, maar leiden tot ongecontroleerde groei (architecturale bloat) en enorme redundantie omdat ze geen rekening houden met overeenkomsten tussen experts.
De Routing-bottleneck: De meeste MoE-methoden gebruiken een getraind "gating network" om te bepalen welke expert actief moet zijn. Dit vereist extra parameters, data voor training en constante optimalisatie, wat niet schaalbaar is in een data-free en training-free scenario.

2. Methodologie: MADE-IT

Om deze problemen op te lossen, introduceren de auteurs MADE-IT (Manifold-Aware Dynamic Expert Evolution and Implicit rouTing). De kern van de methode is het verschuiven van de focus van de ruwe parameterruimte naar de onderliggende manifold-geometrie (subruimtes).

A. Manifold-Aware Dynamic Expert Evolution (Expert Management)
In plaats van parameters direct te vergelijken (wat onbetrouwbaar is door permutatie-invariantie), gebruikt MADE-IT de geometrie van de expert-representaties:

Principal Subspace Extraction: Via Singular Value Decomposition (SVD) worden de belangrijkste richtingen van een taakupdate geëxtraheerd. Deze vormen een compacte "expert" die gerepresenteerd kan worden als een punt op een Grassmann manifold.
Projection-Based Subspace Affinity: Er wordt een metriek ontwikkeld die de overlap tussen subruimtes meet (gebaseerd op de Hilbert-Schmidt inproduct van projectie-operatoren). Dit is robuust en invariant voor de keuze van de basis.
Adaptieve Evolutie: Bij een nieuwe taak wordt gekeken naar de affinity score:
- Hoge affinity: De nieuwe expert is redundant en wordt samengevoegd (subspace merging) met een bestaande expert.
- Lage affinity: De nieuwe expert is uniek en wordt als een nieuwe expert toegevoegd aan de architectuur.
- Dit proces wordt gestuurd door een adaptieve drempelwaarde ( $\gamma$ ) gebaseerd op historische statistieken.

B. Implicit Routing (Expert Activatie)
Om de noodzaak voor een getraind gating network te elimineren, ontwerpt MADE-IT een mechanisme dat werkt zonder extra training of data:

Feature Projection Alignment (FPA): Tijdens de inferentie wordt gemeten hoe goed de tussenliggende features van de input passen bij de subruimte van een expert. De expert die de hoogste projectie-alignment vertoont, wordt geactiveerd.
Expert Dependency Graph: Om te voorkomen dat de gekozen experts per laag semantisch inconsistent zijn, gebruikt het systeem een graaf. Het kiest een "anker-module" en zorgt dat de activatiepaden door de lagen heen consistent blijven met de oorspronkelijke taakidentiteit.

3. Belangrijkste Bijdragen

Geometrische Fundering: Het bewijst dat metrieken in de parameterruimte (zoals cosine similarity) tekortschieten en introduceert manifold-geometrie als een robuuste basis voor expert-correlaties.
Dynamische Evolutie: Een strategie die de balans bewaart tussen architecturale efficiëntie (door redundantie te verwijderen) en plasticiteit (door nieuwe expertise toe te voegen).
Training-vrije Routing: Een implicit routing-mechanisme dat de routing-bottleneck omzeilt zonder extra parameters of data-afhankelijkheid.

4. Resultaten

De experimenten op CLIP-ViT architecturen (B/32, B/16, L/14) met tot wel 20 opeenvolgende taken laten het volgende zien:

Superieure Accuratesse: MADE-IT verslaat sterke baselines zoals MINGLE en OPCM aanzienlijk in gemiddelde accuratesse (ACC).
Robuustheid: De methode presteert consistent, zelfs bij verschillende taakvolgordes (shuffled sequences).
Efficiëntie: Het systeem vermindert de redundantie van experts drastisch, vooral in de vroege lagen en generieke modules, terwijl de taakspecifieke kennis in de diepere lagen behouden blijft.
Lage Vergetelheid: De Backward Transfer (BWT) scores zijn competitief, wat aantoont dat nieuwe taken de kennis van oude taken niet vernietigen.

5. Betekenis

MADE-IT biedt een schaalbaar en adaptief kader voor het bouwen van grote, multifunctionele modellen uit een stroom van individuele modellen. Het is bijzonder relevant voor scenario's waarin privacy of rekenkracht het gebruik van data voor hertraining beperkt, omdat het volledig data-free en training-free werkt. Het slaat een brug tussen de efficiëntie van vaste architecturen en de flexibiliteit van MoE-modellen.