🤖 machine learning

GLAM: Efficient Continual Learning at Scale via Grouped LoRA Adapter Merging

GLAM is een efficiënt continual learning-framework dat lichtgewicht LoRA-adapters traint met belangsschaalfactoren voor elke taak, en deze vervolgens snoeit, herschaalt en samenvoegt in gegroepeerde modules om een state-of-the-art nauwkeurigheid te bereiken op lange taaksequenties, terwijl het het aantal trainbare parameters en de trainingstijd aanzienlijk vermindert.

Oorspronkelijke auteurs: Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

Gepubliceerd 2026-08-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, superintelligente robot leert om alles in de wereld te herkennen, van je huiskat tot een zeldere vogel, en dan tot een specifiek type auto. De robot begint met een enorme, vooraf geladen hersenstructuur die al heel veel weet. Maar hier komt het lastige deel: elke keer dat je hem iets nieuws leert, heeft hij de neiging om een beetje "vergeetachtig" te worden, waarbij hij per ongeluk de herinneringen aan wat hij gisteren leerde, wist. Dit is een beroemd probleem in de informatica dat bekend staat als "catastrofale vergetelheid" (catastrophic forgetting). Meestal zou je de hele hersenstructuur van de robot telkens helemaal opnieuw moeten trainen, wat een eeuwigheid duurt en een fortuin aan elektriciteit kost. Wetenschappers proberen al een manier te vinden om deze robots nieuwe trucjes te leren zonder dat ze de oude vergeten, in de hoop machines te bouwen die continu kunnen leren, net als mensen, zonder dat ze elke dag een enorme geheugenupgrade nodig hebben.

Maak kennis met GLAM, een nieuwe methode die werkt als een slimme, georganiseerde bibliothecaris voor de hersenen van deze robot. In plaats van elke nieuwe les in een apart, lomp boek te proppen dat eindeloos veel plankruimte inneemt, leert GLAM de robot om kleine, lichtgewicht briefjes (adapters genoemd) te schrijven voor elke nieuwe taak. Maar hier is de magische truc: in plaats van duizenden van deze briefjes te bewaren, groepeert GLAM vergelijkbare briefjes, snoeit de rommelige, onbelangrijke krabbels weg en voegt ze samen tot één net overzicht. Het is alsof je een stapel van 50 verschillende reisdagboeken neemt, ze doorleest en ze condenseert tot één perfecte reisgids die alle beste tips bevat zonder zwaar te zijn.

De onderzoekers ontdekten dat deze aanpak ongelooflijk efficiënt is. Toen ze GLAM testten op een reeks van tot wel 50 verschillende taken (zoals het herkennen van 50 verschillende sets afbeeldingen), leerde het niet alleen goed, maar leerde het ook snel. Sterker nog, het was ongeveer drie keer sneller te trainen dan de beste concurrerende methoden en gebruikte slechts ongeveer 20% van de "trainbare hersenkracht" (parameters) die anderen nodig hadden. Terwijl andere methoden moeite hadden om het tempo bij te houden naarmate het aantal taken groeide, bleef GLAM scherp en behaalde het de hoogste nauwkeurigheid op alle uitgevoerde tests. Het bewees dat je een robot langdurig nieuwe dingen kunt leren zonder dat hij het verleden vergeet of een supercomputer nodig heeft voor de berekeningen.

Het Probleem: Het Korte Geheugen van de Robot

Beschouw een modern AI-model als een gigantische, vooraf getrainde hersenstructuur die al het hele internet heeft gelezen. Het is geweldig, maar heeft een gebrek: als je het probeert iets nieuws te leren, zoals het herkennen van een specifiek hondenras, raakt het vaak in de war en vergeet het hoe het een kat moest herkennen die het al kende. Dit is het "vergetelheidsprobleem".

Om dit te stoppen, proberen wetenschappers meestal de hoofddelen van de hersenen te bevriezen en alleen een klein, speciaal gedeelte te laten leren over de nieuwe zaken. Dit wordt LoRA (Low-Rank Adaptation) genoemd. Stel je voor dat de hersenen een gigantische bibliotheek zijn, en LoRA is als het toevoegen van een klein plakz sticky note aan een specifieke plank in plaats van het hele boek te herschrijven. Het is efficiënt, maar als je 50 verschillende taken hebt, eindig je met 50 verschillende plaknotities. Het beheren van 50 notities is rommelig, en als je ze allemaal tegelijk probeert te lezen, vertraagt dit de robot.

De GLAM-oplossing: Het Groeperingsspel

GLAM (Grouped LoRA Adapter Merging) verandert de regels door deze plaknotities in teams te verdelen. Zo werkt het, stap voor stap:

De Nieuwe Les: Wanneer de robot een nieuwe taak leert, maakt GLAM een klein, lichtgewicht briefje (een adapter) dat specifiek voor die klus is. Het geeft dit briefje ook een "belangrijkheidsscore" om aan te geven hoeveel het ertoe doet.
De Groepering: In plaats van elk briefje apart te houden, wijst GLAM het nieuwe briefje willekeurig toe aan een van de paar "groepen" (zoals een nieuw boek op een van vijf specifieke planken leggen).
De Opruiming (Pruning): Voordat het briefje wordt toegevoegd aan de groep, doet GLAM een snelle opruiming. Het bekijkt het briefje en gooit de zwakke, onbelangrijke delen (de "ruis") weg, waarbij alleen de sterke, heldere informatie behouden blijft. Dit voorkomt dat de briefjes rommelig worden en met elkaar in strijd komen.
De Samenvoeging (Merge): Het nieuwe, opgeruimde briefje wordt vervolgens voorzichtig samengesmolten met het bestaande overzicht van de groep. Het groeps-overzicht wordt bijgewerkt om de nieuwe informatie op te nemen, maar het blijft slechts één enkel briefje.
Het Eindresultaat: Aan het einde worden alle groeps-overzichten gecombineerd tot één enkel, super-efficiënt onderdeel. De robot hoeft niet naar 50 briefjes te kijken; hij kijkt gewoon naar één compact overzicht dat alles bevat wat hij heeft geleerd.

Waarom het een Groot Ding is

De onderzoekers testten dit op drie verschillende beeld-datasets: CIFAR-100 (100 soorten objecten), CUB-200 (200 soorten vogels) en ImageNet-R (200 soorten artistieke afbeeldingen). Ze lieten de robot leren in sequenties van tot wel 50 taken, wat veel langer is dan de gebruikelijke 10-taken testen die de meeste wetenschappers gebruiken.

De resultaten waren indrukwekkend:

Snelheid: GLAM trainde ongeveer 3 keer sneller dan de beste concurrerende methode (CL-LoRA).
Grootte: Het gebruikte slechts 16–19% van de trainbare parameters van de beste baseline.
Nauwkeurigheid: Het behaalde de hoogste scores op alle drie de datasets. Bijvoorbeeld, op de CUB-200 vogel-dataset bereikte het een nauwkeurigheid van 70,96%, waarmee het de op één na beste methode met een aanzienlijke marge versloeg.
Vergetelheid: Het vergat minder dan de anderen. Terwijl sommige methoden ongeveer 33% van wat ze leerden vergaten, vergat GLAM op diezelfde dataset slechts ongeveer 20%.

Het paper suggereert dat deze "groeperings- en samenvoegingsstrategie" de sleutel is tot het maken van AI die continu kan leren zonder erdoor te worden vertraagd. Door het aantal actieve notities laag te houden en ze gaandeweg op te schonen, stelt GLAM de robot in staat om een lange reeks taken efficiënt te leren, zonder dat hij alles afzonderlijk hoeft te onthouden. Het is een stap richting machines die werkelijk kunnen leren en groeien in de loop van de tijd, net als wij.

=== TECHNISCHE SAMENVATTING ===

Technische Samenvatting: GLAM – Efficiënt Continuaal Leren op Schaal via Gegroepeerde LoRA Adapter Merging

Probleemstelling

Continuaal Leren (CL) streeft ernaar modellen in staat te stellen incrementeel te leren van sequenties van taken terwijl eerder verworven kennis behouden blijft, wat het hardnekkige probleem van catastrofale vergetelheid aanpakt. Hoewel grote getrainde Foundation Models rijke representaties bieden die vergetelheid gedeeltelijk verzachten, worstelen ze ermee om efficiënt aan te passen aan evoluerende datadistributies zonder dat dit gepaard gaat met prohibitieve computationele kosten.

Bestaande Parameter-Efficient Fine-Tuning (PEFT) methoden, in het bijzonder Low-Rank Adaptation (LoRA), zijn doorgaans ontworpen voor statische, single-task scenario's. Het toepassen van LoRA op CL brengt drie kernuitdagingen met zich mee:

Catastrofale Vergetelheid: Het voorkomen van het verlies van kennis van eerdere taken.
Kennisoverdracht: Het mogelijk maken van effectieve transfer tussen gerelateerde taken.
Schaalbaarheid: Efficiënte allocatie van parameters naarmate het aantal taken groeit.

Huidige LoRA-gebaseerde CL-benaderingen slaan vaak aparte adapters op voor elke taak (wat taakidentificatoren vereist tijdens inferentie) of maken gebruik van complexe isolatiestrategieën die kennisoverdracht beperken. Alternatief bieden post-hoc merge-methoden adapters pas samen na de training, wat transfer tijdens de leerfase beperkt en vaak vertrouwt op handmatig afgestemde, suboptimale coëfficiënten. Bovendien behandelen veel bestaande methoden adapters onafhankelijk, waardoor zij geen ondersteuning bieden voor gedeeld leren of adaptief hergebruik, en brengen zij hoge trainingskosten met zich mee naarmate de taaksequenties langer worden.

Methodologie: GLAM

De auteurs stellen GLAM (Grouped LoRA Adapter Merging) voor, een framework ontworpen voor class-incremental continual learning dat adapters dynamisch groepeert en samenvoegt terwijl taken zich ontvouwen, zonder toegang te vereisen tot voorgaande taakmonsters. De methode werkt via een driefasen-pipeline:

1. Taakspecifieke LoRA-training

Voor elke nieuwe taak $T_i$ traint GLAM een lichtgewicht, taakspecifieke LoRA-adapter $\Delta W_i = B_i A_i$ naast een bijbehorende belangsschaal $\alpha_i$ .

Optimalisatie: De adapter $\Delta W_i$ en de bijbehorende schaal $\alpha_i$ worden geoptimaliseerd op de huidige dataset $D_i$ .
Bevriezen: De basis-pre-trained gewichten $W_0$ en eerder geleerde groep-adapters $\{\Delta W_{G_j}\}$ worden bevroren gehouden.
Dynamische Schaling: De schaleringsfactoren van bestaande groep-adapters $\{\alpha_{G_j}\}$ worden bijgewerkt tijdens de training van de nieuwe taak om een gebalanceerd relatief belang te behouden.
Classifier Masking: Logits voor klassen buiten de huidige taak worden gemaskeerd om alleen de relevante classifier-parameters te optimaliseren.

2. Adapter Groepering

Om ongecontroleerde parametergroei te voorkomen, hanteert GLAM een dynamische groeperingsstrategie in plaats van een aparte module voor elke taak te behouden.

Groep Associatie: Bij voltooiing van de training voor taak $T_i$ wordt de nieuwe adapter toegewezen aan een groep $G_j$ via een random sampling-strategie uit een set beschikbare groepslots (tot een maximum $G_{max}$ ). Als de slot leeg is, wordt een nieuwe groep geïnitialiseerd; anders sluit de adapter aan bij een bestaande groep.
Belang-aggregatie: Elke groep onderhoudt een enkele schaleringsfactor $\alpha_{G_j}$ , die wordt bijgewerkt als een voortschrijdend gemiddelde van de belangfactoren van alle adapters die eraan zijn toegewezen.
Magnitude-gebaseerde Pruning: Vóór het mergen ondergaat de binnenkomende adapter magnitude-gebaseerde pruning. Alleen de top- $k\%$ gewichten (op basis van absolute waarde) in matrices $B_i$ en $A_i$ worden behouden. Deze stap vermindert interferentie van zwakke of redundante componenten zonder de hoge computationele kosten van Fisher-gebaseerde criteria.
Intra-Groep Merging: De geprunede adapter wordt lineair samengevoegd met de huidige groep-adapter $\Delta W_{G_j}$ middels een gewogen gemiddelde op basis van de groepsgrootte. Dit consolideert meerdere taakspecifieke updates in een enkele groep-niveau representatie.

3. Classifier Alignment en Finale Concatenatie

Classifier Alignment: Om bias naar recent geleerde klassen te mitigeren, wordt een classifier-alignment fase uitgevoerd. Synthetische features worden gesampled uit opgeslagen Gaussische statistieken (gemiddelde en variantie) van de class features van alle eerder geziene taken. De finale lineaire classifier wordt opnieuw getraind op deze synthetische features terwijl de feature extractor bevroren blijft.
Finale Concatenatie: Tijdens inferentie worden alle groep-adapters gecombineerd tot één verenigde module. Dit wordt bereikt door elke groep-adapter te schalen met zijn belangfactor $\alpha_{G_j}$ en ze langs de rank-dimensie te concateneren. Het resulterende model heeft een enkele compacte adapter $\Delta W_{final}$ , wat zorgt voor een constante computationele kostenpost, ongeacht het aantal taken.

Belangrijkste Bijdragen

Schaalbare CL Methodologie: Een nieuwe benadering voor foundation models die PEFT-technieken benut, waarbij taakspecifieke adaptatie wordt gecombineerd met een mechanisme om LoRA-modules en hun belangscoëfficiënten gezamenlijk te leren.
Progressieve Merging Pipeline: Een strategie die taakspecifieke adapters consolideert in een begrensde set groep-adapters. Dit controleert de parametergroei en mitigeert merging-interferentie over lange taaksequenties door middel van sequentiële groepering en magnitude-gebaseerde pruning.
Empirische Validatie: Uitgebreide experimenten op diverse benchmarks (CIFAR-100, CUB-200, ImageNet-R) tonen state-of-the-art prestaties aan in dynamische CL-scenario's met lange taaksequenties (tot 50 taken), terwijl de trainingstijd en het aantal trainbare parameters aanzienlijk worden gereduceerd vergeleken met sterke baselines.

Experimentele Resultaten

De auteurs evalueerden GLAM op standaard benchmarks met sequenties van tot wel 50 taken, een setting die aanzienlijk veeleisender is dan de typische 10-taken protocollen in de recente literatuur.

Nauwkeurigheid en Vergetelheid: GLAM behaalde de hoogste gemiddelde nauwkeurigheid over alle drie de benchmarks. Vergeleken met de sterkste presterende baseline (die varieert per dataset en metriek, bijv. CL-LoRA op CIFAR-100, SEMA op ImageNet-R), behaalde GLAM een gemiddelde toename van 6% in nauwkeurigheid en een 8% reductie in vergetelheid. Zo presteerde GLAM op CIFAR-100 (84,73%) bijvoorbeeld aanzienlijk beter dan CL-LoRA (77,56%), en op CUB-200 overtrof GLAM (70,96%) CL-LoRA (61,49%).
Efficiëntie: GLAM demonstreerde superieure computationele efficiëntie. Het behaalde een ongeveer 3× versnelling in training ten opzichte van de sterkste presterende baseline, terwijl het slechts 16–19% van de trainbare parameters gebruikte die door die baseline werden gebruikt (bijv. ~3,6M parameters voor GLAM versus ~19,2M voor CL-LoRA op CIFAR-100).
Schaalbaarheid: Naarmate het aantal taken toenam van 10 naar 50, behield GLAM een robuuste prestatie met minimale degradatie, terwijl concurrerende methoden een merkbare daling in nauwkeurigheid vertoonden.
Ablatie Studies: Analyses bevestigden de effectiviteit van de sequentiële, twee-fasen merging-strategie. Random grouping bleek even effectief als complexere clustering-strategieën, en magnitude-gebaseerde pruning bleek effectief in het reduceren van interferentie.

Betekenis en Claims

Het artikel positioneert GLAM als een belangrijke stap richting lifelong learning in foundation models. Door de schaalbaarheidsbottleneck van bestaande PEFT-gebaseerde CL-methoden aan te pakken, maakt GLAM de continue toevoeging van nieuwe kennis mogelijk zonder de lineaire explosie van parameters of computationele kosten.

De auteurs beweren dat GLAM een praktische oplossing biedt voor real-world scenario's waar modellen moeten adapteren aan lange sequenties van taken onder beperkte tijd- en middelenbudgetten. De methode balanceert succesvol de stability-plasticity trade-off, waarbij kennis van eerdere taken wordt bewaard terwijl nieuwe informatie efficiënt wordt geïntegreerd, terwijl een constante inferentiekosten behouden blijft door de finale adapter-concatenatie. Het werk suggereert dat dynamische groepering en merging, in plaats van statische isolatie of post-hoc consolidatie, een levensvatbaar pad is voor efficiënt, grootschalig continuaal leren.