🤖 machine learning

GLAM: Efficient Continual Learning at Scale via Grouped LoRA Adapter Merging

GLAM ist ein effizientes Continual-Learning-Framework, das leichtgewichtige LoRA-Adapter mit Wichtigkeits-Skalaren für jede Aufgabe trainiert und diese anschließend in gruppierten Modulen beschneidet, skaliert und zusammenführt, um eine erstklassige Genauigkeit bei langen Aufgabensequenzen zu erreichen, während die trainierbaren Parameter und die Trainingszeit signifikant reduziert werden.

Ursprüngliche Autoren: Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

Veröffentlicht 2026-08-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem brillanten, superintelligenten Roboter bei, alles in der Welt zu erkennen – von Ihrer Hauskatze über einen seltenen Vogel bis hin zu einer ganz bestimmten Art von Auto. Der Roboter beginnt mit einem massiven, vorinstallierten Gehirn, das bereits sehr viel weiß. Aber hier ist der knifflige Teil: Jedes Mal, wenn Sie ihm etwas Neues beibringen, neigt er dazu, ein wenig „vergesslich“ zu werden und löscht versehentlich die Erinnerungen an das, was er gestern gelernt hat. Dies ist ein berühmtes Problem in der Informatik, das man „katastrophales Vergessen“ nennt. Normalerweise müsste man das gesamte Gehirn des Roboters jedes Mal von Grund auf neu trainieren, was ewig dauert und Unmengen an Elektrizität kostet. Wissenschaftler versuchen seit langem, einen Weg zu finden, diesen Robotern neue Tricks beizubringen, ohne dass sie das Alte vergessen – in der Hoffnung, Maschinen zu bauen, die kontinuierlich lernen können, genau wie Menschen, ohne jeden Tag ein massives Upgrade des Speichers zu benötigen.

Hier kommt GLAM ins Spiel, eine Methode, die wie ein kluger, organisierter Bibliothekar für das Gehirn dieses Roboters fungiert. Anstatt jede neue Lektion in ein separates, sperriges Buch zu stopfen, das endlos viel Platz im Regal beansprucht, lehrt GLAM den Roboter, winzige, leichte Notizen (sogenannte „Adapter“) für jede neue Aufgabe zu schreiben. Aber hier ist der magische Trick: Anstatt Tausende dieser Notizen aufzubewahren, gruppiert GLAM ähnliche Notizen zusammen, stutzt die unordentlichen, unwichtigen Kritzeleien weg und verschmilzt sie zu einer einzigen, ordentlichen Zusammenfassung. Es ist so, als würde man einen Stapel von 50 verschiedenen Reisetagebüchern nehmen, sie durchlesen und sie zu einem perfekten Reiseführer kondensieren, der alle besten Tipps enthält, ohne schwer zu sein.

Die Forscher fanden heraus, dass dieser Ansatz unglaublich effizient ist. Als sie GLAM mit einer Sequenz von bis zu 50 verschiedenen Aufgaben testeten (wie etwa dem Erkennen von 50 verschiedenen Bildersätzen), lernte es nicht nur gut, sondern auch schnell. Tatsächlich war es etwa dreimal schneller zu trainieren als die besten konkurrierenden Methoden und nutzte nur etwa 20 % der „trainierbaren Gehirnleistung“ (Parameter), die andere benötigten. Während andere Methoden Schwierigkeiten hatten, mit der wachsenden Anzahl an Aufgaben Schritt zu halten, blieb GLAM präzise und erreichte die höchste Genauigkeit in allen durchgeführten Tests. Es bewies, dass man einem Roboter über einen langen Zeitraum hinweg neue Dinge beibringen kann, ohne dass er die Vergangenheit vergisst oder einen Supercomputer für die Berechnungen benötigt.

Das Problem: Das Kurzzeitgedächtnis des Roboters

Betrachten Sie ein modernes KI-Modell als ein riesiges, vortrainiertes Gehirn, das bereits das gesamte Internet gelesen hat. Es ist erstaunlich, aber es hat einen Makel: Wenn man versucht, ihm etwas Neues beizubringen, wie zum Beispiel die Erkennung einer bestimmten Hunderasse, gerät es oft durcheinander und vergisst, wie man die Katze erkennt, die es zuvor kannte. Dies ist das „Vergessen“-Problem.

Um dies zu verhindern, versuchen Wissenschaftler normalerweise, die Hauptteile des Gehirns einzufrieren und nur einen kleinen, speziellen Abschnitt lernen zu lassen. Dies wird LoRA (Low-Rank Adaptation) genannt. Stellen Sie sich das Gehirn als eine riesige Bibliothek vor, und LoRA ist wie ein kleiner Klebezettel an einem bestimmten Regal, anstatt das ganze Buch neu zu schreiben. Es ist effizient, aber wenn Sie 50 verschiedene Aufgaben haben, enden Sie mit 50 verschiedenen Klebezetteln. 50 Notizen zu verwalten ist unordentlich, und wenn Sie versuchen, sie alle auf einmal zu lesen, verlangsamt das den Roboter.

Die GLAM-Lösung: Das Gruppenspiel

GLAM (Grouped LoRA Adapter Merging) ändert die Spielregeln, indem es diese Klebezettel in Teams organisiert. So funktioniert es, Schritt für Schritt:

Die neue Lektion: Wenn der Roboter eine neue Aufgabe lernt, erstellt GLAM eine winzige, leichte Notiz (einen Adapter) speziell für diese Aufgabe. Zudem vergibt es für diese Notiz einen „Wichtigkeitswert“, um anzugeben, wie viel sie zählt.
Die Gruppierung: Anstatt jede Notiz separat aufzubewahren, weist GLAM die neue Notiz zufällig einer von wenigen „Gruppen“ zu (wie das Ablegen eines neuen Buches in einem von fünf spezifischen Regalen).
Die Bereinigung (Pruning): Bevor die Notiz hinzugefügt wird, führt GLAM eine schnelle Bereinigung durch. Es betrachtet die Notiz und wirft die schwachen, unwichtigen Teile (das „Rauschen“) weg, um nur die starken, klaren Informationen zu behalten. Dies verhindert, dass die Notizen unordentlich werden oder sich gegenseitig stören.
Das Verschmelzen: Die neue, bereinigte Notiz wird dann sanft in die bestehende Zusammenfassung der Gruppe eingearbeitet. Die Gruppenzusammenfassung wird aktualisiert, um die neuen Informationen einzubeziehen, bleibt aber dennoch nur eine einzige Notiz.
Das Endergebnis: Am Ende werden alle Gruppenzusammenfassungen zu einem einzigen, supereffizienten Modul kombelt. Der Roboter muss nicht 50 Notizen lesen; er lixt einfach eine kompakte Zusammenfassung, die alles enthält, was er gelernt hat.

Warum es eine große Sache ist

Die Forscher testeten dies an drei verschiedenen Bilddatensätzen: CIFAR-100 (100 Arten von Objekten), CUB-200 (200 Arten von Vögeln) und ImageNet-R (200 Arten von künstlerischen Bildern). Sie ließen den Roboter in Sequenzen von bis zu 50 Aufgaben lernen, was viel länger ist als die üblichen 10-Aufgaben-Tests, die die meisten Wissenschaftler verwenden.

Die Ergebnisse waren beeindruckend:

Geschwindigkeit: GLAM trainierte etwa 3 Mal schneller als die beste konkurrierende Methode (CL-LoRA).
Größe: Es nutzte nur 16–19 % der trainierbaren Parameter, die die beste Baseline verwendete.
Genauigkeit: Es erreichte die höchsten Werte bei allen drei Datensätzen. Beispielsweise erreichte es beim CUB-200-Vogeldatensatz eine Genauigkeit von 70,96 % und schlug damit die nächstbeste Methode um eine deutliche Spanne.
Vergessen: Es vergaß weniger als die anderen. Während einige Methoden etwa 33 % dessen, was sie gelernt hatten, vergaßen, vergaß GLAM bei demselben Datensatz nur etwa 20 %.

Das Paper legt nahe, dass diese „Gruppierungs- und Verschmelzungsstrategie“ der Schlüssel dazu ist, KI zu erschaffen, die kontinuierlich lernen kann, ohne unter der Last zusammenzubrechen. Indem es die Anzahl der aktiven Notizen niedrig hält und sie während des Prozesses bereinigt, ermöglicht GLAM es dem Roboter, eine lange Sequenz von Aufgaben effizient zu lernen, ohne dass er jedes Detail einzeln im Gedächtnis behalten muss. Es ist ein Schritt in Richtung Maschinen, die wirklich lernen und mit der Zeit wachsen können, genau wie wir.

=== TECHNISCHE ZUSAMMENFASSUNG ===

Technische Zusammenfassung: GLAM – Effizientes Continual Learning im großen Maßstab durch gruppiertes LoRA-Adapter-Merging

Problemstellung

Continual Learning (CL) zielt darauf ab, Modellen zu ermöglichen, inkrementell aus Sequenzen von Aufgaben zu lernen und dabei zuvor erworbene Wissen beizubehalten, um das anhaltende Problem des katastrophalen Vergessens (catastrophic forgetting) zu adressieren. Während große vortrainierte Foundation Models reichhaltige Repräsentationen bieten, die das Vergessen teilweise abmildern, haben sie Schwierigkeiten, sich effizient an evolvierende Datenverteilungen anzupassen, ohne prohibitive Rechenkosten zu verursachen.

Bestehende PEFT-Methoden (Parameter-Efficient Fine-Tuning), insbesondere Low-Rank Adaptation (LoRA), sind typischerweise für statische Single-Task-Szenarien konzipiert. Die Anwendung von LoRA auf CL präsentiert drei zentrale Herausforderungen:

Katastrophales Vergessen: Das Verhindern des Verlusts von Wissen aus vorangegangenen Aufgaben.
Wissenstransfer: Ermöglichen eines effektiven Transfers zwischen verwandten Aufgaben.
Skalierbarkeit: Effiziente Allokation von Parametern, während die Anzahl der Aufgaben wächst.

Aktuelle LoRA-basierte CL-Ansätze speichern oft separate Adapter für jede Aufgabe (was Task-Identifikatoren bei der Inferenz erfordert) oder verwenden komplexe Isolationsstrategien, die den Wissenstransfer einschränken. Alternativ konsolidieren Post-hoc-Merging-Methoden Adapter erst nach dem Training, was den Transfer während der Lernphase begrenzt und oft auf manuell abgestimmten, suboptimalen Koeffizienten basiert. Darüber hinaus behandeln viele bestehende Methoden Adapter unabhängig, unterstützen somit kein gemeinsames Lernen oder adaptive Wiederverwendung und verursachen hohe Trainingskosten, wenn die Task-Sequenzen länger werden.

Methodik: GLAM

Die Autoren schlagen GLAM (Grouped LoRA Adapter Merging) vor, ein Framework, das für Class-Incremental Continual Learning entwickelt wurde und Adapter dynamisch gruppiert und zusammenführt, während sich die Aufgaben entfalten, ohne Zugriff auf Samples früherer Aufgaben zu benötigen. Die Methode operiert durch eine dreistufige Pipeline:

1. Aufgabenspezifisches LoRA-Training

Für jede neue Aufgabe $T_i$ trainiert GLAM einen leichtgewichtigen, aufgabenspezifischen LoRA-Adapter $\Delta W_i = B_i A_i$ zusammen mit einem zugehörigen Wichtigkeits-Skalar $\alpha_i$ .

Optimierung: Der Adapter $\Delta W_i$ und sein Skalar $\alpha_i$ werden auf dem aktuellen Datensatz $D_i$ optimiert.
Einfrieren: Die vortrainierten Basisgewichte $W_0$ und die zuvor gelernten Gruppen-Adapter $\{\Delta W_{G_j}\}$ bleiben eingefroren.
Dynamische Skalierung: Die Skalierungsfaktoren der bestehenden Gruppen-Adapter $\{\alpha_{G_j}\}$ werden während des Trainings der neuen Aufgabe aktualisiert, um eine ausgewogene relative Wichtigkeit aufrechtzuerhalten.
Classifier Masking: Logits für Klassen außerhalb der aktuellen Aufgabe werden maskiert, um nur die relevanten Klassifikator-Parameter zu optimieren.

2. Adapter-Gruppierung

Um ein unbegrenztes Parameterwachstum zu verhindern, nutzt GLAM eine dynamische Gruppierungsstrategie, anstatt ein separates Modul für jede Aufgabe zu behalten.

Gruppen-Assoziation: Nach Abschluss des Trainings für Aufgabe $T_i$ wird der neue Adapter über eine Random-Sampling-Strategie einer Gruppe $G_j$ zugewiesen (aus einem Satz verfügbarer Gruppen-Slots bis zu einem Maximum von $G_{max}$ ). Wenn der Slot leer ist, wird eine neue Gruppe initialisiert; andernfalls tritt der Adapter einer bestehenden Gruppe bei.
Wichtigkeits-Aggregation: Jede Gruppe unterhält einen einzelnen Skalierungsfaktor $\alpha_{G_j}$ , der als gleitender Durchschnitt der Wichtigkeitsfaktoren aller der Gruppe zugewiesenen Adapter aktualisiert wird.
Magnituden-basierte Pruning: Vor dem Merging durchläuft der eingehende Adapter ein Magnituden-basiertes Pruning. Nur die Top- $k$ % der Gewichte (nach Absolutwert) in den Matrizen $B_i$ und $A_i$ werden beibehalten. Dieser Schritt reduziert Interferenzen durch schwache oder redundante Komponenten ohne die hohen Rechenkosten von Fisher-basierten Kriterien.
Intra-Gruppen-Merging: Der geprunte Adapter wird mit dem aktuellen Gruppen-Adapter $\Delta W_{G_j}$ mittels eines gewichteten Durchschnitts basierend auf der Gruppengröße linear zusammengeführt. Dies konsolidiert mehrere aufgabenspezifische Updates in eine einzige Repräsentation auf Gruppenebene.

3. Klassifikator-Alignment und Finale Konkatenation

Klassifikator-Alignment: Um Bias gegenüber kürzlich gelernten Klassen zu mildern, wird ein Klassifikator-Alignment-Schritt durchgeführt. Synthetische Features werden aus gespeicherten Gauß-Statistiken (Mittelwert und Varianz) der Klassen-Features aller gesehenen Aufgaben gesampelt. Der finale lineare Klassifikator wird auf diesen synthetischen Features neu trainiert, während der Feature-Extraktor eingefroren bleibt.
Finale Konkatenation: Bei der Inferenz werden alle Gruppen-Adapter zu einem einzigen einheitlichen Modul kombiniert. Dies geschieht durch Skalierung jedes Gruppen-Adapters mit seinem Wichtigkeitsfaktor $\alpha_{G_j}$ und die Konkatenation entlang der Rank-Dimension. Das resultierende Modell besitzt einen einzigen kompakten Adapter $\Delta W_{final}$ , was einen konstanten Rechenaufwand unabhängig von der Anzahl der Aufgaben gewährleistet.

Zentrale Beiträge

Skalierbare CL-Methodik: Ein neuartiger Ansatz für Foundation Models, der PEFT-Techniken nutzt und die Kombination aus aufgabenspezifischer Adaptation mit einem Mechanismus zur gemeinsamen Erlernung von LoRA-Modulen und deren Wichtigkeitskoeffizienten beinhaltet.
Progressive Merging-Pipeline: Eine Strategie, die aufgabenspezifische Adapter in einen begrenzten Satz von Gruppen-Adaptern konsolidiert. Dies kontrolliert das Parameterwachstum und mildert Merging-Interferenzen über lange Task-Sequenzen hinweg durch sequenzielle Gruppierung und Magnituden-basiertes Pruning.
Empirische Validierung: Umfangreiche Experimente auf diversen Benchmarks (CIFAR-100, CUB-200, ImageNet-R), die eine State-of-the-Art-Performance in dynamischen CL-Szenarien mit langen Task-Sequenzen (bis zu 50 Aufgaben) demonstrieren, während gleichzeitig die Trainingszeit und die Anzahl der trainierbaren Parameter im Vergleich zu starken Baselines signifikant reduziert werden.

Experimentelle Ergebnisse

Die Autoren evaluierten GLAM auf Standard-Benchmarks mit Sequenzen von bis zu 50 Aufgaben, ein Setting, das wesentlich anspruchsvoller ist als die typischen 10-Task-Protokolle der jüngeren Literatur.

Genauigkeit und Vergessen: GLAM erreichte die höchste durchschnittliche Genauigkeit über alle drei Benchmarks hinweg. Im Vergleich zum stärksten performanten Baseline-Modell (welches je nach Datensatz und Metrik variiert, z. B. CL-LoRA auf CIFAR-100, SEMA auf ImageNet-R), erzielte GLAM eine durchschnittliche Steigerung der Genauigkeit um 6 % und eine Reduktion des Vergessens um 8 %. Beispielsweise übertraf GLAM (84,73 %) auf CIFAR-100 die Leistung von CL-LoRA (77,56 %) deutlich, und auf CUB-200 übertraf GLAM (70,96 %) CL-LoRA (61,49 %).
Effizienz: GLAM demonstrierte eine überlegene Recheneffizienz. Es erreichte eine etwa 3-fache Beschleunigung des Trainings gegenüber der stärksten Baseline bei gleichzeitiger Nutzung von nur 16–19 % der trainierbaren Parameter, die diese Baseline verwendete (z. B. ~3,6 Mio. Parameter für GLAM vs. ~19,2 Mio. Parameter für CL-LoRA auf CIFAR-100).
Skalierbarkeit: Mit zunehmender Anzahl der Aufgaben von 10 auf 50 behielt GLAM eine robuste Performance mit minimaler Degradation bei, während konkurrierende Methoden spürbare Genauigkeitseinbußen zeigten.
Ablationsstudien: Analysen bestätigten die Effektivität der sequenziellen, zweiphasigen Merging-Strategie. Random Grouping erwies sich als ebenso effektiv wie komplexere Clustering-Strategien, und das Magnituden-basierte Pruning erwies sich als effektiv zur Reduzierung von Interferenzen.

Bedeutung und Ansprüche

Das Paper positioniert GLAM als einen bedeutenden Schritt in Richtung Lifelong Learning für Foundation Models. Durch die Adressierung des Skalierbarkeits-Bottlenecks bestehender PEFT-basierter CL-Methoden ermöglicht GLAM die kontinuierliche Hinzunahme von neuem Wissen ohne eine lineare Explosion von Parametern oder Rechenkosten.

Die Autoren behaupten, dass GLAM eine praktische Lösung für reale Szenarien bietet, in denen Modelle sich an lange Sequenzen von Aufgaben unter begrenzten Zeit- und Ressourcenbudgets anpassen müssen. Die Methode balanciert erfolgreich den Stability-Plasticity-Trade-off, indem sie das Wissen aus vorangegangenen Aufgaben bewahrt und gleichzeitig neue Informationen effizient integriert, während sie durch die finale Adapter-Konkatenation stets konstante Inferenzkosten beibehält. Die Arbeit legt nahe, dass dynamische Gruppierung und Merging, statt statischer Isolation oder Post-hoc-Konsolidierung, ein gangbarer Weg für effizientes, groß angelegtes Continual Learning ist.