💬 NLP

AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

Das Papier schlägt AWARe vor, eine Fine-Tuning-Methode, die katastrophales Vergessen in multimodalen großen Sprachmodellen mildert, indem sie Parameter, die für vorangegangenes Wissen kritisch sind, basierend auf Aktivierungsmustern dynamisch einfriert, wodurch die Upstream-Fähigkeiten bewahrt werden, während gleichzeitig eine überlegene Downstream-Leistung ohne Modifikation der Modellarchitekturen erzielt wird.

Ursprüngliche Autoren: Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

Veröffentlicht 2026-08-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen brillanten, superintelligenten Roboterfreund, der Jahre damit verbracht hat, jedes Buch in der Bibliothek zu lesen und jedes Gemälde in der Welt zu betrachten. Dieser Roboter, ein Multimodales Großes Sprachmodell (MLLM), ist fantastisch darin, sowohl Bilder als auch Wörter zu verstehen. Aber hier ist der knifflige Teil: Wenn man versucht, diesem Roboter eine neue, spezifische Fähigkeit beizubringen – wie zum Beispiel ein Puzzlespiel zu lösen oder ein Gedicht über eine bestimmte Katze zu schreiben – vergisst er oft alles andere, was er wusste. Es ist, als würde man ein neues Lied am Klavier so intensiv lernen, dass man plötzlich vergisst, wie man sich die Schuhe bindet. Dieses „Vergessen“ wird als katastrophales Vergessen bezeichnet und ist ein riesiges Kopfzerbrechen für Wissenschaftler, die diese KI-Modelle nützlich und wissensreich halten wollen.

Dieses Papier, das Sie gleich lesen werden, widmet sich diesem Problem mit einer cleveren neuen Methode namens AWARe. Stellen Sie sich das Gehirn des Roboters wie eine riesige Stadt mit Milliarden von winzigen Arbeitern (Neuronen) vor, die unterschiedliche Aufgaben erledigen. Wenn der Roboter etwas Neues lernt, sagt man normalerweise allen Arbeitern, sie sollen ihre Gewohnheiten ändern, was Chaos verursacht und dazu führt, dass er seine alten Aufgaben vergisst. AWARe schlägt einen klügeren Ansatz vor: Anstatt alle zu bitten, sich zu ändern, hört es den Arbeitern zu, um zu sehen, wer derzeit am lautesten schreit (am meisten aktiviert wird), wenn der Roboter seine alten, vertrauten Aufgaben bearbeitet. Dann sagt es diesen spezifischen, geschäftigen Arbeitern: „Du bleibst genau so, wie du bist! Behalte deinen alten Job bei.“ Nur den ruhigeren, weniger geschäftigen Arbeitern ist es erlaubt, ihre Gewohnheiten zu ändern, um die neue Aufgabe zu lernen. Auf diese Weise lernt der Roboter die neue Fähigkeit, ohne seine alten Erinnerungen zu verlieren.

Das Problem: Der „Überschreib“-Fehler

Multimodale Große Sprachmodelle sind wie supermächtige Studenten, die bereits eine riesige Universität der Bilder und Texte abgeschlossen haben. Sie können schlussfolgern, erklären und über fast alles chatten. Aber wenn wir versuchen, sie „feinzutunen“ – ihnen also einen neuen, spezifischen Job beizubringen, wie etwa das Identifizieren medizinischer Zustände oder das Beantworten von Fragen zu einem bestimmten Videospiel –, leiden sie oft unter katastrophalem Vergessen.

Stellen Sie sich vor, Sie versuchen, einen neuen Tanzschritt zu lernen. Wenn Sie ihn so intensiv üben, dass Sie vergessen, wie man geht, dann ist das katastrophales Vergessen. In der Welt der KI passiert dies, weil der Prozess des Lernens der neuen Aufgabe die internen „Gewichte“ (die Knöpfe und Regler, die steuern, wie das Modell denkt) des Modells aktualisiert. Wenn das Modell diese Knöpfe für die neue Aufgabe justiert, verdreht es versehentlich jene, die sein altes Wissen aufrechterhalten, wodurch das alte Wissen in sich zusammenbricht.

Die Lösung: AWARe (Activation-Weighted Adaptive REtention)

Die Autoren schlagen eine Methode namens AWARe vor, um dies zu beheben. Anstatt das gesamte Gehirn blind zu verändern, agiert AWARe wie ein kluger Bibliothekar, der genau weiß, welche Bücher wichtig genug sind, um im Regal zu bleiben.

So funktioniert es, Schritt für Schritt:

Die „Zuhör“-Phase (Profiling): Bevor der Forscher dem Roboter etwas Neues beibringt, lassen sie ihn eine kleine Menge an „Kalibrierungsbeispielen“ betrachten (wie ein paar alte Fotos oder Fragen, die er bereits gut kennt). Sie schauen nicht nur auf die Gehirnstruktur des Roboters; sie beobachten, wie das Gehirn „aufleuchtet“. Sie messen die Aktivierung – wie viel Energie jeder winzige Arbeiter (Neuron) verbraucht, während er vertraute Aufgaben verarbeitet.
Die „Einfrier“-Entscheidung: Die Forscher haben herausgefunden, dass einige Neuronen super aktiv und entscheidend für das alte Wissen des Roboters sind, während andere eher entspannt sind. AWARe identifiziert die „lauten“ Neuronen (die obersten 30 %, die am aktivsten sind) und sagt: „Du bist essenziell! Einfrieren.“ Das bedeutet, dass ihre Einstellungen festgeschrieben sind und nicht geändert werden können.
Die „Anpassungs“-Phase: Die verbleibenden Neuronen (die ruhigen 70 %) bleiben entsperrt. Wenn der Roboter die neue Aufgabe lernt, dürfen nur diese entsperrten Neuronen sich verändern. Die gesperrten Neuronen bewahren die alten Erinnerungen des Roboters sicher und unversehrt.

Warum das eine große Sache ist

Das Papier zeigt, dass diese Methode aus zwei Gründen ein Game-Changer ist:

Es ist ein „No-Brainer“-Upgrade: Im Gegensatz zu anderen Methoden, die komplexe neue Ergänzungen für das Gehirn des Roboters erfordern oder riesige Bibliotheken alter Daten speichern müssen (was viel Speicherplatz beansprucht), arbeitet AWARe mit dem bestehenden Gehirn des Roboters. Es verändert nicht die Architektur; es ändert nur, welche Teile sich bewegen dürfen. Es ist, als würde man die Möbel in einem Raum umstellen, ohne neue Wände zu bauen.
Es wirkt Wunder: In ihren Experimenten testete das Team AWARe auf Modellen wie LLaVA-v1.5 und Qwen2.5-VL.
- Als sie das Modell darauf trainierten, Fragen zu Diagrammen zu beantworten (IconQA), behielt AWARe das alte Wissen des Modells (wie das Beantworten allgemeiner Fragen zu Bildern) bei 98,4 % seiner ursprünglichen Stärke, während es gleichzeitig die neue Aufgabe sehr gut lernte.
- In einem kontinuierlichen Lerntest, bei dem das Modell fünf verschiedene Aufgaben nacheinander lernen musste (wie medizinische Fragen, Autofahren und Finanzen), übertraf AWARe alle anderen Methoden und hielt den Durchschnittsscore um 3,18 Punkte höher als die nächstbeste Methode.

Was das Papier sagt (und was es nicht sagt)

Die Autoren sind sich sehr klar darüber, was sie herausgefunden haben und was nicht.

Was funktioniert: Sie haben bewiesen, dass die Verwendung von Aktivierung (wie viel ein Neuron arbeitet) ein besserer Weg ist, um zu entscheiden, was eingefroren wird, als nur auf die Größe der Gewichte zu schauen oder Neuronen zufällig auszuwählen. Wenn man Neuronen zufällig auswählt, vergisst das Modell seine alten Fähigkeiten fast sofort. Wenn man jedoch basierend darauf wählt, wie „laut“ sie sind, bleibt das Modell intelligent.
Was nicht funktioniert (oder nicht benötigt wird): Sie haben gezeigt, dass man nicht das gesamte Gehirn einfrieren muss. Es reicht aus, die obersten 30 % der aktivsten Neuronen in bestimmten Teilen des Gehirns (den Self-Attention-Layern und dem Connector, der Bilder mit Text verbindet) einzufrieren. Das Einfrieren der „MLP“-Teile (die tiefen Denkschichten) verschlechtert tatsächlich die Leistung, was darauf hindeutet, dass diese Schichten flexibel sein sollten.
Das „magische“ Kalibrierungsset: Eine der coolsten Entdeckungen ist, dass man nicht die ursprünglichen Trainingsdaten des Roboters benötigt, um herauszufinden, welche Neuronen man einfrieren soll. Man kann ein allgemeines, zufälliges Set von Fragen (wie den MMMU-Datensatz) zur Profilbildung verwenden. Selbst mit diesen generischen Daten funktioniert AWARe fast so gut, als hätten sie die spezifischen alten Daten verwendet. Dies macht die Methode sehr praktisch für den realen Einsatz.
Effizienz: Die Methode ist unglaublich effizient. In ihrem besten Setup wurden nur etwa 17,5 % der gesamten Parameter aktualisiert. Das bedeutet, dass der Computer bei weitem nicht so hart arbeiten muss, als müsste er das gesamte Modell aktualisieren.

Das Fazit

AWARe legt nahe, dass das Geheimnis, einen KI nicht vergessen zu lassen, nicht darin besteht, ihr das Lernen zu verbieten, sondern selektiv zu entscheiden, was sie verändert. Indem man zuhört, welche Teile des Gehirns bei alten Aufgaben am härtesten arbeiten und diese schützt, können wir diesen Modellen neue Tricks beibringen, ohne ihre alte Weisheit zu verlieren. Es ist eine einfache, effektive und überraschend sanfte Art, unsere digitalen Freunde intelligent, stabil und bereit für alles Kommende zu halten.

Technisches Resümee: AWARe

Problemstellung

Multimodale Large Language Models (MLLMs) besitzen starke Generalisierungs- und Denkfähigkeiten, die aus dem groß angelegten Pre-Training resultieren. Das Fine-Tuning dieser Modelle auf Downstream-Aufgaben führt jedoch häufig zu katastrophalem Vergessen (Catastrophic Forgetting, CF), wobei die Optimierung für neue Zielsetzungen die zuvor erworbenen Upstream-Fähigkeiten verschlechtert. Dieses Problem ist bei MLLMs aufgrund des komplexen Zusammenspiels zwischen den Modalitäten und der hochdimensionalen Parameterlandschaft besonders schwerwiegend. Bestehende Minderungsstrategien, wie etwa Experience Replay oder Regularisierungsmethoden, verursachen oft einen prohibitiven Rechenaufwand oder haben Schwierigkeiten, bei Milliarden von Parametern zu skalieren. Zudem verhindern Parameter-Effiziente Fine-Tuning-Methoden (PEFT) wie LoRA, obwohl sie die Anzahl der trainierbaren Parameter reduzieren, nicht inhärent die Erosion von vortrainiertem Wissen, da sie dennoch zuverlässige Upstream-Merkmale stören können. Die zentrale Herausforderung besteht darin, MLLMs zu ermöglichen, sich an Downstream-Aufgaben anzupassen und gleichzeitig vortrainierte Fähigkeiten robust zu bewahren, ohne übermäßige Kosten oder architektonische Modifikationen zu verursachen.

Methodik: AWARe

Die Autoren schlagen Activation-Weighted Adaptive REtention (AWARe) vor, ein Fine-Tuning-Framework, das katastrophales Vergessen durch die dynamische Kontrolle von Parameteraktualisierungen basierend auf Aktivierungsmustern mildert. Die Methode ist inspiriert von dem Prinzip, dass ein kleiner Bruchteil der Gewichte, die mit großen Aktivierungsbeträgen assoziiert sind, unverhältnismäßig wichtig für die Bewahrung des Modellverhaltens ist (ein Konzept, das in Studien zur aktivierungsbewussten Gewichtsquantisierung und zum Pruning beobachtet wurde).

AWARe operiert in zwei Phasen:

Knowledge Profiling (Wissensprofilierung):
- Die Methode nutzt einen kleinen Kalibrierungsdatensatz ( $S_{cal}$ ), der aus Upstream-Aufgaben entnommen wurde. Falls keine Upstream-Daten verfügbar sind, dient ein allgemeiner Benchmark (z. B. MMMU) als Proxy.
- Für eine Ziel-Linearschicht mit der Gewichtmatrix $W$ führt das Modell einen Forward Pass auf dem Kalibrierungsdatensatz durch, um einen Aktivierungstensor $A$ zu erhalten.
- Saliency Estimation (Salienzschätzung): Die Methode berechnet einen Salienz-Score für jedes Ausgangsneuron durch einen dreistufigen Aggregationsprozess:
  1. Berechnung der L2-Norm der Aktivierungen entlang der Sequenzlängen-Dimension.
  2. Anwendung einer pro-Sample L2-Normalisierung über die Hidden-Dimension, um Vergleichbarkeit zu gewährleisten und Bias durch Ausreißer-Skalen zu verhindern.
  3. Mittelung der normalisierten Werte über den Batch hinweg, um einen finalen Salienzvektor $s$ zu generieren.
- Dieser Prozess identifiziert Neuronen, die konsistent strukturelle Merkmale über diverse Upstream-Aufgaben hinweg erfassen.
Constrained Fine-tuning (Beschränktes Fine-tuning):
- Basierend auf den Salienz-Scores wird ein Retention-Verhältnis $\rho$ (z. B. 30 %) verwendet, um den Top- $\rho$ -Anteil der salientesten Ausgangsneuronen global über die Zielschichten hinweg zu identifizieren.
- Eine binäre Gradientenmaske $M_{grad}$ wird konstruiert, wobei Zeilen, die zu hoch-salienten Neuronen gehören, auf 0 (eingefroren) gesetzt werden und andere auf 1 (trainierbar).
- Während der Downstream-Optimierung werden die Parameter, die mit den salienten Regionen assoziiert sind, durch maskierte Gradienten-Updates konstant gehalten: $W^{(t+1)} = W^{(t)} - \eta \cdot (\nabla_W L_{down} \odot M_{grad})$ .
- Target Selection (Zielauswahl): AWARe wendet diese Strategie spezifisch auf die Linearschichten innerhalb der Self-Attention-Mechanismen ( $q\_proj, k\_proj, v\_proj$ ) und den Multimodal Projector ( $mm\_projector$ ) an. Andere Komponenten, wie etwa MLP-Blöcke und die Output-Projektion, bleiben vollständig eingefroren. Diese Auswahl basiert auf der Erkenntnis, dass die Aktualisierung von Self-Attention-Projektionen weniger zum Vergessen von vorhandenem Wissen führt als MLP-Blöcke.

Zentrale Beiträge

AWARe-Framework: Die Einführung einer einfachen, aktivierungsbasierten Methode zur Bewahrung kritischen Upstream-Wissens während der Downstream-Adaption in MLLMs. Sie zweckentfremdet die Aktivierungs-Salienz aus Kompressions- und Merging-Kontexten für die Milderung von Vergessen.
Effizienz und Einfachheit: Der Ansatz erfordert keine architektonischen Änderungen, führt keine zusätzlichen Adapter-Module ein und aktualisiert nur einen kleinen Teil der Parameter (etwa 17,5 % im optimalen Setting). Er vermeidet die Notwendigkeit von Replay-Buffern oder Sekundärstatistiken.
Umfassende Validierung: Die Autoren demonstrieren durch Ablationsstudien und Benchmarks, dass die aktivierungsbasierte Salienz ein effektives Kriterium für die Parameterauswahl ist und die statische Gewichtsmagnitüde oder die Zufallsauswahl übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten AWARe auf dem LLaVA-v1.5-7B Backbone und validierten dessen Transferierbarkeit auf Qwen2.5-VL-7B.

Single-Task Downstream Adaptation: Auf IconQA (VQA) und COCO-Caption (Bildbeschreibung) erreichte AWARe eine überlegene Balance zwischen Knowledge Retention (R) (Stabilität der Upstream-Aufgaben) und Learning Efficiency (E) (Performance auf der neuen Aufgabe).
- Im Vergleich zu State-of-the-Art-Baselines (einschließlich LoRA, DoRA, Orth-Reg, Model Tailor, LoRASculpt und SPIDER) hielt AWARe hohe Retentionsraten aufrecht (z. B. $R \approx 98,4$ auf IconQA) und erzielte gleichzeitig konkurrenzfähige Downstream-Leistungen.
- Bemerkenswert ist, dass die Verwendung eines allgemeinen Kalibrierungsdatensatzes (MMMU) anstelle spezifischer Upstream-Daten vergleichbare Ergebnisse lieferte wie die Verwendung des vollständigen Upstream-Datensatzes, was die Robustheit unterstreicht.
Continual Instruction Tuning: Auf dem MLLM-DCL Benchmark (eine Sequenz von fünf Aufgaben: Fernerkundung, Medizin, Autonomes Fahren, Wissenschaft, Finanzen) erreichte AWARe die höchste durchschnittliche Performance über alle Aufgaben sowie die beste Endleistung nach der letzten Aufgabe. Es verbesserte die Gesamtdurchschnitte um 3,18 und 1,77 Punkte gegenüber der stärksten Baseline (DISCO) in den Metriken für den Durchschnitt bzw. die letzte Aufgabe.
Ablationsstudien:
- Selektionsstrategie: Die aktivierungsbasierte Selektion übertraf die Zufallsauswahl und die gewichtsnormbasierte Selektion signifikant.
- Retention-Verhältnis: Ein Retention-Verhältnis von 30 % (Einfrieren der Top-30 % der salientesten Neuronen) bot den optimalen Trade-off zwischen Stabilität und Plastizität.
- Trainingsziele: Die Anwendung von AWARe sowohl auf die Self-Attention-Projektionen als auch auf den Multimodal Projector lieferte die besten Ergebnisse. Das vollständige Einfrieren der MLP-Blöcke war entscheidend, da das Fine-Tuning dieser zu einem schweren Leistungsabfall bei den Upstream-Aufgaben führte.

Bedeutung und Ansprüche

Das Paper behauptet, dass AWARe eine praktische und effektive Lösung für das katastrophale Vergessen in MLLMs bietet, indem es dynamische, datenabhängige Aktivierungsmuster nutzt, anstatt auf statischen Gewichtsprioritäten zu basieren. Die Bedeutung der Arbeit liegt in:

Architektur-Agnostik: Es arbeitet ohne Modifikation der Modellarchitekturen und gewährleistet so die Kompatibilität mit bestehenden Inference-Engines.
Kosteneffizienz: Durch das Einfrieren hoch-salienter Parameter und das Aktualisieren nur eines kleinen Teils der Parameter reduziert es den Rechenaufwand im Vergleich zu Full Fine-Tuning oder Replay-basierten Methoden erheblich.
Robustheit: Die Methode bleibt effektiv, selbst wenn die Upstream-Aufgabendaten eingeschränkt sind, indem sie auf allgemeine Kalibrierungsdatensätze zurückgreift.
Stabilitäts-Plastizitäts-Trade-off: AWARe balanciert erfolgreich die Bewahrung der Kern-Generalisierungsfähigkeiten mit der erforderlichen Flexibilität für die spezialisierte Aufgabenadaption und adressiert damit einen kritischen Flaschenhals beim praktischen Einsatz von MLLMs.

Die Autoren räumen Einschränkungen ein und merken an, dass die Qualität der Kalibrierungsdaten die Auswahl der eingefrorenen Regionen beeinflussen kann und dass extrem große Verteilungsverschiebungen eine Anpassung des Retention-Verhältnisses erfordern könnten. Dennoch etabliert das vorgeschlagene Framework einen neuen Standard für effizientes und stabiles multimodales Fine-Tuning.