🤖 machine learning

CRAFT: Forgetting-Aware Intervention-Based Adaptation for Continual Learning

CRAFT ist ein kontinuierliches Lernframework für große Sprachmodelle, das katastrophales Vergessen durch das Erlernen von Low-Rank-Interventionen auf versteckten Repräsentationen mittels eines einheitlichen dreistufigen Prozesses aus Task-Routing, feiner Abstimmung auf Basis der KL-Divergenz und dem Zusammenführen von Interventionen mildert und dadurch leistungsstarke LoRA-basierte Ansätze über mehrere Benchmarks hinweg übertrifft.

Ursprüngliche Autoren: Md Anwar Hossen, Fatema Siddika, Juan Pablo Munoz, Tanya Roosta, Ali Jannesari

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Md Anwar Hossen, Fatema Siddika, Juan Pablo Munoz, Tanya Roosta, Ali Jannesari

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine brillante, hochqualifizierte Bibliothekarin (das Large Language Model), die viel über Geschichte, Wissenschaft und Kochen weiß. Sie möchten dieser Bibliothekarin jeden Tag neue Fähigkeiten beibringen: heute Programmieren, morgen das Zusammenfassen juristischer Dokumente und am übernächsten Tag das Dichten von Gedichten.

Das Problem mit herkömmlichen Lehrmethoden besteht darin, dass die Bibliothekarin, um etwas Neues zu lernen, ihr eigenes Gehirn umschreiben muss. Jedes Mal, wenn sie eine neue Fähigkeit lernt, löscht oder verwirrt sie versehentlich die alten Erinnerungen. Dies wird als „katastrophales Vergessen" bezeichnet. Wenn sie Programmieren lernt, könnte sie vergessen, wie man Gedichte schreibt.

CRAFT ist eine neue Methode, um diese Bibliothekarin zu unterrichten, die dieses Problem löst, ohne jemals ihr Gehirn umzuschreiben. So funktioniert es, unter Verwendung einfacher Analogien:

1. Die „Haftnotizen" statt Umschreiben des Gehirns

Anstatt die Bibliothekarin zu zwingen, ihr dauerhaftes Gedächtnis (die Gewichte des Modells) zu ändern, gibt ihr CRAFT einen Stapel Haftnotizen (Interventionen).

Das Gehirn: Das ursprüngliche Wissen der Bibliothekarin bleibt eingefroren und unberührt. Es ändert sich niemals.
Die Haftnotizen: Wenn eine neue Aufgabe eintrifft, schreibt CRAFT eine winzige, niedrigrangige „Anweisung" auf eine Haftnotiz und klebt sie auf den aktuellen Denkprozess der Bibliothekarin.
Das Ergebnis: Die Bibliothekarin kann die neue Aufgabe mithilfe der Notiz perfekt ausführen, aber ihr ursprüngliches Gehirn bleibt exakt so, wie es war. Keine alten Erinnerungen werden gelöscht, weil das Gehirn selbst nicht berührt wurde.

2. Der „Intelligente Sortierer" (Routing)

Man kann der Bibliothekarin nicht einfach eine zufällige Haftnotiz für jede einzelne Aufgabe geben; das wäre chaotisch. CRAFT verwendet einen intelligenten Sortierer, um diese Notizen zu organisieren.

Das Aufwärmen: Wenn eine neue Aufgabe eintrifft (z. B. „Fasse ein Meeting zusammen"), probiert CRAFT sie kurz aus, um zu sehen, welche Art von „Vibe" oder Ausgabe sie produziert.
Die Zuordnung: Es vergleicht diesen Vibe mit den bestehenden Gruppen von Haftnotizen, die es bereits hat.
- Wenn sich die neue Aufgabe wie „Finanznachrichten" anfühlt, wird sie mit den bestehenden „Finanz"-Haftnotizen gruppiert.
- Wenn sie sich völlig anders anfühlt, wie „Python-Code schreiben", erhält sie eine eigene neue Gruppe.
Kein zusätzliches Gehirn: Entscheidend ist, dass dieser Sortierer selbst nichts Neues lernen muss. Er betrachtet einfach die Ausgabe und sagt: „Oh, das sieht nach Gruppe A aus" oder „Das ist neu, lassen Sie uns Gruppe B erstellen."

3. Der „Wächter" (Vergessenskontrolle)

Dies ist der cleverste Teil. Wenn die Bibliothekarin eine neue Aufgabe mithilfe einer Haftnotiz lernt, besteht die Gefahr, dass die neue Notiz versehentlich die alten Notizen in derselben Gruppe durcheinanderbringt.

Der Anker: CRAFT macht einen „Schnappschuss" davon, was die Gruppe bevor die neue Aufgabe eintraf, wusste. Dies ist der Anker.
Die Sicherheitsprüfung: Während die Bibliothekarin die neue Aufgabe lernt, überprüft CRAFT ständig: „Driften Sie zu weit weg von dem, was die Gruppe früher wusste?"
Das KL-Signal: Es verwendet ein mathematisches Maß namens KL-Divergenz (denken Sie daran als einen „Drift-Messer"), um die Distanz zwischen dem neuen Verhalten und dem alten Verhalten zu messen.
- Wenn die Drift gering ist, ist die neue Notiz sicher zu behalten.
- Wenn die Drift riesig ist (was bedeutet, dass die neue Aufgabe zu unterschiedlich ist und die alten ruinieren würde), stoppt das System das Training oder verschiebt die Aufgabe in eine neue Gruppe.
Das Zusammenführen: Sobald die Aufgabe sicher gelernt ist, wird die neue Notiz in den gemeinsamen Stapel der Gruppe zurückgeführt und aktualisiert das Wissen der Gruppe, ohne die alten Dinge zu zerstören.

Warum ist das besser?

Effizienz: Es verwendet weit weniger „Haftnotizen" (Parameter) als andere Methoden, da es Notizen zwischen ähnlichen Aufgaben teilt.
Kein Vergessen: Da das ursprüngliche Gehirn eingefroren ist und die Notizen sorgfältig verwaltet werden, erinnert sich die Bibliothekarin an alles, was sie gestern gelernt hat, während sie heute lernt.
Einfachheit: Es benötigt kein komplexes „Gating"-System, um zu entscheiden, was zu tun ist; es betrachtet einfach die Ausgabe und organisiert sich natürlich.

Das Fazit

CRAFT behandelt kontinuierliches Lernen nicht als „Umschreiben des Gehirns", sondern als Organisieren einer Bibliothek von Haftnotizen. Indem es das Gehirn eingefroren hält und einen einzigen „Drift-Messer" verwendet, um sicherzustellen, dass neue Notizen die alten nicht durcheinanderbringen, ermöglicht es Large Language Models, für immer zu lernen, ohne zu vergessen, wer sie sind.

Technischer Überblick: CRAFT – vergessensbewusste interventionsbasierte Anpassung für kontinuierliches Lernen

1. Problemstellung

Large Language Models (LLMs) leiden unter katastrophalem Vergessen, wenn sie durch Fine-Tuning an neue Aufgaben angepasst werden. Dies geschieht, weil herkömmliches Fine-Tuning dieselben Parameter aktualisiert, die vorheriges Wissen kodieren, was einen inhärenten Zielkonflikt zwischen Plastizität (Lernen neuer Aufgaben) und Stabilität (Beibehalten alter Aufgaben) erzeugt. Bestehende Lösungen – wie Regularisierung (z. B. EWC), Replay-Mechanismen oder architektonische Einschränkungen wie LoRA-Pools – operieren innerhalb des Parameterraums, in dem der Konflikt entsteht. Diese Methoden erfordern oft gelernte Gate-Mechanismen (die selbst vergessensanfällig sind) oder feste Referenzen, die sich nicht an die Entwicklung gemeinsamen Wissens anpassen können.

Die Arbeit geht davon aus, dass kontinuierliches Lernen nicht als Problem des Parameterwettbewerbs, sondern als Organisation und Steuerung von Interventionen auf Repräsentationsebene neu gedacht werden sollte. Durch das Einfrieren der Backbone-Gewichte und das Bearbeiten versteckter Repräsentationen in einem niedrigrangigen Unterraum wird die Quelle von Interferenzen auf Gewebebene eliminiert. Dennoch bleiben Herausforderungen beim repräsentationsbasierten Lernen bestehen: Wie kann die Kapazität über ähnliche Aufgaben hinweg geteilt werden, ohne dass nicht verwandte Aufgaben in Konkurrenz treten? Wie können Aufgaben ohne gelernte Gates geroutet werden? Und wie kann das Vergessen während der Anpassung kontrolliert werden, ohne die Effizienz einzuschränken?

2. Methodik: CRAFT

CRAFT (Continual Representation-Anchored Fine-Tuning) ist ein Framework, das Routing, Anpassung und Zusammenführung vollständig im Repräsentationsraum durchführt, ohne Modellgewichte zu verändern. Es nutzt LoReFT (Low-rank Linear Subspace ReFT), das versteckte Zustände $h^{(l)}$ an bestimmten Token-Positionen mittels einer niedrigrangigen Interventionsfunktion $\Phi(h^{(l)}; \phi) = h^{(l)} + R^\top(W h^{(l)} + b - R h^{(l)})$ bearbeitet.

Das Framework arbeitet in drei vereinheitlichten Stufen, die durch ein einziges Kullback–Leibler (KL)-Divergenz-Signal gesteuert werden:

A. Interventionsarchitektur

CRAFT teilt Interventionen über zwei Prompt-Ströme innerhalb des Residualstroms auf:

f-Stream: Wird auf die ersten $t_{pos}$ Tokens (Präfix) angewendet und kodiert Anweisungen.
l-Stream: Wird auf die letzten $t_{pos}$ Tokens (Suffix) angewendet, wo die Ausgabe festgelegt wird.
Aufgaben innerhalb einer ähnlichen-Aufgaben-Gruppe $S_k$ teilen einen gemeinsamen Interventionszustand $\phi_{S_k}$ , während Aufgaben in verschiedenen Gruppen isoliert bleiben.

B. Deterministisches Routing (ohne gelerntes Gate)

Anstatt eines trainierbaren Routers verwendet CRAFT die Divergenz der Ausgabeverteilung, um Aufgaben zuzuweisen:

Warm-up: Eine neue Aufgabe $\tau_t$ durchläuft ein kurzes Warm-up ( $S_{wu}$ Schritte) von einem gemeinsamen Zufallssamen, um eine vorläufige Intervention $\tilde{\phi}^{(t)}$ zu erzeugen.
Distanzberechnung: Die Ausgabeverteilung $\pi_{\tilde{\phi}^{(t)}}$ wird mit den gespeicherten Verteilungen bestehender Gruppen $S_k$ unter Verwendung einer normalisierten symmetrischen KL-Distanz verglichen:
$d(t, k) = \frac{D_{KG_k}}{\max(\min(D_K, D_{G_k}), \epsilon)}$
wobei $D_K$ die Distanz der neuen Aufgabe zur Basislinie ist, $D_{G_k}$ die Distanz der Gruppe zur Basislinie und $D_{KG_k}$ die Distanz zwischen der Aufgabe und der Gruppe.
Zuweisung: Wenn $d(t, k) \le \delta$ , tritt die Aufgabe der Gruppe $S_k$ bei. Andernfalls wird eine neue Gruppe initialisiert. Dies erfordert keine trainierbaren Routing-Parameter oder Aufgaben-Identifikatoren.

C. KL-regulierte Anpassung und Zusammenführung

Sobald einer Gruppe $S_k$ zugewiesen:

Verankerung: Der aktuelle Zustand der Gruppe $\phi_{S_k}$ wird als Anker $\phi_{anchor}$ eingefroren.
Training: Die Intervention der Aufgabe $\phi^{(t)}$ $ϕ^{(t)}$ wird mit einer Verlustfunktion für die neue Aufgabe trainiert:
$L_{total} = L_{\tau}(\phi^{(t)}) + \beta \cdot KL(\pi_{\phi_{anchor}} \parallel \pi_{\phi^{(t)}})$
Der KL-Term wirkt als vereinheitlichtes Signal, das:
- Das Training regularisiert, um Abweichungen vom Vorwissen der Gruppe zu verhindern.
- Vergessen vorhersagt: Basierend auf empirischen Gesetzen (Shenfeld et al., 2025) korreliert eine hohe KL-Divergenz mit Vergessen. Wenn die mittlere KL-Divergenz des ersten Epochs einen Schwellenwert $\eta$ überschreitet, wird die Aufgabe in eine neue Gruppe verbannt.
Zusammenführung: Nach Konvergenz überschreibt das trainierte $\phi^{(t)}$ den gemeinsamen Zustand $\phi_{S_k}$ .

3. Hauptbeiträge

Interventionsbasiertes kontinuierliches Lernen: CRAFT ist das erste Framework, das Routing, Anpassung und Zusammenführung vollständig im Repräsentationsraum durchführt, ohne Modellgewichte zu verändern.
Deterministisches Routing ohne gelernte Gates: Es eliminiert die Notwendigkeit trainierbarer Routing-Parameter durch die Verwendung eines kurzen Warm-ups und der KL-Distanz der Ausgabeverteilung zur Aufgabenzuweisung, wodurch der Router robust gegenüber Vergessen wird.
Vereinheitlichte Vergessenskontrolle: Es führt ein einziges KL-basiertes Signal ein, das gleichzeitig Trainingsabweichungen reguliert, Vergessen vorhersagt und die Integration neuen Wissens steuert, wodurch diskontinuierliche Heuristiken ersetzt werden.
Empirische Validierung: Der Ansatz wurde über drei verschiedene LLMs (Llama-3.2-1B, Gemma-2B, Llama-2-7B) und diverse Benchmarks (TRACE, Math-LLM, O-LoRA-Sequenzen) validiert.

4. Experimentelle Ergebnisse

CRAFT wurde gegen starke Baselines evaluiert, darunter SeqLoRA, GEM, EWC, L2P, DualPrompt, HiDeLoRA, O-LoRA, TreeLoRA sowie neuere Methoden wie SAPT und TASL.

Leistungssteigerung: CRAFT verbessert die Gesamtleistung (OP) um bis zu 8,03 % (auf Llama-3.2-1B) im Vergleich zu den besten State-of-the-Art-Methoden.
Reduktion des Vergessens: Es reduziert die Rate des Backward Transfer (BWT) Vergessens um bis zu 6,49 %. Auf dem 15-Aufgaben-Stream mit Llama-3.2-1B erreichte CRAFT einen BWT von 2,60 % im Vergleich zu 6,41 % für TreeLoRA und 10,99 % für O-LoRA.
Parametereffizienz: CRAFT verwendet 3,75-mal weniger trainierbare Interventionsparameter als starke LoRA-basierte Baselines. Beispielsweise benötigte CRAFT auf Llama-3.2-1B mit 15 Aufgaben nur 4,20 M Parameter im Vergleich zu 15,73 M für Standard-LoRA.
Robustheit: Die Methode bleibt über verschiedene Aufgabenreihenfolgen hinweg robust und ist innerhalb eines breiten Plateaus unempfindlich gegenüber Variationen des Routing-Schwellenwerts $\delta$ und der Warm-up-Länge $S_{wu}$ .
Kreuzgruppen-Invarianz: Theoretische und empirische Analysen bestätigen, dass das Training einer Aufgabe in einem Cluster die Inferenzausgabe von Aufgaben in anderen Clustern nicht beeinflusst, da der Optimierer-Umfang nur die Intervention der spezifischen Gruppe berührt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Kontrolle der Anpassung im Repräsentationsraum, geleitet durch die Divergenz im Ausgaberaum, einen skalierbaren und prinzipiellen Ansatz für kontinuierliches Lernen bietet.

Neudefinition des Zielkonflikts: Durch das Entfernen von Gewichtsaktualisierungen verschiebt CRAFT den Stabilitäts-Plastizitäts-Konflikt von einem Parameter-Ringen hin zu einem Problem der Organisation von Repräsentationsänderungen.
Prinzipielle Vergessenskontrolle: Die Verwendung der KL-Divergenz als vereinheitlichtes Signal ermöglicht es dem System, Vergessen direkt zu messen und zu kontrollieren, anstatt sich auf Proxy-Metriken zu verlassen.
Skalierbarkeit: Das Framework skaliert mit der Anzahl der entdeckten Aufgaben-Gruppen ( $K$ ) und nicht mit der Gesamtzahl der Aufgaben ( $T$ ), was eine effizientere Lösung für lange Aufgaben-Streams bietet.
Einschränkungen: Die Autoren räumen ein, dass der Routing-Mechanismus bei Aufgaben mit nahezu Deckeneffekten oder Streams, in denen Aufgaben fast identisch sind, aber sequenziell präsentiert werden (z. B. zwei Hälften desselben Datensatzes), Schwierigkeiten haben könnte, da die symmetrische KL-Distanz sättigen kann. Sie schlagen vor, dass zukünftige Arbeiten das Initialisieren von Warm-ups aus bestehenden Clustern umfassen könnten, um solche Fälle zu behandeln.

Im Wesentlichen zeigt CRAFT, dass katastrophales Vergessen auf Ebene der Modellausgaben durch strukturierte Repräsentationsbearbeitung effektiv kontrolliert werden kann, ohne dass die zugrunde liegenden Basisgewichte eingeschränkt oder verändert werden müssen.