Technische Zusammenfassung: Attribution-gesteuertes kontinuierliches Lernen für Large Language Models

Problemstellung

Large Language Models (LLMs), die auf statischen, breit angelegten Domänendaten trainiert wurden, leiden häufig unter katastrophalem Vergessen, wenn sie durch kontinuierliches Lernen an neue Aufgaben angepasst werden. Zwar haben bestehende Minderungsstrategien – wie Datenwiedergabe, Parameterregularisierung und das Einfrieren spezifischer Schichten – gewisse Erfolge gezeigt, doch fehlt ihnen ein mechanistisches Verständnis dafür, wie Wissen und aufgaben spezifisches Verhalten über die internen Parameter von LLMs verteilt sind. Folglich können diese Methoden nicht effektiv unterscheiden, welche Parameter erhalten bleiben müssen, um vorheriges Wissen zu bewahren, und welche plastisch bleiben sollten, um neue Aufgaben aufzunehmen. Diese Einschränkung führt häufig zu Interferenzen, bei denen Aktualisierungen für eine neue Aufgabe unbeabsichtigt Parameter verändern, die für vorherige Aufgaben kritisch sind.

Methodik

Die Autoren schlagen ein attribution-gesteuertes Rahmenwerk für kontinuierliches Feinabstimmen vor, das die Schätzung der Parameterbedeutung nutzt, um Gradientenaktualisierungen zu modulieren. Die Kernmethodik besteht aus zwei Hauptphasen:

1. Elementweise Schätzung der Parameterbedeutung

Das Rahmenwerk passt die Layer-wise Relevance Propagation (LRP) an, um das vorhergesagte Logit des nächsten Tokens einzelnen Modellparametern innerhalb jeder Transformer-Schicht zuzuordnen.

• Anpassung an Transformer: Die Standard-LRP weist Relevanz Eingangsmerkmalen zu. Die Autoren erweitern dies, um den Beitrag von Modellparametern (Gewichte und Bias) in Feed-Forward-Netzwerken (FFN) und Multi-Head-Attention-Modulen (MHA) zu quantifizieren.
• Bilineare Zuordnung: Um die in Transformer inhärenten Matrixmultiplikationen (z. B. $QK^T$ und $WV$) zu handhaben, verwendet die Methode ein bilineares Zuordnungsprinzip (inspiriert von AttnLRP). Dies behandelt die Matrixmultiplikation als bilineare Operation, verteilt Relevanzwerte zwischen den Eingangsaktivierungen und den Gewichtsmatrizen und erfüllt dabei eine Erhaltungseigenschaft.
• Ableitung:
  • FFN: Die Relevanz wird durch die zwei linearen Schichten und die Aktivierungsfunktion propagiert, wobei Werte für die Gewichte $W_1, W_2$ und die Bias-Terme $b_1, b_2$ abgeleitet werden.
  • MHA: Die Relevanz wird durch den Aufmerksamkeitsmechanismus propagiert, wobei Werte für die Query-, Key-, Value- und Output-Projektionsgewichte ($W_Q, W_K, W_V, W_O$) abgeleitet werden.
  • LoRA-Unterstützung: Die Methode wird auch für LoRA-adaptierte Modelle formuliert und berechnet die Relevanz sowohl für den eingefrorenen Backbone als auch für die trainierbaren LoRA-Matrizen ($A, B$).

2. Attribution-gesteuertes Feinabstimmen

Die geschätzten Bedeutungswerte werden verwendet, um einen aufgaben spezifischen Prior zu konstruieren, der den Optimierungsprozess für neue Aufgaben leitet.

• Prior-Konstruktion: Für eine neue Aufgabe $T_t$ schätzt die Methode zunächst eine aufgaben spezifische Bedeutungsmatrix $R(W^{(l,t)})$ durch Aggregation normalisierter Relevanzwerte aus korrekt generierten Stichproben.
• Historische Aggregation: Während des Lernens der Aufgabe $T_t$ aggregiert das Rahmenwerk die Bedeutung aus allen vorherigen Aufgaben ($T_1, \dots, T_{t-1}$), indem es das elementweise Maximum ihrer Bedeutungswerte nimmt:
  $$\bar{R}(W^{(l,t)}) = \left[ \max_{\tau < t} R(W^{(l,\tau)}) \right]_+$$
• Gradientenmodulation: Die aggregierte Bedeutungsmatrix wirkt als Gradientengatter. Der Standardgradient $\nabla W$ wird wie folgt moduliert:
  $$\tilde{\nabla} W^{(l,t)} = \left( 1 - \bar{R}(W^{(l,t)}) \right) \odot \nabla W^{(l,t)}$$
  • Parameter mit hoher historischer Relevanz (wichtig für vergangene Aufgaben) erhalten einen Gatterwert nahe 0, was zu kleineren Aktualisierungen führt.
  • Parameter mit niedriger historischer Relevanz erhalten einen Gatterwert nahe 1, was ihnen erlaubt, frei aktualisiert zu werden, um die neue Aufgabe zu erlernen.

Hauptbeiträge

1. Mechanistischer Einblick: Die Arbeit liefert eine mechanistische Analyse, die zeigt, dass beim sequenziellen kontinuierlichen Lernen die als „wichtig" erachteten Parametersätze für verschiedene Aufgaben im finalen Modell stark überlappen, im Gegensatz zum unabhängigen Feinabstimmen einzelner Aufgaben, wo sie getrennt bleiben. Diese Überlappung erklärt die Interferenz, die zu katastrophalem Vergessen führt.
2. Attributionsrahmenwerk: Es wird eine neuartige Anwendung der LRP eingeführt, die Relevanz direkt LLM-Parametern und nicht nur Eingaben zuweist, wobei spezifische Propagierungsregeln für Transformer-Komponenten (FFN und MHA) abgeleitet werden.
3. Strategie zur Gradientenmodulation: Die vorgeschlagene Methode bietet einen dynamischen, elementweisen Ansatz für kontinuierliches Lernen, der Aktualisierungen selektiv basierend auf erlernter Parameterbedeutung einschränkt, ohne Datenwiedergabe oder starre Parameterfixierung zu erfordern.

Experimentelle Ergebnisse

Das Rahmenwerk wurde an Benchmarks für kontinuierliches Lernen mit Large Language Models (speziell Llama-3.2-Instruct-3B) unter beiden Settings vollständiges überwachtes Feinabstimmen und LoRA-basierte Anpassung evaluiert.

• Leistung: Die Methode übertraf bestehende Benchmarks für kontinuierliches Lernen (einschließlich Regularisierung, Wiedergabe und Einfrieren von Methoden) konsistent.
• Erhaltung vs. Plastizität: Sie erreichte eine überlegene Erhaltung der Leistung bei zuvor erlernten Aufgaben, während gleichzeitig eine wettbewerbsfähige Leistung bei neuen Aufgaben aufrechterhalten wurde.
• Beobachtung: Die Experimente bestätigten, dass die vorgeschlagene Methode die Interferenz zwischen Aufgaben effektiv reduziert, indem sie die spezifischen Parametersubsets bewahrt, die für vorheriges Wissen kritisch sind.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass durch den Verzicht auf heuristische Strategien (wie zufällige Wiedergabe oder Schichteneinfrieren) und stattdessen die Nutzung einer attribution-basierten Bedeutungsschätzung das kontinuierliche Lernen für LLMs effizienter und effektiver gestaltet werden kann. Die Bedeutung liegt in:

• Semantisches Bewusstsein: Die Methode berücksichtigt explizit die interne Verteilung von Wissen innerhalb des Modells und unterscheidet zwischen Parametern, die erhalten bleiben sollten, und denen, die angepasst werden können.
• Generalisierbarkeit: Das Rahmenwerk ist sowohl für Szenarien mit Feinabstimmung aller Parameter als auch für parameter-effizientes Feinabstimmen (LoRA) anwendbar.
• Theoretische Fundierung: Es schließt die Lücke zwischen Erklärbarkeit (Attributionsmethoden) und Optimierung (kontinuierliches Lernen) und bietet einen prinzipiellen Weg zur Minderung von katastrophalem Vergessen basierend auf den vom Modell selbst erlernten Repräsentationen.