🤖 machine learning

Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?

Dieser Beitrag stellt eine auf der Ebene von Neuronen basierende Metrik namens differentielle Schaltkreisverwundbarkeit vor, um zu zeigen, dass zwar das überwachte Feinabstimmen Modelle schneller an neue Aufgaben anpasst, das Reinforcement Learning jedoch interne Berechnungsschaltkreise besser erhält und dadurch eine mechanistische Erklärung für seine überlegene Resistenz gegenüber katastrophalem Vergessen liefert.

Ursprüngliche Autoren: Jeanmely Rojas Nunez, Viraj Sawant, Nathan Allen, Nomgondalai Amgalanbaatar, Yannis Zongo, Vasu Sharma, Maheep Chaudhary

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jeanmely Rojas Nunez, Viraj Sawant, Nathan Allen, Nomgondalai Amgalanbaatar, Yannis Zongo, Vasu Sharma, Maheep Chaudhary

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Warum „vergessen" KI-Modelle?

Stellen Sie sich einen brillanten Schüler (das KI-Modell) vor, der bereits weiß, wie man Gedichte schreibt, Matheaufgaben löst und Witze erzählt. Sie möchten ihm eine neue Fähigkeit beibringen: Wissenschaft.

Sie haben zwei Möglichkeiten, ihm dies beizubringen:

SFT (Supervised Fine-Tuning): Sie geben ihm ein Lehrbuch und sagen: „Lerne diese Antworten genau auswendig."
RL (Reinforcement Learning): Sie lassen ihn versuchen, Wissenschaftsfragen zu beantworten, und geben ihm ein „Daumen hoch" oder „Daumen runter", je nachdem, wie gut die Antwort ist, und lassen ihn den besten Weg zum Lernen selbst herausfinden.

Das Problem: Wenn Sie dem Schüler eine neue Fähigkeit beibringen, beginnt er oft, seine alten Fähigkeiten (wie Gedichte oder Mathe) zu vergessen. Dies wird als Katastrophales Vergessen bezeichnet.

Die Entdeckung: Jüngste Studien zeigten, dass die „Daumen hoch/Runter"-Methode (RL) besser darin ist, die alten Fähigkeiten am Leben zu erhalten, als die Methode „Lerne das Lehrbuch auswendig" (SFT). Aber warum? Dieses Paper gräbt im Gehirn der KI nach dem mechanischen Grund.

Die Analogie: Die Bibliothek der Denk-Schaltkreise

Stellen Sie sich das Gehirn der KI nicht als einen einzigen Speicherblock vor, sondern als eine massive Bibliothek winziger, spezialisierter Arbeiter (genannt „Schaltkreise" oder „Aufmerksamkeitsköpfe").

Einige Arbeiter sind großartig in Mathe.
Einige sind großartig in Grammatik.
Einige sind großartig im Witzeerzählen.

Wenn die KI etwas Neues lernt, muss sie diese Arbeiter neu anordnen. Die Frage lautet: Feuert es alle und stellt neue ein, oder behält es das alte Team und gibt ihnen nur neue Anweisungen?

Das Experiment: Was passierte?

Die Forscher nahmen eine spezifische KI (Qwen2.5-3B) und brachten ihr mit beiden Methoden bei, Wissenschaftsfragen zu beantworten. Anschließend blickten sie in die „Bibliothek", um zu sehen, welche Arbeiter noch arbeiteten und wie sie sich verhielten.

1. Die „Lehrbuch"-Methode (SFT) = Der Über-Optimierer

Was es tut: Es lernt die neue Wissenschaftsaufgabe sehr schnell. Es erzielt schnell hohe Punktzahlen.
Die Kosten: Um diese hohen Punktzahlen zu erreichen, feuert es aggressiv die alten Arbeiter und ersetzt sie durch ein kleines, spezialisiertes Team von „Wissenschaftsexperten".
Das Ergebnis: Die Bibliothek schrumpft. Sie behält nur etwa 52% der ursprünglichen Arbeiter. Die alten Arbeiter (Gedichte, Mathe, Witze) werden verdrängt. Die KI wird zu einem großartigen Wissenschaftler, aber zu einem schrecklichen Dichter.
Analogie: Es ist wie ein Generalunternehmer, der, um eine neue Küche zu bauen, die gesamte Verkabelung und den gesamten Wasseranschluss des Hauses herausreißt, damit sie perfekt zum neuen Design passt. Die Küche ist perfekt, aber die Lichter im Schlafzimmer funktionieren nicht mehr.

2. Die „Daumen hoch/Runter"-Methode (RL) = Der sorgfältige Renovator

Was es tut: Es lernt die neue Wissenschaftsaufgabe langsamer. Es dauert länger, bis es dieselbe hohe Punktzahl erreicht.
Der Vorteil: Anstatt das alte Team zu feuern, führt es sie sanft. Es behält fast alle ursprünglichen Arbeiter (etwa 72%) und bringt ihnen nur bei, wie sie ihre bestehenden Fähigkeiten auf die Wissenschaft anwenden können.
Das Ergebnis: Die Bibliothek bleibt groß und vielfältig. Die KI lernt Wissenschaft, aber sie erinnert sich auch daran, wie man Witze erzählt und Mathe macht.
Analogie: Es ist wie ein Handwerker, der die neue Küche baut, indem er die vorhandenen Möbel und die Verkabelung sorgfältig neu anordnet. Es dauert länger, bis alles fertig ist, aber die Lichter im Schlafzimmer funktionieren noch, und das Haus fühlt sich gleich an.

Die wichtigsten Erkenntnisse (der „mechanistische" Beweis)

Das Paper führte eine neue Messmethode ein, die „Differential Circuit Vulnerability" (Differenzielle Schaltkreis-Verwundbarkeit) genannt wird. Hier ist, was sie herausfanden:

SFT ist ein „Kompressor": Es presst das Gehirn der KI in eine kleine, spezialisierte Form. Es schafft einige „Super-Arbeiter", die alles für die neue Aufgabe erledigen, aber dabei zerstören sie die empfindlichen Netzwerke, die die alten Aufgaben bewältigten.
RL ist ein „verteilter Adapter": Es verteilt das neue Lernen über das gesamte Gehirn. Kein einzelner Arbeiter ist überfordert. Die ursprünglichen „Schaltkreise" (die Pfade, die die KI für ihre alten Fähigkeiten nutzte) bleiben intakt und funktionieren weiter.
Der Kompromiss:
- SFT: Schnelles Lernen, aber Sie verlieren Ihre alte Persönlichkeit und Ihre alten Fähigkeiten.
- RL: Langsames Lernen, aber Sie behalten Ihre alte Persönlichkeit und Ihre alten Fähigkeiten.

Warum das wichtig ist

Das Paper kommt zu dem Schluss, dass RL robuster gegen Vergessen ist, weil es die interne „Maschinerie" der KI bewahrt.

Wenn wir SFT verwenden, überschreiben wir im Wesentlichen den internen Code der KI, um ihn an eine neue Form anzupassen, was dazu führt, dass der alte Code kaputtgeht. Wenn wir RL verwenden, justieren wir den bestehenden Code, sodass die KI neue Fähigkeiten entwickeln kann, ohne die alten zu löschen.

Kurz gesagt: Wenn Sie eine KI wollen, die schnell lernt, aber alles andere vergisst, verwenden Sie die „Lehrbuch"-Methode. Wenn Sie eine KI wollen, die stetig lernt und ihre ursprüngliche Persönlichkeit und Fähigkeiten behält, verwenden Sie die „Daumen hoch/Runter"-Methode.

Technische Zusammenfassung: Mechanistische Ursprünge katastrophalen Vergessens

Problemstellung
Das Feinabstimmen großer Sprachmodelle (LLMs) für neue nachgelagerte Aufgaben führt häufig zu katastrophalem Vergessen, wobei Gewinne bei einem neuen Ziel auf Kosten vorheriger Fähigkeiten erzielt werden. Während neuere Verhaltensstudien nahelegen, dass Reinforcement Learning (RL) vorherige Fähigkeiten wirksamer bewahrt als Supervised Fine-Tuning (SFT) – was darauf zurückgeführt wird, dass Policy-Gradient-Updates in Bezug auf die Verteilungsdrift (gemessen durch KL-Divergenz) näher am Basis-Policy bleiben –, bleiben die internen mechanistischen Gründe für diesen Unterschied unerforscht. Die zentrale Fragestellung ist, ob der Vorteil von RL bei der Bewahrung von Fähigkeiten durch eine stärkere Erhaltung der internen Rechenkreise (Aufmerksamkeitsköpfe, MLP-Schichten und Residualpfade), die Modellfähigkeiten implementieren, widergespiegelt wird.

Methodik
Die Autoren untersuchen diese Frage unter Verwendung von Qwen2.5-3B-Instruct, angepasst an eine wissenschaftliche Frage-Antwort-Aufgabe. Die experimentelle Pipeline besteht aus drei Phasen:

Verhaltensreproduktion: Die Studie reproduziert die bekannte Lücke bei der Bewahrung zwischen SFT und RL. Ein Basis-Modell ( $\pi_{base}$ ) wird durch Cross-Entropy-Verlust nur für Vollendungen feinabgestimmt, um ein SFT-Modell ( $\pi_{SFT}$ ) zu erstellen. Dieses SFT-Modell wird anschließend mit Dr.GRPO (eine Variante der Group Relative Policy Optimization) verfeinert, um ein RL-Modell ( $\pi_{RL}$ ) zu erzeugen. Die Verhaltensdrift wird mittels der erwarteten KL-Divergenz auf Bewahrungs-Benchmarks quantifiziert.
Kreiserkennung: Die Autoren verwenden Differential Binary Masking (DBM), um interne Rechenkreise auf Ebene der Aufmerksamkeitsköpfe zu identifizieren. DBM lernt eine Maske über Aufmerksamkeitsköpfe, die zwischen Basis- und kontrafaktischen Aktivierungen interpoliert. Durch Optimierung dieser Masken zur Erhöhung der Wahrscheinlichkeit für Zielantworten unter Beibehaltung der Sparsamkeit isoliert die Methode spärliche kausale Teilnetzwerke (Kreise), die für spezifische Verhaltensweisen verantwortlich sind.
Kreiserkennung im Modellvergleich: Die Studie führt die differenzielle Kreisanfälligkeit ein, ein Maß auf Kopfebene, das vergleicht, wie stark ein Kreis unter verschiedenen Trainingszielen degradiert. Schlüsselmetriken umfassen:
- Kreistreue: Das Verhältnis des Verhaltens, das durch den extrahierten Teilgraphen wiederhergestellt wird, zum Verhalten des vollständigen Modells.
- Maskenverschiebungen auf Kopfebene ( $\Delta m_h$ ): Vergleich der Maskenwerte feinabgestimmter Modelle mit dem Basis-Modell, um erhaltene, verstärkte oder geschwächte Köpfe zu identifizieren.
- Notwendigkeit und hinreichende Bedingung: Interventionen, die den Abfall der Log-Wahrscheinlichkeit messen, wenn ein Kopf gestört wird (Notwendigkeit), und das wiederhergestellte Verhalten, wenn nur dieser Kopf aktiv ist (hinreichende Bedingung).

Hauptbeiträge

Differenzielle Kreisanfälligkeit: Die Arbeit führt eine neue Metrik ein, um die relative Anfälligkeit interner Rechen-Teilgraphen gegenüber Degradation unter verschiedenen Trainingszielen (SFT vs. RL) zu quantifizieren.
Mechanistische Erklärung des Vergessens: Die Arbeit erweitert die verhaltensbasierte Erklärung der Überlegenheit von RL gegenüber SFT auf die mechanistische Ebene und zeigt, dass RL einen größeren Anteil des Basis-Kreises bewahrt als SFT.
Charakterisierung von Zielkonflikten: Die Studie charakterisiert einen grundlegenden Zielkonflikt im Post-Training: SFT passt sich schneller an die Zielaufgabe an, erzeugt jedoch erhebliche Kreisstörungen, während RL den Basis-Kreis auf Kosten einer langsameren Aufgabenanpassung bewahrt.

Ergebnisse

Verläufe der Kreisbewahrung: Über zwei Trainings-Epochen hinweg divergieren SFT und RL stark. SFT behält nach Epoche 1 nur 63,5 % der Basis-Aufmerksamkeitsköpfe, was bis Epoche 2 auf 59,0 % abfällt. Im Gegensatz dazu behält RL nach Epoche 1 69,8 % und erholt sich bis Epoche 2 auf 72,5 %, wodurch ein Vorteil von 13,5 Prozentpunkten bei der Bewahrung des Basis-Kreises erhalten bleibt.
Strukturelle Kompression vs. Verteilte Anpassung: DBM identifiziert einen Basis-Kreis von 297 Köpfen. Das SFT-Modell unterliegt einer strukturellen Kompression auf etwa 265 Köpfe (46,0 % des Gesamts), während das RL-Modell etwa 296 Köpfe beibehält (51,4 %). SFT konzentriert das Verhalten für die neue Aufgabe auf eine kleinere Menge „kritischer Spezialisten" (hohe Notwendigkeit und hinreichende Bedingung), während RL eine verteilte Architektur beibehält, die eng mit dem Basis-Modell überlappt.
Kausale Beteiligung: RL weist konsistent höhere Werte für die Differenzielle Kausale Mediation (DCM) auf (z. B. 15,8 vs. 10,4 in Epoche 1), was darauf hindeutet, dass der in RL bewahrte Kreis im Vergleich zu SFT ein stärkeres kausales Signal bezüglich des Modellverhaltens trägt.
Ausgabe vs. Interne Metriken: Bemerkenswerterweise zeigt das RL-Modell eine größere KL-Divergenz im Ausgabe-Raum als das SFT-Modell, bewahrt jedoch mehr vorherige Fähigkeiten und die interne Kreisstruktur. Dies legt nahe, dass Metriken im Ausgabe-Raum das interne Vergessen möglicherweise nicht zuverlässig vorhersagen.

Bedeutung
Die Arbeit behauptet, dass die Bewahrung von Kreisen eine mechanistische Erklärung dafür bietet, warum RL robuster gegenüber katastrophalem Vergessen ist als SFT. Die Ergebnisse legen nahe, dass kontinuierliche Anpassung nicht nur als Parameteroptimierung betrachtet werden sollte, sondern als selektive Bewahrung und Modifikation von Kreisen, die Fähigkeiten kodieren. Die Ergebnisse deuten auf einen Zielkonflikt hin, bei dem SFT als „Kompressor" wirkt, der Kreise aggressiv für schnelle Spezialisierung neu konfiguriert, während RL als „verteilter Adapter" wirkt, der bestehende Repräsentationen konservativ wiederverwendet. Diese Perspektive bietet eine Grundlage für das Verständnis der internen Ursachen des Vergessens und legt nahe, dass zukünftige Anpassungsmethoden von einer Kombination aus effizientem Lernen und selektiver Kreisbewahrung profitieren könnten.

Einschränkungen
Die Autoren weisen darauf hin, dass die Studie auf eine einzige Modellarchitektur (Qwen2.5-3B-Instruct) und einen spezifischen Aufgabensatz (wissenschaftliche QA) beschränkt ist. Die Kreisanalyse konzentriert sich hauptsächlich auf Aufmerksamkeitsköpfe und schließt MLP-Schichten sowie Merkmale des Residualstroms aus. Die Generalisierbarkeit auf andere Architekturen (z. B. Gemma, Mistral, Llama) und breitere Fähigkeitsdomänen muss noch validiert werden.