🤖 machine learning

Overcoming Catastrophic Forgetting in Visual Continual Learning with Reinforcement Fine-Tuning

Dieser Beitrag stellt Retention-aware Policy Optimization (RaPO) vor, eine neuartige Methode zum Reinforcement Fine-Tuning, die katastrophales Vergessen im visuellen kontinuierlichen Lernen durch die Bekämpfung von Trajektorien-Ebene-Drift-Agnostizismus mittels Retention-Reward-Formung und cross-task-Vorteilsnormalisierung mildert und dadurch eine überlegene Leistung gegenüber bestehenden Ansätzen erzielt.

Ursprüngliche Autoren: Meng Lou, Hanzhong Guo, Linwei Chen, Yizhou Yu

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Meng Lou, Hanzhong Guo, Linwei Chen, Yizhou Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Goldfisch"-KI

Stellen Sie sich vor, Sie bringen einem sehr intelligenten Roboter bei, verschiedene Vogelarten zu erkennen.

Montag: Sie zeigen ihm ein Bild eines Spatzens. Er lernt es perfekt.
Dienstag: Sie zeigen ihm ein Bild eines Falken. Er lernt den Falken, vergisst aber plötzlich, wie ein Spatz aussieht. Er hält den Spatz nun für einen kleinen Falken.
Mittwoch: Sie zeigen ihm eine Eule. Jetzt vergisst er sowohl den Spatz als auch den Falken.

Dies nennt man katastrophales Vergessen. Der Roboter ist wie ein Goldfisch mit einem 3-Sekunden-Gedächtnis; jedes Mal, wenn er etwas Neues lernt, wischt er sein Gehirn von den alten Inhalten leer. Dies ist ein riesiges Problem für KI, die in der realen Welt kontinuierlich lernen muss.

Die aktuelle Lösung (und warum sie nicht perfekt ist)

Forscher versuchten zwei Hauptwege, um dies zu beheben:

Supervised Fine-Tuning (SFT): Dies ist wie ein strenger Lehrer, der sagt: „Merken Sie sich diese Antwort genau." Es funktioniert einigermaßen, aber der Roboter vergisst alte Antworten dennoch schnell.
Reinforcement Fine-Tuning (RFT): Dies ist wie ein Trainer, der sagt: „Versuchen Sie verschiedene Wege, um dieses Problem zu lösen, und ich gebe Ihnen eine Belohnung, wenn Sie es richtig machen." Neuere Studien zeigten, dass diese „Trainer"-Methode (insbesondere eine Technik namens GRPO) besser im Erinnern ist als die „Lehrer"-Methode.

Allerdings stellten die Autoren dieses Papers fest, dass es einen Haken gibt: Selbst die „Trainer"-Methode (GRPO) vergisst immer noch viel, wenn die Aufgaben wirklich schwierig werden. Sie ist besser als der Lehrer, aber nicht perfekt.

Die Entdeckung: Der „Drift"-Detektiv

Die Forscher fragten: Warum vergisst die „Trainer"-Methode trotzdem Dinge?

Sie untersuchten genau, wie der Roboter denkt. Sie stellten etwas Merkwürdiges fest, das sie Trajectory-level Drift Agnosticism nannten.

Die Analogie: Stellen Sie sich vor, der Roboter macht eine Prüfung. Er kann die aktuelle Frage auf zwei verschiedene Arten korrekt lösen.
- Weg A: Er verwendet eine Logik, die der Art, wie er gestern Fragen gelöst hat, sehr ähnlich ist.
- Weg B: Er verwendet eine völlig wilde, neue Logik, die sich total von gestern unterscheidet.
Das Problem: Der aktuelle „Trainer" (GRPO) betrachtet nur die Endpunktzahl. Wenn sowohl Weg A als auch Weg B die Frage richtig beantworten, gibt der Trainer für beide die gleiche Belohnung. Ihn interessiert nicht, dass Weg B vom alten Wissen des Roboters „driftet" (abdriftet).
Das Ergebnis: Mit der Zeit wählt der Roboter weiterhin die „wilden" Wege (Weg B), weil sie Punkte bringen. Schließlich driftet er so weit von seinem ursprünglichen Wissen weg, dass er alles vergisst, was er früher wusste.

Die Lösung: RaPO (Retention-aware Policy Optimization)

Um dies zu beheben, entwickelten die Autoren eine neue Methode namens RaPO. Denken Sie an RaPO als an einen „intelligenten Trainer", dem zwei Dinge wichtig sind: die richtige Antwort zu bekommen und treu zu bleiben zu dem, wer man gestern war.

RaPO hat zwei Haupttricks:

1. Der „Gedächtnisanker" (Retention Reward)

Wie es funktioniert: Jedes Mal, wenn der Roboter versucht, ein Problem zu lösen, prüft RaPO: „Wie ähnlich ist diese neue Denkweise der Art, wie Sie gestern gedacht haben?"
Die Analogie: Stellen Sie sich vor, Sie lernen eine neue Tanzbewegung.
- Wenn Sie eine Bewegung lernen, die sich natürlich aus Ihrem vorherigen Stil ergibt, gibt Ihnen der Trainer einen Bonuspunkt.
- Wenn Sie eine Bewegung lernen, die völlig chaotisch ist und Ihren vorherigen Rhythmus bricht, gibt Ihnen der Trainer weniger Punkte, auch wenn Sie den Tanz trotzdem beendet haben.
Das Ziel: Dies ermutigt den Roboter, neue Dinge zu lernen, ohne seine alten Gewohnheiten vollständig aufzugeben. Es stößt den Roboter sanft an, in der Nähe seines „Gedächtnisankers" zu bleiben.

2. Der „Stabile Griff" (Cross-Task Advantage Normalization)

Wie es funktioniert: Wenn der Roboter vom Lernen von „Vögeln" zum Lernen von „Autos" wechselt, ändert sich die Schwierigkeit der Aufgaben plötzlich. Dies kann den Lernprozess des Roboters verwirren und dazu führen, dass er wild zwischen zu viel Selbstvertrauen und zu viel Unsicherheit hin- und herschwingt.
Die Analogie: Stellen Sie sich vor, Sie fahren ein Auto. Plötzlich wechseln Sie von einer glatten Autobahn auf eine holprige Schotterstraße. Wenn das Fahrwerk Ihres Autos sofort auf jede Unebenheit reagiert, werden Sie einen Unfall bauen.
Die Lösung: RaPO verwendet einen „Stoßdämpfer" (ein exponentieller gleitender Durchschnitt). Anstatt sofort auf die holprige Straße jetzt gerade zu reagieren, glättet es die Unebenheiten über die Zeit. Dies hält das Lerntempo des Roboters stabil, selbst wenn sich die Aufgaben drastisch ändern.

Die Ergebnisse

Die Forscher testeten RaPO an vielen verschiedenen visuellen Aufgaben:

Erkennen neuer Bildtypen (Bildklassifizierung).
Finden von Objekten in Bildern (Objekterkennung).
Verstehen von Videos (Video-Klassifizierung).

Das Ergebnis:
RaPO war der klare Gewinner. Es lernte neue Dinge genauso schnell wie die anderen Methoden, vergaß aber viel weniger.

In einem Test vergaß die alte Methode etwa 20 % dessen, was sie gelernt hatte.
RaPO vergaß nur etwa 4 %.

Das Fazit

Dieses Paper sagt nicht einfach nur „KI wird intelligenter". Es löst spezifisch das Problem, wie man einer KI beibringt, weiterhin neue Dinge zu lernen, ohne ihre alten Erinnerungen zu löschen.

Sie stellten fest, dass es nicht ausreicht, die KI einfach nur dafür zu belohnen, „korrekt" zu sein. Man muss sie auch dafür belohnen, konsistent mit ihrem früheren Ich zu sein. Indem sie eine „Gedächtnisprüfung" und einen „Stabilisator" in den Lernprozess hinzufügten, schufen sie eine KI, die wachsen kann, ohne ihre Identität zu verlieren.

Hinweis: Das Paper konzentriert sich ausschließlich auf Aufgaben der computergestützten Bildverarbeitung (Bilder und Videos) und behauptet nicht, dass diese Methoden derzeit für medizinische Diagnosen, Überwachung oder andere spezifische reale Anwendungen eingesetzt werden. Es ist eine grundlegende Studie, um zukünftigen KI-Systemen zu helfen, kontinuierlich zu lernen.

Technische Zusammenfassung: Bewältigung katastrophalen Vergessens im visuellen kontinuierlichen Lernen durch verstärkungslernbasiertes Feinabstimmen

Problemstellung
Während neuere Studien nahelegen, dass verstärkungslernbasiertes Feinabstimmen (Reinforcement Fine-Tuning, RFT), insbesondere Methoden wie Group Relative Policy Optimization (GRPO), inhärent widerstandsfähiger gegen katastrophales Vergessen ist als überwachtes Feinabstimmen (Supervised Fine-Tuning, SFT) bei multimodalen großen Sprachmodellen (MLLMs), bleibt seine Wirksamkeit in herausfordernden Szenarien des visuellen kontinuierlichen Lernens (Visual Continual Learning, VCL) ein offenes Problem. Insbesondere in Szenarien ohne Wiederholung, wie dem inkrementellen Klasslernen (Class-Incremental Learning, CIL) und dem inkrementellen Domänenlernen (Domain-Incremental Learning, DIL), leidet das Standard-RFT weiterhin unter nicht zu vernachlässigendem Vergessen. Die Autoren identifizieren eine spezifische Engstelle, die als Trajektorien-Level-Drift-Agnostizismus bezeichnet wird: Unter Kandidaten-Rollouts, die identische Aufgabenbelohnungen erzielen, variiert die Kullback-Leibler-Divergenz (KL-Divergenz) zur Politik der vorherigen Aufgabe erheblich. Ein rein auf die Aufgabenbelohnung ausgerichteter Verhaltensmodus unterscheidet nicht zwischen diesen Trajektorien, was zu einer Kreditvergabe führt, die unbeabsichtigt Lösungen mit hoher Drift begünstigt und den Verlust historischen Wissens beschleunigt.

Methodik: Bewusstes Behalten der Politikoptimierung (Retention-aware Policy Optimization, RaPO)
Um den Trajektorien-Level-Drift-Agnostizismus zu adressieren, schlagen die Autoren RaPO vor, eine einfache, aber effektive RFT-Methode, die Vergessen durch Trajektorien-Level-Belohnungsformung explizit mindert. RaPO besteht aus zwei Kernkomponenten:

Behaltensbelohnung (Retention Reward): Diese Komponente wandelt Drift auf Trajektorienebene in ein kontinuierliches Belohnungssignal um. Für ein Rollout $y_i$ , das von der aktuellen Politik $\pi_t$ generiert wird, wird die Drift als längen-normalisiertes Log-Wahrscheinlichkeitsverhältnis gegenüber einer eingefrorenen Ankerpolitik $\pi_{t-1}$ (der Politik der vorherigen Aufgabe) gemessen.
- Das Drift-Metrik ist definiert als $\bar{D}_{drift}(y_i) = \max(\frac{1}{m_i}\sum \log \frac{\pi_t}{\pi_{t-1}}, 0)$ .
- Diese Drift wird auf eine begrenzte, positive Belohnung abgebildet: $R_{ret}(y_i) = \exp(-\alpha \bar{D}_{drift}(y_i))$ , wobei eine geringere Drift eine höhere Belohnung ergibt.
- Die Gesamtbelohnung wird als $R_{total} = R_{task} + \lambda R_{ret}$ formuliert. Entscheidend ist, dass diese Belohnung vor der gruppenrelativen Vorteilberechnung hinzugefügt wird. Dies stellt sicher, dass unter Rollouts mit vergleichbarer Aufgabenleistung diejenigen, die näher an der Ankerpolitik bleiben (und somit vorheriges Wissen bewahren), höhere Vorteile erhalten und die Politik in Richtung von Regionen mit geringer Drift gelenkt wird.
Aufgabenübergreifende Vorteil-Normalisierung (Cross-Task Advantage Normalization, CTAN): Um Optimierungsinstabilität zu bekämpfen, die durch plötzliche Verschiebungen in Belohnungsverteilungen an Aufgabenübergängen verursacht wird, ersetzt RaPO die Standardabweichung der Belohnung pro Batch durch einen persistenten Exponentiellen Gleitenden Durchschnitt (Exponential Moving Average, EMA) $\hat{\sigma}$ .
- $\hat{\sigma}$ wird über Optimierungsschritte und Aufgabenübergänge hinweg aktualisiert ( $\hat{\sigma} \leftarrow \beta \hat{\sigma} + (1-\beta)\sigma_{batch}$ ).
- Der Vorteil wird berechnet als $A_i = \frac{R_{total}(y_i) - \mu_{group}}{\hat{\sigma} + \epsilon}$ .
- Dieser Mechanismus verhindert, dass die Vorteilsskala beim Übergang zwischen Aufgaben kollabiert oder explodiert, und gewährleistet eine stabile Kreditvergabe während des gesamten kontinuierlichen Lernstroms.

Hauptbeiträge

Empirische Identifizierung von Drift-Agnostizismus: Die Arbeit liefert die erste systematische Analyse, die zeigt, dass herkömmliches GRPO im visuellen VCL unter Trajektorien-Level-Drift-Agnostizismus leidet, wobei Belohnungsgleiche Trajektorien in Bezug auf vorherige Aufgaben stark unterschiedliche Grade an Verteilungsdrift aufweisen.
RaPO-Rahmenwerk: Die Autoren stellen RaPO vor, das eine Behaltensbelohnung und CTAN integriert, um Rollouts mit hoher Drift explizit zu bestrafen bzw. die Stabilität der Optimierungsskalen zu gewährleisten.
Umfassende Evaluierung: Die Methode wird in fünf unterschiedlichen visuellen kontinuierlichen Lernszenarien evaluiert: klasseninkrementelle Bildklassifizierung, domäneninkrementelle Bildklassifizierung, klasseninkrementelle Objekterkennung, domäneninkrementelle Objekterkennung und klasseninkrementelle Videoklassifizierung.
Erste systematische Erkundung: Nach bestem Wissen der Autoren ist dies die erste Arbeit, die das Potenzial von verifizierbasiertem RFT für visuelles kontinuierliches Lernen systematisch erkundet.

Experimentelle Ergebnisse
Umfangreiche Experimente auf Datensätzen wie ImageNet-R, ImageNet-A, TinyImageNet, CUB-200, COCO 2017, UCF-101 und Kinetics-200 zeigen, dass RaPO konsistent starke Baselines (einschließlich SFT, EWC, LwF und Standard-GRPO) übertrifft.

Bildklassifizierung: Auf ImageNet-R (10 Aufgaben) erreichte RaPO eine Genauigkeit von 85,92 % bei nur 4,69 % Vergessen und übertraf GRPO (74,67 % Genauigkeit, 20,02 % Vergessen) signifikant.
Objekterkennung: Auf COCO (5 Aufgaben) verbesserte RaPO den Box-AP von 14,64 % auf 19,31 % und reduzierte gleichzeitig das Vergessen von 6,67 % auf 1,39 %.
Generalisierung: RaPO zeigte robuste Leistung bei Videoklassifizierung und domäneninkrementellen Szenarien, wobei es starke Plastizität für neue Aufgaben beibehielt und gleichzeitig historisches Wissen bewahrte.
Ablationsstudien: Die Autoren bestätigten, dass sowohl die Behaltensbelohnung als auch CTAN komplementär sind; das Entfernen einer Komponente verschlechtert die Leistung. Die Methode erwies sich zudem als robust gegenüber Hyperparameter-Wahlen und effektiv, wenn sie auf andere Politikoptimierungsalgorithmen angewendet wurde (z. B. SAPO).

Bedeutung und Behauptungen
Die Arbeit behauptet, dass RFT zwar natürlicherweise widerstandsfähiger gegen katastrophales Vergessen ist als SFT, aber für herausforderndes visuelles VCL ohne explizite Intervention gegen Trajektorien-Level-Drift unzureichend ist. RaPO adressiert dies, indem es das Belohnungssignal so modifiziert, dass wissenserhaltende Rollouts priorisiert werden, ohne architektonische Änderungen oder Datenwiedergabe zu erfordern. Die Autoren positionieren diese Arbeit nicht als Streben nach State-of-the-Art-Benchmarks durch komplexe Ingenieurskunst, sondern als grundlegende Erkundung, wie RFT für kontinuierliches Lernen angepasst werden kann. Sie schließen, dass RaPO eine einfache, effektive Strategie bietet, die katastrophales Vergessen erheblich reduziert, während die starken Schlussfolgerungs- und Anpassungsfähigkeiten von MLLMs erhalten bleiben, und hoffen, weitere Forschung im Bereich des RFT-basierten kontinuierlichen Lernens zu inspirieren.