💻 computer science

Don't Forget the Critic: Value-Based Data Rehearsal for Multi-Cyclic Continual Reinforcement Learning

Dieser Artikel schlägt Qreg+NWLU vor, eine wertbasierte Datenwiederholmethode für multi-zyklisches kontinuierliches Reinforcement Learning, die die Grenzen aktor-zentrierter Ansätze überwindet, indem sie eine kontinuierliche Q-Wert-Sammlung und eine sofortige „No-Wait"-Regularisierung einführt, um katastrophales Vergessen wirksam zu mildern und Wissensübertragung zu verbessern.

Ursprüngliche Autoren: Benjamin Poole, Andrew Quinn, Li Yang, Minwoo Lee

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Benjamin Poole, Andrew Quinn, Li Yang, Minwoo Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, eine Reihe von Videospielen zu spielen. Zuerst lernt er, Flappy Bird zu spielen. Dann wechseln Sie ihn zu Catcher und anschließend zu einem Labyrinthspiel namens Room. Das Ziel ist es, dass der Roboter in allen Spielen gut wird, ohne zu vergessen, wie man das erste Spiel spielt.

In der Welt der Künstlichen Intelligenz nennt man dies Continual Learning (kontinuierliches Lernen). Das größte Problem, dem sich Roboter hier stellen müssen, ist das „katastrophale Vergessen". Es ist wie bei einem Schüler, der für eine Matheprüfung lernt, dann sofort mit dem Lernen für eine Geschichtsprüfung beginnt und bis zum Ende der Geschichtsprüfung völlig vergessen hat, wie man Mathe macht.

Der alte Weg: Der „Actor" versus der „Critic"

Die meisten früheren Forschungsarbeiten versuchten, dieses Problem zu lösen, indem sie sich ausschließlich auf das „Muskelgedächtnis" des Roboters (den Actor) konzentrierten. Sie verwendeten eine Technik namens Data Rehearsal (Datenwiederholung), die dem Roboter wie ein kleines Notizbuch mit Notizen aus seinen früheren Spielen dient, in das er während des Lernens neuer Spiele einen Blick werfen kann.

Es gab jedoch einen zweiten Teil im Gehirn des Roboters, den Critic (oder Wertfunktion). Der Critic ist wie ein Trainer, der ständig bewertet: „Wie gut ist dieser Zug? Wie viel Belohnung werde ich erhalten?"

Frühere Forscher stellten fest, dass der Roboter beim Lernen schlechter wurde, wenn sie versuchten, das „Notizbuch" (Wiederholung) zu nutzen, um dem Critic zu helfen, alte Bewertungen im Gedächtnis zu behalten. Daher hörten sie auf, dem Critic zu helfen, und halfen nur noch dem Actor. Die Autoren dieses Papers sagen: „Moment mal. Wir ignorieren die Hälfte des Gehirns!" Sie wollten herausfinden, ob sie den Critic reparieren konnten, ohne ihn zu beschädigen.

Die neue Idee: Qreg+NWLU

Die Autoren testeten eine neue Methode namens Qreg (Q-Wert-Regularisierung). Dabei wird einfach das Notizbuch genutzt, um dem Critic zu erinnern, wie die Bewertungen für alte Züge früher waren.

Sie stellten jedoch fest, dass die Standardmethode dafür unübersichtlich war. Es war wie der Versuch, für eine Prüfung zu lernen, indem man nur die letzte Seite des Lehrbuchs liest, oder wie das Warten, bis das ganze Semester vorbei ist, bevor man sich seine Notizen ansieht. Dies führte dazu, dass der Roboter verwirrt wurde oder Dinge schnell vergaß.

Um dies zu beheben, führten sie zwei einfache Änderungen ein, die sie zu einer neuen Methode namens Qreg+NWLU kombinierten:

Live-Updates (Die „Live"-Strategie):
- Das Problem: Bei der alten Methode wartete der Roboter, bis er ein ganzes Spiellevel beendet hatte, bevor er irgendwelche Notizen speicherte. Wenn der Roboter am Anfang des Levels einen Fehler machte, wurden diese Notizen nie gespeichert.
- Die Lösung: Jetzt schreibt der Roboter kontinuierlich Notizen, während er spielt. Es ist wie ein Schüler, der während eines Vortrags in Echtzeit Notizen macht, anstatt zu versuchen, sich nach dem Unterricht alles zu merken. Dies stellt sicher, dass die Notizen vielfältig sind und das gesamte Spiel abdecken, nicht nur das Ende.
No-Wait (Die „No-Wait"-Strategie):
- Das Problem: Die alte Methode besagte: „Schauen Sie sich Ihre alten Notizen erst an, wenn Sie das erste Spiel beendet haben." Das bedeutete, dass der Roboter mit einem „kalten Start" begann, das zweite Spiel zu lernen, und sofort alles vergaß.
- Die Lösung: Sobald der Roboter irgendeine Notiz in seinem Notizbuch hat, beginnt er, diese zu nutzen, um das neue Spiel zu lernen. Es ist wie ein Schüler, der sofort beginnt, seine alten Notizen durchzugehen, sobald er das neue Klassenzimmer betritt, anstatt zu warten, bis der Lehrer die erste Lektion beendet hat.

Die „Multi-Cyclic"-Herausforderung

Die Autoren testeten dies auch in einer speziellen Umgebung namens Multi-Cyclic. Stellen Sie sich vor, der Roboter spielt Flappy Bird, dann Catcher, dann Room. Aber dann beginnt der Zyklus von vorne: wieder Flappy Bird, dann wieder Catcher.

Im echten Leben stehen wir oft vor sich wiederholenden Situationen (z. B. ein Staubsaugerroboter, der jeden Tag die gleichen Räume reinigt, oder ein Börsenhändler, der jede Woche die gleichen Marktmuster sieht). Die Autoren stellten fest, dass die meisten Roboter in diesem Zyklus kläglich versagen; sie werden jedes Mal schlechter, wenn sich der Zyklus wiederholt. Ihre neue Methode hingegen ermöglichte es dem Roboter, sich auch nach mehreren Durchläufen des Zyklus an die alten Spiele zu erinnern.

Die Ergebnisse

Als sie diese neue Qreg+NWLU-Methode testeten:

Sie erinnerte sich besser: Der Roboter vergaß nicht, wie man das erste Spiel spielt, während er das zweite lernte.
Sie lernte schneller: Da sie sofort Notizen überprüfte („No-Wait"), verschwendete sie keine Zeit damit, Grundlagen neu zu lernen.
Sie war stabiler: Die Leistung des Roboters schwankte nicht wild zwischen Genialität und Verwirrung.

Das Fazit

Dieses Paper argumentiert, dass wir, um einem Roboter beizubringen, kontinuierlich zu lernen, nicht nur seine „Muskeln" (den Actor) trainieren sollten; wir müssen auch seinen „Trainer" (den Critic) trainieren. Indem man dem Trainer ein Notizbuch gibt, das live aktualisiert und sofort überprüft wird, kann der Roboter neue Aufgaben lernen, ohne die alten zu vergessen, selbst wenn sich die Aufgaben immer wieder wiederholen.

Sie behaupteten nicht, dass dies jedes Problem in der KI löst, aber sie bewiesen, dass für einen bestimmten Typ von Lernalgorithmus (genannt DQN) diese einfache Kombination aus „Live" und „No-Wait" ein Wendepunkt zur Verhinderung von Vergessen ist.

Technische Zusammenfassung: Vergessen Sie den Kritiker nicht: Wertbasierte Datenrepetition für multi-zyklisches kontinuierliches Reinforcement Learning

Problemstellung

Kontinuierliches Reinforcement Learning (CRL) zielt darauf ab, Agenten in die Lage zu versetzen, eine Folge von Aufgaben zu erlernen und gleichzeitig die Leistung bei zuvor gelernten Aufgaben zu bewahren, wobei die Herausforderungen des katastrophalen Vergessens und des Verlusts an Plastizität adressiert werden. Während Datenrepetition (Speichern und Wiedergeben vergangener Erfahrungen) als führender Ansatz im CRL hervorgetreten ist, beschränkt sich die bestehende Forschung überwiegend auf Policy-Gradient-Frameworks (Actor-Critic-Methoden). In diesen Settings wird Regularisierung durch Behavior Cloning ausschließlich auf das Actor-Netzwerk angewendet, da eine Ausweitung der Regularisierung auf den Kritiker historisch gesehen zu einer Verschlechterung der Leistung geführt hat. Folglich bleibt das Potenzial der Datenrepetition für die Wertfunktionsapproximation (z. B. Deep Q-Networks oder DQN) erheblich untererforscht.

Darüber hinaus berücksichtigen bestehende CRL-Evaluierungen selten multi-zyklische Umgebungen, in denen Aufgabenfolgen über mehrere Zyklen hinweg wiederholt werden. Dieses Setting ist für reale Anwendungen kritisch, in denen Umgebungen natürlich wiederkehren. Es wurde gezeigt, dass multi-zyklische Settings das Vergessen und den Verlust an Plastizität verschärfen, doch sie bleiben in der Forschung zum katastrophalen Vergessen untergenutzt, die die Evaluierung oft auf einzelne Zyklen oder höchstens zwei Zyklen beschränkt.

Methodik

Die Autoren untersuchen die Datenrepetition für DQN unter Verwendung von Q-Wert-Regularisierung (Qreg), dem wertbasierten Pendant zum Behavior Cloning. Sie identifizieren, dass Standard-Qreg in multi-zyklischen Settings Instabilität und Inkonsistenz aufweist und häufig unter einem „Primacy Bias" leidet, bei dem eine schlechte initiale Lernphase nachfolgende Zyklen behindert. Um dies zu adressieren, schlagen sie Qreg+NWLU (No-Wait Qreg mit Live-Updates) vor, das zwei wesentliche Modifikationen in das Repetitionsframework einführt:

Live-Updates (Kontinuierliche Datensammlung): Anstatt Übergänge nur am Ende einer Aufgabe zu sampeln (wie in früheren Arbeiten), fügt die Methode Repetitionsproben mit fester Frequenz während des gesamten Trainings inkrementell zum Repetitions-Wiedergabepuffer (RRB) hinzu. Diese „Live"-Strategie reduziert die Selektionsverzerrung hin zu Übergängen, die nahe dem Trainingsende auftreten, und fördert die Probenvielfalt, insbesondere wenn die Größe des Wiedergabepuffers im Verhältnis zu den gesamten Trainingsschritten klein ist.
No-Wait-Regularisierung: Standard-Qreg verschiebt die Regularisierung typischerweise, bis die erste Aufgabe abgeschlossen ist und RRB-Proben verfügbar sind. Der „No-Wait"-Mechanismus wendet die Regularisierung sofort an, sobald Repetitionsproben verfügbar werden, anstatt auf den Aufgabenabschluss zu warten. Dies zielt darauf ab, das initiale Aufgabenlernen zu stabilisieren, was in kontinuierlichen Settings entscheidend ist, in denen das Wissen jeder Aufgabe effizient für nachfolgende Aufgaben genutzt werden muss.
Periodische Q-Wert-Aktualisierungen: Die Methode aktualisiert die im RRB gespeicherten Q-Werte, die der aktuellen Aufgabe entsprechen, während des Trainings periodisch. Dies verhindert, dass die Regularisierung veraltete oder ungenaue Q-Werte anvisiert, die aus unzureichendem initialen Training oder Wissen resultieren können, das in nachfolgenden Aufgaben gewonnen wurde.

Das Framework nutzt einen dedizierten RRB, der vom Standard-Wiedergabepuffer getrennt ist. Der RRB fungiert als langfristiges, aufgabenübergreifendes Gedächtnis, während der Wiedergabepuffer als kurzfristiges, aufgabenspezifisches Gedächtnis dient.

Hauptbeiträge

Untersuchung wertbasierter Datenrepetition: Die Arbeit untersucht die Anwendung von Datenrepetition mit Q-Wert-Regularisierung in multi-zyklischen CRL-Settings und schließt eine Lücke im Verständnis, wie Regularisierung effektives Wertfunktionslernen ermöglichen kann.
Vorschlag von Qreg+NWLU: Die Autoren identifizieren Einschränkungen bei Standard-Qreg (Instabilität und Inkonsistenz) und schlagen Qreg+NWLU vor, einen modifizierten Ansatz, der Live-Updates und No-Wait-Regularisierung integriert.
Empirische Validierung: Die Studie zeigt, dass Qreg+NWLU konsistent Standard-CRL-Baselines (einschließlich DQN, DDQN, EWC, L2, PackNet und MER) über mehrere Umgebungen und Metriken hinweg übertrifft.

Ergebnisse

Experimente wurden an drei Aufgabenfolgen durchgeführt: Minihack Room (mit harten Übergängen und Änderungen im Beobachtungsraum), Flappy Bird und Catcher (unter Verwendung der PyGame Learning Environment). Die Evaluierung erstreckte sich über vier Zyklen mit 10 zufälligen Seeds.

Leistungsmetriken: Die Autoren nutzten Final Transfer ( $F$ ), Worst Transfer ( $W$ ) und Average Return ( $G$ ).
Room-Sequenz: Qreg+NWLU erreichte bis zum Zyklus 2 nahezu optimale Leistung mit einer bemerkenswert niedrigen Standardabweichung. Es milderte die Volatilität und den Primacy Bias, die bei Standard-Qreg beobachtet wurden, erheblich. Während Standard-Qreg eine hohe Varianz und Versagen in einigen Läufen zeigte, erreichte Qreg+NWLU den höchsten durchschnittlichen Return ( $G$ ) und positive Transferwerte über alle Aufgaben hinweg.
Flappy- und Catcher-Sequenzen: Qreg+NWLU übertraf die Baselines konsistent und erzielte die höchsten durchschnittlichen Returns. Bei Flappy Bird, wo die Aufgabenschwierigkeit zunimmt, zeigte Qreg+NWLU im Vergleich zu DQN eine verbesserte Leistung bei allen Aufgaben, während Standard-Qreg bei Aufgabe 1 Schwierigkeiten hatte. Bei Catcher erreichte Qreg+NWLU bis zum Zyklus 2 nahezu optimale Leistung und milderte das bei Standard-Qreg beobachtete Vergessen stark.
Ablationsstudien: Die Studie bestätigte, dass sowohl die „Live"- als auch die „No-Wait"-Strategie entscheidend sind. Das Entfernen von „No-Wait" führte zu einer hohen Varianz und Instabilität, die Standard-Qreg ähnelte. Die Kombination der Strategien half, die Q-Wert-Normen ( $\|Q\|_2$ ) über Aufgabenübergänge hinweg zu glätten, reduzierte den Bereich der Q-Norm-Werte über die Zyklen hinweg und erhöhte die Robustheit.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Integration von Datenrepetition in die Wertfunktionsapproximation via Qreg die Lerneffizienz, Transferfähigkeiten und die Resilienz gegenüber multi-zyklischem Vergessen erheblich verbessert. Die Autoren betonen jedoch, dass die Erzielung dieser Ergebnisse das richtige Framework erfordert, insbesondere die Kombination aus No-Wait-Regularisierung, kontinuierlicher Probennahme (Live) und periodischer Aktualisierung der Repetitionsproben.

Die Autoren positionieren diese Arbeit als ersten Schritt hin zur breiteren Anwendung wertbasierter Datenrepetitionsregularisierung im CRL. Sie räumen Einschränkungen ein, darunter den Ausschluss randomisierter Aufgabenfolgen und harter Übergänge, die völlig einzigartige Aufgaben beinhalten, die Abhängigkeit von Aufgaben-Labels für die Updates-Strategie sowie den Fokus auf rein wertbasierte Algorithmen (DQN) anstelle von Actor-Critic-Frameworks. Trotz dieser Einschränkungen deuten die Ergebnisse darauf hin, dass wertbasierte Methoden, wenn sie ordnungsgemäß mit Datenrepetition regularisiert werden, katastrophales Vergessen in multi-zyklischen Settings effektiv mildern können, was den bisherigen Konsens herausfordert, dass eine solche Regularisierung die Leistung schädigt.