💻 computer science

Don't Forget the Critic: Value-Based Data Rehearsal for Multi-Cyclic Continual Reinforcement Learning

Dit artikel stelt Qreg+NWLU voor, een op waarden gebaseerde methode voor data-repetitie voor multi-cyclisch continu versterkend leren die de beperkingen van actor-gerichte benaderingen overwint door continue Q-waardecollectie en directe "No-Wait"-regularisatie in te voeren om catastrofaal vergeten effectief te mitigeren en kennisoverdracht te verbeteren.

Oorspronkelijke auteurs: Benjamin Poole, Andrew Quinn, Li Yang, Minwoo Lee

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Benjamin Poole, Andrew Quinn, Li Yang, Minwoo Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een reeks videospellen spelen. Eerst leert het Flappy Bird spelen. Vervolgens schakel je over naar Catcher, en daarna naar een doolhofspel genaamd Room. Het doel is dat de robot goed wordt in al deze spellen zonder te vergeten hoe het eerste spel gespeeld moet worden.

In de wereld van Kunstmatige Intelligentie heet dit Continu Leren. Het grootste probleem dat robots hierbij tegenkomen, is "catastrofaal vergeten". Het is als een student die voor een wiskundetoets studeert, daarna direct begint met studeren voor een geschiedenisexamen, en tegen de tijd dat het geschiedenisexamen voorbij is, volledig vergeet hoe hij wiskunde moet doen.

De Oude Manier: De "Actor" versus de "Critic"

De meeste eerdere onderzoeken probeerden dit op te lossen door uitsluitend te focussen op de "spiergeheugen" van de robot (de Actor genoemd). Ze gebruikten een techniek genaamd Data Rehearsal (herhaling van gegevens), wat vergelijkbaar is met het geven van een klein notitieboekje met aantekeningen uit eerdere spellen aan de robot om even te bekijken terwijl het nieuwe spellen leert.

Er was echter een tweede onderdeel in het brein van de robot, de Critic (of Waardefunctie). De Critic is als een coach die voortdurend beoordeelt: "Hoe goed is deze zet? Hoeveel beloning krijg ik?"

Eerdere onderzoekers ontdekten dat als ze probeerden het "notitieboekje" (herhaling) te gebruiken om de Critic te helpen oude scores te onthouden, de robot eigenlijk slechter werd in het leren. Daarom stopten ze met het helpen van de Critic en hielpen ze alleen de Actor. De auteurs van dit artikel zeggen: "Wacht even. We negeren de helft van het brein!" Ze wilden zien of ze de Critic konden repareren zonder hem te breken.

Het Nieuwe Idee: Qreg+NWLU

De auteurs probeerden een nieuwe methode genaamd Qreg (Q-waarde Regularisatie). Dit is simpelweg het gebruik van het notitieboekje om de Critic eraan te herinneren wat de scores waren voor oude zetten.

Ze ontdekten echter dat de standaardmanier om dit te doen rommelig was. Het was als proberen voor een toets te studeren door alleen de laatste pagina van je leerboek te lezen, of wachten tot je het hele semester had afgerond voordat je naar je aantekeningen keek. Dit leidde tot verwarring bij de robot of het snel vergeten van dingen.

Om dit op te lossen, introduceerden ze twee eenvoudige wijzigingen, die ze combineerden tot een nieuwe methode genaamd Qreg+NWLU:

Live Updates (De "Live" Strategie):
- Het Probleem: In de oude methode wachtte de robot tot het een heel spellevel had voltooid voordat het aantekeningen opslaat. Als de robot aan het begin van het level een fout maakte, werden die aantekeningen nooit opgeslagen.
- De Oplossing: Nu schrijft de robot continu aantekeningen terwijl het speelt. Het is als een student die in real-time aantekeningen maakt tijdens een college, in plaats van te proberen alles te onthouden nadat de les voorbij is. Dit zorgt ervoor dat de aantekeningen divers zijn en het hele spel dekken, niet alleen het einde.
No-Wait (De "No-Wait" Strategie):
- Het Probleem: De oude methode zei: "Kijk niet naar je oude aantekeningen totdat je het eerste spel hebt afgerond." Dit betekende dat de robot begon met het leren van het tweede spel met een "koude start", waarbij het direct alles vergat.
- De Oplossing: Zodra de robot enige aantekeningen in zijn notitieboekje heeft, begint het deze te gebruiken om het nieuwe spel te leren. Het is als een student die begint met het herzien van zijn oude aantekeningen op het moment dat hij de nieuwe klaslokaal binnenkomt, in plaats van te wachten tot de leraar de eerste les heeft afgerond.

De "Multi-Cyclische" Uitdaging

De auteurs testten dit ook in een speciale omgeving genaamd Multi-Cyclisch. Stel je voor dat de robot Flappy Bird speelt, dan Catcher, dan Room. Maar dan begint de cyclus opnieuw: Flappy Bird opnieuw, dan Catcher opnieuw.

In het echte leven staan we vaak voor herhalende situaties (bijvoorbeeld een robotstofzuiger die elke dag dezelfde kamers schoonmaakt, of een aandelenhandelaar die elke week dezelfde marktpatronen ziet). De auteurs ontdekten dat de meeste robots in deze lus miserabel falen; ze worden elke keer dat de cyclus zich herhaalt slechter. Hun nieuwe methode echter, liet de robot toe de oude spellen te onthouden, zelfs nadat de cyclus meerdere keren was doorlopen.

De Resultaten

Toen ze deze nieuwe Qreg+NWLU methode testten:

Het onthield beter: De robot vergat niet hoe het eerste spel gespeeld moest worden toen het het tweede leerde.
Het leerde sneller: Omdat het direct aantekeningen herzag ("No-Wait"), verspilde het geen tijd aan het opnieuw leren van basisprincipes.
Het was stabieler: De prestaties van de robot schommelden niet wild tussen een genie en verwardheid.

De Conclusie

Dit artikel betoogt dat om een robot continu te leren, we niet alleen zijn "spieren" (de Actor) moeten trainen; we moeten ook zijn "coach" (de Critic) trainen. Door de coach een notitieboekje te geven dat live wordt bijgewerkt en direct wordt herzien, kan de robot nieuwe taken leren zonder de oude te vergeten, zelfs als de taken blijven herhalen.

Ze beweren niet dat dit elk probleem in AI oplost, maar ze bewezen dat voor een specifiek type leeralgoritme (genaamd DQN), deze eenvoudige combinatie van "Live" en "No-Wait" een game-changer is om vergeten te voorkomen.

Technische Samenvatting: Vergeet de Critic niet: Waarde-gebaseerde Data Rehearsal voor Multi-Cyclisch Continual Reinforcement Learning

Probleemstelling

Continual Reinforcement Learning (CRL) heeft als doel agenten in staat te stellen een reeks taken te leren terwijl ze hun prestaties op eerder geleerde taken behouden, waarmee de uitdagingen van catastrofaal vergeten en plasticiteitsverlies worden aangepakt. Hoewel data rehearsal (het opslaan en afspelen van eerdere ervaringen) een leidende aanpak in CRL is geworden, is het bestaande onderzoek voornamelijk beperkt tot policy gradient-frames (actor-critic methoden). In deze settings wordt regularisatie via behavioral cloning uitsluitend toegepast op het actor-netwerk, omdat het uitbreiden van regularisatie naar de critic historisch gezien heeft geleid tot verslechterde prestaties. Bijgevolg blijft het potentieel van data rehearsal voor waardefunctiebenadering (bijvoorbeeld Deep Q-Networks of DQN) aanzienlijk onderbelicht.

Bovendien nemen bestaande CRL-evaluaties zelden multi-cyclische omgevingen in overweging, waarbij taaksequenties zich over meerdere cycli herhalen. Deze setting is cruciaal voor real-world toepassingen waar omgevingen op natuurlijke wijze terugkeren. Multi-cyclische settings hebben aangetoond dat ze vergeten en plasticiteitsverlies verergeren, maar ze blijven onderbenut in onderzoek naar catastrofaal vergeten, waarbij evaluatie vaak wordt beperkt tot één cyclus of hooguit twee cycli.

Methodologie

De auteurs onderzoeken data rehearsal voor DQN met behulp van Q-waarde regularisatie (Qreg), het waarde-gebaseerde tegenhanger van behavioral cloning. Zij identificeren dat standaard Qreg instabiliteit en inconsistentie vertoont in multi-cyclische settings, waarbij het vaak lijdt aan een "primacy bias" waarbij slecht aanvankelijk leren de daaropvolgende cycli belemmert. Om dit aan te pakken, stellen zij Qreg+NWLU (No-Wait Qreg met Live-Updates) voor, wat twee belangrijke wijzigingen introduceert in het rehearsal-framework:

Live-Updates (Continue Datacollectie): In plaats van transities alleen aan het einde van een taak te samplen (zoals in eerdere werk), voegt de methode incrementeel rehearsal-samples toe aan de Rehearsal Replay Buffer (RRB) met een vaste frequentie gedurende de training. Deze "Live"-strategie vermindert selectiebias ten opzichte van transities die dicht bij het einde van de training plaatsvinden en bevordert sample-diversiteit, vooral wanneer de replay buffer-grootte klein is ten opzichte van het totale aantal trainingsstappen.
No-Wait Regularisatie: Standaard Qreg schuift regularisatie doorgaans uit totdat de eerste taak voltooid is en RRB-samples beschikbaar zijn. Het "No-Wait"-mechanisme past regularisatie direct toe zodra rehearsal-samples beschikbaar komen, in plaats van te wachten op taakvoltooiing. Dit heeft als doel het aanvankelijke taakleren te stabiliseren, wat cruciaal is in continual settings waar de kennis van elke taak efficiënt moet worden benut voor daaropvolgende taken.
Periodieke Q-Waarde Updates: De methode werkt periodiek de opgeslagen Q-waarden in de RRB die corresponderen met de huidige taak bij tijdens de training. Dit voorkomt dat de regularisatie gericht is op verouderde of onnauwkeurige Q-waarden die kunnen voortvloeien uit onvoldoende initiële training of kennis verkregen in daaropvolgende taken.

Het framework maakt gebruik van een aparte RRB gescheiden van de standaard replay buffer. De RRB fungeert als langetermijn-, cross-taak geheugen, terwijl de replay buffer dient als kortetermijn-, taakspecifiek geheugen.

Belangrijkste Bijdragen

Onderzoek naar Waarde-gebaseerde Data Rehearsal: Het paper onderzoekt de toepassing van data rehearsal met Q-waarde regularisatie in multi-cyclische CRL-settings, waardoor een gat wordt gedicht in het begrip hoe regularisatie effectief waardefunctieleren kan mogelijk maken.
Voorstel van Qreg+NWLU: De auteurs identificeren beperkingen in standaard Qreg (instabiliteit en inconsistentie) en stellen Qreg+NWLU voor, een gewijzigde aanpak die Live-Updates en No-Wait regularisatie integreert.
Empirische Validatie: De studie toont aan dat Qreg+NWLU consequent betere prestaties levert dan standaard CRL-baselines (inclusief DQN, DDQN, EWC, L2, PackNet en MER) over meerdere omgevingen en metrieken.

Resultaten

Experimenten werden uitgevoerd op drie taaksequenties: Minihack Room (met harde overgangen en veranderingen in de observatieruimte), Flappy Bird, en Catcher (met behulp van de PyGame Learning Environment). De evaluatie besloeg vier cycli met 10 willekeurige zaden.

Prestatiemetrieken: De auteurs gebruikten Final Transfer ( $F$ ), Worst Transfer ( $W$ ) en Average Return ( $G$ ).
Room Sequence: Qreg+NWLU bereikte tegen Cyclus 2 bijna optimale prestaties met een opvallend lage standaardfout. Het mitigeerde aanzienlijk de volatiliteit en primacy bias die werden waargenomen in standaard Qreg. Terwijl standaard Qreg hoge variantie en falen in sommige runs vertoonde, behaalde Qreg+NWLU de hoogste gemiddelde return ( $G$ ) en positieve transferscores over alle taken.
Flappy en Catcher Sequenties: Qreg+NWLU presteerde consequent beter dan baselines en behaalde de hoogste gemiddelde returns. In Flappy Bird, waar de taakmoeilijkheid toeneemt, toonde Qreg+NWLU verbeterde prestaties op alle taken vergeleken met DQN, terwijl standaard Qreg moeite had met Taak 1. In Catcher bereikte Qreg+NWLU tegen Cyclus 2 bijna optimale prestaties en mitigeerde het sterk het vergeten dat werd waargenomen in standaard Qreg.
Ablatie Studies: De studie bevestigde dat zowel de "Live"- als de "No-Wait"-strategieën cruciaal zijn. Het verwijderen van "No-Wait" leidde tot hoge variantie en instabiliteit vergelijkbaar met standaard Qreg. De combinatie van strategieën hielp bij het gladstrijken van Q-waarde normen ( $\|Q\|_2$ ) over taakovergangen, waardoor het bereik van Q-norm-waarden over cycli werd verminderd en de robuustheid werd versterkt.

Betekenis en Claims

Het paper stelt dat het integreren van data rehearsal in waardefunctiebenadering via Qreg de leerefficiëntie, transfercapaciteiten en veerkracht tegen multi-cyclisch vergeten aanzienlijk verbetert. De auteurs benadrukken echter dat het behalen van deze resultaten een correct framework vereist, specifiek de combinatie van No-Wait regularisatie, continue sampling (Live) en periodieke updating van rehearsal-samples.

De auteurs positioneren dit werk als een eerste stap naar de bredere toepassing van waarde-gebaseerde data rehearsal regularisatie in CRL. Zij erkennen beperkingen, waaronder de uitsluiting van gerandomiseerde taaksequenties en harde overgangen die volledig unieke taken omvatten, de afhankelijkheid van taaklabels voor de Updates-strategie, en de focus op puur waarde-gebaseerde algoritmen (DQN) in plaats van actor-critic frameworks. Ondanks deze beperkingen suggereren de resultaten dat waarde-gebaseerde methoden, wanneer correct geregulariseerd met data rehearsal, catastrofaal vergeten in multi-cyclische settings effectief kunnen mitigeren, wat het eerdere consensus dat dergelijke regularisatie prestaties schaadt, uitdaagt.