🤖 machine learning

Forager: a lightweight testbed for continual learning with partial observability in RL

Dit artikel introduceert Forager, een lichtgewicht, gedeeltelijk waarneembare continue versterkingsleeromgeving met een constant geheugengebruik, die is ontworpen om een diepgaande studie te faciliteren van het verlies aan plasticiteit bij agenten en de cruciale rol van toestandsconstructie bij het verwerken van eindeloze stromen van nieuwe taken.

Oorspronkelijke auteurs: Steven Tang, Xinze Xiong, Anna Hakhverdyan, Andrew Patterson, Jacob Adkins, Jiamin He, Esraa Elelimy, Parham Mohammad Panahi, Martha White, Adam White

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Steven Tang, Xinze Xiong, Anna Hakhverdyan, Andrew Patterson, Jacob Adkins, Jiamin He, Esraa Elelimy, Parham Mohammad Panahi, Martha White, Adam White

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een verzamelaar bent in een massief, eindeloos bos. Je doel is eenvoudig: vind de smakelijke paddenstoelen om te eten en vermijd de giftige. Maar er is een addertje onder het gras: je draagt een blinddoek die je slechts een klein cirkeltje om je voeten laat zien. Je kunt het hele bos niet zien, en het bos blijft veranderen. Soms verplaatsen de smakelijke paddenstoelen zich, soms rotten ze, en soms veranderen de regels voor wat "smakelijk" is, in één nacht.

Dit is de werkelijkheid die computerwetenschappers Continual Reinforcement Learning (CRL) noemen. Het gaat erom AI-agenten te leren om voor altijd te leren in een wereld die enorm, verwarrend en voortdurend verschuivend is.

Het probleem is dat het merendeel van het huidige AI-onderzoek deze agenten test in kleine, perfecte werelden waar ze alles kunnen zien (zoals een schaakbord). Maar de echte wereld is niet zo. Om te bestuderen hoe AI omgaat met de "blinddoek" en de eindeloze veranderingen, hebben onderzoekers een speciale testomgeving nodig.

Maak kennis met Forager.

Wat is Forager?

Denk aan Forager als een lichtgewicht, supersnel videospel dat specifiek is ontworpen om te testen hoe goed een AI kan leren terwijl het die blinddoek draagt.

De oude manier: Eerdere testomgevingen waren als proberen een marathon te lopen met een zware rugzak vol bakstenen. Ze waren traag, vereisten enorme computers en liepen vaak vast in geheugenfouten terwijl de AI probeerde meer te onthouden.
De Forager-methode: Forager is als een strakke, vederlichte hardloopschoen. Het werkt ongelooflijk snel (tot 100.000 keer per seconde) en gebruikt een klein, constant hoeveelheid computergeheugen, ongeacht hoe lang de AI draait. Dit stelt onderzoekers in staat om duizenden experimenten snel te runnen om te zien wat werkt en wat faalt.

De Grote Test: De "Blinddoek" en de "Wissel"

Het artikel test de AI in twee hoofdscenario's:

Het Beperkte Zicht: De AI heeft een klein "zichtveld". Als het zichtveld breed is, kan de AI het hele bos zien en makkelijk voedsel vinden. Maar naarmate de onderzoekers het zicht verkleinen (de blinddoek strakker maken), moet de AI onthouden waar de goede paddenstoelen waren en voorspellen wanneer ze weer zullen groeien.
- Het resultaat: Standaard AI-agenten (zoals DQN en PPO) raakten verdwaald. Ze vergeten waar het voedsel was en stopten met effectief leren. Ze dwaalden gewoon doelloos rond.
De Nooit-Eindigende Wissel: De onderzoekers voegden een draai toe waarbij de regels voortdurend veranderen. Misschien zijn paarse paddenstoelen vandaag heerlijk, maar morgen zijn ze giftig en zijn gele paddenstoelen de nieuwe favoriet. De AI moet oude gewoonten vergeten en direct nieuwe leren, keer op keer.
- Het resultaat: De AI begon te "vergeten" hoe het moet leren. Dit heet Verlies van Plasticiteit. Het is als een student die zo hard studeert voor één toets dat zijn hersenen zo vol zitten dat hij niets meer kan leren voor de volgende toets.

Werkten de "Reparaties"?

Onderzoekers probeerden verschillende "pleisters" om de geheugen- en leerproblemen van de AI op te lossen. Ze probeerden:

Regularisatie: De AI vertellen om dichter bij zijn oorspronkelijke "persoonlijkheid" te blijven.
Speciale Activeringen: Veranderen hoe de hersencellen van de AI vuren om te voorkomen dat ze uitdoven.
Meerdere Netwerken: De AI een team van hersenen geven in plaats van slechts één.

Het Oordeel: Deze reparaties hielpen een beetje, net als het plakken van een pleister op een gebroken been. Ze voorkwamen dat de AI na verloop van tijd slechter werd, maar ze maakten het niet goed in de taak. De AI had nog steeds moeite om door het blinde bos te navigeren.

De Echte Oplossing: De AI een Geheugen Geven

Het artikel ontdekte dat het geheime wapen geen ingewikkeld algoritme was, maar geheugen.

Eenvoudig Geheugen: Toen de onderzoekers de AI een simpel "notitieboekje" gaven om de laatste dingen die het at op te schrijven, presteerde het veel beter. Het kon zich herinneren: "Oh, ik heb hier een roze paddenstoel gegeten en dat was goed."
Recurrent Geheugen (De Held): De beste presteerder was een AI met een Recurrent brein (specifiek een algoritme genaamd RTU-PPO). Denk hierbij aan een AI met een werkend kortetermijngeheugen. Het kijkt niet alleen naar de paddenstoel voor zich; het onthoudt het pad dat het heeft afgelegd, de geuren die het voorbijkwam en de veranderingen die het zag.
- Deze AI overleefde niet alleen; het gedijde. Het leerde veranderingen te anticiperen en navigeerde door het blinde bos bijna even goed als een agent die het hele wereld kon zien.

De Ultieme Uitdaging: De Oneindige Stroom

Tot slot creëerden de onderzoekers een "hard mode"-versie van Forager. In deze versie genereert het bos een nooit eindigende stroom van nieuwe paddenstoelsoorten met nieuwe regels, elke keer als de AI er genoeg van heeft gegeten. De AI moet voor altijd leren, aanpassen en onthouden zonder zich ooit te vestigen.

Zelfs de slimste AI met geheugen had hier moeite mee. Het kon niet gelijke tred houden met de eindeloze stroom van nieuwe taken. Dit bewijst dat, hoewel we vooruitgang hebben geboekt, huidige AI nog ver verwijderd is van het vermogen om "voor altijd" te leren in een complexe, deels zichtbare wereld zoals de onze.

Samenvatting

Forager is een nieuw, snel en efficiënt hulpmiddel dat ons precies laat zien waar huidige AI faalt. Het onthult dat wanneer de wereld groot is en we niet alles kunnen zien, het simpelweg "sterker" maken van de AI niet genoeg is. De AI heeft geheugen nodig om veranderingen te volgen en een mentale kaart van de wereld te bouwen. Zonder dit raakt de AI verdwaald en stopt het met leren. Deze testomgeving geeft wetenschappers een duidelijke speelplaats om de volgende generatie AI te bouwen die echt voor een leven lang kan leren.

Technische Samenvatting: Forager – Een Lichtgewicht Testomgeving voor Continue Lering met Gedeeltelijke Waarneembaarheid

Probleemstelling

Continue Versterkende Lering (CRL) heeft tot doel agenten te ontwikkelen die onbeperkt kunnen leren, handelen en verkennen in een "grote wereld" die gedeeltelijk waarneembaar en niet-stationair is. Het huidige CRL-onderzoek heeft zich grotendeels gericht op verlies van plasticiteit—het onvermogen van agenten om na taakswisselingen verder te leren—vaak binnen volledig waarneembare Markov-beslissingsprocessen (MDP's) waarbij niet-stationariteit kunstmatig wordt geïntroduceerd.

Er bestaat een kritieke leemte in het bestuderen van CRL onder gedeeltelijke waarneembaarheid. Hoewel gedeeltelijke waarneembaarheid een fundamenteel kenmerk is van realistische omgevingen (de "Grote Wereld-hypothese"), voldoen de meeste bestaande benchmarks niet aan de eisen:

Ze zijn volledig waarneembaar (bijv. ALE, Mujoco), waarbij agenten de omgeving theoretisch perfect kunnen simuleren.
Ze zijn onbetaalbaar duur om langdurige CRL-experimenten mee uit te voeren (bijv. Minecraft, Craftax), vaak vereisend enorme parallelisatie of bevoorrechte staatsinformatie om succes te behalen.
Ze lijden onder technische beperkingen, zoals groeiende geheugenvoetafdrukken die snelle iteratie belemmeren (bijv. Jelly Bean World).

Gevolg hiervan is dat de wisselwerking tussen staatsconstructie (het gebruik van geheugen/recurrentie om gedeeltelijke waarneembaarheid te hanteren) en continue lering (het bijhouden van veranderende dynamieken) onderbelicht blijft.

Methodologie: De Forager-omgeving

De auteurs introduceren Forager, een lichtgewicht, configureerbare grid-world-omgeving die is ontworpen als een schaalbaar testbed voor CRL.

Omgevingsstructuur: Forager simuleert een oneindige toroïdale wereld waarin een agent navigeert om paddenstoelen met variërende beloningen en respawn-gedrag te verzamelen. De wereld is procedueel gegenereerd, maar vertrouwt niet op complexe fysica of rijke graphics.
Gedeeltelijke Waarneembaarheid: De agent opereert met een beperkt, agent-gecentreerd gezichtsveld (Field of View, FOV). De observatie is ofwel een RGB-afbeelding of een binaire tensor van het zichtbare gebied. De agent kan de globale staat niet zien, wat geheugen vereist om objectlocaties en respawn-tijden buiten het gezichtsveld bij te houden.
Niet-stationariteit: De omgeving ondersteunt diverse vormen van niet-stationariteit, waaronder:
- Taakswisseling: Periodieke veranderingen in beloningsfuncties voor specifieke objecttypes (bijv. een paddenstoeltype dat eerder positief was, wordt negatief).
- Dynamische Beloningen: Beloningen die over tijd afnemen of veranderen op basis van verborgen schema's.
- Onophoudelijke Stromen: Een variant waarbij nieuwe paddenstoelsoorten uitgestorven soorten vervangen, waardoor een oneindige reeks taken ontstaat.
Prestatiekenmerken: Forager is geoptimaliseerd voor snelheid en geheugenefficiëntie. Het draait tot wel $10^5$ frames per seconde (FPS) met een constante geheugenvoetafdruk, ongeacht de verkenninggeschiedenis van de agent. Dit staat in contrast met benchmarks zoals Jelly Bean World, waar het geheugengebruik groeit met de verkenning.
Implementatie: De omgeving is beschikbaar in een CPU-implementatie en een op JAX gebaseerde implementatie (Foragax) die honderden parallelle trials op één GPU mogelijk maakt.

Belangrijkste Bijdragen

Een Resource-efficiënt Testbed: Forager biedt een configureerbare omgeving voor snelle prototyping van CRL-algoritmen. Het stelt onderzoekers in staat het niveau van gedeeltelijke waarneembaarheid (via FOV-grootte) en probleemschuwheid (via objectplaatsing en beloningsdynamiek) te controleren zonder de rekenkundige overhead van complexe game-engines.
Demonstratie van de Noodzaak van Staatsconstructie: Het artikel levert empirisch bewijs dat standaard deep RL-agenten (DQN, PPO) slecht presteren in Forager vanwege gedeeltelijke waarneembaarheid. Het benadrukt dat staatsconstructie (via geheugensporen of recurrente architecturen) in deze setting kritischer is voor continue prestaties dan standaard technieken voor het mitigeren van plasticiteitsverlies.
Uitgebreide Benchmark-suite: De auteurs evalueren een breed scala aan algoritmen, waaronder:
- Baselines: DQN en PPO.
- Mitigatie van Plasticiteitsverlies: Regularisatie ten opzichte van initialisatie, cReLU-activaties, Shrink & Perturb, L2-regularisatie en Permanent-Transient Q-learning (PT-DQN).
- Staatsconstructie: Exponentiële geheugensporen, Deep Recurrent Q-Networks (DRQN) en Recurrent Temporal Unit PPO (RTU-PPO).
Variant met Onophoudelijke Taakstroom: Een specifieke configuratie die een onophoudelijke stroom van nieuwe taken genereert, waardoor agenten gedwongen worden voor altijd te leren zonder te convergeren naar een statisch beleid, waardoor de beperkingen van huidige CRL-agenten worden benadrukt.

Experimentele Resultaten

1. Impact van Gedeeltelijke Waarneembaarheid (Gezichtsveld)

Observatie: Naarmate het gezichtsveld (FOV) afneemt, daalt de prestatie van feed-forward DQN-agenten aanzienlijk.
Vinding: Bij grote FOV's benadert DQN de prestatie van een Oracle Search. Bij kleine FOV's (waar de agent niet over "biome"-gaten heen kan kijken) faalt DQN om optimale foerageerstrategieën te leren en gedraagt het zich als een willekeurige of nearest-neighbor zoektocht. Dit bevestigt dat de omgeving effectief geheugen vereist om verborgen staten bij te houden.

2. Verlies van Plasticiteit en Mitigatie

Observatie: In een variant met taakswisseling vertoonde PPO ernstig verlies van plasticiteit (prestaties verslechterden over tijd), terwijl DQN slechts een geringe verslechtering liet zien.
Testen van Mitigatie: Verschillende voorgestelde mitigaties (cReLU, L2 Init, Shrink & Perturb, PT-DQN) werden getest.
- Resultaten: Hoewel sommige mitigaties (met name L2 Init en cReLU) de aanpassingssnelheid verbeterden of een totale ineenstorting voorkwamen, niets stelde de agenten in staat de prestatie van de Oracle Search-baseline te benaderen.
- Conclusie: Het mitigeren van verlies van plasticiteit alleen is onvoldoende voor CRL in gedeeltelijk waarneembare omgevingen; de agenten missen nog steeds het vermogen om een nuttige interne staat te construeren.

3. De Rol van Staatsconstructie

Eenvoudig Geheugen: Het toevoegen van een exponentieel gewogen geheugenspoor van recente beloningen verbeterde de prestaties aanzienlijk voor zowel DQN als PPO.
Recurrente Architecturen:
- DRQN: Een aangepaste DRQN met GRU's presteerde niet beter dan standaard DQN, wat suggereert dat de specifieke implementatie of het algoritme in deze context geen nuttige staat extraheren.
- RTU-PPO: Een recurrente PPO-variant die een Recurrent Temporal Unit (RTU)-laag gebruikte, behaalde de beste prestatie van alle lerende agenten, en kwam bijna in de buurt van de Oracle Search-baseline.
- Bewijs van Continue Lering: Toen de RTU-PPO-agent halverwege het experiment "bevroren" werd (leren gestopt), daalde zijn prestatie aanzienlijk. Dit bewijst dat de agent niet convergeerde naar een statisch beleid, maar actief continue herlering en aanpassing aan taakswisselingen onderging, terwijl het zijn recurrente staat benutte om gedeeltelijke waarneembaarheid te hanteren.

4. Onophoudelijke Taakstroom

In de meest uitdagende variant (vier biomes, dynamische soortenvervanging, verborgen aanwijzingen) bereikten zelfs de beste recurrente agenten (RTU-PPO) een plateau en faalden ze om Oracle-prestaties te bereiken.
Interpretatie: De combinatie van snelle niet-stationariteit van beloningen, grote wereldgrootte en beperkt gezichtsveld creëert een uitdaging die huidige algoritmen niet volledig kunnen overwinnen, met name in een single-stream (synchroon) leeromgeving.

Betekenis en Beweringen

Het artikel beweert dat Forager een kritieke leemte in het CRL-onderzoek opvult door een schaalbare, geheugenefficiënte omgeving te bieden die de uitdagingen van gedeeltelijke waarneembaarheid en staatsconstructie isoleert.

Bescheiden Beweringen: De auteurs stellen expliciet dat Forager geen realistische simulatie is en geen complexe fysica kent. De waarde ligt in het vermogen om snelle prototyping te balanceren met voldoende complexiteit om huidige algoritmen uit te dagen.
Kerninzicht: De primaire bevinding is dat, hoewel het mitigeren van verlies van plasticiteit belangrijk is, staatsconstructie (via recurrentie of geheugen) de dominante factor is die agenten in staat stelt om continu te leren in gedeeltelijk waarneembare werelden.
Toekomstige Richting: De variant met onophoudelijke taken dient als een "uitdaging-probleem" om toekomstig onderzoek te stimuleren naar algoritmen die snelle aanpassing, temporele abstractie en effectieve verkenning kunnen hanteren in grote, gedeeltelijk waarneembare werelden.

Het artikel concludeert dat huidige CRL-agenten duidelijke beperkingen hebben in deze settings en dat Forager een wetenschappelijk testbed biedt om deze beperkingen te onderzoeken zonder de rekenkundige onbetaalbaarheid van grootschalige omgevingen.