Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

Deze paper introduceert MIKASA, een uitgebreide benchmark voor het evalueren van geheugenvermogens in versterkingslering, met name gericht op complexe robotmanipulatie taken.

De kern

Titel: MIKASA: De "Geheugentrainer" voor Robots

Stel je voor dat je een robot wilt bouwen die niet alleen kan bewegen, maar ook echt begrijpt wat er om hem heen gebeurt. Je wilt dat hij een taak kan uitvoeren waarbij hij dingen moet onthouden, zoals: "Ik heb net een rode bal onder een kopje gezien, maar nu zijn de kopjes verplaatst. Waar zit de bal nu?"

Dit is waar het probleem zit. Veel robots zijn slim in het moment, maar ze hebben een kort geheugen. Ze vergeten wat er vijf seconden geleden gebeurde. Wetenschappers wilden dit testen, maar ze hadden geen goede manier om te zeggen: "Deze robot heeft een goed geheugen, die andere niet." Het was alsof je twee mensen wilt testen op hun geheugen, maar je geeft ze allebei een heel ander soort puzzel. Dan kun je niet vergelijken wie beter is.

De Oplossing: MIKASA
De auteurs van dit paper hebben MIKASA bedacht. Dit is een soort "olympiade" of een uitgebreide testset voor robotgeheugen. Ze hebben een heel systeem bedacht om te meten hoe goed robots kunnen onthouden.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De Vier Soorten "Geheugen-oefeningen"

De auteurs hebben alle geheugentaken ingedeeld in vier categorieën, net zoals je in een sportschool verschillende spiergroepen traint:

• Object-geheugen (De "Verdwijntruc"): Stel je voor dat je een muis onder een doekje legt en het doekje verschuift. De robot moet onthouden dat de muis er nog steeds is, ook al kan hij hem niet zien. Dit heet objectpermanentie.
• Ruimtelijk geheugen (De "Kaart in je hoofd"): Je loopt door een huis met de lichten uit. Je moet onthouden waar de stoel stond zodat je er niet tegenaan loopt. De robot moet onthouden waar objecten stonden in de ruimte.
• Sequentieel geheugen (De "Recept"): Je moet een soep maken. Eerst de wortel, dan de aardappel, dan de tomaat. Als je de volgorde vergeet, is het een soep van rommel. De robot moet de volgorde van acties onthouden.
• Geheugencapaciteit (De "Werkgeheugen-test"): Je krijgt een lijst met 7 namen te horen en moet ze allemaal onthouden. Hoe meer items, hoe zwaarder het is. De robot moet veel verschillende dingen tegelijk onthouden.

2. De Test: MIKASA-Robo

Ze hebben 32 verschillende robot-taken bedacht om deze vaardigheden te testen. Hier zijn een paar voorbeelden uit hun "speelgoeddoos":

• Het Schelpenspel (Shell Game): Net als in de kermis. Er is een balletje onder een van de drie kopjes. De robot kijkt ernaar, dan worden de kopjes gedraaid. De robot moet het juiste kopje aanraken.
• Kleuren Onthouden: De robot ziet een rode kubus. Dan verdwijnt hij. Later verschijnen er 9 kubussen van verschillende kleuren. De robot moet de rode kubus weer vinden.
• Het Terugbrengen: De robot duwt een blokje naar een doelwit. Dan moet hij het blokje terugduwen naar de plek waar hij het oorspronkelijk vond, zelfs als hij de startplek niet meer ziet.

3. Wat hebben ze ontdekt? (De Teleurstellende Nieuws)

Ze hebben deze tests gedaan met de slimste robots en AI-modellen van vandaag (zoals die grote taalmodellen die ook tekst kunnen schrijven). Het resultaat? Ze zakken er doorheen.

• De "Korte-termijn" robots: Robots die geen specifiek geheugen hebben (zoals een standaard robotarm), kunnen de simpele dingen wel, maar zodra er iets moet worden onthouden, raken ze in de war.
• De "Slimme" robots: Zelfs de allermodernste AI-modellen (die vaak worden geprezen om hun intelligentie) faalden volledig zodra de taak een beetje langdurig geheugen vereiste. Ze konden de kleur van een blokje niet onthouden als er een paar seconden tussen zaten.
• Het probleem: Het lijkt erop dat deze robots "nu" heel goed zijn, maar ze hebben geen manier om informatie vast te houden voor later. Het is alsof je een briljant iemand vraagt om een telefoonnummer te onthouden, maar je mag geen pen en papier gebruiken en je mag niet hardop herhalen.

4. Waarom is dit belangrijk?

Voor nu zijn robots vooral goed in simpele taken in een stille kamer. Maar in het echte leven is alles chaotisch.

• Een service-robot moet onthouden dat er een bord onder een handdoek ligt.
• Een huishoudrobot moet onthouden dat hij de deur van de magnetron al drie keer heeft schoongemaakt, zodat hij niet eindeloos blijft doorgaan.

Zonder een goed geheugen zijn robots niet echt nuttig in onze complexe wereld.

Conclusie in één zin:
De auteurs hebben een nieuwe "rijbewijstest" (MIKASA) gemaakt voor robots om te zien of ze kunnen onthouden, en ze hebben ontdekt dat onze huidige slimme robots eigenlijk nogal vergeetachtig zijn. Ze hebben de test openbaar gemaakt zodat andere wetenschappers nu kunnen proberen robots te bouwen die écht kunnen onthouden, net als wij mensen.

Kortom: MIKASA is de test die laat zien dat robots nog moeten leren "niet te vergeten" voordat ze onze huishoudelijke taken echt over kunnen nemen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "MEMORY, BENCHMARK & ROBOTS: A BENCHMARK FOR SOLVING COMPLEX TASKS WITH REINFORCEMENT LEARNING", geschreven in het Nederlands.

Probleemstelling

Geheugen is cruciaal voor agenten om complexe taken met temporele en ruimtelijke afhankelijkheden aan te kunnen. Hoewel veel Reinforcement Learning (RL) algoritmen geheugenmechanismen integreren, ontbreekt het aan een universeel benchmark om geheugencapaciteiten over diverse scenario's objectief te evalueren. Dit gebrek is vooral evident in de robotica (tafelblad manipulatie), waar taken vaak gedeeltelijk waarneembaar zijn (POMDP's) en vereisen dat de agent objecten onthoudt die tijdelijk verborgen zijn, of sequenties van acties onthoudt.

Bestaande benchmarks (zoals POPGym, DMLab-30, MemoryGym) zijn vaak gefragmenteerd, gericht op specifieke domeinen (zoals navigatie of abstracte puzzels) of testen slechts één type geheugen. Dit maakt het moeilijk om agenten te vergelijken en hun zwakke punten in specifieke geheugentaken te identificeren. Bovendien missen veel robotica-benchmarks de noodzakelijke gedeeltelijke waarneembaarheid die realistische manipulatie vereist.

Methodologie: MIKASA

De auteurs introduceren MIKASA (Memory-Intensive Skills Assessment Suite for Agents), een uitgebreide benchmark-suite bestaande uit twee hoofdcomponenten:

1. Classificatie Framework:
   De auteurs stellen een taxonomie voor van geheugentaken, gebaseerd op cognitiewetenschap, verdeeld in vier categorieën:

   • Object Memory: Het onthouden van objecteigenschappen wanneer deze tijdelijk onzichtbaar zijn (objectpermanentie).
   • Spatial Memory: Het onthouden van locaties en het navigeren op basis van eerder waargenomen ruimtelijke informatie.
   • Sequential Memory: Het verwerken van tijdelijk geordende informatie en het onthouden van actieseries.
   • Memory Capacity: Het vermogen om meerdere stukken informatie gelijktijdig te beheren (werkgeheugen-span).

2. MIKASA-Base:
   Een gestandaardiseerde verzameling van open-source geheugentaken (gebaseerd op Gymnasium) die bestaande benchmarks consolideert onder één API. Dit dient als een diagnostische laag voor vector-gebaseerde omgevingen en complexe beeldgebaseerde taken.

3. MIKASA-Robo:
   De kernbijdrage is een nieuw benchmark van 32 zorgvuldig ontworpen taken voor robotische tafelblad-manipulatie, gebouwd op het ManiSkill3 framework. Deze taken zijn specifiek ontworpen om geheugen te testen in een realistische setting met gedeeltelijke waarneembaarheid.

   • Observatiemodi: Taken kunnen worden uitgevoerd in verschillende modi, waaronder "State" (volledige informatie, MDP), "RGB+joints" (camera beelden + gewrichtsdata, POMDP), en "Oracle" (voor debugging).
   • Reward Structuur: Zowel dichte (continue feedback) als spaarse (alleen succes bij voltooiing) beloningen worden ondersteund.
   • Voorbeelden van taken:
     • ShellGame: Een bal onder een van drie bekers onthouden en de juiste beker aanraken.
     • RememberColor/Shape: Een kleur/vorm onthouden en later de juiste match kiezen uit een set.
     • Intercept: De snelheid en positie van een rollende bal onthouden om deze te vangen.
     • ChainOfColors: Een specifieke volgorde van kleuren onthouden en in die exacte volgorde aanraken.

Belangrijkste Bijdragen

1. Taxonomie: Een gestructureerd raamwerk om geheugentaken te classificeren in Object, Ruimtelijk, Sequentieel en Capaciteit.
2. MIKASA-Base: Een unificatie van bestaande geheugentaken voor reproduceerbaarheid en eerlijke vergelijking.
3. MIKASA-Robo: Een open-source benchmark (MIT licentie) met 32 robotische taken die specifieke geheugenvaardigheden isoleren en stress-testen.
4. Datasets: Publicatie van expert-kwaliteit datasets (1000 trajecten per taak) voor Offline RL en imitatielearning, verzameld met een PPO-agent die volledige statische informatie had.

Resultaten

De auteurs evalueerden diverse state-of-the-art modellen op MIKASA-Robo:

• Validatie van de Benchmark: Een PPO-agent met een MLP-architectuur (geen geheugen) bereikte 100% succes in "State"-modus (volledige observatie), wat bewijst dat de taken oplosbaar zijn en de uitdaging puur in het geheugen ligt.
• Online RL (PPO-MLP vs. PPO-LSTM):
  • In "RGB+joints" modus (geen volledige statische info) faalde de geheugenloze MLP volledig.
  • De LSTM (met geheugen) deed het beter op eenvoudige taken (bijv. 3 kleuren), maar faalde dramatisch bij complexere taken (5 of 9 kleuren) of bij spaarse beloningen.
  • Andere algoritmen zoals SAC en TD-MPC2 vertoonden vergelijkbare beperkingen zonder expliciete geheugenarchitectuur.
• Offline RL: Modellen zoals Decision Transformer (DT), RATE, BC, CQL en Diffusion Policy faalden grotendeels op de meeste taken, vooral op die met hoge geheugencapaciteit of sequentiële eisen. Zelfs modellen met transformer-architecturen konden de lange-termijn afhankelijkheden niet effectief leren.
• VLA Modellen (Vision-Language-Action): Modellen zoals Octo, OpenVLA, $\pi_0$ en SpatialVLA presteerden willekeurig op de moeilijkere taken. Hoewel ze redelijk deden op volledig waarneembare taken (Task 1), stortte hun prestatie in zodra er een verduisteringsinterval (occlusie) en een lange tijdsafstand was (Task 3).
• Real-World Experimenten: Experimenten met een fysieke SO-101 robotarm en het $\pi_0.5$ model bevestigden de simulatie-resultaten. De robot kon taken zonder geheugen perfect uitvoeren, maar faalde bijna volledig wanneer het de kleur van een object moest onthouden na verduistering en herschikking.

Betekenis en Conclusie

Dit paper benadrukt dat huidige RL- en VLA-architecturen fundamenteel tekortschieten in het hanteren van lange-termijn geheugen in gedeeltelijk waarneembare, fysieke omgevingen. De bestaande methoden zijn vaak te fragiel voor real-world toepassingen waar objecten tijdelijk onzichtbaar zijn of waar complexe sequenties nodig zijn.

MIKASA biedt een noodzakelijke, gestandaardiseerde basis om de voortgang in geheugen-RL te meten en te stimuleren. De resultaten tonen aan dat er een duidelijke kloof bestaat tussen de huidige state-of-the-art en de vereisten voor robuuste, geheugen-gebaseerde robotica. De benchmark is bedoeld om onderzoekers te leiden bij het ontwikkelen van nieuwe architecturen met expliciete en robuuste lange-termijn geheugenmechanismen.

De code en datasets zijn beschikbaar via pip install mikasa-robo-suite en de projectwebsite.