💻 computer science

Benchmarking Robot Memory Under Interference

Dit artikel introduceert RoboMME-Interference, een cross-sessie benchmark die aantoont dat huidige robotgeheugensystemen, hoewel effectief in contexten zonder afleiding, aanzienlijke prestatiedaling vertonen bij het ophalen van informatie uit lange geschiedenissen die ongerelateerde sessies bevatten, wat een kritiek gat in robuustheid voor real-world implementaties benadrukt.

Oorspronkelijke auteurs: Soumil Rathi

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Soumil Rathi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert hoe hij een specifieke taak moet uitvoeren, zoals "pak de rode kubus." Je laat de robot een video zien van hoe dit moet. Stel je nu voor dat de robot die instructie moet onthouden, maar dat hij eerst door een lange wachtkamer moet gaan vol met video's van totaal andere taken — zoals "hoe je een taart bakt," "hoe je een fiets repareert" of "hoe je een hek schildert."

Dit artikel gaat over het testen van hoe goed een robot die oorspronkelijke instructie "rode kubus" kan onthouden wanneer deze diep begraven ligt onder een stapel ongerelateerde afleidingen.

Hier is de uitsplitsing van de studie in eenvoudige termen:

Het Probleem: De "Ruisende Bibliotheek"

Robots beginnen steeds meer in de echte wereld te werken, waar ze vele verschillende taken zullen uitvoeren over meerdere dagen. De grote vraag is: Als een robot drie dagen geleden iets nut kindigs heeft geleerd, kan hij dat vandaag nog steeds onthouden als hij in de tussentijd tien andere ongerelateerde dingen heeft gedaan?

De meeste huidige tests voor robotgeheugen zijn te makkelijk. Ze vragen de robot om iets te onthouden van nu of van slechts een paar seconden geleden. Deze studie wilde kijken wat er gebeurt als het geheugen door een "ruisende bibliotheek" moet reizen vol met irrelevante boeken (ongerelateerde taken).

Het Experiment: "RoboMME-Interference"

De onderzoekers hebben een nieuwe test ontwikkeld genaamd RoboMME-Interference. Zo werkt het:

De Les: Ze laten de robot een video zien van een taak (bijv. "beweeg deze kubus").
De Afleiding: Ze voegen een specifiek aantal ongerelateerde video's in tussen de les en de test. Ze testten met 0, 1, 3 of 7 extra video's.
De Test: Ze vragen de robot om de oorspronkelijke taak uit te voeren.

Denk aan een spelletje "Telefoontje". Als je een geheim in iemands oor fluistert en diegene moet het onmiddellijk herhalen, krijgt hij het goed. Maar als diegene eerst naar zeven andere mensen moet luisteren die grappen vertellen en liedjes zingen voordat hij het geheim mag herhalen, raakt het geheim meestal verloren of raakt het in de war.

De Resultaten: Het Geheugen Vervaagt Snel

De onderzoekers testten negen verschillende soorten robot-"hersenen" (geheugensystemen) om te zien welke de ruis aan kon.

Wanneer er geen ruis is (0 afleidingen): De robots met geheugensystemen presteerden veel beter dan robots zonder. Het was alsof ze een superkracht hadden. Bijvoorbeeld: één systeem sprong van een succespercentage van 18% naar 45% simpelweg door de les direct voor zich te hebben.
Wanneer de ruis toeneemt: Zodra ze slechts één of drie ongerelateerde video's toevoegden, begonnen de robots te vergeten.
De "Cliff" (de afgrond): Tegen de tijd dat ze zeven ongerelateerde sessies hadden toegevoegd, presteerden de robots met geheugensystemen bijna exact hetzelfde als robots met geen enkel geheugen. Het extra geheugen hielp niet; het zat zelfs in de weg of werd simpelweg genegeerd.

De Analogie: Stel je voor dat je probek een specifieke naald in een hooiberg te vinden.

Geen afleidingen: De hooiberg is klein. Je vindt de naald gemakkelijk.
Met afleidingen: De onderzoekers bleven steeds meer hooi (ongerelateerde taken) aan de stapel toevoegen. Zelfs de beste robots konden de naald niet meer vinden zod르게 de stapel te groot werd. De "naald" (het geheugen van de taak) raakte verloren in het "hooi" (de ongerelateerde sessies).

Waarom faalden ze?

De paper vond dat de huidige robotgeheugensystemen erg fragiel zijn.

Perceptueel Geheugen: Sommige systemen proberen te onthouden door naar afbeeldingen (frames) te kijken. Dit werkte geweldig zolang de afbeelding vers was, maar zodra er nieuwe, ongerelateerde afbeeldingen werden toegevoegd, raakte de robot in de war.
Recurrent Geheugen: Sommige systemen proberen het verleden samen te vatten in een korte notitie. Deze werkten helemaal niet goed, zelfs niet zonder afleidingen.
De Conclusie: Op dit moment zijn robots slecht in "langetermijngeheugen" wanneer er afleidingen zijn. Ze kunnen zich herinneren wat er vijf minuten geleden gebeurde, maar ze kunnen zich niet herinneren wat er drie dagen geleden is gebeurd als ze in de tussentijd druk zijn geweest met andere dingen.

Wat dit betekent (volgens het artikel)

De auteurs concluderen dat hoewel robots steeds beter worden in het onthouden van dingen op de korte termijn, ze nog niet klaar zijn voor de echte wereld, waar ze dingen over langere perioden moeten kunnen onthouden terwijl ze afleidingen negeren.

Ze merken op dat dit een probleem is dat computerprogramma's (zoals Large Language Models) al jaren proberen op te lossen, en dat robotontwikkelaars ideeën uit die velden kunnen lenen om dit op te lossen.

Kortom: Robots zijn vandaag de dag als studenten die een toets kunnen halen als ze de avond ervoor hebben gestudeerd, maar als ze een week lang moeten studeren en daarna de toets maken, vergeten ze alles wat ze aan het begin van de week hebben geleerd. Deze paper bewijst dat we betere "studiegewoonten" voor robots moeten bouwen voordat ze betrouwbaar in onze huizen en kantoren kunnen werken.

Technische Samenvatting: Benchmarking van Robotgeheugen onder Interferentie

Probleemstelling

Terwijl robots in realistische omgevingen worden ingezet, moeten ze opereren over talrijke sessies en niet-gerelateerde taken. Een cruciale uitdaging voor echte inzet is het vermogen om informatie te herinneren uit sessies die aanzienlijk in het verleden liggen, begraven achter een geschiedenis van irrelevante interacties. Een kritieke uitdaging voor de inzet in de echte wereld is het vermogen om informatie te herinneren uit sessies die aanzienlijk in het verleden liggen, begraven achter een geschiedenis van irrelevante interacties. De kernvraag die wordt behandeld, is of huidige robotgeheugensystemen er succesvol in slagen nuttige informatie uit het verleden te herinneren wanneer deze wordt gehinderd door interferentie van ongerelateerde sessies. De kernvraag die wordt behandeld, is of huidige robotgeheugensystemen er succesvol in slagen nuttige informatie uit het verleden te herinneren wanneer deze wordt gehinderd door interferentie van ongerelateerde sessies.

Methodologie

De auteurs introduceren RoboMME-Interference, een cross-sessie benchmark gebouwd op de bestaande RoboMME-framework [Dai et al., 2026]. De methodologie behelst het construeren van een "geschiedenisbuffer" voor elke query-episode die dient als de geheugening input voor de Vision-Language-Action (VLA) policy.

Constructie van de Benchmark

Structuur: Voor elke query bevat de geschiedenisbuffer de relevante eerdere demonstratie (de "les") gevolgd door $k$ ongerelateerde distractor-sessies.
Interferentieniveaus: Het aantal distractor-sessies ( $k$ ) wordt gescand over $\{0, 1, 3, 7\}$ , wat respectievelijk staat voor geen, lichte, matige en sterke interferentie. Een "geen-geschiedenis" baseline met een lege buffer is ook inbegrepen.
Ontwerp van Distractoren: Distractoren zijn afkomstig uit andere taakfamilies dan de query om het introduceren van tegenstrijdige feiten (bijv. conflicterende doelen) te voorkomen, wat de prestatievermindering oninterpreteerbaar zou maken. Elke distractor draagt een vast lengte-segment van 32 opgeslagen frames bij, wat zorgt voor vergelijkbaarheid tussen sessies.
Taakselectie: De benchmark maakt gebruik van negen taakfamilies uit RoboMME waarbij de noodzakelijke voorafgaande informatie is opgenomen in een zelfstandige demonstratievideo die afwijkt van de executiefase. Dit omvat:
- Imitatie: MoveCube, InsertPeg, PatternLock, RouteStick.
- Video-geconditioneerde Referentie: VideoRepick, VideoPlaceButton, VideoPlaceOrder.
- Video-geconditioneerde Permanentie: VideoUnmask, VideoUnmaskSwap.
- Uitgesloten: Zeven andere RoboMME-taken zijn uitgesloten omdat hun aanwijzingen verweven zijn binnen een enkele executie-episode, wat het isoleren van een scheidbare eerdere sessie verhindert.

Geëvalueerde Systemen

De studie evalueert negen geheugen-geaugmenteerde varianten van de $\pi_{0.5}$ policy [Physical Intelligence et al., 2025], die ongewijzigd door de benchmark worden uitgevoerd. De systemen variëren in geheugenrepresentatie en integratiemechanisme:

Representaties: Perceptueel (FrameSamp, TokenDrop), Recurrent (TTT, RMT), en Symbolisch (uitgesloten van deze specifieke evaluatie vanwege de afhankelijkheid van vooraf gedefinieerde annotaties).
Integratiemechanismen: Context concatenatie, Modulator (adaptieve LayerNorm), en Expert (block-wise causale aandacht).
Baseline: De standaard $\pi_{0.5}$ policy zonder geheugen.

Belangrijkste Bijdragen

Cross-Sessie Interferentie Benchmark: Een uitbreiding van RoboMME die expliciet de impact van sessielengte en ongerelateerd geheugen op nauwkeurigheid meet door gecontroleerde aantallen ongerelateerde sessies tussen relevante herinneringen en queries in te voegen.
Uitgebreid Resultatenraster: Een volledige evaluatie van negen geheugensystemen over negen taakfamilies, wat een gedetailleerde uitsplitsing geeft van de prestatieafname naarmate de interferentie toeneemt. Dit omvat code, data, figuren en analyse die samen met het paper worden vrijgegeven.

Resultaten

De evaluatie laat een scherp contrast zien tussen prestaties met schoon geheugen en prestaties onder interferentie:

Prestaties met Schoon Geheugen ( $k=0$ ): Wanneer de geschiedenisbuffer alleen de relevante les bevat, presteren perceptuele geheugenvarianten aanzienlijk beter dan de no-history baseline. Het best presterende systeem, FrameSamp-Modulator, bereikt een succespercentage van 45,3% (een stijging van 27,1 procentpunt ten opzichte van de 18,2% no-history baseline).
Degradatie Onder Interferentie: Naarmate ongerelateerde sessies zich ophopen ( $k=1, 3, 7$ $k = 1, 3, 7$ ), neemt de prestatie van alle systemen gestaag af.
- FrameSamp-Modulator daalt met ongeveer 26 procentpunten van $k=0$ naar $k=7$ , en keert terug naar ongeveer 19,3%, wat dicht bij de oorspronkelijke no-history vloer ligt.
- TokenDrop-Modulator daalt eveneens met ~16 punten en eindigt op 19,8%.
Gevoeligheid van Integratiemechanisme: Systemen met dezelfde representatie gedragen zich verschillend op basis van integratie. Zo presteert FrameSamp met een Modulator-integratie bijvoorbeeld veel beter dan FrameSamp met Context- of Expert-integratie bij $k=0$ , maar alle systemen convergeren naar de baseline naarmate de interferentie toeneemt.
Recurrente Varianten: Recurrente varianten (TTT) vertonen geen betekenende winst ten opzichte van de no-history baseline bij welke sessielengte dan ook, en blijven op of onder de 18% succesrate.
Variantie in Taak en Moeilijkheidsgraad: De geheugenvoordelen zijn ongelijk verdeeld over de taakfamilies en moeilijkheidsgraden. De winsten zijn het meest uitgesproken bij episodes met een lage en gemiddelde moeilijkheid, terwijl harde episodes voor alle systemen nabij de prestatievloer blijven.

Betekenis en Claims

Het paper claimt dat hoewel perceptuele geheugenvarianten de succesrate verbeteren wanneer ze een schoon geschiedenisoverzicht krijgen, ze niet in staat zijn om robuustheid te behouden wanneer ongerelateerde sessies zich ophopen. Huidige systemen falen grotendeels bij lang-context geheugen en interferentie-robuustheid, waarbij de prestaties instorten tot het niveau van een systeem zonder geheugen zodra er genoeg distractoren worden geïntroduceerd.

De auteurs positioneren dit werk als een noodzakelijke stap om langdurige cross-sessie herinnering meetbaar te maken voor robotpolicies, vergelijkbaar met hoe langetermijnherinnering wordt gemeten voor Large Language Models (LLMs). Ze concluderen dat betrouwbare cross-sessie herinnering momenteel buiten bereik is voor robotpolicies, maar merken op dat de LLM-geheugenliteratuur een volwassen corpus biedt om op voort te bouwen naarmate robotgeheugensystemen evolueren.

Beperkingen opgemerkt door de auteurs:

Evaluatie vindt plaats in simulatie met vrijgegeven checkpoints; validatie op echte robots is toekomstig werk.
Resultaten weerspiegelen sampling over episodes, maar niet over run-to-run of trainingsvariatie (enkele seed per systeem).
De benchmark is beperkt tot taakfamilies met scheidbare voorafgaande demonstraties.