💻 computer science

WorldLines: Benchmarking and Modeling Long-Horizon Stateful Embodied Agents

Dit artikel introduceert WorldLines, een benchmark voor langetermijn-stateful belichaamde agenten die geheugen en planning evalueert in dynamische huishoudelijke omgevingen, naast ObsMem, een zichtbaarheidsbewust geheugenframework dat is ontworpen om uitdagingen in partiële observeerbaarheid en staatstracking aan te pakken.

Oorspronkelijke auteurs: Yehang Zhang, Jianchong Su, Haojian Huang, Yifan Chang, Tianhao Zhou, Xinli Xu, Yingjie Xu, Yinchuan Li, Zexi Li, Ying-Cong Chen

Gepubliceerd 2026-06-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yehang Zhang, Jianchong Su, Haojian Huang, Yifan Chang, Tianhao Zhou, Xinli Xu, Yingjie Xu, Yinchuan Li, Zexi Li, Ying-Cong Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robothelper hebt die in je huis woont. Je wilt dat hij maanden of jaren bij je blijft, niet alleen voor een enkele taak. Het probleem is dat onze huizen rommelig zijn, plekken veranderen waar dingen worden verplaatst, timers worden ingesteld en mensen dingen zeggen die misschien waar zijn of misschien gewoon vermoedens zijn.

Dit paper, WorldLines, introduceert een nieuwe manier om te testen of een robot daadwerkelijk de "verhaallijn" van jouw huis kan onthouden over een lange periode, in plaats van alleen het laatste wat je tegen hem zei te onthouden.

Hier is de uitsplitsing met eenvoudige analogieën:

1. Het Probleel: De "Goudvis" versus de "Detective"

De meeste huidige robottests zijn als flashcards. Ze vragen de robot: "Waar is de beker?" en de robot kijkt op dit moment op de tafel. Als de beker daar staat, krijgt de robot een punt. Als de beker gisteren is verplaatst, geeft de robot er niet om.

Het echte leven is echter meer als een detectiveroman.

Het Scenario: Je zegt tegen de robot: "Ik ga om 19:30 naar de sportschool. Als ik om 20:30 terug ben, wil ik een film kijken en fruit eten dat ik net in de koelkast heb gezet."
De Uitdaging: Om dit goed te doen, moet de robot onthouden:
- Hoe laat je zei dat je terug zou zijn (een schema).
- Dat je net fruit in de koelkast hebt gezet (een statusverandering).
- Dat je meestal op dinsdag films kijkt (een routine).
- Cruciaal: Het moet weten dat het fruit nog steeds in de koelkast staat, zelfs als de robot niet heeft gezien hoe je het erin hebt gelegd.

Bestaande tests falen omdat ze de robot behandelen als een Goudvis (die alles na een paar seconden vergeet) of een Chatbot (die alleen tekst onthoudt, maar niet de fysieke bewegingen van objecten).

2. De Oplossing: WorldLines (De "Huis-film" Benchmark)

De auteurs hebben een nieuwe test gemaakt genaamd WorldLines. Denk aan dit als een gesimuleerde huis-film die dagenlang doorloopt.

Het legt alles vast: wat mensen zeiden, wat de robot deed, hoe laat het was en hoe de status van het huis veranderde (bijv. "De koffie-timer werd per ongeluk op 4:00 uur gezet, waarna de robot deze verbeterde naar 7:00 uur").
De Test: De robot krijgt een "cut" te zien in de film. Hij ziet alles tot dat punt, maar niet wat er daarna gebeurt. Vervolgens krijgt hij vragen zoals:
- "Hoe laat heeft de robot de koffie-timer aangepast?" (Geheugen QA)
- "Het gezin gaat over een uur naar school; wat moet de robot doen?" (Planning)

Dit test of de robot een lopende mentale kaart van het huis kan bijhouden, zelfs wanneer hij niet alles kan zien (Partiële Observatie).

3. Het Nieuwe Brein: ObsMem (De "Archiefkast" versus de "Scrapbook")

Dit paper betoogt dat het opslaan van alleen tekst (zoals een scrapbook van alles wat er gezegd is) niet genoeg is. Als je in een scrapbook schrijft "Bob zei dat de sleutels op tafel liggen", weet je niet of Bob de waarheid spreekt of dat de sleutels een uur geleden zijn verplaatst.

Ze stellen een nieuw geheugensysteem voor genaamd ObsMem. Stel je dit voor als een zeer georganiseerde archiefkast met vier verschillende laden, in plaats van één grote stapel papier:

De "Wat ik zag" lade (Event Track): Een strikt logboek van dingen die de robot daadwerkelijk heeft zien gebeuren. (bijv. "Ik zag Bob de sleutels op de tafel leggen.")
De "Wat ik hoorde" lade (Reported/Dialogue): Een logboek van dingen die mensen zeiden dat er gebeurd zijn. (bijv. "Bob zei dat de sleutels op de bank liggen.") Het systeem weet dat dit minder betrouwbaar is dan het zelf zien.
De "Huidige Status" lade (State Track): Een live dashboard van waar dingen op dit moment zijn. Als de sleutels verplaatsen, wordt deze lade bijgewerkt, maar het oude "Wat ik zag"-logboek blijft in de geschiedenislade staan, zodat de robot weet dat de sleutels daar ooit lagen.
De "Te doen" lade (Commitment Track): Een lijst met beloftes en toekomstige plannen. (bijv. "Herinner Alice eraan om haar wetenschapsprojectbord in te pakken om 7:30 uur 's ochtends.")

Waarom dit belangrijk is: Wanneer de robot een vraag krijgt, zoekt hij niet alleen naar trefwoorden. Hij controleert de juiste lade.

Vraag: "Waar zijn de sleutels?" -> Controleert de Huidige Status lade.
Vraag: "Zei Bob dat de sleutels op de bank lagen?" -> Controleert de Wat ik hoorde lade.
Vraag: "Weet de robot zeker dat de sleutels nog steeds op de bank liggen?" -> Controleert het Geloof (Belief) systeem (dat vraagt: "Is er sinds ik ze zag nog iemand in de kamer geweest? Zo ja, dan ben ik het niet meer zeker.").

4. De Resultaten: De "Detective" wint

De onderzoekers hebben hun nieuwe systeem (ObsMem) getest tegen andere geheugensystemen met behulp van de WorldLines-test.

Het Resultaat: ObsMem was veel beter in het beantwoorden van vragen die het bijhouden van veranderingen over een langere tijd vereisten.
De Analogie: Andere systemen waren als mensen die een samenvatting van een boek lazen en de afloop raadden. ObsMem was als een detective die een gedetailleerd logboek bijhield van elke aanwijzing, elke leugen en elke verandering in de scène, waardoor hij het mysterie van "Waar is de koffie-timer ingesteld?" kon oplossen, zelfs na drie dagen van verwarring.

Samenvatting

WorldLines is een nieuwe test die een langdurig, rommelig en veranderend leven in een huis simuleert om te zien of robots het "verhaal" van het huis kunnen onthouden.
ObsMem is een nieuwe manier voor robots om hun geheugen te organiseren, waarbij ze onderscheid maken tussen "wat ik zag", "wat ik hoorde", "wat nu waar is" en "wat ik heb beloofd te doen".
De Bevinding: Om een goede hulp op de lange termijn te zijn, heeft een robot meer nodig dan alleen een chatgeschiedenis; hij heeft een gestructureerde manier nodig om bij te houden hoe de fysieke wereld in de loop van de tijd verandert.

Technische Samenvatting: WorldLines en ObsMem

Probleemstelling

Bestaande benchmarks voor belichaamde agenten (embodied agents) en langetermijngeheugen zijn fundamenteel niet afgestemd op de vereisten van realistische, langdurige huishoudelijke assistentie. Huidige benchmarks voor langetermijngeheugen (bijv. LoCoMo, LongMemEval) richten zich primair op tekstgecentreerde retrieval en dialoogconsistentie, waarbij geheugen vaak losstaat van fysieke staatsovergangen, actie-feedback en uitvoerbare beperkingen. Daartegenover staan belichaamde benchmarks (bijv. ALFWorld, Habitat 3.0, PARTNR) die doorgaans korte taken evalueren waarbij wereldtoestanden niet persistent zijn over interacties heen of volledig observeerbaar zijn.

Deze kloof laat een kritiek evaluatievacuüm achter: Kunnen belichaamde agenten een persistente, gedeeltelijk observeerbare wereldtoestand over langere perioden behouden en deze toestand gebruiken voor downstream vraagbeantwoording en planning? Reële serviceverzoeken zijn vaak afhankelijk van evoluerende routines, objecttoestanden, apparaatinstellingen en historische gebeurtenissen die meerdere dagen beslaan. Agenten moeten onderscheid kunnen maken tussen directe observaties, gerapporteerde informatie en niet-geobserveerde staatswijzigingen, een capaciteit waar platte tekst-retrievelsystemen moeite mee hebben.

Methodologie

1. WorldLines Benchmark

De auteurs introduceren WorldLines, een projectgestuurde benchmark ontworpen om langdurige, stateful belichaamde agenten te evalueren in dynamische, gedeeltelijk observeerbare omgevingen.

Constructie-pipeline: WorldLines genereert uitgebreide huishoudelijke sporen door "langetermijnprojecten" (bijv. maaltijdvoorbereiding, apparaatcoördinatie) te simuleren over meerdere dagen. De pipeline omvat:
- World Grounding: Het gebruik van Habitat/HSSD-scènes met gecureerde interactieve objecten en controleerbare apparaten.
- Project Planning: Het definiëren van meerdaagse levensprocessen met specifieke deelnemers, ruimtes en temporele beperkingen.
- Closed-Loop Simulatie: Het genereren van cross-day eventstromen (dialoog, menselijke activiteit, robotacties, apparaatbediening) waarbij een deterministische executor affordances valideert en gestructureerde staatstrajecten bijwerkt.
- Carry-Forward Memory: Het extraheren van aantekeningen over staatswijzigingen, voorkeuren en onopgeloste plannen om continuïteit tussen dagen te waarborgen.
Taakfamilies: De benchmark zet deze sporen om in bewijs-gelinkte samples voor twee taken:
- Memory QA: Evalueert het herstel van historische gebeurtenissen, staatswijzigingen (inclusief overschreven staten), voorkeuren en routines.
- Embodied Task Planning: Test het vermogen om staat-consistente plannen of vervolgstappen te genereren op basis van zichtbare historie en uitvoerbare beperkingen.
Evaluatieprotocol: Elk sample bevat een context-afkapwaarde ( $c_i$ ). De agent observeert alleen de historie voorafgaand aan de afkapwaarde ( $H_{<c_i}$ ). Grondwaarheidstaten en bewijsketens worden uitsluitend gebruikt voor evaluatie om informatielekkage te voorkomen.

2. ObsMem: Observer-Grounded Memory Framework

Om de beperkingen van platte tekstgeheugens aan te pakken, stellen de auteurs ObsMem voor, een geheugenframework dat informatie organiseert in getypeerde weergaven gebaseerd op de herkomst van de observatie en de semantische rol.

Observer-Grounded Ingestie: Events worden gefilterd door een "observer gate" om te onderscheiden tussen wat de robot direct heeft waargenomen ( $e^{obs}$ ) en wat enkel door anderen is gerapporteerd ( $e^{rep}$ ). Dit onderscheid blijft behouden gedurende de gehele geheugenlevenscyclus.
Typed Memory Tracks:
- Event Track: Een append-only log van historische bewijslast (wat er is gebeurd).
- State Track: Houdt zowel een actuele snapshot als een historie van staat-feiten bij (bijv. locaties van objecten), waardoor het systeem overschreven staten kan volgen.
- Belief Track: Registreert de epistemische zekerheid van de robot (vers, verouderd, onzeker, tegengesproken) voor elk feit, rekening houdend met gedeeltelijke observeerbaarheid en tussenliggende gebeurtenissen.
- Commitment Track: Slaat toekomstige verplichtingen, beloften en schema's op.
Query-Time Retrieval: In plaats van een enkele gelijkeniszoekopdracht (similarity search), componeert ObsMem bewijs op basis van de intentie van de query. Het stuurt queries naar specifieke weergaven (bijv. de State Track voor "waar is X nu?", de Event Track voor "wie zei X?") en synthetiseert een getypeerd bewijspakket dat staat, belief en historische ondersteuning simultaan overweegt.

Belangrijkste Bijdragen

WorldLines Benchmark: Een nieuwe benchmark voor langdurige, stateful belichaamde agenten die Memory QA en Embodied Task Planning integreert binnen dynamische, gedeeltelijk observeerbare huishoudelijke omgevingen.
Project-Driven Trace Generation: Een pipeline die gegronde werelden en langetermijnactiviteitstraden transformeert in bewijs-gelinkte evaluatiesamples, waardoor wereldtoestanden persistent blijven en evolueren over interacties heen.
ObsMem Framework: Een observer-gebaseerde geheugenarchitectuur die event-bewijs, gestructureerde staatstrails en belief-records scheidt, wat robuuste besluitvorming onder gedeeltelijke observeerbaarheid mogelijk maakt.

Experimentele Resultaten

De auteurs evalueerden ObsMem tegen verschillende baselines (Mem0, A-mem, MemoryOS, GraphMem) op 310 Memory QA samples.

Algemene Prestaties: ObsMem behaalde de hoogste Judge score (0.713) en Perfect Rate (69%), waarmee het de sterkste baseline (A-mem) versloeg met 0.138 in de Judge score.
Bewijsherstel (Evidence Recovery): Hoewel baselines een hoge Session Any@5 behaalden (het ophalen van de juiste grove temporele context), hadden ze moeite met Event R@5 (het identificeren van specifieke staatswijzigende events). ObsMem verbeterde Event R@5 met 0.159 ten opzichte van Mem0, wat een superieur vermogen aantoont in het herstellen van precieze belichaamde bewijslast.
Staat-redeneren (State Reasoning): ObsMem liet significante winsten zien in StateMultiHop en StateSingleHop vragen, die het volgen van mutabele staten door event-transities vereisen. De StateMH-E metriek (event-level recall voor multi-hop staat vragen) vertoonde een gat van 0.188 ten opzichte van de sterkste baseline.
Ablatie-studies: Het verwijderen van de Belief view, de State view of Episode consolidatie resulteerde in prestatieverminderingen, wat bevestigt dat de scheiding van staat, belief en bewijs cruciaal is voor het omgaan met gedeeltelijke observeerbaarheid en staatswijzigingen.

Betekenis en Claims

Het artikel stelt dat WorldLines persistente uitdagingen blootlegt in bestaande systemen, specifiek met betrekking tot gedeeltelijke observeerbaarheid, overschreven wereldtoestanden en de vertaling van langetermijngeheugen naar belichaamde plannen.

De auteurs beweren dat ObsMem een sterker referentie-architectuur biedt voor deze setting door geheugen te behandelen als een online proces dat interactiestromen omzet in getypeerd bewijs. De kernbetekenis ligt in de demonstratie dat langdurige belichaamde agenten meer nodig hebben dan platte tekst-retrieval; ze hebben mechanismen nodig om onderscheid te maken tussen geobserveerde en gerapporteerde informatie, tussen huidige en historische staten, en tussen bekende en onzekere feiten. ObsMem biedt deze structuur, wat zowel bewijs-gebaseerde vraagbeantwoording als staat-bewuste belichaamde planning mogelijk maakt. Het werk claimt niet alle belichaamde AI-uitdagingen op te lossen, maar biedt een specifieke benchmark en framework om langdurig staat-onderhoud in dynamische huishoudelijke settings te evalueren en te verbeteren.