💻 computer science

WorldLines: Benchmarking and Modeling Long-Horizon Stateful Embodied Agents

Cet article présente WorldLines, un benchmark pour les agents incarnés à horizon long et à état, qui évalue la mémoire et la planification dans des environnements domestiques dynamiques, ainsi qu'ObsMem, un cadre de mémoire sensible à la visibilité conçu pour relever les défis de l'observabilité partielle et du suivi d'état.

Auteurs originaux : Yehang Zhang, Jianchong Su, Haojian Huang, Yifan Chang, Tianhao Zhou, Xinli Xu, Yingjie Xu, Yinchuan Li, Zexi Li, Ying-Cong Chen

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yehang Zhang, Jianchong Su, Haojian Huang, Yifan Chang, Tianhao Zhou, Xinli Xu, Yingjie Xu, Yinchuan Li, Zexi Li, Ying-Cong Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot assistant qui vit dans votre maison. Vous voulez qu'il reste avec vous pendant des mois ou des années, et pas seulement pour une tâche unique. Le problème est que nos maisons sont désordonnées, les objets changent de place, des minuteurs sont réglés, et les gens disent des choses qui peuvent être vraies ou qui ne sont peut-être que des suppositions.

Ce document, WorldLines, introduit une nouvelle façon de tester si un robot peut réellement se souvenir de l'« histoire » de votre maison sur une longue période, plutôt que de simplement se souvenir de la dernière chose que vous lui avez dite.

Voici la décomposition utilisant des analogies simples :

1. Le Problème : Le « Poisson Rouge » vs Le « Détective »

La plupart des tests actuels pour les robots sont comme des flashcards. On demande au robot : « Où est la tasse ? » et le robot regarde la table à l'instant présent. Si la tasse est là, il gagne un point. Si la tasse a été déplacée hier, le robot n'en a rien à faire.

Mais la vraie vie ressemble davantage à un roman policier.

Le Scénario : Vous dites au robot : « Je vais à la salle de sport à 7h30. Quand je reviendrai à 8h30, je veux regarder un film et manger des fruits que je viens de mettre au frigo. »
Le Défi : Pour bien faire cela, le robot doit se souvenir de :
- L'heure à laquelle vous avez dit que vous reviendriez (un emploi du temps).
- Que vous venez juste de mettre des fruits dans le frigo (un changement d'état).
- Que vous regardez habituellement des films le mardi (une routine).
- Crucialement : Il doit savoir que les fruits sont toujours dans le frigo, même s'il ne vous a pas regardé les y mettre.

Les tests existants échouent car ils traitent le robot comme un Poisson Rouge (qui oublie tout après quelques secondes) ou un Chatbot (qui ne se souvient que du texte, et non des objets physiques qui bougent autour de lui).

2. La Solution : WorldLines (Le test du « Film de la Maison »)

Les auteurs ont créé un nouveau test appelé WorldLines. Voyez cela comme un film de maison simulé qui dure plusieurs jours.

Il enregistre tout : ce que les gens ont dit, ce que le robot a fait, quelle heure il était, et comment l'état de la maison a changé (par exemple : « Le minuteur du café a été réglé par erreur sur 4h00 du matin, puis le robot l'a corrigé à 7h00 »).
Le Test : On montre au robot une « coupure » dans le film. Il voit tout ce qui s'est passé jusqu'à ce point, mais pas ce qui se passe ensuite. Ensuite, on lui pose des questions telles que :
- « À quelle heure le robot a-t-il corrigé le minuteur du café ? » (Questions de mémoire/QA)
- « La famille part pour l'école dans une heure ; que devrait faire le robot ? » (Planification)

Cela teste si le robot peut maintenir une carte mentale évolutive de la maison, même lorsqu'il ne peut pas tout voir (Observabilité Partielle).

3. Le Nouveau Cerveau : ObsMem (Le « Classeur » vs Le « Scrapbook »)

Le document soutient que le simple stockage de texte (comme un album de souvenirs de tout ce qui a été dit) ne suffit pas. Si vous écrivez « Bob a dit que les clés sont sur la table » dans un album, vous ne savez pas si Bob dit la vérité ou si les clés ont été déplacées une heure plus tard.

Ils proposent un nouveau système de mémoire appelé ObsMem. Imaginez cela comme un classeur hautement organisé avec quatre tiroirs distincts, plutôt qu'une grande pile de papiers :

Le tiroir « Ce que j'ai vu » (Suivi des événements) : Un journal strict des choses que le robot a réellement vues se produire. (ex : « J'ai vu Bob poser les clés sur la table. »)
Le tiroir « Ce que j'ai entendu » (Rapport/Dialogue) : Un journal des choses que les gens ont dites s'être passées. (ex : « Bob a dit que les clés sont sur la table. ») Le système sait que c'est moins fiable que de l'avoir vu.
Le tiroir « Statut Actuel » (Suivi de l'état) : Un tableau de bord en direct de ce qui se trouve là en ce moment. Si les clés bougent, ce tiroir se met à jour, mais l'ancien journal « Ce que j'ai vu » reste dans le tiroir de l'historique afin que le robot sache que les clés étaient là auparavant.
Le tiroir « À Faire » (Suivi des engagements) : Une liste de promesses et de projets futurs. (ex : « Rappeler à Alice de préparer son panneau de projet de sciences à 7h30. »)

Pourquoi est-ce important : Lorsqu'on pose une question au robot, il ne cherche pas simplement des mots-clés. Il vérifie le bon tiroir.

Question : « Où sont les clés ? » -> Vérifie le tiroir Statut Actuel.
Question : « Est-ce que Bob a dit que les clés étaient sur le canapé ? » -> Vérifie le tiroir Ce que j'ai entendu.
Question : « Le robot est-il sûr que les clés sont toujours sur le canapé ? » -> Vérifie le système de Croyance (qui demande : « Quelqu'un d'autre est-il entré dans la pièce depuis que je les ai vues ? Si oui, je n'en suis plus sûr. »).

4. Les Résultats : Le « Détective » Gagne

Les chercheurs ont testé leur nouveau système (ObsMem) contre d'autres systèmes de mémoire en utilisant le test WorldLines.

Le Résultat : ObsMem était bien meilleur pour répondre aux questions qui nécessitaient de suivre des changements au fil du temps.
L'Analogie : Les autres systèmes étaient comme des personnes qui lisent un résumé de livre et devinent la fin. ObsMem était comme un détective qui tenait un journal détaillé de chaque indice, de chaque mensonge et de chaque changement de scène, permettant de résoudre le mystère de « Où est réglé le minuteur du café ? » même après trois jours de confusion.

Résumé

WorldLines est un nouveau test qui simule une vie domestique longue, désordonnée et changeante pour voir si les robots peuvent se souvenir de l'« histoire » de la maison.
ObsMem est une nouvelle façon pour les robots d'organiser leur mémoire, en séparant « ce que j'ai vu », « ce que j'ai entendu », « ce qui est vrai maintenant » et « ce que j'ai promis de faire ».
La Conclusion : Pour être un bon assistant à long terme, un robot a besoin de plus qu'un historique de discussion ; il a besoin d'une façon structurée de suivre comment le monde physique change au fil du temps.

Résumé Technique : WorldLines et ObsMem

Énoncé du Problème

Les benchmarks existants pour les agents incarnés et la mémoire à long terme sont fondamentalement en décalage avec les exigences de l'assistance domestique réelle à long horizon. Les benchmarks de mémoire à long terme actuels (par exemple, LoCoMo, LongMemEval) se concentrent principalement sur la récupération de texte et la cohérence du dialogue, souvent en découplant la mémoire des transitions d'état physique, du retour d'information sur les actions et des contraintes exécutables. À l'inverse, les benchmarks incarnés (par exemple, ALFWorld, Habitat 3.0, PARTNR) évaluent généralement des tâches à horizon court où les états du monde ne persistent pas à travers les interactions ou sont entièrement observables.

Ce fossé crée un vide critique d'évaluation : Un agent incarné peut-il maintenir un état de monde persistant et partiellement observable sur de longues périodes et utiliser cet état pour le questionnement et la planification en aval ? Les demandes de services réels dépendent souvent de routines évolutives, d'états d'objets, de réglages d'appareils et d'événements historiques qui s'étendent sur plusieurs jours. Les agents doivent distinguer les observations directes, les informations rapportées et les changements d'état non observés, une capacité que les systèmes de récupération de texte plat peinent à soutenir.

Méthodologie

1. Benchmark WorldLines

Les auteurs introduisent WorldLines, un benchmark piloté par projet conçu pour évaluer les agents incarnés à long horizon et à état changeant dans des environnements dynamiques et partiellement observables.

Pipeline de Construction : WorldLines génère des traces étendues de la vie domestique en simulant des « projets à long terme » (par exemple, la préparation d'un repas, la coordination d'appareils) sur plusieurs jours. Le pipeline comprend :
- Ancrage du Monde (World Grounding) : Utilisation de scènes Habitat/HSSD avec des objets interactifs curatés et des dispositifs contrôlables.
- Planification de Projet : Définition de processus de vie sur plusieurs jours avec des participants, des espaces et des contraintes temporelles spécifiques.
- Simulation en Boucle Fermée : Génération de flux d'événements inter-journaliers (dialogue, activité humaine, actions du robot, opérations d'appareils) où un exécuteur déterministe valide les affordances et met à jour les trajectoires d'état structurées.
- Mémoire de Report (Carry-Forward Memory) : Extraction de notes sur les changements d'état, les préférences et les plans non résolus pour assurer la continuité entre les jours.
Familles de Tâches : Le benchmark convertit ces traces en échantillons liés à des preuves pour deux tâches :
- QA de Mémoire (Memory QA) : Évalue la récupération d'événements historiques, de changements d'état (y compris les états écrasés), de préférences et de routines.
- Planification de Tâche Incarnée : Teste la capacité à générer des plans cohérents avec l'état ou des décisions de l'étape suivante basées sur l'historique visible et les contraintes exécutables.
Protocole d'Évaluation : Chaque échantillon inclut un point de coupure de contexte ( $c_i$ ). L'agent n'observe que l'historique précédant la coupure ( $H_{<c_i}$ ). Les états de vérité terrain et les chaînes de preuves sont utilisés uniquement pour l'évaluation afin d'éviter la fuite d'informations.

2. ObsMem : Cadre de Mémoire Fondé sur l'Observateur

Pour remédier aux limites des mémoires de texte plat, les auteurs proposent ObsMem, un cadre de mémoire qui organise l'information en vues typées basées sur la provenance de l'observation et le rôle sémantique.

Ingestion Fondée sur l'Observateur : Les événements sont filtrés par une « porte d'observateur » pour distinguer ce que le robot a directement observé ( $e^{obs}$ ) de ce qui a été simplement rapporté par autrui ( $e^{rep}$ ). Cette distinction est préservée tout au long du cycle de vie de la mémoire.
Pistes de Mémoire Typées :
- Piste d'Événements (Event Track) : Un journal d'ajout uniquement de preuves historiques (ce qui s'est passé).
- Piste d'État (State Track) : Maintient à la fois un instantané actuel et un historique des faits d'état (ex: localisations d'objets), permettant au système de suivre les états écrasés.
- Piste de Croyance (Belief Track) : Enregistre la confiance épistémique du robot (fraîche, obsolète, incertaine, contredite) pour chaque fait, tenant compte de la partialité de l'observation et des événements intermédiaires.
- Piste d'Engagement (Commitment Track) : Stocke les obligations futures, les promesses et les calendriers.
Récupération au Moment de la Requête : Au lieu d'une recherche de similitude unique, ObsMem compose les preuves en fonction de l'intention de la requête. Il dirige les requêtes vers des vues spécifiques (ex: Piste d'État pour « où est X maintenant ? », Piste d'Événements pour « qui a dit X ? ») et synthétise un ensemble de preuves typées qui considère simultanément l'état, la croyance et le support historique.

Contributions Clés

Benchmark WorldLines : Un nouveau benchmark pour les agents incarnés à long horizon et à état changeant qui intègre la QA de mémoire et la planification de tâches incarnées au sein d'environnements domestiques dynamiques et partiellement observables.
Génération de Traces Pilotée par Projet : Un pipeline qui transforme des mondes ancrés et des fils d'activités à long terme en échantillons d'évaluation liés à des preuves, garantissant que les états du monde persistent et évoluent à travers les interactions.
Cadre ObsMem : Une architecture de mémoire fondée sur l'observateur qui sépare les preuves d'événements, les pistes d'état structurées et les enregistrements de croyance, permettant une prise de décision robuste sous une observation partielle.

Résultats Expérimentaux

Les auteurs ont évalué ObsMem par rapport à plusieurs bases de référence (Mem0, A-mem, MemoryOS, GraphMem) sur 310 échantillons de QA de mémoire.

Performance Globale : ObsMem a obtenu le score de juge le plus élevé (0,713) et le taux de perfection le plus élevé (69 %), surpassant la base de référence la plus forte (A-mem) de 0,138 en score de juge.
Récupération de Preuves : Bien que les bases de référence aient obtenu des scores élevés en Session Any@5 (récupération du contexte temporel grossier correct), elles ont eu des difficultés avec l'Event R@5 (identification d'événements spécifiques de changement d'état). ObsMem a amélioré l'Event R@5 de 0,159 par rapport à Mem0, démontrant une capacité supérieure à récupérer des preuves incarnées précises.
Raisonnement d'État : ObsMem a montré des gains significatifs dans les questions StateMultiHop et StateSingleHop, qui nécessitent le suivi d'états mutables à travers des transitions d'événements. La métrique StateMH-E (rappel au niveau de l'événement pour les questions d'état multi-sauts) présente un écart de 0,188 par rapport à la base de référence la plus forte.
Études d'Ablation : La suppression de la vue de Croyance, de la vue d'État ou de la consolidation d'Épisode a entraîné des baisses de performance, confirmant que la séparation de l'état, de la croyance et de la preuve est critique pour gérer l'observabilité partielle et les mises à jour d'état.

Signification et Revendications

L'article affirme que WorldLines révèle des défis persistants pour les systèmes existants, spécifiquement concernant l'observabilité partielle, les états de monde écrasés et la traduction de la mémoire à long terme en plans incarnés.

Les auteurs soutiennent qu'ObsMem offre une architecture de référence plus forte pour ce contexte en traitant la mémoire comme un processus en ligne qui transforme les flux d'interaction en preuves typées. La signification centrale réside dans la démonstration que les agents incarnés à long horizon nécessitent plus qu'une simple récupération de texte plat ; ils ont besoin de mécanismes pour distinguer les informations observées des informations rapportées, l'état actuel de l'état historique, et les faits connus des faits incertains. ObsMem fournit cette structure, permettant à la fois un questionnement fondé sur les preuves et une planification incarnée consciente de l'état. Le travail ne prétend pas résoudre tous les défis de l'IA incarnée, mais fournit un benchmark et un cadre spécifiques pour évaluer et améliorer la maintenance de l'état à long terme dans des contextes domestiques dynamiques.