Personalized Embodied Navigation for Portable Object Finding

Probleemstelling

Bestaande methoden voor embodied navigatie (navigatie van een agent in een fysieke of virtuele omgeving) opereren voornamelijk in statische omgevingen waar objecten stationair zijn. In de echte wereld zijn omgevingen echter dynamisch: mensen verplaatsen draagbare objecten (zoals telefoons, portemonnees of tandenborstels) regelmatig tussen verschillende ruimtes op basis van routines en gewoontes.

Huidige state-of-the-art benaderingen, die vaak gebruikmaken van Reinforcement Learning (RL) of Large Language Models (LLM), gaan uit van "statische grafieken". Ze straffen agents af voor het vergroten van de afstand tot een doelwit, wat werkt voor stationaire doelen maar faalt in dynamische scenario's. Als een object beweegt terwijl de agent erop af gaat, wordt het beloningssignaal te ruisig en onbetrouwbaar, wat leidt tot slechte convergentie en generalisatie. Er is een gebrek aan methoden die de tijdsafhankelijke verplaatsing (transit) van objecten modelleren om agents te laten anticiperen op waar objecten zullen zijn, in plaats van alleen waar ze nu zijn.

Methodologie

De auteurs introduceren een nieuw raamwerk dat navigatieproblemen formaliseert als een probleem van gepersonaliseerd gewoonteleren. De kern van hun aanpak bestaat uit twee onderdelen:

1. Dynamic Object Maps (DOMs)

Om dynamische omgevingen te simuleren, transformeren de auteurs statische topologische grafieken (zoals die uit Matterport3D) naar Dynamic Object Maps (DOMs).

• Structuur: Een DOM is een graaf waarbij de knopen (locaties) en randen (paden) statisch blijven, maar de attributen van de knopen (de objecten) veranderen in de tijd.
• Transit Scenario's ($\Lambda$): Gebaseerd op menselijke gewoonten, definiëren ze drie niveaus van entropie voor objectbeweging:
  • Random: Objecten kunnen willekeurig verplaatsen (hoge entropie).
  • Semi-Routine: Objecten blijven binnen specifieke kamers, maar de paden variëren (middelmatige entropie).
  • Fully-Routine: Objecten volgen vaste paden tussen specifieke kamers (lage entropie, gebaseerd op vaste routines).

2. Transit-Aware Planning (TAP)

De auteurs stellen Transit-Aware Planning (TAP) voor, een strategie om bestaande navigatiebeleid (zowel RL- als LLM-gebaseerd) "bewust" te maken van de transitroutes van objecten.

• TAP-RL (Reinforcement Learning):
  • Observaties: De agent krijgt op elk tijdstip een momentopname van de posities van alle draagbare objecten, maar niet de volledige toekomstige paden.
  • Beloningssysteem: In plaats van een beloning gebaseerd op de afstand tot het doel (wat instabiel is bij bewegende doelen), introduceert TAP een interceptie-beloning ($R_I$). De agent wordt beloond wanneer zijn eigen pad kruist met het pad van het doelwit. Dit stimuleert de agent om zijn route te synchroniseren met de verwachte route van het object, in plaats van blindelings achter het object aan te jagen.
• TAP-LLM (Large Language Models):
  • Prompt Engineering: Omdat LLM's vaak "zero-shot" werken zonder training, wordt het systeem-prompt aangepast. De agent ontvangt een geschiedenis van acties, waarnemingen en gedetecteerde objecten ($T_i$) als context.
  • Redenering: De LLM gebruikt deze tijdsgebonden data en gezond verstand om te voorspellen waar objecten waarschijnlijk naartoe zullen bewegen, gebaseerd op patronen die eerder zijn waargenomen.

Belangrijkste Bijdragen

1. TAP-strategieën: Een set van nieuwe methoden (TAP-RL en TAP-LLM) die agents toestaat om niet-stationaire doelen te vinden door tijdsbewuste planning.
2. Dynamic Object Maps (DOMs): Een gestructureerde formulering om statische grafieken dynamisch te maken, inclusief drie transit-scenario's die menselijke gewoonten nabootsen.
3. Generalisatie Benchmark: Een evaluatieframework dat prestaties meet in statische versus dynamische omgevingen, met een focus op "Relative Change in Success" (RCS) om generalisatie te kwantificeren.
4. Real-to-Sim Pipeline: Een methode om echte fysieke omgevingen om te zetten in simulaties voor TAP, inclusief een real-world experiment in een laboratorium.

Resultaten

De methoden zijn getest in de MP3D-simulator en in een real-world laboratoriumexperiment.

• Simulatie (MP3D):
  • TAP-RL verbeterde het succespercentage (Success Rate) van een standaard RL-agent met 21,1% bij het vinden van niet-stationaire doelen.
  • De generalisatie van statische naar dynamische omgevingen verbeterde met 44,5% (gemeten via RCS). Standaard RL-agenten presteerden slecht in dynamische omgevingen (daling van ~60% in succes), terwijl TAP-agenten stabiel bleven.
  • TAP-LLM toonde ook aanzienlijke verbeteringen ten opzichte van standaard LLM's, vooral in scenario's met gestructureerde routines.
• Real-World Experiment:
  • In een labomgeving met 50 episodes presteerde TAP-LLM significant beter dan een standaard LLM (bijv. 80% succes in 'Routine' scenario's vs. 57,5% voor de standaard LLM).
  • Persoonlijke Assistentie: TAP-agenten waren beter in staat om objecten te vinden op onlogische locaties (bijv. een tandenborstel op een werkplek) door te leren van de specifieke routines van de omgeving, in plaats van alleen te vertrouwen op "gezond verstand" (common sense).
  • Time-To-Find: TAP-agenten vonden doelen sneller naarmate ze meer ervaring opdeden, wat aantoont dat ze effectief patronen leren.

Betekenis en Conclusie

Dit werk daagt de fundamentele aanname in de literatuur voor embodied navigatie uit dat grafieken statisch en doelen stationair zijn. Door tijdsbewustzijn en gewoonteleren te integreren, maken de auteurs navigatieagents veel robuuster voor de realiteit, waarin objecten continu bewegen.

De belangrijkste implicatie is dat voor succesvolle persoonlijke assistentie in huishoudens, robots niet alleen moeten weten waar een object normaal gesproken staat, maar ook wanneer en hoe het verplaatst wordt. De voorgestelde TAP-methode biedt een schaalbare oplossing voor dit probleem, zowel in simulatie als in de echte wereld, en opent de weg voor agents die zich kunnen aanpassen aan de unieke dynamiek van individuele gebruikers.