TrajRAG: Retrieving Geometric-Semantic Experience for Zero-Shot Object Navigation

Technische Samenvatting: TrajRAG – Geometrisch-Semantische Ervaring Ophalen voor Zero-Shot Objectnavigatie

Probleemstelling
Bestaande zero-shot Object Goal Navigation (ObjectNav)-methodes vertrouwen vaak op gezond verstand, afgeleid van grote taalmodellen (LLMs) of vision-language modellen (VLM's). Deze kennis is echter doorgaans gebaseerd op tekst op internet-schaal en niet op belichaamde 3D-ruimtelijke ervaring. Bovendien worden, hoewel sommige methodes episodische observaties verzameld tijdens navigatie gebruiken, deze vaak na elke episode verworpen, wat de accumulatie van levenslange ervaring verhindert. Bijgevolg worstelen agenten met redundante exploratie en missen ze het vermogen om scenespecifieke geometrisch-semantische priors op te halen om besluitvorming in onbekende omgevingen te sturen.

Methodologie
De auteurs stellen TrajRAG (Trajectory RAG) voor, een retrieval-augmented generation-framework dat is ontworpen om een "lange-termijn"geheugen van navigatie-ervaringen op te bouwen. Het systeem werkt via drie kernmechanismen:

1. Topologisch-Polaire (Topo-Polaire) Trajectrepresentatie:
   Om de redundantie in ruwe RGB-D-observatietrajecten aan te pakken (veroorzaakt door herbezoeken, lussen en ruimtelijke overlappingen), converteert TrajRAG continue observaties naar een compacte, gestructureerde representatie.

   • Skeletvorming: Een semantische kaart wordt geconstrueerd uit RGB-D-gegevens, en het bevaarbare gebied wordt geskeletiseerd om topologische knopen te extraheren.
   • Polair Encoderen: Voor elke topologische knoop wordt de omliggende ruimte gediskretiseerd in 12 polaire sectoren (elk 30°). Elke sector registreert de waargenomen semantische labels (object, obstakel, onbekend of vrij). Dit creëert een "vingerafdruk" van de lokale geometrisch-semantische lay-out die robuust is voor verschillen in de richting van de agent.
   • Uitsnijding: Het systeem voegt opeenvolgende identieke knopen samen en snoeit temporale lussen om ervoor te zorgen dat opgeslagen trajecten efficiënt en lusvrij zijn.

2. Hiërarchische Chunking en Retrieval-architectuur:
   TrajRAG organiseert deze topo-polaire trajecten in een hiërarchische structuur om efficiënte ruw-naar-fijn retrieval mogelijk te maken:

   • Chunks: Elke chunk komt overeen met een enkel topo-pool traject, inclusief de topologische structuur, een beschrijving in natuurlijke taal en een geleerde embedding.
   • Ruwe Index (Samenvattingen): Trajecten met vergelijkbare topologische structuren worden gegroepeerd en samengevoegd tot uniforme "topo-polaire samenvattingen". Deze samenvattingen fungeren als beschrijvers voor de algehele lay-out van de groep.
   • Fijne Index (Trajectencoder): Een gespecialiseerde trajectencoder (die een encoder-only transformer voor knoop-embeddings combineert met een decoder-only transformer voor sequentiële afhankelijkheden) codeert individuele trajecten. Deze encoder wordt getraind via contrastief leren om ervoor te zorgen dat trajecten met hetzelfde navigatiedoel dicht bij elkaar liggen in de embedding-ruimte.
   • Retrieval-proces: Tijdens navigatie genereren kandidaat-exploratiepaden trajecthypothese. Het systeem voert eerst ruwe matching uit tegen topo-polaire samenvattingen om relevante groepen te identificeren, gevolgd door fijne matching binnen die groepen om specifieke trajectchunks op te halen.

3. Navigatie en Incrementeel Leren:

   • Inferentie: Op elk tijdstip construeert de agent een semantische kaart en identificeert hij frontieren. Kandidaatpaden worden gegenereerd, en TrajRAG haalt relevante vroegere ervaringen (geometrisch-semantische lay-outs) op om de planner (bijvoorbeeld een LLM) te helpen bij het selecteren van het optimale volgende waypoint.
   • Accumulatie: Nadat een episode is voltooid, wordt het nieuwe traject incrementeel geïntegreerd in TrajRAG. Het ondergaat semantische en geometrische matching tegen bestaande samenvattingen. Als het overeenkomt met een bestaande groep, wordt de samenvatting bijgewerkt; zo niet, dan wordt een nieuwe groep aangemaakt. Dit stelt het systeem in staat om levenslange navigatie-ervaringen te accumuleren.

Belangrijkste Bijdragen

• Topo-Polaire Representatie: Een nieuwe methode om ruimtelijke lay-outs en semantische contexten compact te coderen, waardoor redundantie in ruwe episodische observaties effectief wordt verwijderd terwijl onderscheidende geometrisch-semantische vingerafdrukken behouden blijven.
• Hiërarchisch Retrieval-framework: Een ruw-naar-fijn retrievalstrategie die efficiëntie en nauwkeurigheid in evenwicht brengt door eerst te filteren op sceneslay-out (samenvattingen) en vervolgens op specifieke trajectdetails (embeddings).
• Levenslange Ervaringsaccumulatie: Een mechanisme om episodische herinneringen continu te consolideren tot een lange-termijn kennisbank, waardoor de agent kan leren uit eerdere interacties over meerdere episodes en scenes heen.
• Brug slaan tussen Gezond Verstand en Ervaring: Het framework integreert scenes-agnostisch redeneren van grote modellen met scenespecifieke geometrisch-semantische ervaring opgehaald uit de eigen geschiedenis van de agent.

Experimentele Resultaten
De auteurs evalueerden TrajRAG op zero-shot ObjectNav-benchmarks met behulp van de MP3D, HM3D-v1 en HM3D-v2 datasets binnen de Habitat-simulator.

• Prestaties: TrajRAG behaalde state-of-the-art prestaties op alle benchmarks, en presteerde beter dan bestaande op LLM/VLM gebaseerde methodes en andere RAG-formuleringen (zoals GraphRAG en tekstgebaseerde RAG).
  • Op HM3D-v2 behaalde het een Success Rate (SR) van 78,1% en Success weighted by Path Length (SPL) van 40,2%.
  • Op HM3D-v1 behaalde het een SR van 62,5% en SPL van 33,9%.
  • Op MP3D behaalde het een SR van 42,6% en SPL van 18,0%.
• Ablatiestudies: Experimenten bevestigden dat de combinatie van geometrische en semantische cues in de topo-polaire representatie superieur is aan het gebruik van alleen tekst of alleen geometrische kenmerken. Bovendien bleek de hiërarchische retrievalstrategie (ruw-naar-fijn) cruciaal, aangezien het verwijderen van de ruwe fase of het gebruik van generieke tekst-embeddings de prestaties aanzienlijk verslechterde.
• Cross-dataset Generalisatie: De ophaalcorpus opgebouwd uit één dataset (bijvoorbeeld HM3D-v1) stuurde navigatie effectief in een andere (bijvoorbeeld MP3D), wat de overdraagbaarheid van de geleerde topologisch-semantische representaties aantoont.

Betekenis
Het artikel stelt dat TrajRAG een fundamentele beperking in huidige zero-shot ObjectNav aanpakt: het gebrek aan opgebouwde, scenespecifieke ervaring. Door geometrisch-semantische ervaringen op te halen in plaats van uitsluitend te vertrouwen op vooraf getraind gezond verstand, stelt TrajRAG agenten in staat om beter onderbouwde beslissingen te nemen in complexe, onbekende omgevingen. Het werk toont aan dat het overbruggen van de kloof tussen redeneren van grote modellen en belichaamde 3D-ervaring via een gestructureerd, levenslang geheugensysteem de navigatienauwkeurigheid en -efficiëntie aanzienlijk verbetert. De auteurs positioneren dit als een stap naar continu leren in belichaamde agenten, waarbij korte-termijn herinneringen geleidelijk worden geconsolideerd tot lange-termijn kennis om toekomstige besluitvorming te ondersteunen.