ObsGraph: Hierarchical Observation Representation for Embodied Reasoning and Exploration

Technische Samenvatting: ObsGraph

Probleemstelling

Autonome robots die opereren in complexe, onbekende omgevingen worden geconfronteerd met een fundamentele uitdaging: ze moeten actief verkennen om informatie te identificeren en te verwerven die noodzakelijk is voor taakvoltooiing. Huidige benaderingen worstelen met de afweging tussen scène-representatie en taakgeconditioneerde toegang.

• Dichte 3D-representaties (bijv. voxel-kaarten) bewaren rijke geometrische en semantische informatie, maar missen expliciete abstractie, wat het selectief extraheren van taakrelevante regio's bemoeilijkt en de schaalbaarheid beperkt naarmate de exploratie uitbreidt.
• Scene graphs bieden compacte structurele abstracties, maar vertrouwen vaak op voortijdige abstractie voordat een taak is gespecificeerd, wat potentieel visueel bewijs wegwerpt dat cruciaal is voor toekomstige taken.
• Beeldgebaseerd redeneren behoudt rijke visuele details, maar mist expliciete structurele organisatie, waardoor het moeilijk is om te redeneren over welk niveau van aanvullende informatie nodig is.

Bovendien falen bestaande methoden vaak in het adaptief selecteren van de exploratie-omvang. Robots moeten niet alleen redeneren over wat er ontbreekt, maar ook over op welk abstractieniveau (kamer, view of object) aanvullende informatie verzameld moet worden om hiermee efficiënt taalgaten te vullen.

Methodologie: ObsGraph

De auteurs stellen ObsGraph voor, een verenigd framework dat observatie-gecentreerde scène-representatie, hiërarchische retrieval en adaptieve exploratie nauw integreert. De kerninnovatie is een hiërarchische scene graph die visuele observaties organiseert in drie afzonderlijke lagen: Room (Kamer), View (Gezichtspunt) en Object.

1. Observatie-gecentreerde Scene Graph

In tegenstelling tot methoden die omgevingen samenvatten in abstracte eigenschappen, behoudt ObsGraph de visuele observaties zelf, hiërarchisch georganiseerd:

• Room Layer (Kamerlaag): Dient als een grove ruimtelijke anker. Het slaat geïnferreerde kamertypes op en organiseert views per kamer. Kamertoewijzingen worden bijgewerkt via Bayesiaanse inferentie met behulp van VLM-voorspellingen van kamertypes en object-affiliaties, waarbij directe voorspellingen worden gefuseerd met object-niveau cues voor robuustheid.
• View Layer (View-laag): Bewaart object co-visibility als contextuele informatie. In plaats van alle afbeeldingen op te slaan, stellen de auteurs een informatieve view-selectiestrategie voor. Deze methode gebruikt agglomeratieve clustering gebaseerd op object co-visibility om een subset van afbeeldingen te selecteren die diverse objectrelaties vastlegt terwijl visuele redundantie wordt vermeden. Representatieve views worden aan clusters toegewezen op basis van CLIP-gelijkenis, wat zorgt voor een compacte maar contextrijke laag.
• Object Layer (Objectlaag): Slaat object-gecentreerde crops op voor elk gedetecteerd object. Deze bieden fijngranulaire visuele details die verloren kunnen gaan of ambigu kunnen zijn in de bredere view-laag.

De graaf wordt incrementeel bijgewerkt wanneer nieuwe observaties binnenkomen, waarbij nieuwe objecten worden geïntegreerd en clusters worden verfijnd, terwijl stabiele hogere-orde abstracties behouden blijven.

2. Hiërarchische Retrieval

Gezien een taak voert het systeem een coarse-to-fine retrieval proces uit met behulp van een Large Language Model (LLM) met een begrensde query-budget.

• De retrieval doorloopt de hiërarchie (Room $\to$ View $\to$ Object) en vernauwt progressief de zoekruimte.
• Op elke laag selecteert de LLM tot $k$ relevante nodes op basis van taakrelevantie.
• De kandidaatruimte voor de volgende laag wordt beperkt tot nodes die structureel verbonden zijn met de geselecteerde nodes, wat multi-branch redeneren mogelijk maakt zonder uitputtende LLM-aanroepen.
• Dit proces haalt specifieke kamertypes, views en object-crops op die de bewijslast voor de taak vormen.

3. Adaptieve Exploratiestrategie

De retrieval-uitkomsten structureren direct de exploratie-kandidaatruimte. Als de opgehaalde bewijslast onvoldoende is om de taak te voltooien, activeert het systeem exploratieopties die overeenkomen met het abstractieniveau waar de kloof werd geïdentificeerd:

• Room Exploration: Wordt getriggerd als een relevante kamer is geïdentificeerd maar er onverkende regio's binnen bestaan. De agent richt zich op onverkende clusters binnen die kamer.
• View Refinement: Wordt getriggerd als een relevante view is geïdentificeerd maar de observatie onvoldoende is (bijv. door schaal, occlusie of hoek). De agent selecteert strategieën zoals "dichterbij view", "bredere context" of "ander perspectief" om rijkere bewijslast te verwerven.
• Frontier Exploration: Dient als de standaardoptie voor het verzamelen van bredere scène-observaties wanneer geen specifiek niveau relevante informatie biedt.

Een Vision-Language Model (VLM) redeneert over de gestructureerde opties en de opgehaalde bewijslast om het meest geschikte exploratiemdoel te selecteren, waardoor hoogwaardige semantische redenering wordt ontkoppeld van lage-orde coördinatenberekening.

4. Terminatiecheck

Een aparte VLM-query bepaalt of de geaccumuleerde bewijslast voldoende is om de taak te beantwoorden, om onnodige exploratie te voorkomen.

Belangrijkste Bijdragen

1. Taak-agnostische Observatie-gecentreerde Scene Graph: Een hiërarchische representatie (Room-View-Object) die rijke visuele bewijslast behoudt terwijl deze gestructureerd is voor taakbewuste redenering.
2. Informatieve View Selectie: Een clustering-gebaseerde strategie om een compacte view-laag te construeren die diverse object co-visibility patronen behoudt terwijl redundantie wordt geminimaliseerd.
3. Scene Graph-gestuurde Retrieval: Een coarse-to-fine retrieval schema dat gebruikmaakt van hiërarchische structurele en semantische context om ontbrekende taakrelevante informatie te identificeren.
4. Adaptieve Exploratie: Een strategie die de exploratieschaal (room, view of frontier) dynamisch aanpast op basis van het abstractieniveau van de geïdentificeerde informatiekloven.

Experimentele Resultaten

De auteurs hebben ObsGraph geëvalueerd op drie benchmarks: EM-EQA (Episodisch Geheugen), A-EQA (Actieve Exploratie) en GOAT-Bench (Doelgerichte Navigatie).

• EM-EQA (Representatie): ObsGraph behaalde een 61,5% LLM-Match nauwkeurigheid, waarmee het de state-of-the-art 3D-Mem (57,2%) en andere baselines versloeg. Het toonde aan dat het behouden van zowel visuele bewijslast als structurele context superieure prestaties oplevert. Opvallend genoeg verbeterde het de nauwkeurigheid met 4,3 punten ten opzichte van 3D-Mem, terwijl het gemiddelde aantal bevraagde frames slechts met 0,2 toenam.
• A-EQA (Exploratie): ObsGraph behaalde de hoogste LLM-Match (54,5%) en LLM-SPL (45,0), waarmee het 3D-Mem (49,6% / 37,0%) overtrof. Dit geeft aan dat het framework niet alleen informatie beter ophaalt, maar ook de exploratie efficiënter stuurt.
• GOAT-Bench (Navigatie): In doelgerichte navigatie behaalde ObsGraph een Success Rate (SR) van 72,7% en 51,5 SPL, waarmee het alle baselines inclusief 3D-Mem (69,1% SR) versloeg.

Ablatie-studies bevestigden dat elke laag (Room, View, Object) en elke exploratieoptie (Room, View Refinement, Frontier) significant bijdraagt aan zowel nauwkeurigheid als efficiëntie. Het verwijderen van de view-selectiestrategie of de hiërarchie resulteerde in aanzienlijke prestatieverliezen.

Betekenis en Claims

Het artikel claimt dat ObsGraph er succesvol in slaagt om scène-representatie, retrieval en exploratie te verenigen in een enkele taakbewuste lus. Door de exploratie-kandidaatruimte te structureren volgens het opgehaalde abstractieniveau, stelt het systeem gericht informatie verzamelen mogelijk, gedreven door geïdentificeerde bewijskloven.

De auteurs benadrukken dat hun aanpak de beperkingen van eerder werk aanpakt door:

• Voortijdige abstractie te vermijden die nuttig visueel bewijs wegwerpt.
• Expliciete mechanismen te bieden om te redeneren over welk niveau van aanvullende informatie nodig is.
• Robots in staat te stellen om adaptief te schakelen tussen grove (room) en fijnmazige (view/object) exploratieschalen.

Het artikel concludeert dat, hoewel de aanpak afhankelijk is van VLM-redenering (die gevoelig kan zijn voor perceptie- of taalfouten), het aantoont dat gestructureerde scène-representatie de succesvolle en efficiënte uitvoering van belichaamde redenering en exploratie in complexe omgevingen aanzienlijk verbetert. Toekomstig werk wordt gesuggereerd om de integratie van robuustere geometrische redenering te onderzoeken en uit te breiden naar dynamische, langdurige taken.