Technische Samenvatting: RGB-only Actieve 3D Scene Graph Generatie voor Interne Mobiele Robots

Probleemstelling

Huidige benaderingen voor 3D Scene Graph (3DSG) generatie staan voor twee primaire beperkingen die hun inzet in diverse robotische en infrastructuuromgevingen belemmeren:

1. Hardware-afhankelijkheid: State-of-the-art methoden vertrouwen op dedicated dieptesensoren (LiDAR of RGB-D camera's) voor metrische 3D reconstructie. Dit beperkt de inzet tot gespecialiseerde platformen en sluit scenario's uit waar alleen handelsgebruikelijke RGB camera's beschikbaar zijn, zoals vaste externe bewakingsinfrastructuur, laagkostenrobots of handheld apparaten.
2. Passieve observatie: Bestaande pijplijnen werken doorgaans op vooraf opgenomen, passief verzamelde trajecten. Ze slagen er niet in om actief viewpoints te selecteren op basis van de gedeeltelijk opgebouwde scene representatie, waardoor ze kansen missen om de semantische en ruimtelijke informatie die in het graf is gecodeerd, te benutten om exploratie efficiënt te sturen.

Gevolg hiervan is er behoefte aan een kader dat 3DSG's kan construeren met uitsluitend RGB-inputs, terwijl het de robot actief leidt om informatiewinst te maximaliseren.

Methodologie

De auteurs stellen een volledig visueel, hardware-onafhankelijk kader voor dat perceptie en planning verenigt rond een gedeelde gestructureerde representatie. Het systeem werkt als een incrementele perceptie-actie-lus (Figuur 1) bestaande uit drie kerncomponenten:

1. RGB-only 3DSG Generatie

De pijplijn verwerkt RGB-afbeeldingen om een puntenwolk en een scene graph ($G_t = \{O_t, E_t\}$) incrementeel bij te werken zonder ground-truth diepte.

• Geometrie en Pose Schatting: Het systeem maakt gebruik van MapAnything [11], een feed-forward model, om scenes-geometrie af te leiden uit RGB-inputs. Gegeven $N$ afbeeldingen, voorspelt het per-view straalrichtingen, schaal-afhankelijke dieptekaarten en camera-poses ten opzichte van de eerste afbeelding, samen met een globale metrische schalenfactor. Deze worden samengesteld om 2D-pixels terug te projecteren in een metrisch geschaalde 3D puntenwolk. Absolute posen worden hersteld door het referentiekader van de eerste input vast te leggen (bijv. een externe camera of initiële robotpose).
• Open-Vocabulary Semantische Mapping: RGB-afbeeldingen, geschatte dieptes en posen worden ingevoerd in ConceptGraphs [8].
  • Segmentatie & Embedding: SAM [22] extrahert klassene-agnostische instantiemaskers, en CLIP [23] embedt deze regio's in semantische beschrijvers.
  • 3D Associatie: Maskers worden geprojecteerd in 3D met behulp van de geschatte geometrie, en multi-view associaties mergen detecties tot 3D objectknooppunten ($O_t$).
  • Relatie Afleiding: In tegenstelling tot de originele ConceptGraphs die propriëtaire LLM's gebruikt voor relaties, leidt dit werk ruimtelijke randen ($E_t$) af via een deterministische, uitsluitend op geometrie gebaseerde procedure. Het evalueert vaste-prioriteit predikaten (bijv. op, gedragen door, in, naast) op basis van georiënteerde 3D bounding boxes, waarbij maximaal één rand wordt toegewezen per geordend paar om reproduceerbaarheid te waarborgen.

2. Actieve Semantische Perceptie (ASP)

Om de beperking van passieve trajecten aan te pakken, implementeert het kader een Next-Best-View (NBV) selectiestrategie.

• Geometrische Baseline: Het Surface Edge Explorer (SEE) [17] algoritme wordt gebruikt als baseline, waarbij frontierpunten worden geïdentificeerd op basis van meetdichtheid om oppervlaktecoverage te maximaliseren.
• Semantisch Gedreven Exploratie: De voorgestelde ASP module gebruikt de huidige 3DSG om exploratie te sturen. Een LLM steekt plausibele voltooiingen van de niet-geobserveerde scene af uit de huidige graf. Voor elke kandidaat-viewpoint berekent het systeem de verwachte informatiewinst (onderlinge informatie tussen de voorspelde observatie en de huidige graf) met behulp van Shannon-entropie. Het viewpoint dat deze winst maximaliseert, wordt geselecteerd, met prioriteit voor locaties die waarschijnlijk semantische ambiguïteiten oplossen (bijv. gebieden achter deuren).

3. Multi-View Externe Camera Integratie

Omdat het kader strikt visueel is, kan het observaties van niet-gekalibreerde vaste externe RGB-camera's verwerken naast aan boord zijnde robotcamera's. Deze externe views worden identiek verwerkt als egocentrische afbeeldingen, waardoor ze een brede initiële schatting van de scene kunnen bieden (bootstrapping) en de graf kunnen updaten tijdens exploratie zonder dat robotbeweging vereist is.

Belangrijkste Bijdragen

1. RGB-only Pijplijn: Een nieuwe pijplijn voor 3D scene graph generatie die uitsluitend vertrouwen op RGB-inputs, waardoor de afhankelijkheid van dieptesensoren wordt verwijderd.
2. Actieve Semantische Lus: De integratie van de 3DSG representatie in een actieve exploratielus, wat semantisch gedreven NBV-selectie mogelijk maakt die geometrische baselines overtreft.
3. Gebruik van Externe Camera's: Een evaluatie die aantoont dat vaste externe RGB-camera's effectief scene graphs kunnen bootstrappen en verbeteren, waardoor contextueel begrip wordt versterkt zonder extra exploratiekosten.

Experimentele Resultaten

De methode werd geëvalueerd op de Replica en ReplicaCAD datasets in drie settings:

1. Validatie van Statische Pijplijn (Replica)

• Vergelijking: De voorgestelde RGB-only variant (CG-RGB) werd vergeleken met de originele ConceptGraphs (CG) met gebruik van ground-truth diepte.
• Resultaat: De RGB-only pijplijn bereikte F1-score pariteit (0,500 vs. 0,499) met de ground-truth baseline. Hoewel de precisie licht daalde door ruisiger dieptepredicties, verbeterde de recall, wat suggereert dat het systeem te agressief mergen van dicht bij elkaar gelegen objecten vermijdt.

2. Actieve Exploratie (ReplicaCAD)

• Opstelling: Experimenten werden uitgevoerd in de Habitat simulator over 30 exploratiestappen.
• Resultaat: Het semantisch gedreven ASP kader overtrof de geometrische SEE baseline significant.
  • Object Detectie: ASP detecteerde ~110 objecten (naderend aan de ground truth van 124), terwijl SEE stagneerde bij ~45.
  • Recall: ASP behaalde dubbele recall van SEE (0,54 vs. 0,22).
  • Efficiëntie: ASP bereikte de kwaliteit van honderden passieve trajectframes in slechts 30 intelligente bewegingen.

3. Externe Camera Integratie

• Bootstrapping: Het initialiseren van de scene graph met een enkele bovenaanzicht externe camera verhoogde het startknooppuntaantal voor SEE met 125% en voor ASP met 57%, met overeenkomstige verbeteringen in initiële recall.
• Standalone Infrastructuur: In experimenten waarbij uitsluitend vaste externe camera's (1–3 camera's) werden gebruikt zonder mobiele robot:
  • In gemeubileerde kamers bereikten 3 camera's een F1-score van 0,516, waarbij direct meer dan 55% van de ground-truth objecten werd hersteld.
  • In complexe appartementen bereikten 3 camera's een F1-score van 0,421.
  • Hoewel statische viewpoints de recall van actieve 30-staps exploratie niet kunnen evenaren, vestigen ze succesvol de dominante structuur van de omgeving.

Betekenis en Claims

Het artikel stelt dat actieve robotperceptie meer baat heeft bij gestructureerde semantische representaties dan bij geometrie alleen. Door geometrie, semantiek en structuur te combineren, bieden 3D scene graphs een rijker perceptueel model dat op natuurlijke wijze bevraagbaar is door taalkundige modellen, en fungeren als ruimtelijke redeneermotoren voor gedeeltelijk waargenomen omgevingen.

De verwijdering van de afhankelijkheid van dieptesensoren biedt praktische voordelen:

• Hardware-onafhankelijkheid: Het systeem ondersteunt heterogene visuele inputs, wat inzet op laagkostenrobots en integratie met bestaande bewakingsinfrastructuur mogelijk maakt.
• Verminderde Exploratiekosten: Externe camera's kunnen de scene graph bootstrappen, waardoor de behoefte aan uitgebreide robotexploratie wordt verminderd terwijl het scene begrip wordt verbeterd.
• Veiligheid en Planning: Complementaire views kunnen obstakels en vrije ruimte onthullen voordat deze zichtbaar zijn voor de aan boord zijnde camera, wat zowel geometrische als semantische onzekerheid vermindert voor veiligere bewegingsplanning.

Uiteindelijk onderstreept het werk het potentieel van semantics-first representaties als fundament voor betrouwbare en schaalbare robotautonomie in real-world inzetten waar gespecialiseerde sensoren niet beschikbaar zijn.