FOUND-IT: Foundation-model-first Task-driven 3D Scene Graphs with Granularity on Demand

Technische Samenvatting: FOUND-IT

Probleemstelling
Huidige methoden voor het construeren van 3D-scenegraphs staan voor twee primaire beperkingen: een afhankelijkheid van gekalibreerde dieptesensoren (stereo of RGB-D) en een gebrek aan flexibiliteit in semantische granulariteit. Bestaande real-time systemen vereisen vaak complexe pijplijnen en vaste sensoropstellingen, wat de inzetbaarheid beperkt. Bovendien committeren ze zich doorgaans tot een specifieke objectgranulariteit op het moment van mapping of vertrouwen op een vooraf gedefinieerde, statische lijst van taken. Deze rigiditeit verhindert dat robots hun ruimtelijke representatie dynamisch aanpassen; bijvoorbeeld kan een robot niet eenvoudig schakelen van navigeren naar een "fornuis" (grove granulariteit) naar het manipuleren van een specifieke "knop" op dat fornuis (fijne granulariteit) zonder opnieuw te mappen of de taak vooraf te definiëren. Daarnaast worstelen veel benaderingen om doorgankelijkheid (plekken) en regio-definities te generaliseren over diverse binnen- en buitenomgevingen zonder te vertrouwen op gestructureerde geometrische prioren.

Methodologie
De auteurs stellen FOUND-IT (Foundation-model-first Task-driven 3D Scene Graphs with Granularity on Demand) voor, een systeem dat hiërarchische, open-set 3D-scenegraphs construeert uitsluitend met behulp van ongekalibreerde monokulaire video in real-time. Het systeem is gebouwd op Geometrische Foundation-modellen (GFMs), waarbij specifiek VGGT-SLAM 2.0 wordt ingezet als geometrische ruggengraat.

De architectuur bestaat uit vier hoofdlagen:

1. Geometrische Mapping: Het systeem verwerkt een stroom monokulaire beelden en kiest sleutelframes op basis van dispariteit. Deze worden ingevoerd in een GFM om dichte dieptekaarten, poses en camera-intrinsieken te genereren. Submaps worden gekoppeld en globaal geoptimaliseerd met behulp van een factorgrafiek op de SL(4)-manifold. Om het geheugen te beheren, sparsificeert het systeem optioneel de kaart via voxelisatie, waardoor de totale kaart spaarzaam blijft terwijl opgevraagde objecten dicht kunnen worden weergegeven.
2. Objectlaag (Visueel Geheugen & Cache): In plaats van objectinstanties vooraf te extraheren, maakt FOUND-IT gebruik van een tweestaps-geheugensysteem.
   • Visueel Geheugen: Sleutelframes worden door een op CLIP gebaseerde Perceptie-encoder geleid om semantische embeddings te creëren. Dit stelt de vorming van objecten uit totdat een query wordt ontvangen.
   • Vorming op Query-tijd: Bij ontvangst van een tekstquery berekent het systeem de cosinus-sequentie tussen de query-embedding en de sleutelframe-embeddings. Relevante sleutelframes worden vervolgens verwerkt door SAM3 om 2D-segmentatiemaskers te genereren, die met behulp van de diepte van de GFM worden teruggeprojecteerd naar 3D.
   • Gecachet Geheugen: Opgeloste objecten worden opgeslagen als puntwolken met 3D-georiënteerde omhullende dozen. Opvolgende queries controleren eerst deze cache, wat een incrementele, taakgestuurde kaartopbouw mogelijk maakt zonder herberekening.
3. Plekkenlaag (Doorgankelijkheid): Om doorgankelijke ruimte in kaart te brengen zonder complexe geometrische clustering, voegen de auteurs een grondsegmentatiekop toe aan de GFM. Door empirische analyse hebben ze vastgesteld dat tussenliggende lagen van de GFM (in plaats van de laatste laag) de beste kenmerken bieden voor grondsegmentatie. Deze kop voorspelt grondmaskers, die worden omgezet in een spaarzame grafiek van vierkante tegels. Deze grafiek ondersteunt lus-sluitingen en dynamische vervorming.
4. Regielaag: Regio's (bijv. "keuken", "parkeerplaats") worden niet vooraf gepartitioneerd, maar zijn query-gedreven subsets van de plekken-grafiek. Elke plaatsnode vat zijn waarnemingen samen met behulp van een von Mises-Fisher (vMF)-verdeling van semantische embeddings, waarbij zowel een gemiddelde richting als een concentratieparameter worden vastgelegd. Een open-vocabulaire query wordt gescoord tegen deze verdelingen, gewogen op waarnemingsbetrouwbaarheid. Een op vertrouwen gebaseerde grafiek-labelpropagatie gladstrijkt scores over de plekken-grafiek, en een Gaussisch mengselmodel scheidt binnen-regio van buiten-regio plaatsen.

Agente Integratie
Het systeem is ontworpen om te worden gecoördineerd door een LLM-agent. In tegenstelling tot eerdere agente systemen die halen uit een vooraf gebouwd, vaststaande representatie, construeert de FOUND-IT-agent actief de scenegraph incrementeel. Het vraagt het visuele geheugen om relevante frames, extrahert objecten via SAM3 en werkt de cache bij, waardoor de representatie effectief "op aanvraag" wordt gebouwd op basis van de taak.

Belangrijkste Bijdragen

1. Taakgestuurde Granulariteit: Een nieuwe aanpak voor 3D-scenegraph-constructie die object- en regiogranulariteit bepaalt op query-tijd in plaats van mapping-tijd, wat dynamische taak-evolutie ondersteunt zonder een vooraf gedefinieerde takenlijst.
2. Monokulair Foundation-model-first: De eerste methode om hiërarchische 3D-scenegraphs te bouwen met ongekalibreerde monokulaire camera's door GFMs te benutten, waardoor de noodzaak voor dieptesensoren of complexe kalibratie wordt weggenomen.
3. Grondsegmentatie via Tussenliggende Lagen: Een demonstratie dat tussenliggende lagen van GFMs optimaal zijn voor grondsegmentatie, wat robuuste doorgankelijkheidsmapping mogelijk maakt in diverse binnen- en buitenomgevingen.
4. Clustering op Query-tijd: Een efficiënt algoritme voor het clusteren van plaatsen in open-set regio's met behulp van vMF-statistieken en grafiekpropagatie, wat flexibele regio-definities mogelijk maakt (bijv. een "speelkamer" binnen een "woonkamer") op basis van de specifieke taak.
5. Agente Constructie: Een integratie waarbij een LLM-agent de scenegraph-representatie incrementeel opbouwt op basis van binnenkomende queries, in plaats van een statische kaart te bevragen.

Experimentele Resultaten
De auteurs evalueren FOUND-IT over verschillende benchmarks en real-world scenario's:

• Clio Dataset (Open-set Objectextractie): FOUND-IT behaalde de beste prestaties in alle scènes (cabine, appartement, kantoor) wat betreft open-set recall en IoU, en presteerde beter dan zowel taakgestuurde baselines (zoals Clio en Bayesian Fields) als taagnostische open-set methoden.
• ASHiTA SG3D Benchmark (Taakgrondering): Het systeem toonde een verbetering van 79% in nauwkeurigheid ten opzichte van de vorige state-of-the-art (ASHiTA) voor het gronden van taakbeschrijvingen op objectlocaties.
• HOV-SG Benchmark (Regioclustering): De methode behaalde concurrerende precisie en recall ten opzichte van binnen-specifieke methoden (HOV-SG, Hydra) en overtrof ze in semantische nauwkeurigheid, ondanks dat ze minder leunt op binnen-structurele prioren.
• Real-time Prestaties: Op een NVIDIA Jetson Thor gemonteerd op een Spot-vierpotige robot, draait het systeem op 4 Hz met een lichtgewicht GFM (Depth Anything). Op een desktop GPU (RTX 3090) draait de volledige pijplijn op 6–7 Hz.
• Generalisatie in het Wild: Het systeem slaagde erin scenegraphs te construeren uit casual opgenomen YouTube-video's van makelaarsappartementenrondes, wat robuustheid toont tegen ongekalibreerde, variabele kwaliteitsinput.

Betekenis en Claims
Het artikel claimt dat FOUND-IT een fundamentele verschuiving vertegenwoordigt naar ruimtelijke intelligentie in robotica door kaartgranulariteit te ontkoppelen van het mapping-proces. Door foundation-modellen te gebruiken, bereikt het systeem plug-and-play 3D-reconstructie vanuit monokulaire video, terwijl het open-set, taakgestuurd redeneren ondersteunt. De auteurs benadrukken dat deze aanpak robots in staat stelt complexe loco-manipulatietaken aan te pakken waarbij het vereiste detailniveau dynamisch evolueert. Het werk onderstreept het potentieel van het benutten van tussenliggende kenmerken van foundation-modellen voor specifieke downstream-taken (zoals grondsegmentatie) en toont aan dat hoogwaardig, hiërarchisch scenebegrip haalbaar is zonder dure sensoruitrusting of rigide, vooraf gedefinieerde taakschema's.