FOUND-IT: Foundation-model-first Task-driven 3D Scene Graphs with Granularity on Demand

Riepilogo Tecnico: FOUND-IT

Enunciato del Problema
I metodi attuali per la costruzione di grafi di scena 3D affrontano due limitazioni principali: la dipendenza da sensori di profondità calibrati (stereo o RGB-D) e la mancanza di flessibilità nella granularità semantica. I sistemi esistenti in tempo reale richiedono spesso pipeline complesse e configurazioni fisse dei sensori, limitando il dispiegamento. Inoltre, tipicamente si impegnano in una specifica granularità degli oggetti al momento della mappatura o si affidano a un elenco predefinito e statico di compiti. Questa rigidità impedisce ai robot di adattare dinamicamente la loro rappresentazione spaziale; ad esempio, un robot non può facilmente passare dalla navigazione verso una "stufa" (granularità grossolana) alla manipolazione di una specifica "manopola" su quella stufa (granularità fine) senza rimappare o predefinire il compito. Inoltre, molti approcci faticano a generalizzare la transitabilità (luoghi) e le definizioni di regione attraverso ambienti interni ed esterni diversificati senza affidarsi a priori geometrici strutturati.

Metodologia
Gli autori propongono FOUND-IT (Foundation-model-first Task-driven 3D Scene Graphs with Granularity on Demand), un sistema che costruisce grafi di scena 3D gerarchici e open-set utilizzando esclusivamente video monoculare non calibrato in tempo reale. Il sistema è basato su Modelli di Fondazione Geometrici (GFMs), sfruttando specificamente VGGT-SLAM 2.0 come colonna portante geometrica.

L'architettura è composta da quattro livelli principali:

1. Mappatura Geometrica: Il sistema elabora un flusso di immagini monoculari, designando fotogrammi chiave in base alla disparità. Questi vengono immessi in un GFM per generare mappe di profondità dense, pose e parametri intrinseci della camera. Le sotto-mappe vengono concatenate e ottimizzate globalmente utilizzando un grafo fattoriale sulla varietà SL(4). Per gestire la memoria, il sistema opzionalmente dirada la mappa tramite voxelizzazione, mantenendo la mappa complessiva sparsa mentre permette agli oggetti interrogati di essere rappresentati in modo denso.
2. Livello Oggetti (Memoria Visiva e Cache): Invece di estrarre preventivamente le istanze degli oggetti, FOUND-IT impiega un sistema di memoria a due stadi.
   • Memoria Visiva: I fotogrammi chiave vengono passati attraverso un Encoder di Percezione basato su CLIP per creare embedding semantici. Questo differisce la formazione degli oggetti fino alla ricezione di una query.
   • Formazione al Momento della Query: Ricevuta una query testuale, il sistema calcola la similarità coseno tra l'embedding della query e gli embedding dei fotogrammi chiave. I fotogrammi chiave pertinenti vengono quindi elaborati da SAM3 per generare maschere di segmentazione 2D, che vengono retro-proiettate in 3D utilizzando la profondità del GFM.
   • Memoria Cache: Gli oggetti risolti vengono archiviati come nuvole di punti con scatole delimitanti orientate 3D. Le query successive controllano prima questa cache, consentendo la costruzione incrementale e guidata dal compito della mappa senza ricalcolo.
3. Livello Luoghi (Transitabilità): Per mappare lo spazio transitabile senza clustering geometrico complesso, gli autori aggiungono un testa di segmentazione del suolo al GFM. Attraverso un'analisi empirica, hanno determinato che i livelli intermedi del GFM (piuttosto che lo strato finale) forniscono le migliori caratteristiche per la segmentazione del suolo. Questa testa prevede maschere del suolo, che vengono convertite in un grafo sparso di piastrelle quadrate. Questo grafo supporta la chiusura di loop e la deformazione dinamica.
4. Livello Regioni: Le regioni (ad esempio, "cucina", "parcheggio") non sono pre-partizionate ma sono sottoinsiemi guidati dalla query del grafo dei luoghi. Ogni nodo di luogo riassume le sue osservazioni utilizzando una distribuzione von Mises-Fisher (vMF) degli embedding semantici, catturando sia una direzione media che un parametro di concentrazione. Una query open-vocabulary viene valutata contro queste distribuzioni, pesata in base alla confidenza dell'osservazione. Una propagazione dell'etichetta del grafo consapevole della confidenza livella i punteggi attraverso il grafo dei luoghi, e un modello a mistura gaussiana separa i luoghi dentro la regione da quelli fuori dalla regione.

Integrazione Agente
Il sistema è progettato per essere orchestrato da un agente LLM. A differenza dei precedenti sistemi agentic che recuperano da una rappresentazione pre-costruita e fissa, l'agente FOUND-IT costruisce attivamente il grafo di scena in modo incrementale. Interroga la memoria visiva per i fotogrammi pertinenti, estrae gli oggetti tramite SAM3 e aggiorna la cache, costruendo efficacemente la rappresentazione "su richiesta" in base al compito.

Contributi Chiave

1. Granularità Guidata dal Compito: Un approccio innovativo alla costruzione di grafi di scena 3D che determina la granularità degli oggetti e delle regioni al momento della query anziché al momento della mappatura, supportando l'evoluzione dinamica dei compiti senza un elenco predefinito di compiti.
2. Foundation-Model-First Monoculare: Il primo metodo per costruire grafi di scena 3D gerarchici utilizzando fotocamere monoculari non calibrate sfruttando i GFM, eliminando la necessità di sensori di profondità o calibrazioni complesse.
3. Segmentazione del Suolo tramite Livelli Intermedi: Una dimostrazione che i livelli intermedi dei GFM sono ottimali per la segmentazione del suolo, consentendo una mappatura della transitabilità robusta in ambienti interni ed esterni diversificati.
4. Clustering al Momento della Query: Un algoritmo efficiente per il clustering dei luoghi in regioni open-set utilizzando statistiche vMF e propagazione del grafo, consentendo definizioni di regioni flessibili (ad esempio, una "stanza da gioco" all'interno di un "soggiorno") basate sul compito specifico.
5. Costruzione Agente: Un'integrazione in cui un agente LLM costruisce incrementalemente la rappresentazione del grafo di scena in base alle query in arrivo, anziché interrogare una mappa statica.

Risultati Sperimentali
Gli autori valutano FOUND-IT su diversi benchmark e scenari reali:

• Dataset Clio (Estrazione Open-Set di Oggetti): FOUND-IT ha ottenuto le prestazioni migliori in tutte le scene (cubicle, appartamento, ufficio) in termini di recall open-set e IoU, superando sia le baseline guidate dal compito (come Clio e Bayesian Fields) sia i metodi open-set agnostici rispetto al compito.
• Benchmark ASHiTA SG3D (Grounding del Compito): Il sistema ha dimostrato un miglioramento del 79% nella precisione rispetto allo stato dell'arte precedente (ASHiTA) per l'ancoraggio delle descrizioni dei compiti alle posizioni degli oggetti.
• Benchmark HOV-SG (Clustering delle Regioni): Il metodo ha raggiunto precisione e recall competitivi rispetto ai metodi specifici per interni (HOV-SG, Hydra) e li ha superati in accuratezza semantica, nonostante si affidi meno a priori strutturali interni.
• Prestazioni in Tempo Reale: Su un NVIDIA Jetson Thor montato su un robot quadrupede Spot, il sistema gira a 4 Hz utilizzando un GFM leggero (Depth Anything). Su una GPU desktop (RTX 3090), l'intera pipeline gira a 6–7 Hz.
• Generalizzazione "In-the-Wild": Il sistema ha costruito con successo grafi di scena da video YouTube catturati casualmente di tour di appartamenti da agenti immobiliari, dimostrando robustezza a input non calibrati e di qualità variabile.

Significato e Affermazioni
Il documento afferma che FOUND-IT rappresenta un cambiamento fondamentale verso l'intelligenza spaziale nella robotica, disaccoppiando la granularità della mappa dal processo di mappatura. Utilizzando modelli di fondazione, il sistema raggiunge una ricostruzione 3D plug-and-play da video monoculare, supportando al contempo un ragionamento open-set guidato dal compito. Gli autori sottolineano che questo approccio permette ai robot di gestire compiti complessi di loco-manipolazione in cui il livello di dettaglio richiesto evolve dinamicamente. Il lavoro evidenzia il potenziale dello sfruttamento delle caratteristiche intermedie dei modelli di fondazione per compiti specifici a valle (come la segmentazione del suolo) e dimostra che una comprensione gerarchica della scena ad alta fedeltà è raggiungibile senza costose suite di sensori o schemi di compiti rigidi e predefiniti.