GeoSAM-3D: Geodesic Prompt Propagation for Open-Vocabulary 3D Scene Segmentation from Monocular Video

Riepilogo Tecnico: GeoSAM-3D

Formulazione del Problema
GeoSAM-3D affronta la sfida della segmentazione di scene 3D open-vocabulary utilizzando un setup di input leggero: un breve video monoculare e un singolo prompt dell'utente (un clic, un box o un'etichetta testuale) su un singolo fotogramma. A differenza dei sistemi esistenti che si affidano a sensori RGB-D, immagini multi-view calibrate o mesh pre-ricostruite, GeoSAM-3D opera su una scena di 3D Gaussian Splatting ricostruita derivata esclusivamente da un video monoculare.

Il problema tecnico centrale è la leakage geometrica (perdita di precisione geometrica). Quando si propaga una maschera di prompt 2D in 3D, gli approcorsi standard basati sul k-nearest-neighbor (kNN) euclideo spesso falliscono perché ignorano la topologia della scena. Oggetti spazialmente vicini ma semanticamente distinti (ad esempio, la gamba di una sedia vicino al pavimento, o i due lati di un portale aperto) possono essere erroneamente uniti se la propagazione si basa esclusivamente sulla distanza euclidea. L'obiettivo è propagare il seed del prompt sulla scena di Gaussian primitive ricostruita in modo che la maschera 3D risultante rispetti la connettività delle superfici della scena piuttosto che la semplice prossimità spaziale.

Metodologia
Il sistema integra modelli foundation congelati con uno strato di propagazione su grafo differenziabile personalizzato. La pipeline si compone di quattro fasi principali:

1. Ricostruzione 3D: Uno stack di ricostruzione monoculare (ad es. MonoGS) converte il video in input in un campo di Gaussiani 3D, dove ogni gaussiano $g_i$ è definito da un centro $\mu_i$, covarianza $\Sigma_i$, opacità $\alpha_i$ e statistiche di aspetto $c_i$.
2. Supervisione 2D: Un prompt dell'utente su un singolo fotogramma genera una maschera 2D di alta qualità utilizzando SAM 2. Questa maschera viene "elevata" alla scena 3D per creare un vettore seed $s$ sui centroidi gaussiani, identificando i campioni positivi iniziali.
3. Costruzione del Grafo: Un grafo diretto k-nearest-neighbor (kNN) viene costruito sui centroidi gaussiani. I pesi degli archi $w_{ij}$ sono definiti da una funzione gaussiana della distanza tra i centroidi, simmetrizzata per formare un grafo non orientato. Il Laplaciano del grafo $L$ è calcolato da questi pesi.
4. Propagazione Geodesica tramite Heat-Kernel: Invece di utilizzare la distanza euclidea, GeoSAM-3D propaga l'etichetta utilizzando un'approssimazione di geodetica a kernel di calore (heat-kernel geodesic).
   • Risolve un passo di calore implicito: $(I + tL + \epsilon I)u = s$, dove $u$ rappresenta il campo di calore.
   • Il campo di calore viene convertito in una metrica di distanza utilizzando l'approssimazione di Varadhan: $d_i = \sqrt{\max(0, -4t \log(\max(u_i, \epsilon)))}$.
   • La probabilità finale della maschera soft è calcolata come $p_i = \exp(-d_i^2 / 2\sigma_d^2)$.
   • Questo approccio assicura che le etichette si diffondano lungo le superfici connesse e siano ostacolate da gap o bordi deboli, anche se i centroidi sono euclideamente vicini.
5. Testa di Feature: Una compatta testa transformer mappa gli attributi geometrici e di aspetto per ogni gaussiano in embedding normalizzati. Questa testa è addestrata tramite un obiettivo contrastivo per garantire che i gaussiani all'interno della stessa maschera derivata da SAM condividano feature simili, senza effettuare il fine-tuning dei modelli foundation congelati.

Contributi Chiave
Il paper presenta i seguenti contributi specifici:

1. Pipeline di Propagazione del Prompt: Un sistema che eleva le maschere video stile SAM in una scena di Gaussiani 3D monoculare e propaga le etichette sulle centroidi gaussiane utilizzando la topologia del grafo.
2. Strato di Propagazione Geodesica Differenziabile: Un'implementazione di uno strato di propagazione geodesica utilizzando un Laplaciano kNN-graph e un'approssimazione della distanza stile Varadhan, progettata per essere stabile su grafi non-manifold e sparsi.
3. Testa di Feature Contrastiva: Un estrattore di feature per ogni gaussiano addestrato tramite coerenza di maschera contrastiva anziché tramite il fine-tuning di grandi modelli foundation.
4. Implementazione Riproducibile: Un repository pubblico su GitHub e uno spazio su Hugging Face contenenti il codice, i test unitari per la correttezza geodesica, i controlli di normalizzazione delle feature e una demo interattiva sicura per CPU.

Risultati e Validazione
Il paper dichiara esplicitamente di non rivendicare ancora prestazioni state-of-the-art su benchmark di segmentazione 3D standard (ad es. ScanNet o Replica). Invece, i risultati attuali si concentrano sulla validazione dell'implementazione e sulla correttezza ingegneristica:

• Test Unitari: Il codebase include 15 test superati che coprono il kernel geodetico del calore, il comportamento della distanza del seed, l'intervallo di propagazione delle etichette, i controlli di normalizzazione della testa delle feature e i contratti dell'interfaccia applicativa.
• Controlli di Validazione: Il sistema verifica che le distanze dei seed siano non negative, monotone sui grafi di test, e che la testa delle feature produca embedding correttamente dimensionali e L2-normalizzati.
• Protocollo di Valutazione: Il paper delinea un protocollo rigoroso per futuri benchmarking, inclusi metriche per 3D mIoU, robustezza del prompt (varianza tra le posizioni dei seed), tassi di leakage tra superfici vicine e latenza. Propone di stratificare i risultati in base alla qualità della ricostruzione (ad es. geometria pulita vs superfici fuse) per isolare i fallimenti di propagazione dagli errori di ricostruzione.

Significatività e Rivendicazioni
GeoSAM-3D si posiziona come un ponte ingegneristico tra i modelli foundation video, la ricostruzione 3D monoculare e il ragionamento geometrico basato su grafi. La sua principale significatività risiede in:

• Accessibilità: Permettere la segmentazione 3D da semplici video monoculari di smartphone senza richiedere hardware RGB-D costosi o mesh preesistenti.
• Ragionamento Geometrico: Dimostrare che la propagazione del prompt deve seguire la connettività della scena (geodesiche) piuttosto che la pura prossimità euclidea per prevenire la leakage tra oggetti distinti.
• Modalità di Fallimento Trasparenti: Inquadrando il problema come propagazione su grafo di una scena ricostruita, il sistema offre modalità di fallimento interpretabili. Se la ricostruzione monoculare fonde due superfici, la geodetica del grafo non può separarle; il paper sostiene la necessità di riportare esplicitamente questi fallimenti invece di tentare di regolare il kernel per nasconderli.

Il paper conclude che, sebbene l'attuale implementazione validi il core del kernel del grafo e l'interfaccia, il pieno potenziale del metodo dipenderà da futuri benchmarking contro baseline euclidee, random-walk e graph-cut, e dall'integrazione di solver sparsi per la scalabilità.