FurnSet: Exploiting Repeats for 3D Scene Reconstruction

1. Il Problema

La ricostruzione di scene 3D a partire da una singola immagine (single-view) è una sfida complessa che richiede di inferire sia la geometria degli oggetti individuali sia il loro layout spaziale all'interno della scena.

• Sfide principali: Gli oggetti nelle scene reali sono spesso parzialmente occlusi (natura amodale), rendendo difficile ricostruire la geometria completa basandosi su un'unica vista.
• Limitazioni degli approcci esistenti: I metodi attuali tendono a ricostruire gli oggetti in modo indipendente o si basano su un contesto implicito. Non sfruttano efficacemente il fatto che, in molti ambienti reali (specialmente interni), gli oggetti appaiono spesso in insiemi ripetuti (es. più sedie identiche, più lampade uguali). Queste istanze ripetute offrono osservazioni complementari da diversi punti di vista e con diversi livelli di occlusione, informazioni che i metodi attuali non aggregano per migliorare la ricostruzione.

2. Metodologia: FurnSet

FurnSet è un framework progettato per identificare esplicitamente e sfruttare le istanze ripetute di oggetti per migliorare la qualità della ricostruzione 3D. L'architettura si articola in diverse fasi chiave:

A. Pre-elaborazione e Condizionamento

• Utilizza un modello di segmentazione "off-the-shelf" per estrarre maschere degli oggetti, immagini segmentate e nuvole di punti superficiali dalla scena.
• Le immagini della scena e degli oggetti segmentati vengono codificate utilizzando un encoder pre-addestrato (DINOv2) per estrarre caratteristiche visive a livello di scena e di oggetto.

B. Generazione di Voxel Strutturati Set-Aware (Set-Aware Structured Voxel Generation)

Questa è la componente centrale del metodo, basata su un Diffusion Transformer (DiT) con flusso rettificato:

• Token CLS per Oggetto: Per ogni oggetto viene assegnato un token speciale (CLS). Questi token vengono concatenati ai token dell'oggetto e processati insieme.
• Meccanismo di Attenzione Self-Aware:
  • Self-Attention a livello di oggetto: Gestisce le informazioni interne all'oggetto.
  • Self-Attention a livello di scena: Permette l'interazione tra tutti gli oggetti.
  • Identificazione delle Repliche: I token CLS vengono normalizzati e confrontati tramite similarità coseno per creare una matrice di similarità. Questa matrice funge da bias gate per l'attenzione: istanze identiche (simili) ricevono un'attenzione reciproca più forte rispetto ad oggetti diversi.
• Aggregazione: Questo meccanismo permette alle istanze ripetute di condividere informazioni geometriche, ricostruendo congiuntamente una struttura comune più completa e robusta, sfruttando le parti visibili di ciascuna istanza per colmare le occlusioni delle altre.

C. Generazione di Latenti Strutturati e Texture

• Dopo aver generato la struttura sparsa (voxel), un modello di generazione di latenti strutturati produce le caratteristiche di texture e geometria fine.
• Se un insieme di oggetti identici è stato identificato, viene generata una singola struttura di voxel condivisa per l'intero insieme, che viene poi replicata e posizionata per ogni istanza, garantendo coerenza strutturale.
• I latenti vengono decodificati in rappresentazioni 3D Gaussian Splat (GS) per ottenere mesh/texturizzate di alta qualità.

D. Stima del Layout e Ottimizzazione

• Viene stimata una mappa di profondità a livello di scena e convertita in una nuvola di punti 3D.
• Un ottimizzatore di layout calcola la posa (traslazione, rotazione verticale, scala) di ogni oggetto.
• L'ottimizzazione minimizza una funzione di perdita combinata:
  1. Perdita 3D (Chamfer Distance): Allineamento tra la nuvola di punti dell'oggetto generato e quella osservata.
  2. Perdita 2D (Chamfer Distance di proiezione): Allineamento tra la proiezione dell'oggetto generato e l'immagine 2D originale.

3. Contributi Chiave

1. Framework di Ricostruzione Unificato: Un approccio che combina informazioni a livello di scena e di oggetto per guidare la generazione della geometria.
2. Token CLS e Attenzione Set-Aware: L'introduzione di token specifici per identificare istanze ripetute e un meccanismo di attenzione che aggrega osservazioni complementari tra oggetti identici, permettendo una ricostruzione congiunta.
3. Valutazione Completa: Un'analisi approfondita che dimostra come lo sfruttamento della ripetizione migliori significativamente la robustezza, specialmente in scenari con forti occlusioni.

4. Risultati Sperimentali

Il metodo è stato valutato sui dataset 3D-Future e 3D-Front, confrontandosi con stati dell'arte come MIDI, SceneGen e SAM-3D.

• Metriche: Sono stati utilizzati Chamfer Distance (CD) e F-Score sia a livello di scena (S) che di oggetto (O).
• Performance: FurnSet ha ottenuto i migliori risultati complessivi in tutte le metriche.
  • CD-O (Oggetto): 0.0336 (vs 0.0437 di SAM-3D e 0.0483 di SceneGen).
  • F-Score-O: 74.14 (vs 65.46 di SAM-3D).
• Focus sulle Istanze Ripetute: Il miglioramento è particolarmente marcato per gli oggetti ripetuti (CD-O: 0.0281, F-Score-O: 77.72), confermando che l'aggregazione delle osservazioni complementari risolve efficacemente le ambiguità causate dalle occlusioni.
• Studio Ablativo: La rimozione dell'attenzione globale o del meccanismo "set-aware" ha portato a un calo significativo delle prestazioni, dimostrando che entrambi i componenti sono essenziali per la coerenza geometrica e la gestione delle occlusioni.

5. Significato e Impatto

FurnSet rappresenta un passo avanti significativo nella ricostruzione 3D da singola vista. Dimostra che sfruttare esplicitamente la struttura ripetitiva delle scene reali è una strategia potente per superare i limiti imposti dalle occlusioni e dalla scarsità di informazioni visive.

• Robustezza: Permette di ricostruire geometrie più complete e accurate anche quando gli oggetti sono parzialmente nascosti.
• Coerenza: Garantisce che oggetti identici in una scena abbiano una struttura geometrica coerente, evitando incongruenze tipiche dei metodi che trattano ogni oggetto in isolamento.
• Applicabilità: Questo approccio è cruciale per applicazioni che richiedono modelli 3D fedeli, come la Realtà Aumentata (AR), la Realtà Estesa (XR), la simulazione per la robotica e la guida autonoma, dove la precisione geometrica e la consistenza semantica sono fondamentali.