Sintesi Tecnica: CasaMaestro

Problema

Lo sviluppo rapido dell'IA incarnata (embodied AI) per gli ambienti domestici richiede una ricostruzione 3D veloce e metricamente accurata degli spazi residenziali per supportare la navigazione e l'esecuzione di compiti a lungo termine. Le attuali pipeline di ricostruzione 3D allo stato dell'arte si affidano principalmente a modelli di fondazione visiva (VFM) basati su telecamere pinhole. Tali metodi presentano limitazioni significative quando applicati a scene indoor su scala domestica:

1. Campo Visivo (FoV) Limitato: Le telecamere pinhole richiedono sequenze di immagini dense (migliaia di immagini) per coprire più stanze, il che comporta elevati costi computazionali e sforzo umano.
2. Errori di Drift e Accumulo: Lunghe catene di allineamento incrementale in sequenze dense esacerbano il drift, causando gravi errori di ricostruzione.
3. Fallimento della Cattura Sparsa: I modelli pinhole esistenti faticano con viewpoint sparsi (poche immagini), fallendo spesso nel recuperare la geometria della scena a causa della scarsa sovrapposizione.
4. Dipendenza dall'Hardware: Sebbene il LiDAR offra asset di alta qualità, esso è costoso e dipendente dall'hardware, mentre le soluzioni basate sulla visione mancano di robustezza per input panoramici sparsi su larga scala.

Gli approcci panoramici esistenti sono ampiamente limitati alla predizione della profondità a vista singola o a impostazioni multi-vista su piccola scala e corto raggio (ad esempio, 2–5 viste), non riuscendo ad affrontare la sfida della ricostruzione su scala domestica da panoramiche multi-vista sparse.

Metodologia

CasaMaestro viene introdotto come il primo modello feedforward capace di ricostruzione 3D panoramica multi-vista senza estrinseci, utilizzando catture sparse su scala domestica (20–50 panoramiche). L'architettura segue una filosofia di design minimalista, costruita su un backbone DINOv2 con teste specializzate per profondità e posa.

1. Backbone Multi-Vista Unificato

Il modello utilizza un backbone transformer DINOv2 vanilla per elaborare un numero arbitrario di viste panoramiche in ingresso ($V$).

• Tokenizzazione: Le panoramiche in ingresso sono trattate come viste distinte. Gli embedding dei patch vengono generati per ogni vista.
• Meccanismo di Attenzione: Il backbone alterna l'auto-attenzione intra-vista (elaborazione indipendente delle singole viste) e l'auto-attenzione cross-vista (appiattimento della dimensione della vista per consentire ai token di diverse viste di scambiare informazioni). Questa interazione globale inietta un contesto di scena completo, migliorando la robustezza contro i grandi spostamenti di viewpoint.
• Output: Il backbone produce rappresentazioni condivise utilizzate sia per la stima della profondità che della posa.

2. Decoder della Posa della Telecamera Panoramica

Per affrontare le specifiche sfide geometriche degli input panoramici, viene introdotto un decoder della posa della telecamera leggero e dedicato, che scinde la stima della posa dal backbone principale.

• Motivazione: Mentre il backbone estrae feature dense, la stima della posa è un compito geometrico globale che richiede l'allineamento tra le viste. La regressione indipendente (MLP per vista) manca di uno scambio esplicito di informazioni.
• Architettura:
  • Proiezione delle Feature: Le feature vengono proiettate alla dimensione del modello.
  • Raffinamento Per-Vista: Un MLP di pre-attenzione con connessioni residue condiziona i token.
  • Attenzione Cross-Vista: Un livello di decoder transformer aggrega le informazioni attraverso la dimensione della vista, utilizzando una maschera di attenzione opzionale per gestire le regioni non valide (ad esempio, i pali della telecamera).
  • Teste di Posa: Teste lineari separate regolano la traslazione ($\mathbf{t} \in \mathbb{R}^3$) e la rotazione (quaternione unitario $\mathbf{q} \in \mathbb{R}^4$). La rotazione è esplicitamente normalizzata per garantire la validità geometrica.
• Vantaggio: Questo design permette al backbone di concentrarsi sull'estrazione delle feature mentre il decoder impone esplicitamente la coerenza globale per la predizione della posa.

3. Data Augmentation ERP

Per superare la scarsità di viewpoint diversificati nei dataset esistenti (dove le viste hanno spesso rotazioni relative minime), gli autori propongono una nuova strategia di data augmentation tramite Proiezione Equirettangolare (ERP).

• Processo: Rotazioni casuali (yaw, pitch, roll) vengono campionate e applicate alla panorama sorgente tramite rotazione dei raggi e rimappatura.
• Coerenza: L'augmentation preserva rigorosamente la geometria 3D applicando simultaneamente la deformazione (warping) alle immagini RGB, alle mappe di profondità e aggiornando le matrici estrinseche della telecamera (blocco di rotazione) tramite moltiplicazione a destra.
• Impatto: Questo genera coppie posa-vista abbondanti, aumentando significativamente la robustezza del modello ai cambiamenti di orientamento e incoraggiando il ragionamento cross-view.

Contributi Chiave

1. Modello CasaMaestro: Il primo modello feedforward per la ricostruzione panoramica metrica su scala domestica. Accetta 20–50 panoramiche indoor sparse e predice direttamente la profondità metrica e le pose della telecamera, consentendo la ricostruzione immediata di nuvole di punti di intere abitazioni.
2. Decoder della Posa Leggero: Un decoder specializzato progettato per gestire grandi spostamenti negli input panoramici, raggiungendo una precisione superiore nella stima della posa attraverso meccanismi di attenzione cross-view.
3. Data Augmentation ERP: Una nuova strategia per generare coppie pose-vista diversificate dai dati esistenti, affrontando il limite della rotazione limitata dei viewpoint nei dataset di addestramento attuali.

Risultati Sperimentali

Il modello è stato addestrato sul dataset Realsee3D ed è stato valutato sia su scene reali che sintetiche, inclusi test zero-shot su dataset non visti (PanoSUNCG, HM3D, Replica).

• Stima della Posa: CasaMaestro supera significativamente i metodi esistenti (inclusi PanoPose, SPR, VGGT e Pi3).
  • Su Realsee-Real, raggiunge un AUC@30 di 0,903, rappresentando un miglioramento dell'84% rispetto al miglior risultato precedente.
  • Su Realsee-Syn, raggiunge un AUC@30 di 0,927, rappresentando un miglioramento del 119%.
  • Dimostra errori bilanciati tra rotazione e traslazione, mentre altri metodi soffrono spesso di alti errori di rotazione o falliscono la ricostruzione delle strutture domestiche sotto viste sparse.
• Stima della Profondità:
  • CasaMaestro raggiunge un AbsRel di 0,078 su Realsee-Real e 0,079 su Realsee-Syn.
  • Nelle valutazioni zero-shot su dataset non visti, mostra una diminuzione media del 21,98% in AbsRel rispetto ai migliori metodi precedenti di stima della profondità panoramica, nonostante non sia stato progettato esclusivamente per la profondità.
• Performance Qualitativa: I confronti visivi mostrano che, mentre altri metodi producono ricostruzioni disordinate o corrotte con input sparsi, CasaMaestro ripristina accuratamente le strutture domestiche con copertura completa e coerenza geometrica.

Significato e Rivendicazioni

Il paper sostiene che CasaMaestro stabilisce un nuovo paradigma per la ricostruzione 3D dimostrando che la ricostruzione "any-view" feedforward non è limitata alle telecamere pinhole. Sfruttando le panoramiche multi-vista, il modello ottiene:

• Efficienza: Riducendo il tempo di ricostruzione da ~25s (pinhole densa) a 0,56s per scene su scala domestica.
• Robustezza: Gestendo con successo input sparsi (20–50 viste) dove i metodi tradizionali falliscono.
• Fondamenta per la Simulazione: Fornendo una solida base per l'acquisizione di asset 3D indoor su scala domestica per la simulazione a ciclo chiuso nell'IA incarnata.

Gli autori concludono che l'ascesa dei Vision Foundation Models basati su panoramiche e telecamere fisheye potrebbe fornire una nuova rivoluzione nei compiti 3D, andando oltre i limiti dei modelli pinhole a campo visivo stretto.