MapAnything: Universal Feed-Forward Metric 3D Reconstruction

Riepilogo Tecnico: MapAnything

Definizione del Problema

La ricostruzione 3D basata su immagini tradizionale si basa sulla decomposizione del problema in compiti distinti e sequenziali, come il rilevamento delle caratteristiche, l'appaiamento (matching), la stima della posa, la calibrazione della camera, il bundle adjustment e il multi-view stereo (MVS). Sebbene approcci feed-forward recenti abbiano unificato alcuni di questi compiti, essi rimangono spesso limitati a specifiche configurazioni di input (ad esempio, numero fisso di viste, input solo immagini) o richiedono costosi post-processing per recuperare la scala metrica e le pose delle camere. Esiste una mancanza di un modello unificato, end-to-end, capace di gestire diversi compiti di ricostruzione 3D — dalla Structure-from-Motion (SfM) non calibrata al MVS calibrato e alla completamento della profondità (depth completion) — sfruttando efficacementamente input eterogenei come l'intrinsica delle camere, le pose e le mappe di profondità.

Metodologia: MapAnything

MapAnything è un modello feed-forward unificato basato su transformer, progettato per regredire direttamente la geometria della scena 3D metrica e le pose delle camere da $N$ immagini di input e optional geometric inputs.

1. Rappresentazione Fattorizzata della Scena

L'intuizione centrale di MapAnything è l'uso di una rappresentazione fattorizzata della geometria della scena multi-view. Invece di predire una pointmap accoppiata (dove geometria e parametri della camera sono intrecciati), il modello decompone l'output in:

• Direzioni dei Raggi Locali ($R_i$): Vettori normalizzati che rappresentano la direzione dei raggi per ogni pixel.
• Profondità dei Raggi ($\tilde{D}_i$): Valori di profondità lungo i raggi in uno spazio "fino alla scala" (up-to-scale).
• Pose delle Camere ($\tilde{P}_i$): Rappresentate come quaternioni unitari ($Q_i$) e traslazioni up-to-scale ($\tilde{T}_i$) rispetto alla prima vista.
• Fattore di Scala Metrica ($m$): Un singolo scalare globale che eleva la ricostruzione locale up-to-scale in un frame metrico globalmente consistente.

La finale pointmap metrica $X^{metric}_i$ è calcolata come $m \cdot (O_i \cdot (R_i \cdot \tilde{D}_i) + \tilde{T}_i)$, dove $O_i$ è la matrice di rotazione derivata dal quaternione.

2. Architettura

• Codifica dell'Input: Il modello accetta $N$ immagini RGB e input geometrici opzionali (direzioni dei raggi, pose, mappe di profondità). Le immagini sono codificate utilizzando DINOv2 (ViT-G). Gli input geometrici sono fattorizzati e codificati tramite encoder convoluzionali superficiali (per input densi come raggi/profondità) o MLP (per quantità globali come rotazione/scala di traslazione).
• Transformer Multi-Vista: Le caratteristiche codificate vengono appiattite in token. Un singolo scale token apprendibile viene aggiunto all'insieme dei $N$ token di vista. Un embedding di vista di riferimento fisso viene aggiunto alla prima vista per distinguerla. Questi token sono elaborati da un transformer ad attenzione alternata a 16 strati (inizializzato dai livelli di DINOv2) per fondere le informazioni tra le viste.
• Teste di Decoding:
  • Testa DPT: Decodifica i $N$ token di vista in output densi per singola vista: direzioni dei raggi, profondità dei raggi up-to-scale, maschere di confidenza e mappe di confidenza della pointmap.
  • Testa della Posa: Una testa convoluzionale basata su average-pooling predice quaternioni unitari e traslazioni up-to-scale per tutte le viste.
  • Testa della Scala: Un MLP elabora lo scale token per predire il fattore di scala metrica globale $m$.

3. Strategia di Addestramento

MapAnything è addestrato end-to-end su un'aggregazione diversificata di 13 dataset (indoor, outdoor, sintetici) che coprono oltre 12 diverse configurazioni di problema.

• Augmentation Flessibile dell'Input: Durante l'addestramento, gli input geometrici (intrinsiche, pose, profondità) vengono forniti con probabilità variabili (ad esempio, 0 $0,5$ per ogni fattore) per simulare diversi scenari del mondo reale in cui i dati possono essere parziali o mancanti.
• Funzioni di Perdita (Loss): Il modello utilizza una funzione di perdita composita che include:
  • Perdite di regressione per raggi, rotazioni e traslazioni.
  • Perdite in spazio logaritmico per profondità dei raggi, pointmap e fattore di scala metrica, per gestire ampi intervalli dinamici.
  • Perdita della pointmap pesata sulla confidenza e cross-entropy binaria per le maschere.
  • Perdite di matching dei gradienti normali e multi-scala (applicate ai dati sintetici).
• Gestione della Scala: Per evitare che i gradienti della perdita di scala corrompano la geometria, il fattore di scala metrica è calcolato utilizzando un fattore di scala della norma up-to-scale con detach ($z_{metric} = m \cdot \text{sg}(\tilde{z})$).

Contributi Chiave

1. Modello Feed-Forward Unificato: MapAnything supporta oltre 12 diverse configurazioni di problemi di ricostruzione 3D (ad esempio, SfM non calibrata, MVS calibrata, profondità monoculare, localizzazione della camera) in un unico modello, superando o eguagliando i modelli specialistici.
2. Rappresentazione della Scena Fattorizzata: Decoppiando la geometria locale (raggi/profondità) dalla posa globale e dalla scala metrica, il modello consente input flessibili e una predizione efficiente senza costosi post-processing o predizioni ridondanti.
3. Prestazioni allo Stato dell'Arte: Il modello raggiunge risultati superiori rispetto ad altri baseline feed-forward (ad esempio, DUSt3R, VGGT, MASt3R) ed eguaglia o supera i modelli esperti progettati per compiti specifici.
4. Rilascio Open Source: Gli autori rilasciano il codice per l'elaborazione dei dati, l'inferenza e l'addestramento, insieme a modelli pre-addestrati sotto licenze permissive (Apache 2.0 e CC BY-NC 4.0).

Risultati

Il paper valuta MapAnything attraverso molteplici compiti e configurazioni di input:

• Ricostruzione Densa Multi-Vista: Su ETH3D, ScanNet++ v2 e TartanAirV2-WB, MapAnything raggiunge prestazioni state-of-the-art nella stima di pointmap, posa, profondità e direzione dei raggi utilizzando solo input di immagini. Supera significativamente i baseline quando fornito con input geometrici ausiliari (intrinsiche, pose, profondità).
• Ricostruzione a Due Viste: MapAnything supera Pow3R (l'unico altro metodo feed-forward a due viste che utilizza prior) e i baseline basati solo su immagini in tutte le configurazioni di input.
• Calibrazione a Singola Vista: Nonostante non sia stato addestrato specificamente su singole immagini, MapAnything raggiunge un'accuratezza di calibrazione prospettica state-of-the-art su ETH3D, ScanNet++ v2 e TartanAir.
• Stima della Profondità: Nel benchmark Robust-MVD, MapAnything supera modelli specializzati come MASt3R e MUSt3R nella stima della profondità metrica multi-vista. Con input ausiliari, fornisce risultati competitivi rispetto ai modelli dedicati al compito.
• Efficienza: Gli studi di ablazione (Tabella 5) dimostrano che un singolo modello addestrato universalmente performa in modo equivalente o migliore rispetto a molteplici modelli su misura addestrati per specifiche configurazioni di input, nonostante abbia costi computazionali comparabili a soli due modelli su misura.

Significato e Rivendicazioni

Gli autori posizionano MapAnything come un passo verso un backbone di ricostruzione 3D universale. Unificando diversi compiti e modalità di input in un singolo passaggio feed-forward, il modello elimina la necessità di tuning specifico per il compito e pipeline di ottimizzazione complesse (come il bundle adjustment) per molti scenari. La rappresentazione fattorizzata permette al modello di sfruttare efficacemente annotazioni parziali e input eterogenei, rendendolo robusto per applicazioni "in the wild". Il paper sostiene che questo approccio apra la strada alla ricerca futura in modelli foundation 3D/4D, pur riconoscendo limitazioni nel gestire il movimento dinamico, la quantificazione esplicita dell'incertezza e la scalabilità a scene estremamente grandi.