Learning 3D Reconstruction with Priors in Test Time

1. Il Problema

La ricostruzione 3D da immagini è un problema fondamentale nella visione artificiale. I metodi moderni basati su Transformers Multivista (MVT) hanno ottenuto risultati eccellenti grazie all'addestramento end-to-end su larga scala. Tuttavia, questi modelli sono nativamente progettati per accettare solo immagini RGB come input.
In scenari reali, spesso sono disponibili informazioni aggiuntive (priors) come:

• Pose della camera (ottenute da sistemi di rig o SfM come COLMAP).
• Intrinseci della camera.
• Mappe di profondità (da sensori LiDAR o stereo).

Le soluzioni attuali per integrare questi priors richiedono di modificare l'architettura del modello e ri-addestrarlo (fine-tuning o training da zero) per ogni combinazione specifica di priors e backbone. Questo approccio è rigido, computazionalmente costoso e non riutilizza i modelli pre-addestrati esistenti.

2. Metodologia: Test-time Constrained Optimization (TCO)

Gli autori propongono un framework innovativo chiamato Test-time Constrained Optimization (TCO). L'idea centrale è trattare i priors non come input aggiuntivi da inserire nella rete, ma come vincoli (constraints) sulle previsioni del modello, ottimizzando la rete direttamente al momento dell'inferenza (test-time) senza modificare la sua architettura originale.

Componenti Chiave del Framework:

1. Formulazione come Ottimizzazione:
   Il problema è formulato come la minimizzazione di una funzione di perdita soggetta a vincoli. I priors (es. pose note) diventano termini di penalità nella funzione di perdita.
   $$\min_{\theta} \mathcal{L}(\text{MVT}_\theta(I)) + \sum \mu_m \|g_m(\text{MVT}_\theta(I))\|$$
   Dove $\mathcal{L}$ è un obiettivo auto-supervisionato e $g_m$ sono le penalità per la violazione dei vincoli (priors).

2. Obiettivo Auto-Supervisionato (Compatibilità):
   Per evitare che l'ottimizzazione si sovrapponga ai priors degradando la qualità generale, viene introdotta una funzione di perdita basata sulla compatibilità multi-vista.

   • Si utilizzano proiezioni fotometriche e geometriche tra le viste.
   • Si sfrutta un renderer differenziabile (2DGS - 2D Gaussian Splatting) per proiettare le immagini e le mappe di profondità da una vista sorgente a una vista target utilizzando le pose e gli intrinseci previsti.
   • La perdita misura l'errore tra le immagini/rendering reali e quelli sintetizzati, garantendo coerenza geometrica tra le previsioni del modello.

3. Strategia di Fine-tuning (LoRA):
   Per sfruttare la sinergia tra i diversi task (es. migliorare la stima della pose usando la profondità nota), gli autori adottano una strategia di adattamento selettivo:

   • Si congelano tutti i "testine" (head) specifici per il task (es. head per la profondità, per la pose).
   • Si fine-tunano solo i parametri condivisi del decoder utilizzando LoRA (Low-Rank Adaptation).
   • Questo permette al modello di adattare la rappresentazione condivisa della scena per soddisfare i vincoli senza sovrapporsi ai task specifici.

4. Vincoli Specifici:

   • Pose della Camera: Penalità sulla differenza angolare (rotazione) e sulla distanza normalizzata (traslazione).
   • Intrinseci: Penalità sulla differenza tra focali previste e note.
   • Mappe di Profondità: Allineamento globale (scala e shift) seguito da una penalità L1 sulla differenza tra profondità prevista e prior.

3. Contributi Chiave

• Framework Plug-and-Play: Un metodo che integra priors (pose, intrinseci, profondità) in qualsiasi MVT pre-addestrato senza richiedere ri-addestramento o modifiche architetturali.
• Design della Loss: Una combinazione di un obiettivo auto-supervisionato (compatibilità multi-vista tramite rendering 2DGS) e termini di penalità per i priors.
• Efficacia del Fine-tuning Selettivo: La dimostrazione che congelare le testine di output e aggiornare solo il decoder condiviso è cruciale per massimizzare la sinergia tra task.
• Superiorità rispetto ai metodi esistenti: Il metodo supera sia i modelli base "solo-immagine" che i metodi feed-forward che richiedono ri-addestramento per accettare i priors.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark standard di visione 3D: ETH3D, DTU, 7-Scenes, NRGBD e ScanNet.

• Stima della Mappa di Punti (Point Map Estimation):

  • Su ETH3D, l'errore di distanza della mappa di punti è stato ridotto di oltre il 50% rispetto ai modelli base solo-immagine (es. VGGT, $\pi^3$).
  • I priors di pose della camera si sono rivelati i più influenti per migliorare la ricostruzione.
  • Il metodo TCO ha superato metodi prior-aware ri-addestrati come Pow3R e MapAnything su tutti i dataset, pur non richiedendo ri-addestramento.

• Stima della Pose della Camera:

  • Su ScanNet, utilizzando mappe di profondità come prior, TCO ha migliorato consistentemente le metriche di errore (ATE, RPE) rispetto al modello base VGGT, anche in configurazioni con viste sparse e baselines ampie.

• Analisi di Scalabilità:

  • Le prestazioni migliorano all'aumentare delle iterazioni di test-time (fino a 80), dimostrando che l'ottimizzazione iterativa è efficace.

5. Significato e Impatto

Questo lavoro rappresenta un cambio di paradigma nell'integrazione di informazioni geometriche nei modelli di deep learning per la visione 3D.

• Efficienza: Elimina il costo computazionale del ri-addestramento di modelli complessi ogni volta che si dispone di nuovi tipi di priors.
• Flessibilità: Permette di sfruttare qualsiasi combinazione di informazioni disponibili al momento dell'inferenza (es. un modello pre-addestrato su immagini può essere istantaneamente potenziato se si dispone di pose GPS o profondità LiDAR).
• Qualità: Dimostra che l'ottimizzazione al momento del test, guidata da vincoli fisici e coerenza multi-vista, può superare approcci puramente feed-forward, rendendo i sistemi di ricostruzione 3D più robusti e precisi in scenari reali.

In sintesi, il framework TCO offre una via pratica e potente per "potenziare" i modelli di visione 3D esistenti con informazioni del mondo reale direttamente al momento dell'uso, senza comprometterne la struttura originale.