AirSplat: Alignment and Rating for Robust Feed-Forward 3D Gaussian Splatting

1. Il Problema

Il campo della Sintesi di Nuove Visioni (Novel View Synthesis - NVS) ha subito una trasformazione con l'avvento del 3D Gaussian Splatting (3DGS). Tuttavia, l'applicazione di modelli feed-forward (che predicono direttamente i parametri 3D senza ottimizzazione per-scena) basati su 3D Vision Foundation Models (3DVFMs) presenta due ostacoli fondamentali quando si lavora con immagini non calibrate ("in-the-wild"):

1. Discrepanza Posizione-Geometria (Pose-Geometry Discrepancy): Nelle strategie di addestramento attuali (come "context-target"), la geometria della scena viene estratta solo dalle immagini di contesto, mentre la stima della posa della telecamera target utilizza sia le immagini di contesto che quelle target. Questo flusso di informazioni asimmetrico crea un disallineamento latente tra le pose predette e i primitivi 3D (Gaussiani) generati, portando a un'ottimizzazione instabile e a errori spaziali.
2. Inconsistenze Multi-Vista: I primitivi 3D generati da diverse viste di contesto spesso mancano di un consenso spaziale preciso. Questo porta alla creazione di artefatti locali, noti come "floaters" (oggetti fluttuanti fantasma) e regioni sfocate, che degradano la stabilità spaziale e la fedeltà della ricostruzione.

2. Metodologia: AirSplat

Gli autori propongono AirSplat, un framework di addestramento che adatta i modelli 3D-VS-VFM (3D Vision Foundation Models con testa di sintesi delle viste) per ottenere NVS ad alta fedeltà senza pose calibrate. Il framework si basa su due moduli tecnici principali:

A. Self-Consistent Pose Alignment (SCPA)

Questo modulo risolve la discrepanza tra posa e geometria attraverso un ciclo di feedback durante l'addestramento:

• Rilevamento del Drift: Il modello predice una posa target iniziale ($\hat{P}^{(1)}_{tgt}$) basata su contesto e target. Viene generata un'immagine sintetica e reinserita nel modello per predire una seconda posa ($\hat{P}^{(2)}_{tgt}$).
• Correzione Matematica: La differenza sistematica tra la prima e la seconda predizione di posa rivela un "drift" geometrico. Il metodo calcola la trasformazione relativa nello spazio Lie $SE(3)$ e applica una correzione inversa per ancorare la posa target alla geometria della scena derivata dal contesto.
• Supervisione Consistente: Invece di supervisionare direttamente le immagini renderizzate con pose disallineate, il modello viene addestrato utilizzando pose corrette che garantiscono un allineamento spaziale coerente, eliminando i gradienti corrotti.

B. Rating-based Opacity Matching (ROM)

Questo modulo affronta le inconsistenze multi-vista e gli artefatti ("floaters") utilizzando un approccio ispirato all'apprendimento basato su valutazioni (rating-based feedback):

• Insegnante (Teacher): Viene utilizzato un modello 3DGS feed-forward leggero e pre-addestrato (specializzato in poche viste) come "oracolo" per valutare la coerenza geometrica locale dei primitivi predetti dal modello studente.
• Valutazione Geometrica: Il modello insegnante assegna un "rating" (da 0 a 1) a ogni primitivo in base alla sua consistenza multi-vista. I primitivi con errori geometrici elevati ricevono un rating basso (cattivi), mentre quelli coerenti ricevono un rating alto (buoni).
• Matching dell'Opacità: Il rating predetto dal modello studente viene mappato direttamente sul valore di opacità ($\alpha$) del primitivo.
  • Se un primitivo è valutato "cattivo" (rating $\approx 0$), la sua opacità viene forzata a zero, rimuovendo efficacemente l'artefatto (floater).
  • Se è "buono" (rating $\approx 1$), l'opacità rimane libera di essere ottimizzata dalla perdita fotometrica.
• Regolarizzazione Spaziale: Viene aggiunta una perdita di regolarizzazione per minimizzare gli errori geometrici dei primitivi validi, evitando che la rimozione aggressiva degli artefatti renda la scena troppo sparsa.

3. Contributi Chiave

1. Framework AirSplat: Un nuovo framework che adatta i 3D-VS-VFM per generare viste nuove ad alta fedeltà mantenendo le prestazioni di stima geometrica di base.
2. SCPA: Una strategia di allineamento che risolve la discrepanza posa-geometria, prevenendo il degrado del modello causato da supervisioni fotometriche non allineate.
3. ROM: Una strategia di ottimizzazione che utilizza feedback geometrici da un modello insegnante per filtrare selettivamente i primitivi incoerenti e fluttuanti, migliorando la stabilità spaziale.
4. Prestazioni SOTA: Il metodo raggiunge lo stato dell'arte nelle NVS senza pose su benchmark su larga scala, superando sia i metodi feed-forward che alcuni metodi basati su ottimizzazione per-scena.

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark principali: RealEstate10K (RE10K), DL3DV e ACID.

• RE10K: AirSplat supera tutti i metodi senza pose (es. YoNoSplat, WorldMirror, SPFSplat) e supera anche metodi che richiedono pose calibrate (es. DepthSplat) in termini di PSNR, SSIM e LPIPS. Ad esempio, con 36 viste, raggiunge un PSNR di 23.94 contro i 21.63 di YoNoSplat.
• DL3DV: Dimostra una robustezza superiore in ambienti complessi e con ampie baselines. Supera il modello base DA3 di +1.76 dB in PSNR e riduce l'errore percettivo (LPIPS) del 14.4%.
• Generalizzazione Cross-Dataset (ACID): In un setting zero-shot (senza fine-tuning su ACID), AirSplat mantiene un vantaggio significativo rispetto ad altri metodi, dimostrando di aver appreso rappresentazioni geometriche generalizzabili e non di aver semplicemente memorizzato i dati di addestramento.
• Qualità Visiva: Le immagini qualitative mostrano la rimozione efficace dei "floaters" e la preservazione di dettagli ad alta frequenza (es. strutture sottili come pali) che altri metodi tendono a sfocare o distorcere.

5. Significato e Impatto

AirSplat rappresenta un passo avanti significativo verso la sintesi di nuove viste robusta e priva di pose per scenari reali.

• Superamento dei Limiti: Dimostra che è possibile disaccoppiare l'errore di posa dall'ottimizzazione della geometria, risolvendo un problema fondamentale nei modelli unificati di visione 3D.
• Efficienza: Pur richiedendo un overhead computazionale durante l'addestramento (circa il 65% in più per le passate aggiuntive e la valutazione del modello insegnante), l'inferenza rimane puramente feed-forward e veloce, senza costi aggiuntivi a runtime.
• Futuro: Il lavoro apre la strada all'uso di Foundation Models 3D non solo per la stima geometrica, ma anche per la sintesi di viste di alta qualità in scenari non controllati, un requisito essenziale per applicazioni come la realtà virtuale, la robotica e la ricostruzione di scene "in-the-wild".