One View Is Enough! Monocular Training for In-the-Wild Novel View Generation

1. Il Problema: Sintesi di Nuove Visioni Monoculare

La sintesi di nuove visioni (Novel View Synthesis - NVS) monoculare mira a generare una vista plausibile di una scena da una posizione della telecamera non osservata, partendo da un'unica immagine di input.

• Limitazione attuale: I metodi esistenti dipendono fortemente da dataset di addestramento supervisionati da visioni multiple (coppie di immagini con pose note, come RealEstate10K o DL3DV). Questi dataset sono scarsi, coprono solo una nicchia del mondo visivo e non permettono una generalizzazione robusta su immagini "in-the-wild" (non controllate).
• Il collo di bottiglia: La mancanza di dati multi-vista su larga scala limita la diversità e la capacità di generalizzazione dei modelli, rendendoli inefficaci su domini non visti durante l'addestramento (es. arte, scene storiche, oggetti specifici).

2. Metodologia: OVIE (One View Is Enough)

OVIE propone un paradigma di addestramento che elimina la necessità di dati multi-vista, utilizzando invece 30 milioni di immagini singole non accoppiate provenienti da internet.

A. Costruzione di Coppie Finte (Pseudo-Pairs)

Il cuore della metodologia è l'uso di un estimatoro di profondità monoculare metrico (fissato, MoGe-2) come "impalcatura geometrica" durante l'addestramento:

1. Lifting 3D: Per ogni immagine sorgente $I_0$, l'estimatoro di profondità genera una nuvola di punti 3D.
2. Campionamento della Pose: Viene campionata una trasformazione della telecamera $T_{0\to1}$ (rotazione e traslazione) in unità metriche reali.
3. Reproiezione: La nuvola di punti viene trasformata e re-proiettata sul piano dell'immagine target per creare una vista pseudo-target ($I^*_1$).
4. Mascheratura: Poiché la re-proiezione non copre le regioni disoccluse (quelle che diventano visibili dal nuovo angolo), viene generata una maschera binaria $M$. Questa maschera indica quali pixel sono validi (proiettati) e quali sono vuoti (disocclusi).

B. Architettura del Modello

OVIE è un modello feed-forward (senza ottimizzazione per scena) che mappa direttamente l'immagine sorgente e la pose target all'immagine generata:

• Input: Immagine sorgente ($I_0$) + Trasformazione relativa della telecamera ($T_{0\to1}$ codificata come vettore 7D).
• Architettura: Un encoder convoluzionale riduce l'immagine, seguita da blocchi Transformer condizionati dalla pose (tramite Adaptive Layer Normalization - AdaLN), e un decoder convoluzionale simmetrico che ricostruisce l'immagine a piena risoluzione.
• Inference: A differenza dei metodi basati su warping, OVIE non richiede stime di profondità o rappresentazioni 3D durante l'inferenza. È puramente un modello immagine-immagine.

C. Funzione di Loss (Obiettivo di Addestramento)

Per gestire la natura incompleta delle pseudo-target, la funzione di perdita è progettata per considerare solo le regioni valide:

1. Loss di Ricostruzione (Geometrica): MSE (Mean Squared Error) applicata solo sui pixel validi definiti dalla maschera $M$.
2. Loss Perceptiva (Semantica): Combinazione di LPIPS e P-DINO (basato su DINOv3), applicati anche qui solo sulle regioni valide per garantire coerenza semantica e texture.
3. Loss Avversaria (Realismo): Un discriminatore PatchGAN addestra il modello a generare texture realistiche nelle regioni disoccluse (dove non c'è ground truth). Il discriminatore confronta l'immagine generata con l'immagine sorgente (assumendo che le statistiche di texture siano coerenti tra le viste).

3. Contributi Chiave

1. Paradigma di Addestramento Scalabile e Agnostico al Dominio: OVIE dimostra che è possibile addestrare un modello NVS di alta qualità esclusivamente su immagini singole non etichettate, rimuovendo la dipendenza da dataset multi-vista costosi e limitati.
2. Consapevolezza della Scala Metrica: Utilizzando un estimatoro di profondità metrico, il modello impara le relazioni di scala reali (parallasse corretta) senza bisogno di calibrazione manuale durante il test.
3. Efficienza Estrema: L'architettura è puramente feed-forward, permettendo un'inferenza in tempo reale (>100 FPS), rendendola 600 volte più veloce delle migliori alternative basate su diffusione (diffusion models).
4. Generalizzazione Fuori Dominio (OOD): Il modello addestrato su dati "selvaggi" (ImageNet, OpenStreetView, Places, ecc.) supera o eguaglia i metodi addestrati specificamente su benchmark di settore (RealEstate10K, DL3DV) quando testato su questi stessi benchmark, dimostrando una robustezza superiore ai cambiamenti di dominio.

4. Risultati Sperimentali

• Qualità: Su RealEstate10K e DL3DV, OVIE ottiene metriche competitive (PSNR, SSIM, LPIPS, FID) rispetto allo stato dell'arte (GeoGPT, PhotoNVS, VIVID), nonostante non sia stato addestrato su questi dataset.
• Velocità: OVIE raggiunge 116 FPS su una GPU H100, contro i 0.19 FPS di VIVID e 0.024 FPS di PhotoNVS. Questo abilita applicazioni di navigazione interattiva in tempo reale.
• Scalabilità dei Dati: Gli esperimenti mostrano che la scala dei dati (volume di immagini) è il fattore più critico per le prestazioni, più della diversità specifica del dominio. L'uso di 30 milioni di immagini ha permesso un addestramento efficace senza supervisione multi-vista.
• Robustezza: Il modello genera visioni coerenti anche su input non naturali (es. dipinti, illustrazioni) dove i metodi basati su dati multi-vista fallirebbero.

5. Significato e Impatto

Questo lavoro rappresenta un cambio di paradigma nel campo della visione 3D:

• Democratizzazione dei Dati: Dimostra che la conoscenza geometrica 3D può essere appresa da dati 2D su larga scala (internet) senza la necessità di costose acquisizioni multi-vista.
• Applicabilità Pratica: La velocità di inferenza e la capacità di generalizzare su qualsiasi immagine (dai musei alle mappe stradali storiche) aprono la strada a nuove applicazioni in realtà virtuale, robotica (pianificazione da una singola vista) e conservazione del patrimonio culturale.
• Superamento dei Limiti Geometrici: Smentisce l'idea che la supervisione multi-vista sia necessaria per la sintesi di nuove visioni, proponendo invece l'uso di estimatori di profondità moderni come proxy geometrici scalabili.

In sintesi, OVIE stabilisce che "una vista è sufficiente" per addestrare modelli di sintesi di nuove visioni potenti, scalabili e veloci, aprendo la strada a un'intelligenza artificiale 3D universale appresa direttamente dal vasto archivio di immagini 2D di internet.