One View Is Enough! Monocular Training for In-the-Wild Novel View Generation

1. Het Probleem

Traditionele methoden voor monoculaire nieuwe weergave-synthese (Novel View Synthesis - NVS) zijn sterk afhankelijk van multiview-supervisie. Dit betekent dat modellen getraind moeten worden op datasets met gepositioneerde, statische opnames van hetzelfde tafereel vanuit verschillende hoeken (zoals RealEstate10K of DL3DV).

• Beperkingen: Deze datasets zijn schaars, beperkt tot specifieke domeinen (vaak interieurs of objecten) en dekken niet de breedte van het "in-the-wild" internet.
• Gevolg: Modellen die op deze data getraind zijn, generaliseren slecht naar nieuwe domeinen (bijv. schilderijen, buitenlandschap, willekeurige foto's) en vereisen vaak complexe 3D-representaties of per-scene optimalisatie, wat de inferentie vertraagt.
• De uitdaging: Hoe kan men een model trainen dat willekeurige afbeeldingen van het internet kan nemen en realistische nieuwe weergaven kan genereren vanuit een willekeurige camerapositie, zonder dat er ooit een meervoudige view-dataset voor die specifieke scène beschikbaar is?

2. Methodologie: OVIE

De auteurs introduceren OVIE, een model dat volledig getraind is op ongekoppeld (unpaired) internetbeeldmateriaal (30 miljoen afbeeldingen), zonder enige vorm van multiview-data of handmatige annotaties.

Kernidee: Pseudo-Weergaven via Monoculaire Diepte

In plaats van te wachten op echte multiview-paren, gebruikt OVIE een gefroen monoculaire diepteschatter (MoGe-2) als geometrisch raamwerk tijdens het trainen:

1. 3D Lift: Een bronafbeelding ($I_0$) wordt omgezet in een 3D-puntenwolk ($P$) met behulp van de diepteschatter.
2. Camera Transformatie: Er wordt een willekeurige camera-transformatie ($T_{0\to1}$) gesampled (rotatie en translatie in metriek).
3. Reprojectie: De puntenwolk wordt getransformeerd en geprojecteerd naar het nieuwe cameravlak. Dit resulteert in een pseudo-doelweergave ($I^*_1$) en een validiteitsmasker ($M$).
   • Het masker identificeert gebieden die zichtbaar zijn (geldig) versus gebieden die verduisterd zijn (disocclusies), achtergrondruis of buiten beeld vallen.
4. Trainingsdoel: Het model leert om de bronafbeelding en de gewenste camera-transformatie direct om te zetten in een gesynthetiseerde afbeelding ($\hat{I}_1$) die overeenkomt met de pseudo-doelweergave, maar dan met ingevulde (inpainting) gebieden.

Trainingsverliesfunctie

Omdat de pseudo-doelweergave onvolledig is (door disocclusies), worden de verliesfuncties beperkt tot de geldige gebieden (gemaskeerd):

• Geometrische consistentie: Een gemaskeerde reconstructieloss ($L_{recon}$) op pixelniveau (MSE).
• Semantische behoud: Perceptuele losses ($L_{perc}$) die LPIPS en P-DINO combineren, toegepast op de gemaskeerde afbeeldingen om structurele en tekstuele consistentie te garanderen.
• Realisme (Adversariaal): Een PatchGAN-discriminator ($L_{adv}$) die de gegenereerde afbeelding vergelijkt met de bronafbeelding (in plaats van de onvolledige pseudo-doel) om realistische texturen in de nieuwe gebieden te forceren.

Modelarchitectuur

• Geometrie-vrij bij inferentie: Het model heeft tijdens het gebruik geen diepteschatter of 3D-representatie nodig.
• Architectuur: Een feed-forward encoder-decoder structuur met een ViT-B (Vision Transformer) bottleneck.
• Conditionering: De camera-transformatie (7D vector: 3D translatie + quaternion) wordt via een lineaire laag omgezet in een token dat de Transformer-blokken moduleert via Adaptive Layer Normalization (AdaLN).

3. Belangrijkste Bijdragen

1. Data-schaalbaar, domein-agnostisch trainingsparadigma: OVIE bewijst dat men geen multiview-data nodig heeft. Door gebruik te maken van monoculaire diepte voor het genereren van pseudo-paren, kan getraind worden op 30 miljoen ongecensureerde afbeeldingen. Dit elimineert de afhankelijkheid van zeldzame, gespecialiseerde datasets.
2. Efficiënt, geometrie-vrij model: Het model voert de synthese uit in één doorloop (single forward pass) in pixelruimte. Dit resulteert in inferentie-snelheden van >100 FPS, wat ongeveer 600x sneller is dan de beste bestaande baselines (die vaak diffusion-modellen of iteratieve processen gebruiken).
3. Sterke out-of-domain generalisatie: Omdat het getraind is op een enorme diversiteit aan "in-the-wild" data, presteert het model beter op onbekende domeinen dan modellen die specifiek getraind zijn op benchmarks zoals RealEstate10K.
4. Metrisch scale-bewustzijn: Door gebruik te maken van een metrische diepteschatter (MoGe-2) tijdens het trainen, leert het model echte metrische schalen (bijv. 20cm translatie) te respecteren, in plaats van willekeurige schalen.

4. Resultaten

• Kwalitatieve prestaties: OVIE produceert scherpe, geometrisch consistente nieuwe weergaven voor diverse scenario's: interieurs, buitenlandschappen, objecten en zelfs niet-natuurlijke afbeeldingen zoals schilderijen. Het slaagt erin om correcte parallax en inpainting van verduisterde gebieden te genereren.
• Kwantitatieve prestaties:
  • Op RealEstate10K (waar de concurrenten in-domain getraind zijn en OVIE out-of-domain): OVIE presteert vergelijkbaar met of beter dan state-of-the-art methoden, ondanks het ontbreken van specifieke training op deze dataset.
  • Op DL3DV (een out-of-domain dataset voor alle methoden): OVIE overtreft alle baselines op alle metrics (PSNR, SSIM, LPIPS, FID).
• Snelheid: OVIE is extreem snel (116 FPS op een H100 GPU), wat interactieve navigatie in real-time mogelijk maakt vanuit één enkele foto.

5. Betekenis en Impact

Dit paper markeert een verschuiving in het veld van 3D-vision:

• Van Data-afhankelijkheid naar Data-schaal: Het toont aan dat schaalbaarheid van data (30M afbeeldingen) belangrijker is dan de kwaliteit van de supervisie (perfecte multiview-paren).
• Toegankelijkheid: Het maakt 3D-bewustzijn toegankelijk voor elke afbeelding op het internet, inclusief historische archieven, kunst en willekeurige foto's waar geen 3D-data bestaat.
• Toepassingen: De extreme snelheid en generalisatie maken het ideaal voor real-time toepassingen zoals robotica (navigatie rond obstakels gezien vanuit één hoek), VR/AR (interactieve verkenning van statische foto's) en filmproductie (virtuele camera's in reeds gefilmde scènes).

Kortom, OVIE bewijst dat "één beeld is genoeg" om robuuste, snelle en universele nieuwe weergave-synthese te bereiken, door slim gebruik te maken van moderne diepteschatters als trainingshulpmiddel in plaats van als onderdeel van de inferentie.