AnyRecon: Arbitrary-View 3D Reconstruction with Video Diffusion Model

Probleemstelling

Bestaande methoden voor 3D-reconstructie (zoals NeRF en 3D Gaussian Splatting) vereisen doorgaans dicht op elkaar gepakte, gecontroleerde opnames van een scène. In de praktijk zijn real-world data (zoals handheld video's of internetbeelden) echter spaarsam, onregelmatig en willekeurig (arbitrary views).

Hoewel recente generatieve modellen (diffusiemodellen) proberen dit probleem op te lossen door nieuwe weergaven te synthetiseren, hebben ze twee belangrijke beperkingen:

1. Beperkte conditionering: Ze baseren zich vaak op slechts één of twee inputframes, wat leidt tot gebrek aan geometrische consistentie en slechte schaalbaarheid voor grote scènes.
2. Temporele compressie: Bestaande video-diffusiemodellen gebruiken vaak temporele compressie (zoals 3D-VAE's) die aannemen dat frames na elkaar komen. Dit faalt bij grote hoekverschillen tussen willekeurige inputframes, wat leidt tot vervormingen en verlies van detail.

Het doel van dit werk is een schaalbaar framework te ontwikkelen dat 3D-reconstructie mogelijk maakt vanuit willekeurige, ongeordende en spaarse inputs, terwijl het geometrische controle behoudt.

---

Methodologie: AnyRecon

AnyRecon is een iteratief framework dat een gesloten lus vormt tussen generatie (het maken van nieuwe weergaven) en reconstructie (het updaten van de 3D-structuur). Het proces verloopt in drie hoofdfasen:

1. Ongeordende Contextuele Video-Diffusie

In plaats van een standaard sequentiële video-generator, gebruikt AnyRecon een diffusiemodel dat is aangepast voor willekeurige inputs:

• Global Scene Memory: Om willekeurig veel inputframes te verwerken zonder vaste bufferlengte, worden de geselecteerde referentieframes voorgeplakt aan de reeks als een persistent "key-value" cache. Hierdoor kan het model conditioneren op een willekeurig aantal frames, ongeacht hun volgorde in de tijd.
• Non-Compressive Latent Encoding: Traditionele video-modellen comprimeren frames over de tijd. AnyRecon verwijdert deze temporele compressie en gebruikt een frame-voor-frame 2D VAE. Dit behoudt de één-op-één mapping tussen latent tokens en pixelcoördinaten, wat essentieel is voor nauwkeurige geometrische uitlijning bij grote hoekverschillen.
• Geometrische Conditionering: Het model ontvangt niet alleen RGB-beelden, maar ook gerenderde point-clouds en zichtbaarheidsmasks (visibility masks) als extra kanalen. Dit zorgt voor expliciete geometrische controle.

2. Efficiënte Architectuur (Schaalbaarheid)

Om de hoge rekenkosten van lange sequenties en veel tokens te beheersen, introduceert het paper twee optimalisaties:

• Context-Window Sparse Attention: In plaats van dat elk frame naar alle andere frames kijkt (O(L²) complexiteit), beperkt elk frame zijn "receptief veld" tot een lokaal tijdsvenster en een selectie van geometrisch relevante referentieframes.
• 4-Step Diffusion Distillation: Het model is gedistilleerd naar een student-netwerk dat hoogwaardige resultaten genereert in slechts 4 stappen (in plaats van de gebruikelijke 50+), wat een snelheidsverhoging van 20x oplevert.

3. Geometrie-bewuste Conditioneringsstrategie

Om grote scènes stuk voor stuk te reconstrueren, koppelt AnyRecon generatie en reconstructie via een 3D Geometry Memory:

• Iteratieve Update: Na het genereren van een segment van de nieuwe traject, wordt de gegenereerde geometrie teruggeprojecteerd naar de globale point cloud. Dit updatet de 3D-herinnering (Mgeo) continu.
• Geometrie-gedreven View Selection: In plaats van te kiezen op basis van beeldgelijkenis of gezichtsveld (FOV), selecteert het systeem inputframes op basis van hun geometrische bijdrage aan het huidige doel. Het rendert de huidige point cloud vanuit het doel-punt en kijkt welke originele camera's de zichtbare punten het beste dekken. Dit filtert geoccludeerde of irrelevante views eruit.

---

Belangrijkste Bijdragen

1. Flexibel Spaarsam View Framework: Een video-diffusie-aanpak die conditionering toestaat op een willekeurig aantal ongeordende RGB-frames, in tegenstelling tot eerdere methoden die beperkt waren tot 1 of 2 frames.
2. Geometrie-bewust Ontwerp: Een gesloten lus tussen generatie en reconstructie via een expliciete 3D-geometrieherinnering en een op geometrie gebaseerde view-selectie, wat zorgt voor ruimtelijk onderbouwde diffusie.
3. Efficiënte Architectuur: Het verwijderen van temporele compressie gecombineerd met distillatie en sparse attention, wat hoge kwaliteit behoudt bij een drastische reductie in inferentietijd.

---

Resultaten

AnyRecon is getest op grote datasets (DL3DV en Tanks and Temples) en vergeleken met state-of-the-art baselines zoals Difix3D+, ViewCrafter en Uni3C.

• Kwaliteit: AnyRecon behaalt aanzienlijk betere resultaten in termen van PSNR, SSIM en LPIPS. Het slaagt erin om grote hoekverschillen te overbruggen en details te behouden waar andere methoden artefacten vertonen of kleurenverschuivingen hebben.
• Interpolatie & Extrapolatie: Het model kan zowel gaten opvullen tussen verre opnames (interpolatie) als nieuwe content genereren buiten het waargenomen bereik (extrapolatie) met hoge consistentie.
• Efficiëntie: Dankzij de 4-staps distillatie en sparse attention is AnyRecon 20x sneller dan de oorspronkelijke dense attention implementatie en aanzienlijk sneller dan concurrenten (105 seconden per scène vs. 1200+ seconden voor Difix3D+).
• Ablatie Studies: Experimenten bevestigen dat het verwijderen van temporele compressie essentieel is voor fijne details (zoals dunne structuren) en dat het gebruik van een globale scene memory (in plaats van slechts één frame) cruciaal is voor het behoud van textuur en kleurconsistentie.

---

Betekenis en Impact

AnyRecon vertegenwoordigt een belangrijke stap voorwaarts in het omzetten van "casual" real-world video's naar exploreerbare 3D-scènes. Door de beperkingen van bestaande generatieve modellen voor spaarse inputs te doorbreken, maakt het:

• Schaalbaarheid mogelijk: Grote, complexe scènes kunnen nu stuk voor stuk worden gereconstrueerd zonder dat de gehele scène in één keer in het model past.
• Robuustheid verhoogt: Het systeem is minder gevoelig voor onvolledige geometrie of grote hoekverschillen dankzij de expliciete 3D-herinnering.
• Praktische toepasbaarheid: De combinatie van hoge kwaliteit en lage inferentietijd maakt het toepasbaar voor augmented reality, virtuele omgevingen en visuele effecten, waar snelle verwerking van ongeordende data essentieel is.

Kortom, AnyRecon lost het fundamentele probleem op van het combineren van generatieve kracht met strikte geometrische consistentie in een schaalbaar framework voor willekeurige input.