Technische Samenvatting: MoCam - Gecombineerde Synthese van Nieuwe Weergaven via Gestructureerde Ontruisingsdynamiek

1. Probleemstelling

Generatieve synthese van nieuwe weergaven staat voor een fundamenteel dilemma in het verzoenen van geometrische prioren met uiterlijke prioren.

• Geometrische Prioren: Methoden die vertrouwen op gereconstrueerde geometrie (bijvoorbeeld dieptekaarten, puntenwolken) bieden essentiële ruimtelijke uitlijning voor doelcamera-trajecten. Echter, bij aanzienlijke veranderingen in het gezichtsveld of monokulaire invoer, worden deze prioren onvermijdelijk schaars, onvolledig en foutief door disocclusie en onnauwkeurigheid in de diepte.
• Uiterlijke Prioren: Bronafbeeldingen of video's bieden visuele details van hoge kwaliteit, maar missen geometrische correspondentie met nieuwe gezichtspunten.
• Het Conflict: Bestaande benaderingen verspreiden ofwel geometrische fouten door het hele generatieproces (door uitsluitend op steigers te vertrouwen) of proberen geometrie en uiterlijk statisch te fuseren. Statische fusie leidt tot signaalconflicten waarbij sterke uiterlijke aanwijzingen vroege geometrische drift veroorzaken, of waarbij gebrekkige geometrie structurele fouten permanent in het output "bakt" in een later stadium van de generatie. Dit resulteert in geometrische instorting, visuele artefacten en instabiliteit, met name bij 4D re-camera taken (dynamische scènes) en 3D-reconstructie vanuit één afbeelding.

2. Methodologie: MoCam

MoCam introduceert een raamwerk dat statische en dynamische weergavesynthese verenigt door gestructureerde ontruimingsdynamiek toe te passen binnen een diffusieproces. Het kerninzicht is dat diffusiemodellen verschillende representatiebehoeften hebben in verschillende ontruimingsfasen: vroege stadia vereisen grove structurele verankering, terwijl latere stadia hoogfrequente verfijning eisen.

2.1 Overzicht van de Pipeline

De methode werkt in drie hoofdfasen:

1. Steigergeneratie: Een dynamische puntenwolk wordt geconstrueerd vanuit de monokulaire invoervideo (of één afbeelding gerepliceerd voor $N$ frames) met behulp van een diepteschatter en inverse perspectiefprojectie. Deze puntenwolk wordt gerenderd langs het doelcamera-traject om een ruwe "steigervideo" ($x_{ren}^{tgt}$) te creëren. Deze steiger is ruimtelijk uitgelijnd met de doelbeweging, maar bevat aanzienlijke artefacten (gaten, vervormingen).
2. Dual-Conditioning Architectuur: Het model maakt gebruik van twee verschillende conditioneringssignalen:
   • Steigerconditie ($c_{ren}$): Afgeleid van de gerendeerde steigervideo, die sterke bewegings- en structurele prioren biedt.
   • Referentie-uiterlijke conditie ($c_{src}$): Afgeleid van de originele bronvideo, die texturen en objectdynamica van hoge kwaliteit biedt.
3. Fasewijze Generatie: In plaats van deze signalen statisch te fuseren, ontkoppelt MoCam ze tijdelijk op basis van het ontruimingstijdstip $t$.

2.2 Gestructureerde Ontruimingsdynamiek

Het generatieproces wordt geleid door een tijdsafhankelijke context $c(t)$, gedefinieerd door een schakeling bij een vooraf gedefinieerde drempel $T_{switch}$ (empirisch ingesteld op 0,85):

$$c(t) = \begin{cases} c_{ren} & \text{als } t > T_{switch} \quad (\text{Vroeg Stadium}) \\ c_{src} & \text{als } t \le T_{switch} \quad (\text{Later Stadium}) \end{cases}$$

• Vroeg Stadium ($t > T_{switch}$): Het model conditioneert uitsluitend op de steiger ($c_{ren}$). Aangezien de latente variabele voornamelijk ruis is, is de primaire taak het vestigen van globale structuur en bewegingscoherentie. Het model wordt gedwongen zich te houden aan het doelcamera-traject, en tolereren bewust de geometrische onvolledigheid van de steiger om de scène-indeling te verankeren.
• Later Stadium ($t \le T_{switch}$): Het model schakelt over naar conditionering uitsluitend op het bron-uiterlijk ($c_{src}$). In dit stadium is al een coherente laagfrequente structuur gevestigd. Het model gebruikt de referentievideo van hoge kwaliteit om details te synthetiseren, texturen te verfijnen en geometrische fouten actief te corrigeren en disocclusiegebieden op te vullen die van de steiger zijn geërfd. Dit voorkomt dat de gebreken van de steiger permanent in de uiteindelijke output worden "gebakken".

Het raamwerk is gebaseerd op vooraf getrainde latente video-generatiemodellen (bijvoorbeeld Wan2.2), die opereren in een gecomprimeerde latente ruimte via een Variational Autoencoder (VAE).

3. Belangrijkste Bijdragen

1. Identificatie van Signaalconflict: Het artikel identificeert de fundamentele spanning tussen geometrische en uiterlijke prioren in generatieve weergavesynthese, en betoogt dat statische fusie leidt tot signaalinterferentie en foutverspreiding.
2. Gestructureerde Ontruimingsdynamiek: De auteurs stellen een principiële oplossing voor die deze signalen tijdelijk ontkoppelt. Door de steiger te aligneren met vroege structurele verankering en het uiterlijk met late-fase verfijning, bereikt de methode robuuste geometrie-uiterlijk ontkoppeling.
3. Gecombineerd Raamwerk: MoCam presenteert een enkel raamwerk dat toepasbaar is op zowel 3D-reconstructie vanuit één afbeelding als video 4D re-camera. Het toont aan dat fasewijze conditionering generaliseert over invoermodaliteiten, en de uitdaging aanpakt van het synthetiseren van weergaven onder onbetrouwbare geometrie zonder per-scène optimalisatie te vereisen.

4. Experimentele Resultaten

De methode werd geëvalueerd op de OpenVid-1M dataset (monokulaire video's uit de wilde natuur) en de iPhone multi-view dataset.

• Kwantitatieve Prestaties: MoCam presteert aanzienlijk beter dan state-of-the-art methoden (GEN3C, TrajCrafter, ReCam) over meerdere metrieken:
  • Perceptuele Kwaliteit: Bereikt superieure scores in VBench-metrieken (Background Consistency, Subject Consistency, Imaging Quality) en lagere FVD-V scores (bijvoorbeeld 255,16 versus 289,37 voor GEN3C bij 3D-reconstructie).
  • Positie Nauwkeurigheid: Handhaaft de laagste rotatie- en translatiefouten, wat precieze camerabesturing aantoont.
  • Pixel-voor-Pixel Metrieken: Op de iPhone dataset bereikt MoCam de hoogste PSNR, SSIM en de laagste LPIPS en FVD, wat wijst op hoge trouw aan de grondwaarheid.
• Robuustheid tegen Geometrische Degradatie: Experimenten waarbij de omvang van de camerabeweging varieerde (banen van 30° tot 90°) tonen aan dat MoCam consistente prestaties handhaaft naarmate de geometrische schaarste toeneemt. Concurrenten lijden onder catastrofale drift of structurele instorting bij grote veranderingen in gezichtsveld, terwijl de fasewijze aanpak van MoCam drift voorkomt en schaarse fouten corrigeert.
• Ablatiestudies:
  • Alleen Steiger: Resulteert in ingestorte metrieken, wat bevestigt dat aanhoudende geometrische conditionering fouten "bakt".
  • Steiger-Vroeg: Vermijdt de ergste artefacten, maar produceert onscherpe details in disocclusiegebieden zonder het late-stadium uiterlijke signaal.
  • Statisch-Beide: Lijdt onder catastrofale geometrische instabiliteit (hoge rotatie/translatiefouten) door signaalinterferentie, wat de noodzaak van tijdelijke ontkoppeling valideert.
  • Generalisatie: De methode presteert consistent over verschillende backbone-architecturen (Wan2.1 en Wan2.2).

5. Betekenis en Claims

Het artikel beweert dat MoCam de onderliggende uitdaging aanpakt van het synthetiseren van weergaven onder onbetrouwbare geometrie door het ontruimingsproces te transformeren in een gestructureerde progressie van uitlijning naar realisme.

• Robuustheid: De methode bereikt robuuste geometrie-uiterlijk ontkoppeling, en genereert coherente en fotorealistische resultaten, zelfs wanneer puntenwolken ernstige gaten of vervormingen bevatten.
• Foutcorrectie: In tegenstelling tot eerdere methoden die fouten verspreiden, corrigeert de late-stadium uiterlijke conditionering van MoCam actief geometrische onnauwkeurigheden.
• Gecombineerde Aanpak: Het benadrukt dat hetzelfde generatieprincipe van toepassing is op zowel statische als dynamische weergavesynthese, en biedt een gecombineerde oplossing voor 3D-reconstructie en 4D re-camera zonder de noodzaak van dichte multi-view data of per-scène optimalisatie.

De auteurs concluderen dat hun fasewijze ontwerp nieuwe standaarden stelt voor controleerbare weergavesynthese door effectief de beperkingen van onvolmaakte monokulaire reconstructies te mitigeren.