ConfCtrl: Enabling Precise Camera Control in Video Diffusion via Confidence-Aware Interpolation

ConfCtrl is een vertrouwenbewust video-interpolatiekader dat diffusiemodellen in staat stelt om bij grote perspectiefveranderingen nieuwe weergaven te genereren met behulp van een Kalman-geïnspireerd mechanisme dat betrouwbare projecties combineert met residucorrecties voor geometrisch consistente resultaten.

De kern

Stel je voor dat je twee foto's hebt van hetzelfde object: één van links en één van rechts. Nu wil je een video maken die soepel beweegt van de ene foto naar de andere, alsof je er echt omheen loopt. Dit klinkt makkelijk, maar voor computers is dit een enorme uitdaging, vooral als de hoek tussen de foto's groot is.

Deze paper introduceert ConfCtrl, een slimme nieuwe manier om dit te doen. Laten we het uitleggen met een paar alledaagse vergelijkingen.

1. Het Probleem: De "Gokker" en de "Stijve Robot"

Vroeger waren er twee soorten computersystemen voor dit werk:

• De Stijve Robot (Regressie-methoden): Deze probeert precies te tekenen wat hij ziet. Als hij een hoekje niet ziet op de foto's, maakt hij een lelijke vlek of een wazige vlek. Hij kan niet "dromen" wat er achter een muur zit.
• De Gekke Kunstenaar (Diffusie-modellen): Deze kan prachtige nieuwe dingen bedenken en vullen wat er mist. Maar hij is vaak te creatief: als je vraagt om een camera-beweging naar links, gaat hij soms een beetje naar rechts of maakt hij de wereld een beetje scheef. Hij volgt je instructies niet nauwkeurig genoeg.

2. De Oplossing: ConfCtrl (De Slimme Navigator)

ConfCtrl combineert het beste van beide werelden. Het is als een navigatiesysteem in een auto dat een ervaren chauffeur (de kunstenaar) bestuurt.

Hier zijn de twee belangrijkste trucjes die ConfCtrl gebruikt:

Truc 1: De "Vertrouwde Start" (Confidence-Aware Initialization)

Normaal gesproken begint een kunstenaar met een volledig wit canvas en wat ruis (statische ruis op een oude tv), en begint hij dan pas te tekenen.
ConfCtrl doet iets anders. Het kijkt eerst naar de twee foto's en maakt een ruwe schets van de 3D-wereld (een puntwolk). Maar het weet dat deze schets niet perfect is; sommige delen zijn wazig of verkeerd.

• De Analogie: Stel je voor dat je een tekening maakt op basis van een slechte kaart. ConfCtrl zegt: "Ik vertrouw de duidelijke wegen op de kaart, maar de wazige stukjes ignoreer ik een beetje."
• Het begint dus niet met een leeg canvas, maar met een gewichtige mix van die ruwe schets en wat ruis. Waar de computer zeker is, gebruikt hij de schets. Waar hij twijfelt, laat hij de kunstenaar meer vrijheid. Dit zorgt voor een veel betere startpositie.

Truc 2: De "Kalman-Filter" (De Voorspeller en de Corrector)

Dit is het meest ingenieuze deel. Het systeem gebruikt een mechanisme dat lijkt op wat piloten en robots gebruiken om hun positie te bepalen. Het werkt in twee stappen: Voorspellen en Bijwerken.

• Stap 1: Voorspellen (De Pilot): De computer zegt: "Op basis van de camera-instructie (bijv. 'draai naar links'), denk ik dat de wereld er zo uit moet zien." Dit is de voorspelling.

• Stap 2: Bijwerken (De Navigator): Dan kijkt de computer naar de ruwe 3D-schets (de puntwolk) die we eerder maakten. Deze schets is "ruisig" (niet perfect). De computer zegt: "Mijn voorspelling was goed, maar deze schets zegt dat er hier een boom moet staan. Ik ga mijn voorspelling een klein beetje aanpassen om die boom erin te krijgen, maar ik negeer de rare vlekken op de schets."

• De Analogie: Stel je voor dat je door een mistig landschap rijdt. Je hebt een GPS (de camera-instructie) die zegt: "Ga rechtdoor." Je hebt ook je eigen ogen (de 3D-schets) die een boom zien, maar door de mist is het beeld wazig.

  • Een domme robot zou blindelings de GPS volgen en tegen de boom rijden.
  • Een gekke kunstenaar zou de boom veranderen in een huis omdat hij niet zeker is.
  • ConfCtrl zegt: "De GPS zegt rechtdoor, maar mijn ogen zien een boom. Ik ga mijn koers heel voorzichtig aanpassen om die boom te vermijden, maar ik laat de GPS de hoofdroute bepalen."

Waarom is dit geweldig?

Door deze twee stappen te combineren, krijgt ConfCtrl de volgende voordelen:

1. Precisie: De camera volgt exact het pad dat je wilt, zonder te afdwalen.
2. Natuurlijkheid: Het kan gebieden invullen die je niet ziet op de originele foto's (zoals de achterkant van een auto), omdat het een sterke "kunstzinnige" basis heeft.
3. Robuustheid: Zelfs als de 3D-schetsen niet perfect zijn (wat vaak gebeurt bij grote hoekverschillen), weet het systeem welke delen het moet vertrouwen en welke het moet negeren.

Conclusie

Kortom, ConfCtrl is als een slimme regisseur die een film draait. Hij heeft een ruwe script (de 3D-schets) en een strikt cameraplan (de instructies). In plaats van blindelings het script te volgen of het plan te negeren, luistert hij naar beide, maar weegt hij de informatie af op basis van hoe zeker hij is. Het resultaat is een soepele, realistische video die precies doet wat je wilt, zelfs als je de camera op een heel vreemde manier beweegt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ConfCtrl: Enabling Precise Camera Control in Video Diffusion via Confidence-Aware Interpolation" in het Nederlands.

Probleemstelling

Het paper adresseert de uitdaging van novel view synthesis (het genereren van nieuwe weergaven van een scène) vanuit slechts twee invoerbeelden, vooral onder omstandigheden met grote veranderingen in het gezichtspunt. Bestaande methoden kampen met twee fundamentele beperkingen:

1. Regressie-gebaseerde methoden: Deze leren expliciete 3D-scènevoorstellingen. Hoewel ze camera-trajecten goed kunnen volgen, missen ze vaak de generatieve capaciteit om onzichtbare gebieden (occlusies) te reconstrueren bij schaarse invoer, wat leidt tot artefacten.
2. Diffusie-gebaseerde methoden met camera-besturing: Deze profiteren van sterke generatieve priors, maar hebben moeite om strikt de gewenste camera-posities te volgen. Ze vertonen vaak afwijkingen van het beoogde traject door ruis in projecties van 3D-puntenwolken of onvoldoende conditionering.

De kernuitdaging is dus een methode te vinden die zowel geometrische consistentie (strakke camera-besturing) als generatieve kracht (het invullen van onzichtbare gebieden) combineert, zelfs wanneer de 3D-priors (zoals geprojecteerde puntenwolken) onnauwkeurig of ruisend zijn.

Methodologie: ConfCtrl

De auteurs stellen ConfCtrl voor, een vertrouwen-georiënteerd (confidence-aware) video-interpolatiekader dat op een voorgeïmplementeerde video-interpolatiemodel (Wan2.1) is gebaseerd. De methode introduceert twee cruciale innovaties om onzekerheid in 3D-priors te hanteren:

1. Initialisatie met Vertrouwensgewogen Ruis (Confidence-Aware Initialization)

In plaats van het diffusieproces te starten met puur Gaussisch ruis (zoals bij standaard methoden), start ConfCtrl met een combinatie van ruis en een vertrouwens-gewogen latent van een geprojecteerde puntenwolk.

• Mechanisme: Een puntenwolk wordt gegenereerd vanuit een 3D-foundation model (bijv. VGGT). Een confidence-map (vertrouwenskaart) kwantificeert de betrouwbaarheid van elk punt.
• Formule: De initiële latent $z_0$ wordt berekend als:
  $$z_0 = \lambda_1 \cdot (w \odot \hat{z}_{pc}) + \lambda_2 \cdot \epsilon$$
  Waarbij $w$ de confidence-weights zijn, $\hat{z}_{pc}$ de puntenwolk-latent is, en $\epsilon$ Gaussische ruis. Dit zorgt voor een betere startpositie die de kennis van video-interpolatie combineert met geometrische priors, waarbij onzekere gebieden minder zwaar wegen.

2. Predict-Update Camera Conditionering (Kalman-geïnspireerd)

Om de onzekerheid in de geometrische priors te compenseren, introduceren de auteurs een predict-update architectuur binnen de Diffusion Transformer (DiT) blokken, geïnspireerd door de Kalman-filter.

• Predict-fase: Het model genereert een voorspelling van de latent gebaseerd uitsluitend op de doel-camera-pose (control input). Dit zorgt voor de gewenste camera-beweging.
• Update-fase: De voorspelling wordt verfijnd door de geprojecteerde puntenwolk te gebruiken als een "ruisende meting". Een geleerd residu (via extra DiT-blokken) corrigeert de voorspelling op basis van het verschil tussen de voorspelling en de meting.
• Doel: Dit mechanisme balanceert de camera-gedreven voorspelling met de geometrische observatie. Als de puntenwolk onbetrouwbaar is (bijv. door occlusie), wordt de invloed ervan automatisch verlaagd, wat leidt tot stabielere en geometrisch correctere generaties.

Training Objective

Het model wordt getraind met een Rectified Flow loss, aangevuld met een latent gradient regularisatie term. Deze regularisatie zorgt voor de behoud van hoge-frequentie details en ruimtelijke consistentie, wat helpt bij het volgen van de camera-trajecten zonder te veel flicker of ruis.

Belangrijkste Bijdragen

1. Gebruik van Pretrained Interpolatie: Het aantonen dat het gebruik van een voorgeïmplementeerde video-interpolatiemodel (die sterk is in head-tail interpolatie) superieure 3D-consistentie biedt voor novel view synthesis onder schaarse invoer.
2. Nieuwe Initialisatiestrategie: Een strategie waarbij de initialisatie van de diffusie gebeurt via een confidence-gewogen latent van een puntenwolk, wat de overgang van interpolatie naar novel view synthesis verbetert.
3. Kalman-geïnspireerde Conditionering: Een innovatieve "predict-update" mechanisme dat camera-posities en geometrische priors (puntenwolken) gezamenlijk encodeert om onzekerheid te hanteren en robuuste camera-besturing te bereiken.
4. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat de methode zowel regressie- als diffusie-baselines overtreft, met name in zero-shot generalisatie op onbekende datasets.

Resultaten

De auteurs evalueren ConfCtrl op meerdere datasets (CO3D-Hydrant, CO3D-Teddybear, DL3DV) en vergelijken het met toonaangevende methoden zoals PixelSplat, AnySplat, CameraCtrl en ViewCrafter.

• Kwantitatieve Prestaties: ConfCtrl behaalt de beste scores op alle metrics:
  • Beeldkwaliteit: Hogere PSNR en SSIM, lagere LPIPS (betere perceptuele gelijkenis).
  • Camera-controle: Significant lagere translatie- en rotatiefouten (Et en Er), wat aantoont dat het model de camera-trajecten veel nauwkeuriger volgt dan concurrenten.
  • Generatieve Kwaliteit: Betere FID en FVD scores, wat wijst op realistischere en consistentere gegenereerde video's.
• Zero-Shot Generalisatie: Het model presteert uitstekend op datasets waarop het niet is getraind (bijv. GraspNet, RealEstate10k), wat de sterkte van de gebruikte priors en de architectuur bevestigt.
• Ablatie Studies: Experimenten bevestigen dat zowel de confidence-gewogen initialisatie als de predict-update module essentieel zijn; het verwijderen van een van beide leidt tot significante prestatiedalingen.

Significantie

ConfCtrl is een belangrijke doorbraak in het veld van 3D-vision en generatieve AI. Het lost een fundamenteel compromis op tussen geometrische precisie en generatieve flexibiliteit.

• Het maakt het mogelijk om nieuwe weergaven te genereren met grote hoekveranderingen zonder dat de camera-positie "drijft" (drift), wat een groot probleem was bij eerdere diffusiemodellen.
• Door onzekerheid in 3D-priors expliciet te modelleren via een Kalman-achtig mechanisme, biedt het een robuustere oplossing voor real-world scenario's waar perfecte 3D-data niet beschikbaar is.
• De methode opent de deur voor toepassingen waarbij nauwkeurige camera-besturing cruciaal is, zoals virtuele realiteit, augmented reality en filmische visual effects, zelfs met beperkte invoerdata.

Kortom, ConfCtrl combineert de sterktes van voorgeïmplementeerde video-interpolatie met geavanceerde conditioneringstechnieken om de grenzen van novel view synthesis onder uitdagende omstandigheden te verleggen.