Probing into Camera Control of Video Models

Technische Samenvatting: Het Onderzoeken van Cameracontrole bij Videomodellen

Probleemstelling
Videogeneratiemodellen bezitten rijke priors voor ruimtelijke structuur en temporele dynamiek, maar het mogelijk maken van controleerbare camerabeweging blijft een aanzienlijke uitdaging. Bestaande benaderingen vertrouwen doorgaans op het fijnafstemmen van videomodellen op gepaarde camera-pose datasets met behulp van aanvullende camera-modules (bijv. adapters, embeddings of aanpassingen aan de attentie). De auteurs identificeren drie fundamentele beperkingen in dit paradigma:

1. Impliciete en Oninterpreteerbare Mapping: De relatie tussen camerabeweging en inhoud is impliciet gecodeerd, waarbij vaak dataset-specifieke correlaties worden geleerd in plaats van onderliggende geometrie.
2. Data-beperkingen: Beschikbare camera-geannoteerde datasets zijn vaak beperkt in schaal, diversiteit en dynamiek (typisch synthetisch of afgeleid van Structure-from-Motion), wat de generalisatie naar realistische bewegingspatronen en complexe scènes beperkt.
3. Degradatie van Priors: Fijnafstemming op gespecialiseerde datasets neigt het model te bevooroordeelen naar een smallere uitgangsdistributie, waardoor de diverse priors die tijdens grootschalige pretraining zijn geleerd, worden overstemd en de visuele kwaliteit verslechtert.

Bovendien vertrouwen bestaande trainingsvrije methoden vaak op niet-differentieerbare bewerkingen (bijv. reconstructie van puntwolken, inpainting), wat end-to-end optimalisatie onuitvoerbaar maakt.

Methodologie: CamProbe
Het artikel stelt CamProbe voor, een trainingsvrije methode die cameracontrole niet herformuleert als een generatief leervraagstuk, maar als een vorm van geometrische geleiding die wordt toegepast via verplaatsingsvelden.

• Formulering van Verplaatsingsvelden: In plaats van een mapping te leren van cameratrajecten naar video, construeert de methode een set verplaatsingsvelden ($\mathcal{F}$) voor een gegeven cameratraject. Gegeven een cameratraject $T_f = (R_f, t_f)$, berekent de methode relatieve transformaties ten opzichte van het eerste frame. Het verheft latente pixelcoördinaten tot pseudo-3D-punten met behulp van een kant-en-klare diepteschatter ($D_f$), past de cameratransformatie toe en projecteert ze terug naar het beeldvlak om een dicht warping-rooster (verplaatsingsveld) af te leiden.
• Differentieerbare Resampling in Diffusie: Deze verplaatsingsvelden worden geïntegreerd in het ontdoofingsproces van het video-diffusiemodel. Op elk tijdstip $t$ (specifiek tijdens het vroege stadium $t \in [T, 0.8T]$) wordt de geschatte schone latent $\hat{z}_0$ gewrongen met het verplaatsingsveld via een differentieerbare resampling-operator ($\circ$).
  • De update volgt een classifier-free guidance-vorm: $\hat{z}'_{0,f} = \hat{z}_{0,f} + \omega (\mathcal{F}_f \circ \hat{z}_{0,f} - \hat{z}_{0,f})$.
  • De gewijzigde schatting wordt gebruikt om de ruwe latent $z_t$ (of de snelheid $v_t$ bij flow matching) bij te werken voordat de volgende bemonsteringsstap wordt uitgevoerd.
• Trainingsvrije Aard: De methode vereist geen aanvullende modules, fijnafstemming of gepaarde data. De verplaatsingsvelden kunnen heuristisch worden gedefinieerd (zoals in dit werk gedaan met dieptegedreven warping) of worden geleerd.

Belangrijkste Bijdragen

1. Herformulering van Cameracontrole: De auteurs stellen voor cameracontrole te behandelen als een set verplaatsingsvelden die via differentieerbare resampling tijdens ontdoofing worden toegepast, waardoor controle mogelijk wordt zonder training of architecturale wijzigingen.
2. Probe voor Modelanalyse: De methode dient als een gestandaardiseerde probe om de inherente cameracontrole-capaciteiten van basisvideofoundatiemodellen te isoleren en te analyseren, en het modelgedrag te scheiden van artefacten die worden veroorzaakt door tekst-conditionering of specifieke trainingsdatasets.
3. Identificatie van Universele Bias: Met behulp van de probe identificeren de auteurs systematisch gedrag in representatieve videomodellen:
   • Onderschatting van Capaciteit: Modellen presteren vaak beter onder geometrische geleiding dan onder tekstprompts, wat suggereert dat de beperkingen liggen in het geleidingsmechanisme en niet in het model zelf.
   • Asymmetrische Lekkage: Translatiebewegingen zijn gemakkelijker te genereren dan rotatiebewegingen; rotatiecommando's lekken vaak door naar translatie, maar het omgekeerde komt minder vaak voor.
   • Directionele Voorkeur: Modellen vertonen een bias ten opzichte van horizontale beweging boven verticale beweging.
   • Mode Shift: Excessieve controlekracht kan een "mode shift" veroorzaken waarbij soepele beweging verslechtert tot abrupte overgangen.
4. Multi-View Benchmarking: Het artikel introduceert een meerlagig evaluatieprotocol (2D, 2.5D en 3D) om multi-view consistentie te beoordelen en benchmarkt vijf videomodellen onder orbitale camerabewegingen.

Resultaten

• Prestaties versus Fijnafgestemde Baselines: In vergelijking met state-of-the-art fijnafgestemde methoden (bijv. Gen3C, TrajectoryCrafter, ReCamMaster) bereikt CamProbe concurrerende visuele kwaliteit met slechts een geringe daling in cameracontrole-accuraatheid (gemeten door Relative Pose Error). Cruciaal behoudt het de generatieve prior van het basismodel, wat resulteert in minder degradatie van beeldkwaliteit en bewegingssmoothheid in vergelijking met fijnafgestemde benaderingen.
• Efficiëntie: De methode veroorzaakt verwaarloosbare extra GPU-geheugenoverhead. De primaire runtime-kost komt voort uit dieptebepaling en latente resampling, wat kan worden verminderd door constante diepte te gebruiken of bepaalde resampling-stappen over te slaan.
• Probe Bevindingen:
  • Single-View: Modellen tonen een afweging tussen bewegingssterkte en kwaliteit. HunyuanVideo-1.5 en Wan2.2-I2V-A14B tonen de beste balans.
  • Multi-View: Hoewel sommige modellen (bijv. LTX-2.3) hoogwaardige statische weergaven produceren, bereiken andere (bijv. HunyuanVideo-1.5) een betere balans tussen geometrische consistentie en bewegingsalignering, wat wijst op een groter potentieel voor 3D/4D-taken.
  • Vergelijking met CamTrol: CamProbe produceert sterkere dynamiek dan de trainingsvrije methode CamTrol, terwijl het vergelijkbare visuele kwaliteit behoudt. Dit wordt toegeschreven aan het behoud van intrinsieke modeldynamiek in plaats van het doorgeven van een enkele statische referentie.

Betekenis en Claims
Het artikel betoogt dat cameracontrole in videogeneratie niet hoeft te worden behandeld als een impliciet leervraagstuk dat enorme datasets en fijnafstemming vereist. In plaats daarvan kan het effectief worden opgelost via verplaatsingsveld-geleide generatie. De auteurs claimen dat zelfs een heuristisch gedefinieerd verplaatsingsveld fungeert als een voldoende sterk signaal om camerabeweging te induceren zonder de kwaliteit van het basismodel te compromitteren.

De betekenis van dit werk ligt op twee gebieden:

1. Praktisch Nut: Het biedt een eenvoudige, trainingsvrije mechanisme om camerabeweging in bestaande videomodellen te controleren, waarbij hun generatieve capaciteiten met hoge fideliteit behouden blijven.
2. Analytisch Inzicht: Het biedt een hulpmiddel om de latente capaciteiten van foundatiemodellen te "proberen", waardoor wordt onthuld dat veel modellen een inherent geometrisch begrip bezitten dat vaak wordt verduisterd door huidige evaluatiemethoden (die vertrouwen op tekstprompts) of trainingsparadigma's. De bevindingen suggereren dat de beperkingen in huidige cameracontrole vaak te wijten zijn aan het induktiemechanisme en niet aan het onvermogen van de modellen om geometrisch consistente inhoud te genereren.

De auteurs erkennen beperkingen, waarbij zij opmerken dat het huidige heuristische verplaatsingsveld minder betrouwbaar kan zijn in scènes met complexe ruimtelijke relaties en dat de geometrische geleiding grof is. Zij suggereren dat toekomstig werk zich kan richten op het leren van de verplaatsingsvelden of het verfijnen van de diffusie-updatestrategieën voor nog grotere precisie.