Technische Samenvatting: CRePE voor Unified-Camera-Controlled Video Generatie

Probleemstelling

Camera-geconditioneerde videogeneratie vereist dat modellen video's synthetiseren die voldoen aan specifieke cameratrajectorieën en lensconfiguraties. Hoewel recente benaderingen zijn verschoven naar positionele codering op attentieniveau om relatieve tokenrelaties onder gezichtswijzigingen te modelleren, ondervinden bestaande methoden aanzienlijke beperkingen:

1. Straal-Alleen Beperkingen: Methoden zoals UCPE coderen de kijkstraalrichting, maar specificeren niet de positie van de inhoud van het tafereel langs die straal. Dit is ontoereikend voor het modelleren van token-correspondenties wanneer de camera beweegt, aangezien correspondenties afhankelijk zijn van zowel straalrichting als tafereeldiepte.
2. Pinhole-Bias: Veel bestaande coderingen vertrouwen op pinhole-camera-geometrie, wat faalt in het vastleggen van de niet-lineaire projectiegeometrie die inherent is aan groothoek- en vis-ooglensen (Unified Camera Model of UCM).
3. Gebrek aan Dieptebewustzijn: Huidige positionele coderingen integreren de geometrie van het tafereel niet effectief, wat de mogelijkheid van het model beperkt om diverse lensmodellen te hanteren en tokenrelaties tijdens gezichtswijzigingen te verfijnen.

Methodologie: CRePE

De auteurs stellen Curved Ray Expectation Positional Encoding (CRePE) voor, een met het Unified Camera Model (UCM) compatibele positionele codering die elke image-token niet alleen voorstelt door zijn kijkstraal, maar als een diepte-bewuste positionele verdeling langs die straal.

Kerncomponenten

1. Curved-Ray Expected RoPE:

   • In plaats van aan te nemen dat er één eindpunt is, modelleert CRePE de positie van de token als een uniforme verdeling in logaritmische radiale afstand ($z = \log r$), gedefinieerd door een voorspelde middelpunt ($\mu$) en intervalbreedte ($\sigma$).
   • Deze verdeling wordt gediscretiseerd in $K$ breekpunten. Elk breekpunt wordt opgetild langs de bron-UCM-straal, getransformeerd naar het raamwerk van de query-camera, en voorwaarts geprojecteerd.
   • Omdat UCM-projectie een gebocheld pad induceert in het query-gezicht voor een bronstraalinterval, integreert CRePE analytisch de Rotary Positional Encoding (RoPE)-phasor over dit stuksgewijs lineaire gebochelde pad. Dit levert een verwachte modulatieweerspiegeling op die straal-positieonzekerheid onder niet-pinhole-projectie vastlegt.
   • De standaardinstelling gebruikt $K=5$ breekpunten om geometrische nauwkeurigheid en computationele efficiëntie in evenwicht te brengen.

2. Geometric Attention Adapter:

   • CRePE wordt geïmplementeerd via een Geometric Attention Adapter die wordt toegevoegd aan een bevroren video Diffusion Transformer (DiT).
   • Een gedeelde geometrie-head ($g_\phi$) voorspelt de parameters voor logaritmische radiale afstand ($\mu, \sigma$) uit tokenkenmerken aan de key-zijde.
   • Deze voorspellingen worden omgezet in verwachte RoPE-modulatieweerspiegelingen, die de kenmerken aan de key-zijde moduleren in geselecteerde middenlagen van de DiT.
   • Het ontwerp behoudt het stabiele "straal-alleen" cameraleidingsignaal in vroege en late lagen (met behulp van standaard UCPE), terwijl het diepte-bewuste geprojecteerde-padmodulatie injecteert in de middenlagen waar informatie over radiale afstand het meest herstelbaar is.

3. Radiale Afstands Supervisie & Radial MixForcing:

   • Om de geometrische voorspelling te stabiliseren, wordt het model gesuperviseerd met pseudo radiale-afstandskaarten gegenereerd door een monokulaire geometrie-foundationmodel (UniK3D).
   • Een geldigheidsfilter sluit onbetrouwbare voorspellingen uit (bijvoorbeeld niet-eindige waarden, afstanden >20m).
   • Radial MixForcing: Een teacher-substitutie-algoritme tijdens het trainingstijdperk stelt het model in staat om tijdens de inferentie extern aangeleverde radiale kaarten te accepteren. Als een externe kaart geldig is, vervangt deze de voorspelde verdeling; anders valt het model terug op zijn eigen voorspelling. Dit maakt externe geometriecontrole mogelijk zonder opnieuw te trainen.

Belangrijkste Bijdragen

1. Diepte-bewuste Positionele Codering: CRePE introduceert een positionele codering die niet alleen de straalrichting, maar ook mogelijke tafereelposities langs de straal in overweging neemt, waardoor diepte-bewuste codering mogelijk wordt voor gebogen geprojecteerde-padgeometrie onder het Unified Camera Model.
2. Adapter-gebaseerde Implementatie: De auteurs passen CRePE toe op bevroren video-DiT's via een Geometric Attention Adapter, waarbij token-voor-token tafereelafstand wordt opgenomen in attentiemechanismen en voorspellingen worden gestabiliseerd met pseudo radiale-afstands supervisie.
3. Externe Geometriecontrole: Door het pad voor positionele codering uit te breiden, ondersteunt CRePE externe radiale-kaartcontrole voor generatie geconditioneerd op tafereelgeometrie en overdracht van bronvideo-beweging via Radial MixForcing.

Experimentele Resultaten

De auteurs hebben CRePE geëvalueerd tegenover baselines, waaronder ReCamMaster (externe trajectoriecontrole) en UCPE (unified-camera straalcodering), op de PanShot-dataset, die pinhole-, groothoek- en vis-oog-instellingen bestrijkt.

• Cameracontrole & Geometrie: CRePE presteert significant beter dan baselines op metrics voor cameracontroleerbaarheid (CamMC, rotatiefout, translatiefout) en lensvervormingsmetrics ($k_1, k_2$), met name onder groothoek- en vis-oogcondities waar pinhole-aannames falen.
• Ablatiestudies: Bij vergelijking van CRePE met een RayRoPE-stijl eindpunt PE-baseline (die het straalinterval benadert met slechts twee eindpunten), behaalt CRePE een betere algehele gemiddelde rang. Dit bevestigt dat integratie over het gebochte geprojecteerde pad (via $K>2$ breekpunten) voordelen biedt boven eenvoudige eindpuntbenaderingen.
• Videokwaliteit: Hoewel CRePE geometrie-bewuste en perceptuele metrics verbetert (VBench, esthetische kwaliteit), blijft het concurrerend op standaard videokwaliteitsmetrics (FVD, FID). Bij sommige volledige videokwaliteitsmetrics (bijvoorbeeld FVD, Inception Score) blijft de straal-alleen baseline (UCPE) iets sterker, wat wijst op een afweging tussen strikte geometrische adherentie en distributie-gebaseerde videokwaliteit.
• Laagplaatsing: Experimenten tonen aan dat het toepassen van CRePE op de midden 10 blokken van de DiT de beste afweging biedt tussen geometrische controle en generatiekwaliteit, en beter presteert dan het toepassen ervan op alle lagen of alleen op vroege/late lagen.

Betekenis en Claims

Het artikel claimt dat CRePE een significante stap voorwaarts is naar unified camera control die robuust is over diverse lensconfiguraties, inclusief niet-pinhole lenzen. Door te verschuiven van straal-alleen codering naar curved-ray expectation, legt de methode de niet-lineaire projectiegeometrie van groothoek- en vis-oogcamera's beter vast.

De auteurs positioneren CRePE als een bouwsteen voor geometrie-bewuste, camera-controleerbare videogeneratie. Ze benadrukken dat de methode het vermogen van het model verbetert om cameratrajectorieën te volgen en tafereelconsistentie te behouden onder gezichtswijzigingen, zonder dat er bronvideo's of referentieafbeeldingen nodig zijn tijdens de inferentie. Bovendien demonstreert de uitbreiding naar Radial MixForcing een pad naar het verenigen van cameracontrole en externe tafereelgeometriecontrole binnen één adapterframework, waardoor taken zoals bewegingsoverdracht en tafereel-layout manipulatie mogelijk worden via externe radiale kaarten.

Het werk wordt gepresenteerd als een preprint, en de auteurs erkennen beperkingen, zoals de afhankelijkheid van de kwaliteit van pseudo-supervisie van monokulaire geometriemodellen en de huidige focus op centrale-camera-modellen (UCM) in plaats van rolling-shutter of niet-centrale modellen.