CT-1: Vision-Language-Camera Models Transfer Spatial Reasoning Knowledge to Camera-Controllable Video Generation

Probleemstelling

Het genereren van video's met controleerbare camerabewegingen is een centraal onderzoeksgebied, maar bestaande methoden hebben twee belangrijke beperkingen:

1. Onnauwkeurige semantische controle: Methoden die vertrouwen op tekstuele prompts (zoals "de camera zoomt in") leveren vaak onnauwkeurige resultaten op en volgen de instructies niet consequent.
2. Handmatige trajecten: Methoden die expliciete cameraparameters vereisen, zijn arbeidsintensief omdat deze handmatig moeten worden gespecificeerd, wat ze ongeschikt maakt voor geautomatiseerde scenario's.

Het fundamentele uitdaging is het automatisch genereren van cameratrajecten die zowel consistent zijn met de gebruikersintentie (tekst) als met de ruimtelijke context van de scène (beeld), zonder handmatige tussenkomst.

Methodologie

De auteurs stellen CT-1 (Camera Transformer 1) voor, een nieuw model dat de kennis van ruimtelijk redeneren overbrengt naar video-generatie. Het framework bestaat uit drie hoofdblokken:

1. Het Vision-Language-Camera (VLC) Model

CT-1 is een speciaal model dat beelden en tekst combineert om dynamische cameratrajecten te voorspellen.

• Visuele Module: Gebruikt een dual-branch architectuur met DINOv2 en SigLIP om zowel fijne details als hoge semantische informatie uit het referentiebeeld te halen.
• Taalkundige Module: Gebruikt een Large Language Model (LLaMA-2) om tekstuele instructies te verwerken.
• Fusie: Een learnable camera-context token (<CAM>) wordt geïntegreerd in de sequentie van visuele en taalkundige tokens. Dit token fungeert als een compacte globale feature die visuele en semantische informatie samenvoegt voor de volgende stap.

2. Diffusion Transformer voor Trajectvoorspelling

In tegenstelling tot traditionele regressiemodellen die één vast numeriek antwoord voorspellen, modelleert CT-1 een verdeling over mogelijke cameratrajecten.

• Architectuur: Een Diffusion Transformer (DiT) die de waarschijnlijkheidsverdeling van plausibele trajecten leert.
• Wavelet-gebaseerde Regularisatie Loss (WavReg): Een kerninnovatie. De auteurs analyseren cameratrajecten in het frequentiedomein en merken op dat lage frequenties de globale, gladde beweging bepalen, terwijl hoge frequenties lokale verstoringen vertegenwoordigen. Ze introduceren een Wavelet-based Regularization Loss die de modeltraining dwingt om stabiele en fysiek plausibele bewegingen te genereren door de lage-frequentie componenten (globale trend) zwaarder te wegen dan de hoge-frequentie componenten. Dit voorkomt trillen en zorgt voor soepele bewegingen.

3. Gecontroleerde Video-Generatie

CT-1 werkt in een tweestapsproces:

1. CT-1 voorspelt een semantisch uitgelijnd en temporair coherent cameratraject op basis van een referentiebeeld en tekst.
2. Dit traject wordt gebruikt als conditionele signaal voor een bestaande video-diffusiemodel (zoals CameraNoise of Wan2.1/2.2) om de daadwerkelijke video te synthetiseren. Dit maakt het modulaire en toepasbaar op verschillende generatieve backbones.

Dataset: CT-200K

Om dit model te trainen, hebben de auteurs een grote dataset samengesteld, CT-200K, met meer dan 47 miljoen frames.

• Data Curation Pipeline: Omdat bestaande datasets ontbreken aan nauwkeurige camerabewegingsannotaties, gebruiken ze een geautomatiseerde pipeline met Vision-Language Models (VLMs) en LLMs.
• Scenario's: De dataset bevat zowel algemene video-scenario's als complexe redenerings-scenario's (bijv. "verplaats de toolbox naar rechts van de boormachine"), waarbij het model moet redeneren over ruimtelijke relaties om het juiste cameratraject af te leiden.
• Validatie: VGGT wordt gebruikt voor nauwkeurige camerapose-schatting om de annotaties te valideren.

Resultaten

De prestaties zijn geëvalueerd op benchmarks zoals CameraBench100 en vergeleken met state-of-the-art modellen (MotionCtrl, CameraCtrl, Wan2.2, CogVideoX, etc.).

• Kwaliteit van Camerabesturing: CT-1 behaalt een Success Rate van 81,6%, wat een verbetering is van 25,7% ten opzichte van de beste bestaande methoden (Wan2.2 met Prompt Extension). Het presteert zelfs beter dan methoden die expliciete trajecten als input gebruiken.
• Video Kwaliteit: De gegenereerde video's scoren hoog op VBench-metrics (aesthetische kwaliteit, dynamische graad, gladheid), wat aantoont dat de camerabewegingen de visuele consistentie niet schaden.
• Robuustheid: Het model toont sterke prestaties in out-of-distribution (OOD) scenario's en complexe bewegingen (zoals "truck right" of "pan left while moving forward"), waar andere modellen vaak vastlopen of statische beelden genereren.
• Ablatie Studies:
  • De WavReg loss is cruciaal; zonder deze loss neemt de gladheid en controleerbaarheid af.
  • Het token is essentieel voor het koppelen van visuele en semantische informatie; zonder dit token daalt de prestatie aanzienlijk.
  • Schalen van het model (van Base naar Huge) leidt tot consistente prestatieverbeteringen.

Bijdragen en Significantie

1. Nieuw Paradigma: CT-1 introduceert het concept van Vision-Language-Camera (VLC) modellen, die ruimtelijk redeneren gebruiken om camerabewegingen te voorspellen in plaats van ze handmatig in te voeren of te vertrouwen op vage tekstuele prompts.
2. Technische Innovatie: De introductie van Wavelet-based Regularization in het frequentiedomein voor cameratrajecten is een unieke bijdrage die zorgt voor fysiek plausibele en stabiele bewegingen.
3. Dataset: De creatie van CT-200K vult een kritieke lacune in de dataset voor cameragecontroleerde video-generatie, met name voor scenario's die ruimtelijk redeneren vereisen.
4. Toepassing: Het werk sluit de kloof tussen hoog-niveau semantische intentie en laag-niveau videopixel-generatie, waardoor geautomatiseerde, hoogwaardige video-productie met precieze camerabesturing mogelijk wordt.

Kortom, CT-1 bewijst dat het koppelen van multimodaal redeneren aan diffusiemodellen via een gespecialiseerd trajectvoorspellingsmodel de staat van de kunst voor cameragecontroleerde video-generatie aanzienlijk verbetert.