Technische Samenvatting: Go-with-the-Track

Probleemstelling

Filmmaken en hoogwaardige videogeneratie vereisen nauwkeurige controle over zowel de visuele verschijning van elementen (compositing) als hun spatiotemporele evolutie (bewegingscontrole). Bestaande methoden behandelen deze capaciteiten doorgaans geïsoleerd. Point-track-geconditioneerde image-to-video modellen beperken de inhoudsinsertie meestal tot het eerste frame, uitgaande van de veronderstelling dat alle controleerbare elementen initieel aanwezig zijn; hierdoor hebben ze moeite om elementen die op willekeurige frames in of uit een scène komen, op natuurlijke wijze te componeren. Daarentegen maken reference-to-video modellen het mogelijk om uiterlijk van meerdere referenties te injecteren, maar ontbreekt het hen aan fijnmazige, bewerkbare representaties van beweging, waardoor het moeilijk is om te controleren hoe meerdere referentie-elementen zich door de ruimte en tijd bewegen en met elkaar interageren. Bovendien vertrouwen eerdere benaderingen van point-track-conditionering vaak op willekeurige embeddings om tracks te onderscheiden, wat faalt in het benutten van ruimtelijke nabijheidscues, wat leidt tot trage convergentie en slechte generalisatie bij het verwerken van een groot aantal tracks of discontinue correspondenties tussen referentiebeelden en gegenereerde frames.

Methodologie

De auteurs stellen Go-with-the-Track voor, een uniform framework dat videogeneratie gezamenlijk conditioneert op basis van meerdere referentiebeelden en referentie-verankerde point-tracks. De kerninnovatie is de uitbreiding van conventionele point-tracks om expliciet correspondenties te vestigen tussen gegenereerde videoframes en de input-referentiebeelden, waardoor het model niet alleen kan dicteren hoe een element beweegt, maar ook welke specifieke referentie-inhoud aan die beweging is verankerd.

Belangrijke Technische Componenten

1. Referentie-verankerde Point-Tracks:
   In tegen tegenstelling tot traditionele tracks die uitsluitend binnen een videosequentie worden gedefinieerd, definiëren de auteurs point-tracks die zowel de gegenereerde videoframes als de input-referentiebeelden overspannen. Deze formulering legt expliciet een link tussen 2D-pixelcoördinaten in de referentiebeelden en hun trajecten in de gegenereerde video, wat precisie-compositing mogelijk maakt van elementen die op verschillende momenten of vanuit verschillende gezichtspunten kunnen verschijnen.

2. Ruimtelijk-bewuste Point-Track Embeddings:
   Om het tekort aan willekeurige embeddings die in eerder werk werden gebruikt aan te pakken, introduceren de auteurs een ruimtelijk-bewuste embeddingstrategie.

   • Encoding: Voor elke point-track wordt de sequentie van 2D-coördinaten (aangevuld met frame-indices) uit de gegenereerde frames verwerkt via een coördinaat-per-coördinaat Multi-Layer Perceptron (MLP) gevolgd door sinusvormige encoding.
   • Pooling: Een temporele max-pooling operatie aggregeert deze coördinaat-embeddings tot één enkele vector per track.
   • Voordeel: Dit ontwerp zorgt ervoor dat de embedding-gelijkenis direct correleert met ruimtelijke nabijheid. Tracks die ruimtelijk dicht bij elkaar liggen in de video, delen vergelijkbare embedding-kenmerken, waardoor het model expliciete ruimtelijke priors krijgt om tracks over frames en referentiebeelden heen te onderscheiden en te associëren, zelfs wanneer de ruwe coördinaten uiteenlopend zijn.

3. Lichtgewicht Point-Track Adapter:
   Een cruciale uitdaging is het overbruggen van het resolutieverschil tussen hoogresolutie pixel-ruimte point-tracks en de gecomprimeerde, gepatchte latente ruimte van video diffusion transformers (doorgaans 16×16 ruimtelijk en 4× temporeel gedownsampleerd).

   • Blok-aggregatie: Het video-volume wordt verdeeld in $4 \times 16 \times 16$ spatiotemporele blokken, die elk overeenkomen met één enkele latente token.
   • Relatieve Positie-injectie: Voor elk blok verzamelt de adapter alle point-track embeddings die erin vallen. Cruciaal is dat vóór de pooling elke embedding wordt geconcateneerd met zijn relatieve positie $(f', x', y')$ binnen het blok.
   • Pooling: Een MLP verwerkt deze geconcateneerde vectoren, gevolgd door max-pooling om één gecomprimeerde conditioning-vector per blok te produceren. Deze aanpak behoudt fijnmazige bewegingsdetails die naïeve subsampling of eenvoudige downsampling zouden verliezen.

4. Hybride Trainingsstrategie:
   Om het tekort aan ground-truth point-track annotaties in realistische video's te overwinnen, gebruiken de auteurs een hybride trainingsdataset bestaande uit:

   • Synthetische Datasets (bijv. PointOdyssey): Bieden per-vertex point-tracks afgeleid van 3D-meshes, wat perfecte ground truth biedt voor het ontwarren van camera- en objectbeweging.
   • Statische Scène Datasets (bijv. DL3DV, TartanAir): Bieden nauwkeurige diepte en camerapozen om precieze point-tracks te berekenen.
   • Realistische Dynamische Video Datasets (bijv. OpenVidHD, MiraData): Bieden fotorealistische priors, geannoteerd met off-the-shelf trackers (DELTA) met iteratieve densificatie om ijle regio's op te vullen.
     Deze mix stelt het model in staat om precieze bewegingscontrole te leren van synthetische data, terwijl het sterke fotorealistische capaciteiten behoudt van realistische data.

Belangrijkste Bijdragen

• Verenigde Bewegingscontrole en Compositing: Het artikel introduceert een paradigma waarbij bewegingscontrole en multi-referentie compositing worden verenigd via referentie-verankerde point-tracks, wat spatiotemporeel controleerbare videogeneratie mogelijk maakt vanuit meerdere referentiebeelden.
• Ruimtelijk-bewuste Embeddings & Adapter: De auteurs tonen aan dat willekeurige embeddings suboptimaal zijn voor referentie-verankerde conditioning. Ze stellen ruimtelijk-bewuste embeddings voor die ruimtelijke kenmerken coderen en een lichtgewicht adapter die pixel-ruimte tracks naar latente ruimte mapt zonder significant verlies van bewegingsdetails.
• Hybride Trainingsdata: Door synthetische, statische en realistische datasets te combineren, vermindert de methode de afhankelijkheid van ruisgevoelige point trackers, waardoor het model precieze bewegingscontrole kan leren terwijl het fotorealisme behoudt.
• Brede Toepasbaarheid: Het framework ondersteunt diverse toepassingen, waaronder bewegings-behoudende video-restyling, mesh- of keypoint-gestuurde compositing, en cameracontrole voor zowel statische als dynamische scènes.

Resultaten

Uitgebreide experimenten op de DAVIS 2017 en TAPVid3D-ADT datasets laten zien dat Go-with-the-Track beter presteert dan state-of-the-art baselines (waaronder DiffusionAsShader, Go-with-the-Flow, Tora, ATI, en Wan-Move) op het gebied van visuele getrouwheid, reconstructienauwkeurigheid en bewegingsgetrouwheid metrieken.

• Kwantitatieve Prestaties: Het model behaalt superieure scores in FID, FVD, LPIPS, PSNR, SSIM en Endpoint Error (EPE), met name in scenario's met dichte tracks waar baselines vaak falen of zware subsampling vereisen.
• Ablatie-studies: Het verwijderen van ruimtelijk-bewuste embeddings, de relatieve positie-injectie in de adapter, of de hybride trainingsdata leidt tot significante prestatieverslechtering, wat de noodzaak van elk onderdeel bevestigt.
• Gebruikersstudie: In een studie met 45 deelnemers werd Go-with-the-Track door een marge van meer dan 2:1 verkozen boven de op één na beste methode wat betreft het volgen van beweging, het behoud van onderwerpen en algemene kwaliteit.

Betekenis

Het artikel stelt dat Go-with-the-Track een fundamentele kloof in videogeneratie overbrugt door uiterlijk en bewegingscontrole te verenigen in één flexibel framework. Door point-tracks uit te breiden om te dienen als spatiotemporele ankers voor meerdere referentiebeelden, ontsluit de methode nieuwe mogelijkheden voor filmmakers en makers, zoals het invoegen van personages of attributen op willekeurige frames, het restylen van video's met behoud van complexe beweging, en het herdoelen van camerabewegingen in zowel statische als dynamische scènes. Het werk benadrukt dat precieze controleerbaarheid in videogeneratie niet alleen betere modellen vereist, maar ook betere conditioning-representaties die de ruimtelijke en temporele continuïteit van de gegenereerde inhoud respecteren.