Unified Text-Image-to-Video Generation: A Training-Free Approach to Flexible Visual Conditioning

Probleemstelling

Het genereren van video's op basis van tekst en afbeeldingen (Text-to-Video of TI2V) is een cruciaal gebied voor gecontroleerde video-generatie. Bestaande methoden hebben echter twee belangrijke beperkingen:

1. Afhankelijkheid van finetuning: De meeste huidige benaderingen vereisen het finetunen van grote Text-to-Video (T2V) foundation-modellen met gekoppelde tekst, afbeeldingen en video. Dit is rekenkundig duur, vereist grote hoeveelheden data en introduceert risico's op bias.
2. Gebrek aan flexibiliteit: Zelfs bestaande "training-free" methoden zijn vaak beperkt tot vooraf gedefinieerde scenario's (zoals alleen animatie van één afbeelding of interpolatie tussen twee frames). Ze kunnen niet flexibel omgaan met een willekeurig aantal afbeeldingen op willekeurige posities binnen de gegenereerde video.

Het doel van dit werk is een universele oplossing te bieden die T2V-modellen in staat stelt om video's te genereren die zijn geconditioneerd op een willekeurig aantal afbeeldingen op willekeurige posities, zonder dat het model opnieuw getraind hoeft te worden.

Methodologie: FlexTI2V

De auteurs stellen FlexTI2V voor, een training-vrije (training-free) aanpak die werkt als een plug-and-play module voor bestaande T2V diffusion-modellen. De kern van de methode bestaat uit drie stappen die plaatsvinden in de latent space van het diffusion-model:

1. Inversie en Vervanging van Frames (Condition Image Inversion & Replacement):

   • De invoer-afbeeldingen worden eerst gecodeerd naar een latenterepresentatie.
   • Vervolgens worden deze representaties "geïnverteerd" naar ruisrepresentaties op elke stap van het denoising-proces (gebaseerd op DDPM-inversie).
   • Tijdens het generatieproces worden de latenterepresentaties van de video-frames op de specifieke posities waar de invoer-afbeeldingen moeten verschijnen, direct vervangen door deze geïnverteerde ruisrepresentaties. Dit zorgt ervoor dat de globale structuur van de afbeeldingen behouden blijft.

2. Willekeurige Patch Swapping (Random Patch Swapping - RPS):

   • Dit is de belangrijkste innovatie. Om te voorkomen dat de visuele kenmerken van de invoer-afbeeldingen verloren gaan in de temporale lagen van het model, worden willekeurige "patches" (lokale gebieden) uitgewisseld tussen de video-frames en de invoer-afbeeldingen tijdens de vroege stappen van het denoising-proces.
   • Dit gebeurt via een binair masker dat bepaalt welk percentage van de patches wordt uitgewisseld. Hierdoor worden visuele cues van de afbeeldingen direct in de video-frames geïntegreerd.

3. Dynamische Controle Strategie:

   • Om een balans te vinden tussen trouw aan de invoer-afbeeldingen (fidelity) en creativiteit in de beweging, wordt het percentage uitgewisselde patches en het aantal denoising-steps dynamisch aangepast.
   • Frames die dicht bij een invoer-afbeelding liggen, ondergaan meer patch-swapping om de visuele consistentie te garanderen.
   • Frames die verder weg liggen, ondergaan minder swapping om de beweging creatiever en natuurlijker te laten verlopen. Dit voorkomt dat de video "vastloopt" (frozen) en zorgt voor soepele overgangen.

Belangrijkste Bijdragen

• Unificatie van TI2V-taken: Het paper definieert een generiek TI2V-probleem dat bestaande taken zoals afbeeldingsanimatie, rewinding (terugspoelen), outpainting en frame-interpolatie verenigt in één formulering.
• Training-vrije flexibiliteit: FlexTI2V kan worden toegepast op elk bestaand T2V-foundation-model (zowel UNet- als transformer-architecturen) zonder finetuning, en ondersteunt willekeurige aantallen afbeeldingen op willekeurige posities.
• Nieuwe techniek: De introductie van de "Random Patch Swapping" methode als een effectieve manier om visuele controle toe te voegen aan diffusion-processen zonder het model te herscholen.

Resultaten

De auteurs hebben hun methode uitgebreid getest op het UCF-101-dataset en een synthetisch dataset, en vergeleken met state-of-the-art methoden zoals DynamiCrafter (gefinetuned), TI2V-Zero en TRF (beide training-free).

• Kwaliteit: FlexTI2V presteert significant beter dan bestaande training-free methoden op alle metrics, waaronder FVD (Fréchet Video Distance), CLIP-T (tekst-video consistentie) en CLIP-I (afbeelding-video consistentie).
• Snelheid: De methode is uiterst efficiënt. Terwijl TI2V-Zero video-frames sequentieel genereert (wat langzaam is), genereert FlexTI2V alle frames gelijktijdig in één denoising-proces. De inferentie-tijd is slechts 2,71 seconden voor een 16-frame video op een NVIDIA H100 GPU, wat aanzienlijk sneller is dan concurrenten.
• Generalisatie: De methode werkt succesvol op verschillende foundation-modellen (o.a. ModelScopeT2V en Wan2.1) en is effectief voor zowel menselijke acties als objectbewegingen zonder mensen.
• User Study: Menselijke beoordelaars gaven de video's gegenereerd door FlexTI2V de voorkeur in de meeste gevallen vanwege de betere consistentie met zowel de tekst als de visuele voorwaarden.

Significantie

FlexTI2V vertegenwoordigt een belangrijke stap voorwaarts in de richting van democratisering van aangepaste video-generatie. Door de noodzaak van kostbaar en tijdrovend finetuning weg te nemen, kunnen ontwikkelaars en onderzoekers bestaande krachtige foundation-modellen direct gebruiken voor complexe, gecontroleerde video-taken. De methode lost het probleem op van stijve conditioning-schema's en biedt een flexibele, rekenkundig goedkope oplossing voor het genereren van video's met meerdere visuele referenties, wat de weg vrijmaakt voor meer creatieve en geavanceerde toepassingen in videobewerking en -creatie.