FC-VFI: Faithful and Consistent Video Frame Interpolation for High-FPS Slow Motion Video Generation

In dit artikel wordt FC-VFI voorgesteld, een methode voor trouwe en consistente videoframe-interpolatie die hoge-resolutie video's van 30 fps naar 120 of 240 fps omzet door een tijdsmodelleerstrategie en semantische matching te combineren om zowel visuele fideliteit als bewegingsconsistentie te waarborgen.

De kern

FC-VFI: De "Tijdmachine" voor Super-Slow Motion Video's

Stel je voor dat je een video hebt van een auto die razendsnel voorbijrijdt. Als je die video in slow motion wilt bekijken, moet je de computer tussen de bestaande beelden (frames) nieuwe beelden "uitvinden". Dit is lastig, want de computer moet raden hoe de auto eruitziet halverwege, zonder dat die beelden echt bestaan.

Tot nu toe waren de beste methoden ofwel te traag, of ze maakten de video wazig en onnatuurlijk (alsof de auto een beetje vervormde). De nieuwe methode uit dit paper, genaamd FC-VFI, is als een slimme, betrouwbare regisseur die precies weet hoe hij die ontbrekende beelden moet maken.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Gokker" vs. De "Regisseur"

Stel je voor dat je een tekening maakt van een man die loopt. Je hebt een foto van hem links en een foto van hem rechts.

• De oude methoden waren als een gokker die probeerde te raden wat er in het midden gebeurt. Soms tekende hij een been waar geen been hoorde te zijn, of de auto leek ineens te vervormen. Ze vertrouwden te veel op "gokken" (generatieve priors) en te weinig op de echte details van de start- en eindfoto.
• FC-VFI is als een regisseur die de start- en eindfoto's constant in de gaten houdt. Hij zorgt dat de nieuwe beelden eruitzien alsof ze echt bestaan, zonder dat de auto vervormt of flitst.

2. De Drie Magische Trucs van FC-VFI

De auteurs hebben drie slimme technieken bedacht om dit te bereiken:

A. De "Tijdslijn" (Temporal Fidelity Modulation Reference)

Stel je voor dat je een film draait. De oude methoden keken naar de start- en eindfoto alsof ze losse foto's waren die ze in een bak gooiden.
FC-VFI doet iets anders: het plakt de start- en eindfoto's letterlijk aan de tijdslijn van de nieuwe beelden vast.

• De analogie: Het is alsof je een nieuwe pagina in een stripboek tekent, maar je houdt de vorige en volgende pagina's vast in je andere hand. Zo weet je precies hoe de lijnen moeten lopen.
• Het resultaat: De computer vergeet nooit hoe de auto er precies uitzag aan het begin en het einde. Hierdoor blijven de details (zoals tekst op een bord of een kentekenplaat) haarscherp, zelfs als je de video 4x of 8x langzamer maakt.

B. De "Tekenlijnen" (Matching Lines Condition)

Soms is het moeilijk om te weten hoe een object beweegt, vooral als het snel gaat of als er veel licht en schaduw is.

• De oude manier: Ze probeerden elke pixel te volgen (zoals een dichte mist), wat vaak fouten opleverde.
• De FC-VFI manier: Ze kijken alleen naar de belangrijkste lijnen van het object (zoals de rand van een auto of de omtrek van een gebouw).
• De analogie: In plaats van te proberen elke druppel regen te volgen, teken je alleen de contouren van de wolken. Dit geeft de computer een stevig skelet om de beweging op te bouwen, zonder in de war te raken door details. Dit zorgt ervoor dat objecten niet "dansen" of vervormen tijdens de beweging.

C. De "Bewegingscheck" (Temporal Difference Loss)

Soms maken computers tussenbeelden die te saai zijn, alsof de video stilstaat in plaats van te bewegen.

• De oplossing: FC-VFI heeft een speciale controle die zegt: "Hé, dit frame moet er anders uitzien dan het vorige!"
• De analogie: Het is alsof je een dansleraar hebt die zegt: "Je beweegt te weinig! Zorg dat je armen echt bewegen." Dit zorgt voor een vloeiende, natuurlijke beweging zonder dat het eruitziet alsof de video stilstaat.

3. Waarom is dit zo speciaal?

• Snelheid: Andere methoden moeten vaak twee keer door de video "rekenen" (een keer vooruit, een keer achteruit) om het goed te doen. FC-VFI doet het in één keer. Het is alsof je een weg in één keer aflegt in plaats van heen en weer te rijden.
• Kwaliteit: Het werkt zelfs op heel hoge resoluties (zoals 2K of 4K), terwijl veel andere methoden daar wazig worden.
• Toepassing: Je kunt hiermee een video van 30 beelden per seconde omzetten naar 120 of zelfs 240 beelden per seconde. Dit is perfect voor slow-motion video's van sport, natuur of actiefilms, waar elke beweging haarscherp moet zijn.

Samenvatting

FC-VFI is als een slimme, snelle en nauwkeurige timmerman die tussen twee bestaande planken (de start- en eindvideo) nieuwe planken (de tussentijdse beelden) maakt. Hij gebruikt de randen van de oude planken als gids, tekent alleen de belangrijkste lijnen om de vorm te behouden, en zorgt dat de nieuwe planken perfect in het ritme passen. Het resultaat? Super-slow motion video's die eruitzien alsof ze echt zijn opgenomen, zonder die vervormingen of wazigheid die je bij andere methoden ziet.

Technische samenvatting

Probleemstelling

Video Frame Interpolatie (VFI) is een fundamentele taak in de computer vision om tussenvoegsels te genereren tussen een start- en eindframe, wat essentieel is voor het creëren van slow-motion video's en het verhogen van het beeldfrequentie (FPS). Hoewel recente methoden op basis van grote vooraf getrainde video-diffusiemodellen (zoals I2V-modellen) veelbelovend zijn, kampen ze met twee belangrijke beperkingen:

1. Fideliteitsproblemen: Generatieve modellen hebben de neiging om artefacten of structurele vervormingen te introduceren. Bijvoorbeeld, een object kan in het tussenvoegsel vervormd lijken ten opzichte van de start- en eindframes, wat leidt tot flickering en perceptuele inconsistentie.
2. Temporale inconsistentie: Bestaande methoden vertrouwen vaak op optische stroming (optical flow) of spaarse punten voor bewegingscontrole. Optische stroming is echter foutgevoelig in complexe scènes, terwijl spaarse punten onvoldoende structurele context bieden.
3. Efficiëntie: Veel huidige diffusion-methoden vereisen bidirectionele inferentie (genereren vanuit start- en eindframe apart en daarna samenvoegen) of herhaaldelijke "re-noising" stappen, wat de rekenkosten aanzienlijk verhoogt.

Methodologie: FC-VFI

De auteurs stellen FC-VFI (Faithful and Consistent Video Frame Interpolation) voor, een framework dat is gefinetuned op een grote vooraf getrainde I2V (Image-to-Video) diffusiemodel (specifiek HunyuanVideo-I2V). Het doel is om 4x en 8x interpolatie te ondersteunen, waardoor de FPS van 30 naar 120 en 240 kan gaan, zelfs bij hoge resoluties (tot 2560 × 1440).

De kerncomponenten van de methode zijn:

1. Temporale Fideliteitsmodulatie Referentie (TFMR):

   • In plaats van start- en eindframes via kanaal-concatenatie toe te voegen (wat gebruikelijk is), concateneert FC-VFI de ruisige latente representaties van de tussenvoegsels met de latente representaties van de start- en eindframes langs de temporale dimensie.
   • Fideliteitsmodulatie: Om te voorkomen dat de generatie het start- en eindframe verstoort, wordt een vaste tijdstap ($t^*=0$) toegekend aan de start- en eindframes (wat overeenkomt met een ruisvrije staat), terwijl de tussenvoegsels de standaard tijdschema volgen. Dit zorgt ervoor dat de tussenvoegsels consistent refereren aan de kenmerken van de grensframes tijdens het hele generatieproces.

2. Semantische Matching Lines (Conditioning):

   • Om structurele stabiliteit te garanderen bij snelle bewegingen of grote camerabewegingen, worden in plaats van dichte optische stromen "matching lines" gebruikt.
   • Met behulp van GlueStick worden semantisch consistente lijnparen geëxtraheerd uit de start- en eindframes. Deze worden gecodeerd en via elementaire optelling toegevoegd aan de grens-latenten.
   • Een extra, gekopieerde DiT-block (Diffusion Transformer) verwerkt deze features en injecteert ze als residu in de hoofdbackbone. Dit biedt rijkere structurele informatie dan spaarse punten en is robuuster dan optische stroming.

3. Temporeel Verschil Verlies (Temporal Difference Loss):

   • Om het probleem van "near-static" gedrag (waarbij opeenvolgende frames te weinig verschil tonen) te mitigeren, wordt een extra verliesfunctie ($L_{temp}$) toegevoegd.
   • Deze loss zorgt ervoor dat het voorspelde bewegingsverschil tussen opeenvolgende frames overeenkomt met het ground-truth verschil, wat zorgt voor soepelere en dynamischere bewegingstransities.

4. Trainingsstrategie:

   • Het model wordt gefinetuned met LoRA (Low-Rank Adaptation) op een dataset van REDS en Adobe240.
   • Het vereist slechts 10 denoising-stappen voor inferentie, wat aanzienlijk efficiënter is dan concurrenten die vaak 50-300 stappen nodig hebben.

Belangrijkste Bijdragen

• Nieuwe Trainingstrategie: Effectief finetunen van grote I2V-modellen naar VFI-netwerken zonder de noodzaak van bidirectionele inferentie of complexe re-noising stappen.
• Innovatieve Architectuur: Introductie van TFMR voor het behoud van visuele fideliteit en een "Matching Lines" mechanisme voor structurele consistentie, gecombineerd met een temporale verschil loss voor nauwkeurige beweging.
• Hoge Resolutie en Snelheid: Het model ondersteunt interpolatie tot 2560 × 1440 resolutie en verhoogt de FPS tot 240, terwijl het tegelijkertijd sneller is dan bestaande diffusion-methoden.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op diverse datasets (X-Test, BVI-DVC, DAVIS-2017):

• Kwantitatieve Prestaties:
  • Bij een resolutie van 1024 × 576 overtreft FC-VFI alle recente diffusion-methoden (zoals GI, ViBiDSampler, FCVG) op alle meetcriteria (PSNR, SSIM, FID, FVD, LPIPS).
  • Bij hoge resolutie (2560 × 1440) presteert het concurrerend met state-of-the-art optische-stroom methoden (GIMM-VFI), maar met superieure visuele kwaliteit.
• Kwalitatieve Resultaten:
  • FC-VFI behoudt fijne details beter, zoals tekst op billboards, kentekens en architecturale texturen.
  • Het vermijdt veelvoorkomende artefacten zoals ghosting, vervorming van objecten en bewegingsonscherpte die bij andere methoden voorkomen.
• Efficiëntie:
  • Het model vereist slechts 10 NFE (Number of Function Evaluations) voor inferentie, wat aanzienlijk minder is dan de 50-300 stappen van concurrenten, wat leidt tot snellere inferentietijden (bijv. 16s vs 606s voor 4x interpolatie bij 1024x576).

Significantie

FC-VFI vertegenwoordigt een doorbraak in het veld van video-frame interpolatie door de kloof te overbruggen tussen de hoge kwaliteit van generatieve modellen en de noodzaak voor structurele consistentie en fideliteit.

• Praktische Toepassing: Het maakt het mogelijk om hoogwaardige slow-motion video's te genereren op consumentenhardware (door de lage NFE) en bij hoge resoluties, wat essentieel is voor filmproductie, gaming en videobewerking.
• Architectonische Innovatie: De introductie van "Temporal Reference" in plaats van "Channel Reference" of "Time Reversal" biedt een nieuw paradigma dat beter aansluit bij de token-gebaseerde input van moderne Diffusion Transformers, waardoor het compatibel is met de nieuwste grote video-generatiemodellen.
• Robuustheid: Het model demonstreert sterke generalisatievermogen naar onbekende scènes en hoge resoluties (zero-shot), zelfs wanneer het getraind is op lagere resoluties.

Kortom, FC-VFI lost de fundamentele problemen van fideliteit en consistentie op in diffusion-based VFI, terwijl het de rekenkosten verlaagt, wat het een leidende oplossing maakt voor high-FPS slow-motion generatie.