💻 computer science

Seeing Fast and Slow: Learning the Flow of Time in Videos

Dit artikel introduceert zelftoezichtmodellen die videosnelheid leren detecteren en manipuleren, waardoor het grootste dataset aan slow-motionbeelden kan worden samengesteld en video's met gecontroleerde tijdsverloop en superresolutie kunnen worden gegenereerd.

Oorspronkelijke auteurs: Yen-Siang Wu, Rundong Luo, Jingsen Zhu, Tao Tu, Ali Farhadi, Matthew Wallingford, Yu-Chiang Frank Wang, Steve Marschner, Wei-Chiu Ma

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yen-Siang Wu, Rundong Luo, Jingsen Zhu, Tao Tu, Ali Farhadi, Matthew Wallingford, Yu-Chiang Frank Wang, Steve Marschner, Wei-Chiu Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Snel en Langzaam Zien: Het Leren van de Stroom van Tijd in Video's

Stel je voor dat je een video bekijkt van een vallende appel. Als de video in normaal tempo loopt, zie je de appel rustig naar beneden dwarrelen. Maar wat als de video ineens versnelt? De appel lijkt dan als een kogel te vliegen. Of wat als hij vertraagt? Dan zie je elke druppel water die van de appel valt, als in een droom.

Mensen hebben van nature een goed gevoel voor dit tempo. We weten instinctief wanneer iets "ongewoon" snel of langzaam gaat. Maar voor computers en kunstmatige intelligentie (AI) is dit een groot mysterie. Voor hen is tijd vaak maar een reeks statische plaatjes, zonder begrip van hoe snel die plaatjes eigenlijk moeten voorbijvliegen.

De onderzoekers van dit paper (van o.a. Cornell University) hebben een oplossing bedacht. Ze hebben AI-modellen getraind om tijd te voelen en te manipuleren. Hier is hoe ze dat deden, vertaald naar alledaagse taal:

1. De Geheime Code: Geluid als Tijdsmeter

Stel je voor dat je een liedje luistert. Als je het liedje sneller afspeelt, klinkt de stem hoger (een "chipmunk-stem"). Als je het vertraagt, klinkt hij dieper en langdradig.

De onderzoekers gebruikten dit principe om hun AI te leren. Ze lieten de computer kijken naar video's en luisteren naar het geluid. Als het geluid plotseling hoger of lager werd, wist de computer: "Ah, hier is de snelheid van de video veranderd!"

De analogie: Het is alsof je een leraar bent die een kind leert tellen door te klappen. Als de klappen sneller gaan, begrijpt het kind dat de tijd sneller gaat. Zo leerden ze de computer om snelheidsveranderingen te zien, zelfs zonder dat er een handgeschreven label bij zat.

2. De Grote Verzameling: SloMo-44K

Vroeger hadden AI-modellen alleen te maken met "normale" video's (zoals die op YouTube of TV, 24 of 30 beelden per seconde). Ze hebben nooit gezien hoe de wereld eruitziet als je 1000 beelden per seconde maakt.

De onderzoekers verzamelden een gigantische bibliotheek van trage video's (slow-motion) uit de hele wereld. Ze noemen dit SloMo-44K.

De analogie: Stel je voor dat je alleen maar gewone foto's van een raketstart hebt gezien. Je zou denken dat raketten langzaam opstijgen. Maar als je duizenden video's ziet van een raket in extreme slow-motion, zie je de vonkjes, de trillingen en de luchtstromen. Die bibliotheek gaf de computer een "super-zicht" op hoe de echte wereld beweegt.

3. Wat Kunnen Ze Nu? (De Magische Trucs)

Met deze nieuwe kennis en de grote bibliotheek hebben ze twee coole dingen bedacht:

A. Tijd Sturen (Snelheid Controleren)

Stel je hebt een foto van een vogel die vliegt. Je wilt nu een video maken.

Vroeger: De AI maakte een video, maar of die snel of langzaam was, was een gok. Soms leek het wel alsof de vogel in een droom vloog, terwijl je een snelle vogel wilde.
Nu: Je kunt tegen de AI zeggen: "Maak deze video 10 keer langzamer." En de AI doet precies dat. De vogel vliegt dan zo traag dat je elke veer ziet bewegen.
De analogie: Het is alsof je een afstandsbediening hebt voor de tijd. Je kunt de tijd in een video in- of uitschakelen, precies zoals je het volume van de radio regelt.

B. Tijd Oplossen (Van Wazig naar Scherp)

Soms heb je een oude, wazige video (bijvoorbeeld van een beveiligingscamera) die heel traag is. Je ziet alleen een vage beweging.

De oplossing: De nieuwe AI kan deze wazige video "oplossen". Hij voegt nieuwe beelden toe tussen de oude beelden in, zodat de video ineens heel scherp en soepel lijkt, alsof hij met een dure, snelle camera is opgenomen.
De analogie: Het is alsof je een wazige tekening van een rennende hond hebt. De AI tekent alle tussenliggende bewegingen in, zodat je ineens ziet hoe de poten precies bewegen. Het is tijd-reconstructie.

Waarom is dit belangrijk?

Dit onderzoek is meer dan alleen een leuke truc. Het betekent dat computers nu echt beginnen te begrijpen hoe de wereld werkt.

Onderzoek: Het helpt bij het opsporen van nepvideo's (forensiek). Als een video niet klopt qua snelheid, weten we dat het nep is.
Creativiteit: Regisseurs en makers kunnen nu video's maken die eruitzien alsof ze met dure, snelle camera's zijn opgenomen, zonder die camera's te hoeven kopen.
De Wereld begrijpen: Het helpt AI om een beter beeld te krijgen van hoe dingen gebeuren in de echte wereld, van vallende regen tot vliegende vogels.

Kortom: De onderzoekers hebben AI geleerd om niet alleen naar plaatjes te kijken, maar om het ritme van de tijd te voelen. Ze hebben de computer een "tijdgevoel" gegeven, zodat hij kan zien, begrijpen en zelfs sturen hoe snel of langzaam de wereld voorbijflitst.

Probleemstelling

Hoewel video's centraal staan in modern computer vision-onderzoek, wordt er weinig aandacht besteed aan het waarnemen en beheersen van het verstrijken van tijd. Bestaande modellen (zoals Vision-Language Models en generatieve modellen) missen het vermogen om redeneringen over tijd te maken. Ze kunnen vaak niet nauwkeurig voorspellen of een video versneld of vertraagd is, en generatieve modellen negeren vaak instructies over speelsnelheid of genereren video's met onnauwkeurige timing. Een fundamentele oorzaak hiervan is dat modellen voornamelijk worden getraind op video's met standaard framesnelheden (24–60 fps), waardoor ze nooit het concept van "temporele snelheid" als een variabele dimensie hebben geleerd. Bovendien ontbreekt het aan grote, schaalbare datasets met hoogwaardige slow-motion video's (vaak >1000 fps) die nodig zijn om deze dynamiek te leren.

Methodologie

De auteurs stellen een nieuwe aanpak voor waarbij tijd wordt behandeld als een leerbaar visueel concept. De methodologie bestaat uit drie hoofdfasen:

1. Zelftoezicht voor het Waarnemen van Tijd (Perceiving the Flow of Time)
Om modellen te leren snelheidsveranderingen detecteren en absolute snelheid te schatten zonder expliciete labels, gebruiken ze twee zelftoezicht-strategieën:

Audio-Visuele Koppeling (Snelheidsverandering Detectie): De auteurs benutten het principe van tijds-frequentie schaling. Wanneer een video versneld of vertraagd wordt, verschuift de toonhoogte (pitch) van de bijbehorende audio. Door momenten te lokaliseren waar de toonhoogte verandert, kunnen ze automatisch labels genereren voor snelheidsveranderingen. Een visuele detector (gebaseerd op VideoMAEv2) wordt getraind om deze veranderingen puur visueel te detecteren, zonder audio tijdens de inferentie.
Equivariantie bij Temporele Resampling (Snelheidsschatting): De auteurs stellen dat als een video met een factor $k$ wordt versneld, de geschatte snelheid ook met factor $k$ moet toenemen. Ze gebruiken dit als een zelftoezichtsverliesfunctie: ze nemen een video, versnellen deze kunstmatig, en dwingen het model om een evenredige verandering in de voorspelde snelheid te tonen.
Iteratieve Voorspelling: Om problemen bij extreem trage video's (waar beweging subtiel is) op te lossen, wordt een iteratieve aanpak gebruikt. Als een video als te traag wordt voorspeld, wordt deze kunstmatig versneld en opnieuw geschat om de voorspelling te verfijnen.

2. Constructie van de SloMo-44K Dataset
Met de getrainde modellen cureren de auteurs automatisch een enorme dataset van slow-motion video's uit het wild (YouTube, Vimeo, Flickr).

Ze filteren video's op kwaliteit, verwijderen CGI en tekst overlays, en segmenteren video's in clips met homogene snelheden.
Ze annoteren elke clip met een voorspelde afspeelsnelheid en genereren gedetailleerde beschrijvingen.
Het resultaat is SloMo-44K: de grootste slow-motion dataset tot nu toe, met 44.632 clips, 18 miljoen frames en framesnelheden tot wel 10.000+ fps.

3. Manipulatie van Tijd (Manipulating the Flow of Time)
Met de nieuwe dataset trainen ze modellen voor twee taken:

Snelheid-geconditioneerde Video Generatie: Ze fine-tunen een bestaand model (Wan2.1-I2V) door snelheid te coderen als een discrete bucket (logaritmisch geschaald van 0.01x tot 1.0x) en deze toe te voegen aan de tijdstap-embedding. Dit stelt het model in staat om fysieke bewegingen te synthetiseren op een door de gebruiker gespecificeerde snelheid.
Extreme Temporele Super-Resolutie: Ze trainen een model (gebaseerd op Wan2.1-VACE) om lage-fps, wazige video's om te zetten in hoge-fps, scherpe video's. Ze synthetiseren trainingsdata door wazige input te creëren (door frames te middelen) en leren het model om zowel bewegingsonscherpte te verwijderen als frames te interpoleren.

Belangrijkste Bijdragen

SloMo-44K Dataset: De creatie van de grootste en meest diverse slow-motion dataset ter wereld, die een breed scala aan real-world dynamiek en tijdschalen omvat.
Zelftoezicht voor Snelheid: Een innovatieve methode om snelheidsveranderingen en absolute snelheid te leren zonder menselijke annotatie, door gebruik te maken van audio-pitch shifts en temporele equivariantie.
Controleerbare Generatie en Super-Resolutie: Demonstratie dat modellen getraind op deze data in staat zijn om video's te genereren op specifieke snelheden (van normaal tot extreem slow-motion) en lage-kwaliteit video's te verbeteren tot hoge-fps sequenties met fijne details.
Tijd als Manipuleerbare Dimensie: Het paper positioneert tijd niet als een statisch kenmerk, maar als een leerbare en manipuleerbare dimensie in video-modellen.

Resultaten

De experimenten tonen aanzienlijke verbeteringen ten opzichte van state-of-the-art baselines:

Snelheidsverandering Detectie: Het model bereikt 92,4% nauwkeurigheid, wat aanzienlijk hoger is dan Vision-Language modellen (Gemini 2.5: 59,5%) en optische-flow baselines (80,4%).
Snelheidsschatting: De methode benadert menselijke prestaties, met een correlatiecoëfficiënt ( $\rho$ ) van 0,735 (tegenover 0,426 voor Gemini 2.5) en een lagere foutmarge (RMSE).
Temporele Super-Resolutie: Het model overtreft bestaande methoden (zoals FILM en LDMVFI) op alle metrics (FVD, LPIPS, FloLPIPS), zowel bij schone input als bij wazige input. In een menselijke evaluatie (user study) wordt het model 80,3% van de tijd verkiezen boven de beste baseline.
Generatie Kwaliteit: Voor snelheid-geconditioneerde generatie toont het model een sterke correlatie tussen de ingestelde snelheid en de daadwerkelijke bewegingsintensiteit (gemeten via optische flow), terwijl baselines vaak geen verschil tonen tussen verschillende snelheidsinstructies.

Betekenis en Toekomstperspectief

Dit werk opent de deur naar een nieuw tijdperk in video-verwerking:

Temporele Forensiek: Het vermogen om snelheidsveranderingen nauwkeurig te detecteren kan worden gebruikt om gemanipuleerde video's (deepfakes of geredigeerde beelden) op te sporen.
Rijkere Wereldmodellen: Door tijd als een variabele te leren, kunnen AI-modellen beter begrijpen hoe gebeurtenissen in de fysieke wereld zich ontvouwen, wat essentieel is voor robuuste fysica-bewustzijn.
Creatieve Controle: Het biedt gebruikers de mogelijkheid om video's te genereren of te bewerken met precieze controle over de tempo en het ritme van beweging, wat waardevol is voor film, gaming en wetenschappelijke visualisatie.

Kortom, het paper bewijst dat tijd een fundamenteel, leerbaar kenmerk is dat, wanneer het correct wordt geïntegreerd in datasets en modellen, leidt tot een kwalitatieve sprong voorwaarts in zowel het begrijpen als het creëren van video-inhoud.