PRISM: Video Dataset Condensation with Progressive Refinement and Insertion for Sparse Motion

Probleemstelling

Video-dataset condensatie (het verkleinen van datasets om rekentijd en opslag te besparen) staat voor een fundamentele uitdaging die niet bestaat bij afbeeldingen: de onlosmakelijke onderlinge afhankelijkheid tussen ruimtelijke verschijning (content) en temporele dynamiek (beweging).

Bestaande methoden volgen vaak een "static/dynamic disentangling" paradigma, waarbij video's worden opgesplitst in statische content en extra bewegingssignalen. De auteurs stellen dat deze aanpak de intrinsieke koppeling van real-world acties verkeerd voorstelt. Een statisch beeld (bijv. handen die samenkomen bij klappen) is visueel niet te onderscheiden van een ander moment in dezelfde actie, wat leidt tot ambiguïteit. Bovendien gebruiken bestaande methoden vaak een vast aantal frames, wat onnodige redundantie creëert of complexe, niet-lineaire dynamiek mist.

Methodologie: PRISM

De auteurs introduceren PRISM (Progressive Refinement and Insertion for Sparse Motion), een holistische benadering die video behandelt als een geïntegreerde spatiotemporale structuur in plaats van losse componenten. De kern van de methode is adaptieve, spaarse representatie.

De werking van PRISM verloopt als volgt:

1. Minimale Initialisatie:
   In plaats van te starten met een dicht raster van frames, initialiseert PRISM elke synthetische video met slechts twee temporale ankers: het startframe en het eindframe. De tussenliggende frames worden aanvankelijk benaderd via lineaire interpolatie.

2. Gradient-Gestuurde Frame Insertie:
   Het systeem detecteert momenten waar lineaire interpolatie faalt om de werkelijke dynamiek te vangen. Dit gebeurt door de gradient misalignment (gradienten-onafstemming) te analyseren tijdens het trainingsproces.

   • Als de gradient van een geïnterpoleerd frame ($g_t$) een negatieve correlatie (cosine similarity < $\epsilon$) vertoont met de gradienten van de aangrenzende ankerframes ($g_i$ en $g_{i+1}$), betekent dit dat de huidige lineaire benadering ontoereikend is.
   • Dergelijke kritieke frames worden dan geïnsereerd in de set van trainbare key-frames.

3. Training Fasen:
   Om stabiliteit te garanderen, kent PRISM drie fasen toe:

   • Warm-up: Alleen de start- en eindframes worden geoptimaliseerd; insertie is uitgeschakeld om ruis in de vroege gradiënten te voorkomen.
   • Progressive Refinement: De kernfase waar frames adaptief worden toegevoegd op basis van gradientenconflicten.
   • Cool-down: Insertie wordt weer uitgeschakeld om te voorkomen dat pas toegevoegde frames onvoldoende worden geoptimaliseerd vlak voor convergentie.

4. Optimalisatie Doel:
   De loss-functie minimaliseert het verschil tussen de features van de echte video's en de gereconstrueerde synthetische video's (bestaande uit key-frames en geïnterpoleerde frames). Belangrijk is dat gradients alleen worden teruggepropageerd naar de spaarse set van key-frames, terwijl de structuur van de volledige video behouden blijft via interpolatie.

Belangrijkste Bijdragen

• Holistisch Paradigma: PRISM vermijdt kunstmatige ontkoppeling van content en beweging en behandelt video als een eenheid.
• Adaptieve Representatie: In plaats van een vast aantal frames te gebruiken, bepaalt het algoritme dynamisch hoeveel frames nodig zijn per video, gebaseerd op de complexiteit van de beweging.
• Gradient-Guided Mechanisme: Een nieuwe methode om essentiële frames te identificeren via gradientenconflicten, wat zorgt voor een efficiënte toewijzing van representatieve capaciteit.
• State-of-the-Art Efficiëntie: Het behalen van concurrerende prestaties bij een drastisch verminderde opslagbehoefte.

Resultaten

De auteurs hebben PRISM getest op diverse benchmarks, waaronder MiniUCF, HMDB51, Kinetics-400 en Something-Something V2.

• Prestatie: PRISM behaalt concurrerende tot superieure resultaten in actieherkenning vergeleken met bestaande methoden (zoals DM en Wang et al.) en coreset-selectiemethoden (zoals Herding en K-Center).
• Opslagefficiëntie: Dit is het sterkste punt. Omdat PRISM alleen frames toevoegt waar nodig, is de opslagruimte aanzienlijk lager.
  • Op MiniUCF (1 VPC) bereikt PRISM 17.9% nauwkeurigheid met slechts 20 MB opslag, terwijl de beste bestaande methode (Wang et al.) 17.5% haalt maar 94 MB vereist (een reductie van bijna 5x).
  • Bij Kinetics-400 en Something-Something V2 presteert PRISM consistent beter dan andere video-specifieke methoden, zelfs in scenario's met zeer weinig data per klasse.
• Generalisatie: PRISM toont sterke generalisatie over verschillende architecturen (ConvNet3D, CNN+GRU, CNN+LSTM), wat suggereert dat de geleerde spatiotemporale ankers robuust zijn en niet overgefit zijn op de trainingsbackbone.
• Retrieval: De methode werkt ook goed voor actieretrieval, wat aantoont dat de samengevatte data intrinsieke semantische eigenschappen behoudt.

Betekenis en Impact

PRISM vertegenwoordigt een verschuiving in het denken over video-dataset condensatie. Door te stoppen met het aannemen van een vast aantal frames en statische/dynamische ontkoppeling, biedt het een temporaal adaptieve oplossing.

De significante reductie in opslagkosten (tot 0.2% van de originele datasetgrootte in sommige gevallen) zonder in te leveren op prestaties, maakt het mogelijk om complexe videomodellen te trainen op hardware met beperkte middelen. Dit opent de deur voor bredere participatie in video-onderzoek en maakt het toepassen van dataset condensatie op grootschalige, real-world videobestanden praktisch haalbaar. De methode benadrukt dat kwaliteit in video-condensatie niet afhangt van de hoeveelheid data, maar van de kwaliteit en timing van de geselecteerde momenten.