Technische Samenvatting: Motion Attribution voor Videogeneratie (Motive)

Probleemstelling

Ondanks de snelle vooruitgang in videogeneratiemodellen blijft de specifieke rol van trainingsdata bij het vormgeven van beweging (temporele dynamiek) slecht begrepen. Bestaande methoden voor data-attributie, die primair zijn ontworpen voor beeldgeneratie, richten zich op statische visuele verschijning. Wanneer deze naïef op video worden toegepast, reduceren ze beweging tot verschijning, waardoor ze er niet in slagen om statische achtergronden te onderscheiden van dynamische trajecten. Dit creëëert een kloof in het begrip van welke videoclips invloed hebben op temporele coherentie, fysieke plausibiliteit en specifieke bewegingspatronen (bijv. snelheid, versnelling, deformatie). Bovendien wordt videogeneratie geconfronteerd met unieke uitdagingen: de hoge computationele kosten van het verwerken van lange sequenties, biases geïntroduceerd door variabele cliplengtes, en de moeilijkheid om temporele relaties te isoleren van ruimtelijke inhoud.

Methodologie: Het Motive-framework

De auteurs introduceren Motive (MOTIon attribution for Video gEneration), een gradiënt-gebaseerd data-attributieframework dat is ontworpen om bewegingsspecifieke invloed te isoleren van statische verschijning. Het framework werkt in het fine-tuning regime, met als doel te identificeren welke trainingsclips de grootste invloed hebben op de temporele dynamiek van een gegenereerde query-video.

Kerncomponenten

1. Schaalbare Gradiëntberekening:

   • Om miljarden parameters en grote datasets aan te kunnen, vermijdt Motive exacte Hessiaanse inversie. In plaats daarvan benadert het invloed via gradiënt-gelijkenis met behulp van een identiteits-preconditioner.
   • Efficiëntiestrategieën: Het maakt gebruik van een single-sample variant (waarbij een vaste tijdstap $t_{fix}$ en ruisdraw $\epsilon_{fix}$ worden vastgezet) om variantie te verminderen terwijl de stabiliteit van de rangschikking behouden blijft. Verder vermindert het de opslagkosten met een Fastfood-projectie (Johnson–Lindenstrauss transformatie) om hoogdimensionale gradiënten te projecteren naar een lager dimensionale ruimte ($D' = 512$) voordat de cosinus-gelijkenis wordt berekend.
   • Correctie voor Frame-lengte Bias: Ruwe gradiëntmagnitudes correleren met de duur van de video. Motive normaliseert gradiënten op basis van het aantal frames ($F$) voorafgaand aan de projectie om eerlijke attributie over clips van verschillende lengtes te garanderen.

2. Bewegingsbewuste Weging (Motion Masking):

   • In tegen tegenstelling tot standaard attributie, die een video als één enkele eenheid behandelt, herweegt Motive gradiënten op basis van lokale beweging.
   • Bewegingsdetectie: Het framework gebruikt AllTracker om optische flow en verplaatsingsvectoren in de pixelruimte te extraheren.
   • Latente Uitlijning: Bewegingsmagnitudes worden gedownsampled om uit te lijnen met het latente rooster van het model (waar gradiënten worden berekend).
   • Motion-Weighted Loss: Een bewegingsmagnitude-masker ($W$) wordt toegepast op de verliesfunctie. Dit onderdrukt gradiënten van statische regio's (achtergronden, texturen) en benadrukt gradiënten van dynamische regio's (bewegende objecten, camerabeweging). De resulterende invloedsscore herleidt de gegenereerde beweging naar de trainingsclips die bijdroegen aan die specifieke dynamische gedragingen.

3. Data Selectiestrategie:

   • Voor een gegeven query-video berekent Motive de bewegingsbewuste invloedsscores voor alle trainingssamples.
   • Subset Selectie: Om een fine-tuning subset te selecteren, worden de top-$K$ scorende samples gekozen. Voor meerdere queries aggregeert een majority voting mechanisme de scores, waarbij samples worden geselecteerd die consistent invloedrijk zijn over verschillende bewegingsqueries heen.

Belangrijkste Bijdragen

1. Schaalbare Attributie voor Video: Een computationeel efficiënte, gradiënt-gebaseerde attributie-aanpak die schaalt naar moderne, grootschalige video-datasets en generatieve modellen, gebruikmakend van single-sample estimators en gestructureerde projecties.
2. Frame-lengte Bias Correctie: Een nieuwe normalisatietechniek die de bias corrigeert waarbij langere video's kunstmatig hogere invloedsscores krijgen door geaccumuleerde gradiëntmagnitudes.
3. Bewegingsgerichte Attributie: Het eerste framework dat expliciet de temporele dynamiek isoleert van statische verschijning in video-generatieve modellen met behulp van motion-weighted loss masks, wat het mogelijk maakt om specifieke bewegingspatronen terug te leiden naar de trainingsdata.
4. Empirische Validatie: Demonstratie dat het gebruik van door Motive geselecteerde data (slechts 10% van de dataset) de bewegingsvloeiendheid en de mate van dynamiek op VBench verbetert, waarbij het zowel willekeurige selectie als bewegingsonbewuste attributie-baselines overtreft.

Experimentele Resultaten

Het framework werd geëvalueerd op de text-to-video modellen Wan2.1-T2V-1.3B en Wan2.2-TI2V-5B, evenals LTX-2B, met behulp van de VIDGEN-1M en 4DNeX-10M datasets.

• Kwantitatieve Prestaties (VBench):
  • Motive behaalde de hoogste scores voor Dynamic Degree (47,6% op Wan2.1 en 48,3% op Wan2.2), waarmee het random selectie (41,3%) en whole-video attributie (43,8%) aanzienlijk overtrof.
  • Opvallend genoeg overtrof Motive full-dataset fine-tuning op de metrieken voor dynamic degree terwijl het slechts 10% van de data gebruikte.
  • Het behield concurrerende scores voor Motion Smoothness, Subject Consistency en Aesthetic Quality.
• Menselijke Evaluatie:
  • In paarsgewijze vergelijkingen met 17 annotatoren behaalden de door Motive gestuurde modellen een winrate van 74,1% tegenover het pre-trained basismodel en een winrate van 53,1% tegenover full fine-tuning modellen.
• Ablatie Studies:
  • Projectie Dimensie: Een projectiedimensie van 512 bood de beste balans tussen nauwkeurigheid (Spearman correlatie $\rho \approx 74,7\%$ met volledige gradiënten) en efficiëntie.
  • Frame-Lengte Normalisatie: Het verwijderen van deze correctie zorgde ervoor dat rankings sterk correleerden met de videolengte ($\rho=78,0\%$) in plaats van met de kwaliteit van de beweging. Normalisatie verminderde de onjuiste lengtecorrelaties met 54%.
  • Motion Masking: Modellen die gefinetuned zijn met bewegingsbewuste selectie presteerden beter dan die met whole-video attributie, wat bevestigt dat het isoleren van bewegingssignalen cruciaal is voor het verbeteren van de temporele dynamiek.

Betekenis en Claims

Het artikel claimt het eerste framework te zijn dat beweging in plaats van visuele verschijning toeschrijft aan videogeneratieve modellen en deze attributie gebruikt voor het cureren van fine-tuning data.

De auteurs benadrukken dat hoewel grootschalige data-scaling de vooruitgang in videogeneratie heeft gedreven, de specifieke invloed van data op beweging een "black box" is gebleven. Motive biedt een direct venster om te begrijpen waarom modellen bewegen zoals ze doen. Door de temporele dynamiek te isoleren, maakt het framework het volgende mogelijk:

• Doelgerichte Data Curatie: Het selecteren van een klein deel van de hoog-invloedrijke data om de bewegingskwaliteit en fysieke plausibiliteit aanzienlijk te verbeteren.
• Diagnose van Foutmodi: Het identificeren van welke trainingsclips leiden tot specifieke bewegingsartefacten of inconsistenties.
• Efficiëntie: Het behalen van prestaties die gelijk zijn aan of de full-dataset fine-tuning evenaren of zelfs overtreffen met een fractie van de data, waardoor hoogwaardige bewegingsgeneratie toegankelijker wordt.

Het werk concludeert dat naarmate videomodellen schalen, een begrip van beweging op dataniveau essentieel zal zijn voor het bouwen van meer controleerbare en fysiek plausibele generatieve systemen.