💻 computer science

TrackMAE: Video Representation Learning via Track Mask and Predict

TrackMAE is een nieuwe methode voor zelftoezichtend video-leren die de beperkingen van bestaande modellen op het gebied van bewegingsbewustzijn overwint door expliciet bewegingstrajecten te gebruiken als reconstructiesignaal, wat resulteert in superieure prestaties op diverse bewegingsgerichte taken.

Oorspronkelijke auteurs: Renaud Vandeghen, Fida Mohammad Thoker, Marc Van Droogenbroeck, Bernard Ghanem

Gepubliceerd 2026-03-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Renaud Vandeghen, Fida Mohammad Thoker, Marc Van Droogenbroeck, Bernard Ghanem

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een filmkijker bent die probeert te leren hoe films werken, maar je mag alleen naar een paar willekeurige beelden kijken en moet de rest van de film uit je hoofd reconstrueren. Dat is in feite wat kunstmatige intelligentie (AI) doet als het leert video's begrijpen via een methode die "Masked Video Modeling" heet.

Het probleem is echter: de meeste AI-modellen zijn goed in het onthouden van kleuren en texturen (zoals een blauwe hemel of een groen grasveld), maar ze zijn vaak slecht in het begrijpen van beweging. Ze weten niet goed hoe iets beweegt, maar alleen wat er is.

Hier komt TrackMAE om de hoek kijken. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Stilstaande" Kijker

Stel je voor dat je een kind leert fietsen door alleen foto's van fietsers te laten zien. Het kind leert dat er twee wielen, een stuur en een zadel zijn. Maar als je het kind vraagt om te fietsen, valt het om. Waarom? Omdat het kind niet heeft geleerd hoe je peddelt, hoe je balanceert of hoe je stuurt.

Bestaande AI-modellen doen precies dit. Ze kijken naar video's, maar ze vergeten vaak de dynamiek. Ze zien een bal die rolt, maar ze begrijpen niet de baan die de bal aflegt. Hierdoor falen ze bij taken waarbij beweging cruciaal is, zoals het herkennen van een gymnastiek-oefening of het begrijpen van een handeling waarbij objecten op een specifieke manier bewegen.

2. De Oplossing: TrackMAE (De "Volgspeurder")

TrackMAE is als een slimme leerkracht die het kind niet alleen foto's geeft, maar ook een bewegingslijn tekent.

In plaats van alleen te vragen: "Wat zag je op dit plekje in de film?" (bijvoorbeeld: "een rode bal"), vraagt TrackMAE ook: "Waar was die bal een seconde later?"

Dit werkt in drie stappen:

Stap A: De "Puntvolger" (De GPS voor pixels)

De auteurs gebruiken een bestaande, slimme tool (CoTracker3) die als een onzichtbare GPS werkt. Deze tool plakt onzichtbare stipjes op belangrijke punten in de video (bijvoorbeeld op de neus van een danser of op een wiel van een auto) en volgt die stipjes door de tijd heen.

Vergelijking: Het is alsof je een danser een neonstrikje op zijn knie doet en een camera die precies volgt waar die knie naartoe gaat, frame per frame.

Stap B: De "Bewegings-Geheugenspel"

Normaal gesproken bedekt de AI een groot deel van de video (verbergt het) en moet ze de ontbrekende stukjes invullen op basis van wat ze ziet.
Bij TrackMAE krijgt de AI een dubbele opdracht:

Ruimtelijk: "Herstel de ontbrekende beelden" (Wat zag eruit?).
Beweging: "Herstel de ontbrekende bewegingslijnen" (Waar ging het naartoe?).

De AI moet nu niet alleen de kleur van de bal voorspellen, maar ook de baan die de bal heeft afgelegd. Dit dwingt de AI om echt te begrijpen hoe dingen zich door de tijd verplaatsen.

Stap C: De Slimme Verberg-strategie

In het begin verbergt de AI willekeurige stukjes van de video. Maar TrackMAE is slimmer. Het gebruikt de bewegingsinformatie om te beslissen wat het verbergt.

De Analogie: Stel je voor dat je een puzzel maakt. Als je alleen de stille stukjes (de lucht, de muur) verbergt, is het te makkelijk. TrackMAE zorgt ervoor dat het ook de bewegende stukjes (de dansende persoon, de rennende hond) verbergt, zodat de AI gedwongen wordt om de beweging te begrijpen om de puzzel op te lossen.

3. Waarom is dit zo goed?

Door deze extra "bewegingsopdracht" te geven, leert de AI een veel dieper begrip van video's.

Voor de "Stilte": Als je kijkt naar een film over een landschap (weinig beweging), werkt het net zo goed als de oude methoden.
Voor de "Actie": Bij films vol actie, sport of dans, schiet TrackMAE eruit. Omdat de AI is getraind om bewegingslijnen te voorspellen, is het veel beter in het onderscheiden van subtiele verschillen (bijvoorbeeld: "Is dit iemand die springt of iemand die valt?").

Samenvatting in één zin

TrackMAE is als een AI die niet alleen leert kijken naar wat er in een video te zien is, maar ook leert hoe het zich beweegt, door een slimme "volgspeurder" te gebruiken die de beweging van stipjes door de tijd heen volgt en die informatie gebruikt als een extra leeropdracht.

Dit zorgt ervoor dat de AI niet alleen een goede "fotograaf" is, maar ook een echte "filmmaker" die de dynamiek van de wereld begrijpt.

1. Het Probleem

Bestaande methoden voor zelftoezichthoudend leren (Self-Supervised Learning - SSL) in video's, zoals Masked Video Modeling (MVM) (bijv. VideoMAE), hebben een fundamenteel tekortkoming: ze coderen bewegingsinformatie slechts impliciet.

Huidige aanpak: MVM verbergt een groot deel van de spatiotemporale tokens (vaak 80-95%) en vraagt het model om deze te reconstrueren op basis van de zichtbare context. Meestal gebeurt dit door pixelwaarden te voorspellen.
De beperking: Omdat video's vaak veel temporale redundantie hebben en de beweging van voorgrondobjecten vaak schaars is, kunnen deze modellen de reconstructie-opdracht vaak oplossen door te vertrouwen op lage-niveau statistieken (zoals kleur- en textuurglans) of korte-termijn consistentie, zonder feitelijke fijnmazige dynamiek te leren.
Gevolg: Deze modellen presteren goed op datasets die voornamelijk gebaseerd zijn op uiterlijk (zoals Kinetics-400), maar falen op taken die gericht zijn op beweging en tijdsafhankelijkheid (zoals Something-Something V2 en FineGym), waar nauwkeurige temporele modellering cruciaal is.

2. Methodologie: TrackMAE

TrackMAE introduceert een nieuw paradigma dat beweging expliciet gebruikt als een reconstructiesignaal. Het combineert ruimtelijke reconstructie met een bewegingsvoorspellingstaak.

Kerncomponenten:

Extractie van Bewegingstrajectorieën:
- Het systeem gebruikt een kant-en-klare punttracker (CoTracker3) om punten in de eerste frame van een videoclip te volgen over de tijd.
- In plaats van absolute posities, worden de verplaatsingen (displacements) van deze punten gebruikt als het doelwit voor reconstructie.
- Om de dichtheid van de beweging te verhogen zonder de rekenkosten van een dichte tracking te betalen, wordt een upsampling-strategie toegepast. De spaarse trajecten worden ruimtelijk geïnterpoleerd om een dichter set van bewegingstokens te genereren die overeenkomen met de input-tokens.
Architectuur (Mask-and-Predict):
- Het model gebruikt een encoder-decoder architectuur (gebaseerd op Vision Transformers).
- De Encoder verwerkt de zichtbare tokens.
- Er zijn twee Decoders:
  - Een Spatial Decoder ( $\Psi_{spatial}$ ) die de ruimtelijke features (pixels of semantische features zoals CLIP/DINO) reconstrueert.
  - Een Motion Decoder ( $\Psi_{motion}$ ) die de verplaatsingen van de gepatchte punten voorspelt.
- De totale verliesfunctie is een gewogen som van de ruimtelijke reconstructie en de bewegingsvoorspelling:
  $\mathcal{L} = \mathcal{L}_{spatial} + \lambda \cdot \mathcal{L}_{motion}$
Bewegingsbewust Maskeren (Motion-Aware Masking):
- In plaats van willekeurig tokens te maskeren, gebruikt TrackMAE de verkregen bewegingsinformatie om het masker te sturen.
- De zichtbare tokens worden zo geselecteerd dat ze een evenwichtige verdeling hebben tussen hoog-bewegende en laag-bewegende regio's.
- Dit zorgt ervoor dat het model gedwongen wordt om zowel statische achtergronden als dynamische bewegingspatronen te begrijpen, in plaats van alleen de meest informatieve (bewegende) gebieden te maskeren of te negeren.

3. Belangrijkste Bijdragen

TrackMAE Framework: Een nieuwe pretraining-scheme voor video's die expliciete bewegingsbewustzijn introduceert door het voorspellen van getrackte punttrajecten naast de ruimtelijke reconstructie.
Verbeterde Maskering: Een "motion-aware masking" strategie die zichtbare tokens selecteert uit zowel bewegende als statische gebieden, wat de leereffectiviteit verhoogt.
Complementaire Supervisie: Het bewijs dat bewegingstrajectorieën een aanvullend signaal zijn voor zowel pixel- als feature-gebaseerde reconstructie (zoals CLIP), wat leidt tot robuustere representaties.
Efficiëntie: De introductie van een upsampling-methode die dichte bewegingstargets genereert zonder de hoge rekenkosten van dichte tracking.

4. Resultaten

TrackMAE werd geëvalueerd op zes verschillende datasets en diverse downstream-taken (lineaire probing, volledige finetuning, en generalisatie-benchmarks).

State-of-the-Art (SOTA) Prestaties: TrackMAE overtreft consistent bestaande SOTA-methoden (zoals VideoMAE, MGM, MGMAE, SMILE) op bewegingsgerichte benchmarks zoals Something-Something V2 en FineGym.
- Bijvoorbeeld: Op SSv2 (Something-Something V2) bereikte TrackMAE met CLIP-targets 72.8% Top-1 nauwkeurigheid (full finetuning), wat hoger is dan SMILE (72.1%) en VideoMAE (68.5%).
Generalisatie: Op de SEVERE-benchmark (die generalisatie test op domeinverschuiving, sample-efficiëntie, en taakverschuiving) presteerde TrackMAE superieur, vooral op taken die fijnmazige tijdsdynamiek vereisen.
Complementariteit: De bewegingsvoorspelling werkt goed in combinatie met zowel pixel-reconstructie als semantische feature-reconstructie (CLIP/DINO). De combinatie van CLIP + Trajectoires gaf de beste resultaten.
Robuustheid: Het model toont robustheid tegen ruis in de punt-tracker (bijv. door occlusie of hoge snelheid), met slechts een minimale prestatiedaling (-0.5%).

5. Betekenis en Impact

TrackMAE is een significante doorbraak in het veld van video-representatie learning omdat het de kloof overbrugt tussen de eenvoudige schaalbaarheid van MVM en de noodzaak voor fijnmazige bewegingsbegrip.

Paradigmaverschuiving: Het paper stelt dat temporale correspondentie (hoe objecten bewegen) een "eerstegraads signaal" moet zijn tijdens pretraining, in plaats van een bijproduct.
Efficiëntie vs. Prestatie: Hoewel punt-tracking extra rekentijd kost (ongeveer 50% meer pretraining-tijd), is de trade-off gerechtvaardigd door de aanzienlijke verbeteringen in generalisatie en discriminatiekracht, vooral voor bewegingsgevoelige taken.
Toekomstige Toepassingen: De methode maakt het mogelijk om modellen te trainen die beter begrijpen hoe dingen bewegen, wat essentieel is voor toepassingen zoals robotica, interactieve systemen en fijnmazige actieherkenning, zonder afhankelijk te zijn van synthetische bewegingsdata of dure handmatige annotaties.

Kortom, TrackMAE bewijst dat het integreren van echte bewegingstrajectorieën in het masker-en-voorspel paradigma leidt tot video-embeddings die zowel semantisch rijk als tijdsbewust zijn.