💻 computer science

TrackMAE: Video Representation Learning via Track Mask and Predict

Le papier présente TrackMAE, une méthode d'apprentissage auto-supervisé pour les vidéos qui améliore la représentation des dynamiques temporelles en intégrant explicitement des trajectoires de mouvement issues d'un tracker de points pour guider un masquage et une reconstruction adaptés au mouvement.

Auteurs originaux : Renaud Vandeghen, Fida Mohammad Thoker, Marc Van Droogenbroeck, Bernard Ghanem

Publié 2026-03-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Renaud Vandeghen, Fida Mohammad Thoker, Marc Van Droogenbroeck, Bernard Ghanem

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎬 Le Problème : L'IA qui regarde le film, mais rate l'action

Imaginez que vous apprenez à un enfant à reconnaître des actions dans un film.
Si vous lui montrez uniquement des photos (des images fixes) tirées du film, il va très bien apprendre à reconnaître les couleurs, les vêtements ou les décors. Il saura dire : "Ah, c'est un homme en chemise rouge dans une cuisine".

Mais s'il ne voit que des photos, il aura du mal à comprendre l'action. Est-ce que l'homme lance la pomme ? Est-ce qu'il la mange ? Est-ce qu'il la fait tomber ? Pour comprendre le mouvement, il faut voir le film en entier, pas juste des instantanés.

C'est exactement le problème des anciennes méthodes d'IA pour les vidéos. Elles étaient très doues pour analyser les images (les pixels, les couleurs), mais elles avaient du mal à comprendre la dynamique (comment les objets bougent dans le temps). Elles étaient comme des spectateurs qui regardent des photos de course de Formule 1 : ils voient la voiture, mais ne comprennent pas la vitesse ni la trajectoire.

💡 La Solution : TrackMAE, le "Coach de Mouvement"

Les chercheurs ont créé TrackMAE pour résoudre ce problème. Voici comment ça marche, avec une analogie simple :

1. Le Jeu du "Cache-Mouvement" (Masking)

Imaginez que vous prenez une vidéo et que vous cachez 90 % des images avec un rideau noir. L'IA doit deviner ce qui se cache derrière le rideau en regardant seulement les 10 % restants.

Avant : L'IA devinait juste les couleurs et les formes (ex: "Il y a un ballon rouge ici").
Avec TrackMAE : On donne à l'IA un indice en plus. On lui dit : "Non seulement tu dois deviner la couleur, mais tu dois aussi deviner où ce point va se trouver dans la prochaine image."

2. Le "Traceur de Points" (Le GPS de la vidéo)

Pour aider l'IA, les chercheurs utilisent un outil magique appelé CoTracker. C'est comme un GPS ultra-précis qui suit des points spécifiques dans la vidéo (par exemple, le bout du nez d'un acteur ou la roue d'une voiture) et trace leur chemin frame par frame.

L'analogie : Imaginez que vous mettez des étiquettes fluorescentes sur les joueurs d'un match de football. TrackMAE apprend à l'IA à suivre ces étiquettes. Si l'IA voit un joueur bouger vers la gauche sur l'image visible, elle doit prédire où il sera sur l'image cachée.

3. Le Masque Intelligent (Ne pas tout cacher au hasard)

Dans les anciennes méthodes, on cachait des morceaux de vidéo au hasard, un peu comme si on tirait des cartes au hasard dans un jeu.
TrackMAE est plus malin : il utilise le GPS (le traceur) pour savoir où il faut cacher.

Il cache aussi bien les zones qui bougent beaucoup (l'action !) que les zones qui bougent peu (le décor).
Pourquoi ? Si on ne cache que le décor, l'IA s'ennuie. Si on ne cache que l'action, c'est trop dur. En équilibrant les deux, on force l'IA à apprendre à la fois le contexte et le mouvement.

🏆 Les Résultats : Pourquoi c'est génial ?

Grâce à cette méthode, l'IA devient un véritable expert du mouvement.

Sur les tâches "statiques" : Elle est aussi bonne que les meilleures (elle reconnaît bien les objets).
Sur les tâches "dynamiques" : Elle devient une championne incontestée. Là où les autres modèles échouaient à distinguer des actions subtiles (comme "jeter une balle" vs "lancer une balle"), TrackMAE réussit brillamment.

L'analogie finale :
Si les anciennes IA étaient comme un photographe qui prend des milliers de photos d'un match de foot, TrackMAE est comme un entraîneur qui a vu le match en entier, a tracé les trajectoires des joueurs et comprend parfaitement la stratégie et le jeu.

🚀 En résumé

TrackMAE ne se contente pas de "voir" la vidéo, il apprend à suivre le mouvement. En ajoutant un objectif de prédiction de trajectoire (où va le point ?) à l'objectif de reconstruction d'image (à quoi ressemble le point ?), il crée une intelligence artificielle beaucoup plus intelligente, capable de comprendre le monde tel qu'il est : en mouvement.

C'est une avancée majeure pour les futures applications : des voitures autonomes qui comprennent mieux les piétons, des robots qui interagissent avec des objets mobiles, ou des systèmes de surveillance qui détectent des comportements suspects.

1. Problématique et Contexte

Le Modélisation Vidéo Masquée (MVM - Masked Video Modeling) est devenu un paradigme de pré-entraînement auto-supervisé dominant pour l'apprentissage de représentations vidéo. Des méthodes comme VideoMAE masquent une grande partie des tokens spatio-temporels (souvent 90 %) et forcent le modèle à reconstruire les parties manquantes à partir du contexte visible.

Cependant, les approches MVM actuelles présentent une limitation majeure :

Reconstruction implicite du mouvement : Elles se concentrent principalement sur la reconstruction des pixels ou des caractéristiques sémantiques (comme DINO ou CLIP). Bien que cela encode le mouvement de manière implicite, cela ne force pas le modèle à apprendre explicitement la dynamique temporelle fine.
Échec sur les tâches centrées sur le mouvement : En conséquence, ces modèles excellent sur des tâches dominées par l'apparence (ex: Kinetics-400, UCF101) mais peinent sur des tâches nécessitant une compréhension fine du mouvement et de la temporalité (ex: Something-Something V2, FineGym).
Biais de masquage aléatoire : Le masquage aléatoire des tubes (tube masking) ne prend pas en compte la structure du mouvement, laissant souvent des régions statiques visibles qui permettent au modèle de "tricher" via des corrélations spatiales plutôt que d'apprendre la dynamique temporelle.

2. Méthodologie : TrackMAE

TrackMAE propose un nouveau paradigme de pré-entraînement qui intègre explicitement l'information de mouvement comme signal d'apprentissage. L'approche repose sur trois piliers principaux :

A. Extraction de Trajectoires de Mouvement

Au lieu de déduire le mouvement uniquement des pixels, TrackMAE utilise un tracker de points "off-the-shelf" robuste, CoTracker3, pour extraire des trajectoires de points dans les vidéos d'entrée.

Processus : Des points de requête sont échantillonnés sur une grille dans la première frame et suivis sur les frames suivantes.
Cible : Le modèle apprend à prédire les déplacements (vecteurs de mouvement) de ces points plutôt que leurs positions absolues.
Efficacité : Pour éviter le coût computationnel élevé du suivi dense, le suivi est effectué de manière sparse (un point par patch). Une technique d'échantillonnage par sur-échantillonnage (upsampling) est ensuite appliquée : les trajectoires rares sont interpolées spatialement pour générer des cibles de mouvement plus denses, offrant un signal d'apprentissage plus riche sans coût supplémentaire.

B. Architecture et Objectifs de Reconstruction

TrackMAE étend l'architecture encodeur-décodeur standard des MVM avec deux têtes de décodage distinctes :

Décodeur Spatial : Reconstruit les cibles spatiales (pixels ou caractéristiques sémantiques comme CLIP/DINO).
Décodeur de Mouvement : Prédit les déplacements des trajectoires de points masqués.

L'objectif global est une somme pondérée des pertes :
$\mathcal{L} = \mathcal{L}_{spatial} + \lambda \cdot \mathcal{L}_{motion}$
où $\mathcal{L}_{motion}$ est la perte L2 sur les déplacements des trajectoires masquées. Cela force le modèle à apprendre non seulement "ce qui est" (sémantique/appearance) mais aussi "comment cela bouge" (dynamique).

C. Masquage Conscient du Mouvement (Motion-Aware Masking)

Au lieu d'un masquage aléatoire uniforme, TrackMAE introduit une stratégie de masquage guidée par le mouvement :

Distribution d'échantillonnage : En utilisant les trajectoires extraites, le système calcule l'amplitude du déplacement moyen pour chaque région.
Stratégie d'équilibrage : Le masquage est conçu pour échantillonner de manière égale des tokens visibles provenant de régions à fort mouvement et de régions à faible mouvement (statiques).
Avantage : Cela garantit que le modèle doit apprendre à reconstruire des dynamiques complexes (zones en mouvement) tout en ayant accès à des contextes statiques, évitant ainsi les biais où le modèle ignore simplement les zones dynamiques.

3. Contributions Clés

TrackMAE : Un nouveau schéma de pré-entraînement vidéo MVM qui utilise explicitement la prédiction de trajectoires de points suivis comme signal d'apprentissage complémentaire.
Stratégie de Masquage Adaptative : Une méthode de masquage qui équilibre l'échantillonnage des tokens visibles entre les zones de mouvement élevé et faible, améliorant la sensibilité temporelle.
Sur-échantillonnage de Trajectoires : Une technique efficace pour densifier les signaux de mouvement sans augmenter le coût de calcul du tracker.
Performance SOTA : Démonstration que l'ajout de cibles de mouvement améliore les performances sur des tâches centrées sur le mouvement tout en maintenant ou en surpassant les performances sur des tâches basées sur l'apparence.

4. Résultats Expérimentaux

Les auteurs ont évalué TrackMAE sur six jeux de données dans divers scénarios (Linear Probing, Full Fine-tuning, et le benchmark SEVERE).

Benchmark de Linéaire (Linear Probing) :
- Sur les tâches centrées sur le mouvement (Something-Something V2 et FineGym), TrackMAE surpasse nettement les méthodes de l'état de l'art (VideoMAE, MGM, MGMAE, SMILE). Par exemple, sur SSv2 avec reconstruction de pixels, il atteint 23.6% contre 21.7% pour MGM.
- Sur les tâches d'apparence (Kinetics-400), il est compétitif ou supérieur aux baselines.
Full Fine-tuning :
- TrackMAE atteint des performances State-of-the-Art (SOTA) sur SSv2 et Kinetics-400, surpassant même des méthodes utilisant des cibles sémantiques riches comme CLIP (ex: SMILE) sans avoir besoin de mouvements synthétiques.
- Avec un backbone ViT-L et des cibles CLIP, il atteint 75.7% sur SSv2 et 86.7% sur K400.
Généralisation (Benchmark SEVERE) :
- TrackMAE démontre une robustesse supérieure face aux changements de domaine (Domain Shift), à l'efficacité de l'échantillonnage (Sample Efficiency) et à la granularité des actions. Il surpasse systématiquement les méthodes précédentes, prouvant que l'apprentissage explicite du mouvement améliore la généralisation.
Ablations :
- La combinaison de la reconstruction de trajectoires avec des cibles CLIP donne les meilleurs résultats, confirmant la complémentarité entre la sémantique haute niveau et la dynamique temporelle.
- Le masquage "conscient du mouvement" apporte un gain constant d'environ +0.5% par rapport au masquage aléatoire.

5. Signification et Impact

TrackMAE représente une avancée significative dans l'apprentissage auto-supervisé vidéo en adressant le "goulot d'étranglement" de l'ignorance explicite du mouvement dans les modèles MVM actuels.

Changement de paradigme : Il démontre que l'intégration directe de la correspondance temporelle (via le suivi de points) comme objectif de reconstruction est plus efficace que de simplement essayer de déduire le mouvement à partir de la reconstruction de pixels.
Efficacité : Malgré le coût additionnel du tracker CoTracker3 (augmentant le temps de pré-entraînement d'environ 50 %), le gain en performance et en généralisation justifie largement cet investissement, surtout pour des applications nécessitant une compréhension fine de l'action.
Généralité : La méthode est compatible avec différentes cibles de reconstruction (pixels, HOG, DINO, CLIP) et différents trackers, suggérant qu'elle peut être facilement intégrée dans d'autres pipelines de pré-entraînement vidéo.

En résumé, TrackMAE établit un nouvel état de l'art en prouvant que l'apprentissage explicite de la dynamique temporelle via des trajectoires de points est essentiel pour obtenir des représentations vidéo discriminatives et généralisables.