TrajTok: Learning Trajectory Tokens enables better Video Understanding

Le papier présente TrajTok, un module de tokenisation vidéo intégré et entraîné de bout en bout qui remplace les pipelines de suivi complexes par un regroupement implicite spatio-temporel pour générer des trajectoires adaptatives, améliorant ainsi l'efficacité et les performances des modèles de compréhension vidéo à long terme.

L'essentiel

Imaginez que vous essayez de décrire un film à un ami, mais au lieu de lui raconter l'histoire, vous lui donnez une liste de millions de petits carrés de pixels, un par un, en disant : « Voici un pixel rouge, voici un pixel bleu, voici un pixel vert... ». C'est fastidieux, inefficace et cela perd l'essentiel de l'histoire.

C'est exactement le problème que rencontrent les intelligences artificielles (IA) actuelles lorsqu'elles regardent des vidéos. Elles découpent l'image en une grille rigide de millions de petits morceaux (des "patchs"), ce qui crée une énorme quantité de données redondantes.

Voici comment TrajTok change la donne, expliqué simplement :

1. Le Problème : La Grille Rigide

Pensez à une vidéo comme à une boîte de Lego. Les méthodes actuelles prennent la vidéo et la découpent en milliers de petits cubes de Lego de taille fixe, peu importe ce qui se passe à l'intérieur.

• Si un personnage bouge, l'IA doit traiter des milliers de cubes pour suivre ce mouvement.
• Si le fond est statique, l'IA traite quand même des milliers de cubes pour rien.
  C'est comme essayer de compter les grains de sable d'une plage pour savoir s'il y a un château de sable : c'est trop lent et trop précis pour le but recherché.

2. La Solution : TrajTok (Le "Suiveur de Scène")

Les chercheurs ont créé TrajTok, un nouveau système qui ne regarde pas les pixels individuels, mais qui suit les trajectoires des objets.

Imaginez que vous êtes un réalisateur de cinéma. Au lieu de vous soucier de chaque grain de poussière dans l'air, vous suivez les acteurs.

• L'analogie du chef d'orchestre : TrajTok est comme un chef d'orchestre intelligent. Au lieu de demander à chaque musicien (pixel) de jouer une note séparée, il regroupe les violons, les cuivres et les percussions en sections. Il dit : « Le violoncelle (l'objet) se déplace de gauche à droite. Je vais créer un seul "jeton" (une note) qui représente tout ce mouvement. »

3. Comment ça marche ? (La Magie)

Dans les anciennes méthodes, pour suivre un objet, il fallait utiliser un logiciel externe, lent et rigide, comme un détective qui doit vérifier chaque pièce de l'enquête séparément.

TrajTok, lui, est autonome et apprenant :

• Il apprend en regardant : Il est entraîné en même temps que le reste de l'IA. Il apprend tout seul à dire : « Tiens, ce groupe de pixels bouge ensemble, c'est un chien. Ce groupe là-bas, c'est un arbre. »
• Il s'adapte : Si la scène est simple (un seul oiseau qui vole), il utilise peu de "jetons". Si la scène est complexe (une foule qui court), il en crée plus. Il ne gaspille pas d'énergie sur le vide.
• Il est rapide : Au lieu de faire des calculs lourds pour dessiner les contours parfaits de chaque objet (comme un dessinateur de précision), il se concentre sur le sens global. C'est comme si vous reconnaissiez un ami par sa silhouette et sa démarche, sans avoir besoin de compter ses cils.

4. Les Résultats Concrets

Grâce à cette approche, l'IA devient :

• Plus rapide : Elle traite moins de données, donc elle répond plus vite.
• Plus intelligente : Elle comprend mieux les vidéos longues et complexes, car elle suit l'histoire des objets plutôt que de se perdre dans les détails inutiles.
• Plus polyvalente : Ce système fonctionne aussi bien pour classer des vidéos, répondre à des questions sur un film, ou aider une IA à "voir" et "parler" en même temps.

En résumé

Si les anciennes méthodes d'IA regardaient une vidéo comme un mosaïque de millions de petits carreaux, TrajTok la regarde comme un film où les personnages et leurs mouvements sont les héros.

C'est un pas de géant vers des IA qui comprennent le monde visuel de la même manière que nous : en suivant les histoires et les mouvements, et non en comptant les pixels.

Résumé technique

Titre : TrajTok : L'apprentissage de jetons de trajectoire améliore la compréhension vidéo

1. Le Problème

La tokenisation des vidéos dans les modèles modernes (basés sur les Transformers) repose généralement sur la patchification (découpage de l'image en grilles spatio-temporelles fixes). Cette approche présente plusieurs limitations majeures :

• Redondance et inefficacité : Elle génère un nombre excessif de jetons, créant des goulots d'étranglement mémoire et computationnels, surtout pour les vidéos longues ou haute résolution.
• Rigidité : Le nombre de jetons est souvent lié à la durée de la vidéo, empêchant une adaptation dynamique à la complexité sémantique de la scène.
• Limites des approches existantes : Bien que des travaux récents (comme TrajViT) aient proposé d'utiliser des trajectoires d'objets comme unité de tokenisation pour réduire la redondance, ils dépendent de pipelines externes (segmentation et suivi d'objets) non différentiables et lents. Ces pipelines sont "agnostiques" par rapport à la tâche, ce qui signifie qu'ils ne s'adaptent pas aux besoins spécifiques du modèle final (par exemple, la granularité nécessaire pour analyser un mouvement de danse vs une formation de groupe).

2. Méthodologie : TrajTok

Les auteurs proposent TrajTok, un module de tokenisation vidéo end-to-end et entièrement différentiable, conçu pour apprendre à regrouper les pixels en trajectoires d'objets de manière implicite.

Architecture Principale :
TrajTok se compose de deux modules entraînés conjointement :

1. Segmenteur Universel (Trajectory Segmenter) :

   • C'est un module léger qui effectue un regroupement sémantique en une seule passe avant (forward pass).
   • Il utilise un encodeur de patches léger (ConvNeXt) pour extraire des caractéristiques multi-échelles.
   • Un ensemble de requêtes apprises (learnable queries) agit comme des prototypes de clusters via des couches de type Perceiver.
   • Il génère des masques de segmentation "doux" (soft masks) en calculant la similarité entre les requêtes et les caractéristiques des patches.
   • Philosophie : Le modèle privilégie le regroupement sémantique robuste plutôt que la précision pixel-par-pixel parfaite, ce qui réduit considérablement la charge computationnelle.

2. Encodeur de Trajectoire (Trajectory Encoder) :

   • Il agrège les caractéristiques brutes (ou encodées) selon les masques générés pour produire des jetons de trajectoire compacts.
   • Il utilise un mécanisme d'attention croisée masquée pour affiner les représentations initiales, assurant que chaque jeton se concentre uniquement sur les pixels de sa trajectoire assignée.
   • Adaptabilité (Matryoshka) : Inspiré par les représentations Matryoshka, l'encodeur peut émettre un nombre variable de jetons par trajectoire (1, 2 ou 4) selon le budget de calcul disponible, permettant de gérer les objets à mouvement complexe ou de longue durée.

Entraînement :

• Le segmenteur est entraîné avec une perte de segmentation (combinaison de Dice loss et Focal loss) sur des masques de vérité terrain pseudo-générés (via le pipeline TrajViT), mais il est co-entraîné avec l'objectif de la tâche finale (ex: CLIP).
• Cela permet au tokeniseur d'ajuster dynamiquement sa granularité sémantique en fonction de l'objectif de la tâche descendante (downstream task).

3. Contributions Clés

• Tokenisation End-to-End : Première approche qui apprend implicitement les trajectoires d'objets directement dans le réseau, éliminant le besoin de pipelines externes lents et non différentiables.
• Découplage Durée/Jetons : Le nombre de jetons dépend de la complexité sémantique de la vidéo et non de sa durée, permettant une scalabilité efficace.
• Versatilité : TrajTok n'est pas seulement un tokeniseur, mais un composant modulaire applicable à trois scénarios :
  1. TrajViT2 : Un encodeur vidéo entraîné de zéro avec l'objectif CLIP.
  2. TrajAdapter : Un adaptateur de fonctionnalités plug-and-play pour améliorer les encodeurs pré-entraînés (ViT) sans fine-tuning complet.
  3. TrajVLM : Un connecteur pour les modèles Vision-Language (VLM), reliant un encodeur visuel à un LLM.

4. Résultats Expérimentaux

Les auteurs ont évalué TrajTok sur plusieurs benchmarks et configurations :

• Performance de Classification et de Récupération (TrajViT2) :

  • Surpassant tous les modèles de base (ViT3D, ViViT, TokenLearner, RLT) et la version précédente TrajViT.
  • Améliorations notables : +4,8% sur Kinetics-400 et +4,1% sur Something-Something V2 (SSv2) par rapport à un ViT vidéo standard.
  • Meilleures performances sur les tâches de récupération texte-vidéo (ActivityNet, VATEX).
  • Scalabilité : TrajViT2 montre une meilleure tendance de scalabilité avec la taille des données d'entraînement que TrajViT, confirmant que l'apprentissage end-to-end s'adapte mieux à la complexité des données.
  • Efficacité : Bien que performant, il maintient un coût de calcul (FLOPs) comparable aux méthodes de fusion de jetons les plus efficaces (comme ViViT), contrairement à TrajViT qui souffrait d'une surcharge due au pipeline externe.

• Adaptation de Fonctionnalités (TrajAdapter) :

  • En tant que module d'adaptation pour des encodeurs pré-entraînés (VideoMAE-v2, V-JEPA2), TrajAdapter améliore systématiquement les performances de sondage (probing) sur Kinetics-400 et SSv2 par rapport au sondage linéaire ou attentif classique.

• Modèles Vision-Language (TrajVLM) :

  • Intégré dans un modèle de type LLaVA, TrajTok dépasse les connecteurs basés sur le regroupement de patches (patch pooling), en particulier sur les benchmarks de vidéos longues (LongVideoBench, LVBench), avec une amélioration de +8,8%.
  • Cela démontre que les jetons de trajectoire structurent mieux l'information pour le raisonnement à long terme.

5. Signification et Impact

L'article TrajTok marque une avancée significative dans la compréhension vidéo en démontrant que :

1. L'efficacité sémantique prime sur la précision pixel : Pour la compréhension vidéo de haut niveau, des regroupements sémantiques approximatifs mais adaptatifs sont supérieurs aux segmentations pixel-parfaites coûteuses.
2. L'intégration End-to-End est cruciale : Dépendre de pipelines externes figés limite la capacité du modèle à s'adapter à des tâches spécifiques. L'apprentissage conjoint permet d'optimiser la granularité des jetons pour la tâche finale.
3. Unification des architectures : TrajTok propose une approche unifiée qui fonctionne aussi bien pour l'entraînement de modèles de zéro, l'adaptation de modèles pré-entraînés, que pour les modèles multimodaux complexes, offrant une alternative plus efficace et sémantiquement fondée à la tokenisation par patches traditionnelle.

En résumé, TrajTok transforme la façon dont les vidéos sont représentées pour les IA, passant d'une grille spatiale rigide à une structure dynamique basée sur les objets et leurs mouvements, améliorant ainsi à la fois la précision et l'efficacité computationnelle.