TRecViT: A Recurrent Video Transformer

Le papier présente TRecViT, un modèle vidéo causal novateur basé sur une factorisation temps-espace-canal qui combine des unités récurrentes, de l'attention et des MLP pour surpasser ou égaler les performances des modèles non causaux comme ViViT tout en réduisant considérablement les paramètres, la mémoire et les coûts de calcul, permettant ainsi un traitement en temps réel.

L'essentiel

🎬 TRecViT : Le Caméraman Intelligent qui ne se fatigue jamais

Imaginez que vous essayez de comprendre une vidéo. Pour un ordinateur, c'est comme regarder des millions de pixels bouger en même temps. C'est énorme, bruyant et difficile à analyser.

Les modèles d'intelligence artificielle actuels (comme les Transformers) sont très forts, mais ils ont un gros défaut : ils veulent tout voir d'un coup. C'est comme si vous vouliez comprendre un film en regardant toutes les images à la fois, empilées les unes sur les autres. C'est très gourmand en énergie et cela prend beaucoup de temps. De plus, ils ne peuvent pas regarder le film "en direct" (comme une caméra de sécurité ou un robot) car ils ont besoin de connaître la fin pour comprendre le début.

TRecViT est une nouvelle invention de Google DeepMind qui change la donne. C'est un modèle causal (il regarde le film dans l'ordre, du début à la fin, comme nous) et il est ultra-efficace.

Voici comment il fonctionne, avec trois analogies simples :

1. La Recette en Trois Étages (La Factorisation)

Au lieu de mélanger tout en même temps, TRecViT sépare le travail en trois dimensions distinctes, comme un chef qui prépare un plat complexe étape par étape :

• Le Temps (La Mémoire) : C'est le rôle des LRU (Unités Récurrentes Linéaires). Imaginez un journaliste qui prend des notes. Il ne regarde pas toute la salle en même temps. Il observe ce qui se passe maintenant, le compare à ce qu'il a noté tout à l'heure, et met à jour son carnet. Il a une "mémoire" qui s'adapte : il peut se souvenir d'un événement il y a 10 secondes ou d'un événement il y a 10 minutes, selon ce qui est important. C'est ce qui permet au modèle de comprendre le mouvement et l'histoire.
• L'Espace (La Vue) : C'est le rôle des Transformers (comme dans ViT). Imaginez un photographe qui prend une photo d'un instant précis. Il regarde tous les détails de l'image (les visages, les objets, le décor) en même temps pour comprendre la scène. Il ne s'occupe pas du temps, juste de l'image actuelle.
• Les Couleurs (Les Détails) : C'est le rôle des MLP (les couches de neurones classiques). C'est comme un chef cuisinier qui ajuste les épices. Il prend l'information du photographe et du journaliste et mélange les "saveurs" (les caractéristiques) pour créer une compréhension fine.

Le secret ? En séparant le temps (géré par le journaliste) de l'espace (géré par le photographe), le modèle devient beaucoup plus rapide et moins gourmand.

2. Le Robot vs Le Touriste

Pourquoi est-ce si important ?

• Les anciens modèles (ViViT) sont comme des touristes qui arrivent dans une ville, achètent une carte complète, et passent des heures à analyser chaque rue avant de dire "Ah, je vois où je suis !". Ils ne peuvent pas marcher en même temps qu'ils réfléchissent. Ils sont lents et consomment beaucoup de batterie.
• TRecViT est comme un robot de livraison ou un caméraman. Il avance pas à pas. À chaque seconde, il regarde l'image, consulte sa mémoire rapide, et avance. Il n'a pas besoin de tout stocker. Il peut regarder une vidéo de 10 heures sans jamais se fatiguer ni avoir besoin de plus de batterie.

3. Les Résultats : Plus petit, plus fort, plus rapide

L'article montre des chiffres impressionnants :

• Taille : TRecViT est 3 fois plus petit que les meilleurs modèles actuels (ViViT-L). C'est comme avoir une voiture de sport avec un moteur de 3 cylindres qui fait aussi bien que le V8.
• Mémoire : Il utilise 12 fois moins de mémoire. Imaginez pouvoir regarder un film en 4K sur votre téléphone sans que la batterie ne saute.
• Vitesse : Il peut traiter 300 images par seconde. C'est plus rapide que l'œil humain ! Il peut donc fonctionner en temps réel pour des robots, de la réalité augmentée ou des voitures autonomes.

🏆 Pourquoi c'est une révolution ?

Jusqu'à présent, les modèles capables de comprendre le mouvement (comme les robots) étaient soit très lents, soit incapables de fonctionner en direct. Les modèles très rapides (comme les réseaux de neurones récurrents classiques) étaient souvent trop bêtes pour comprendre des scènes complexes.

TRecViT est le premier à réussir à combiner le meilleur des deux mondes :

1. Il comprend le mouvement (grâce à son "journaliste" LRU).
2. Il comprend les détails visuels (grâce à son "photographe" Transformer).
3. Il le fait en direct, sans avoir besoin de voir la fin du film pour comprendre le début.

En résumé

TRecViT est comme un caméraman génie qui a une mémoire parfaite mais économe. Il peut regarder n'importe quelle vidéo, du début à la fin, comprendre les actions, suivre les objets, et le tout sans faire exploser la batterie de votre ordinateur. C'est une étape clé pour rendre les robots et la réalité augmentée plus intelligents et plus réactifs.

Résumé technique

1. Problématique et Contexte

La compréhension vidéo nécessite de modéliser des signaux hautement dimensionnels, bruyants et redondants, tant dans les dimensions spatiales que temporelles. Les architectures existantes présentent des compromis difficiles :

• Réseaux de Neurones Convolutifs (CNN) : Bien que causaux et efficaces, ils souffrent de capacités de mise à l'échelle limitées en raison de leurs biais inductifs (localité, invariance).
• Transformers (ViT, ViViT) : Ils offrent une grande capacité de modélisation et une mise à l'échelle impressionnante, mais leur complexité quadratique de l'attention auto (self-attention) entraîne une empreinte mémoire et une latence prohibitives, surtout pour les vidéos longues. De plus, leur performance se dégrade souvent lorsqu'ils sont contraints à un fonctionnement causal (masquage temporel).
• Modèles à Espace d'État (SSM) et RNN : Bien que efficaces en inférence (complexité linéaire ou constante), les architectures SSM existantes pour la vidéo dépendent souvent d'un fonctionnement bidirectionnel (non causal) pour obtenir de bonnes performances, ce qui les rend inadaptés aux applications en temps réel (robotique, réalité augmentée).

L'objectif est de concevoir une architecture vidéo causale, efficace en mémoire et en calcul, capable de modéliser des dynamiques temporelles complexes sur de longues séquences tout en maintenant des performances de pointe (SOTA).

2. Méthodologie : L'Architecture TRecViT

Les auteurs proposent TRecViT (Temporal Recurrent Video Transformer), une architecture hybride novatrice qui factorise le traitement de la vidéo selon trois dimensions : le temps, l'espace et les canaux.

Factorisation Temps-Espace-Canal

L'architecture alterne des blocs spécialisés pour chaque dimension :

1. Dimension Temporelle (Temps) : Gérée par des Unités Récurrentes Linéaires Gated (Gated LRUs).
   • Contrairement aux RNN classiques, les LRUs sont des modèles linéaires inspirés des systèmes à espace d'état continus.
   • Ils opèrent sur des "tubes temporels" (séquences de tokens provenant du même patch spatial à travers les frames).
   • Avantage : Complexité $O(N)$ à l'entraînement et $O(1)$ à l'inférence par frame. Ils maintiennent un état caché compressé, permettant un traitement causal en temps réel sans stocker l'historique complet des clés et valeurs.
   • Les paramètres des LRUs sont partagés spatialement (comme dans les CNN), évitant l'explosion du nombre de paramètres avec la résolution.
2. Dimension Spatiale (Espace) : Gérée par des blocs ViT (Vision Transformer) standards.
   • Utilise l'attention auto (self-attention) pour mélanger l'information entre les différents patches d'une même frame.
   • Permet un traitement parallèle de tous les pixels d'une frame sans ordre de balayage prédéfini.
3. Dimension Canal : Gérée par des couches MLP (Multi-Layer Perceptron) intégrées dans les blocs ViT.

Flux de Données

• La vidéo est divisée en patches spatiaux.
• Les tokens sont d'abord traités par les LRUs pour intégrer l'information temporelle (mélange temporel).
• Ensuite, les sorties passent par un bloc ViT pour le mélange spatial et de canaux.
• Cette séquence (Temps $\to$ Espace) est répétée $N$ fois. Les auteurs notent que traiter le temps avant l'espace donne de meilleurs résultats.

Entraînement et Pré-entraînement

• Le modèle peut être entraîné de manière supervisée ou auto-supervisée.
• Pour le pré-entraînement auto-supervisé, les auteurs utilisent le Masked Autoencoding (MAE) avec un masquage en "tube" (tube masking), ce qui équivaut à masquer des LRUs temporels entiers, rendant l'apprentissage très efficace.

3. Contributions Clés

1. Premier modèle vidéo SSM causal : TRecViT est le premier modèle de la famille des State Space Models (SSM) capable de fonctionner strictement de manière causale tout en obtenant des performances compétitives.
2. Efficacité computationnelle et mémoire :
   • Paramètres : 3x moins de paramètres que le ViViT-L.
   • Mémoire : Empreinte mémoire 12x plus faible (à 32 frames) et 24x plus faible (à 64 frames) que ViViT-L.
   • FLOPs : 5x moins de calculs que ViViT-L.
   • Débit : Capacité à traiter environ 300 images par seconde en temps réel.
3. Architecture Hybride Optimisée : La combinaison de la récurrence linéaire (pour le temps) et de l'attention (pour l'espace) permet de contourner la complexité quadratique des Transformers tout en évitant les limitations des RNN séquentiels lents.

4. Résultats Expérimentaux

Les expériences ont été menées sur des tâches de classification vidéo (sparse) et de suivi de points (dense), avec des pré-entraînements supervisés et auto-supervisés.

• Classification Supervisée (SSv2 - Sommeil de Sommeil) :
  • TRecViT atteint un Top-1 de 66,7%, surpassant les modèles causaux de référence (TSM, RViT) et étant compétitif avec, voire supérieur à, des modèles non-causaux puissants comme ViViT-L (qui obtient 64,4% dans ce contexte spécifique avec moins de données).
  • Il surpasse ViViT-L de 2,3% sur SSv2 tout en ayant 3x moins de paramètres.
• Classification Supervisée (Kinetics-400) :
  • Performance compétitive (76,5% Top-1) par rapport aux modèles non-causaux, bien que légèrement inférieure aux meilleurs modèles non-causaux (ViViT-L à 80,3%). Les auteurs attribuent cet écart à la nature du dataset (plus axé sur l'apparence que sur le mouvement) et à la réduction de la taille du dataset Kinetics.
• Pré-entraînement Auto-supervisé (MAE) :
  • Avec des représentations figées (frozen), TRecViT bat VideoMAE-L sur SSv2 et Kinetics-400 avec presque 3x moins de paramètres.
• Tâche Dense (Point Tracking) :
  • Sur les datasets DAVIS et Perception Test, TRecViT obtient les meilleurs résultats (AJ de 0,783 sur Perception Test), surpassant VideoMAE et MooG, démontrant sa capacité à modéliser finement les mouvements.
• Mémoire à Long Terme :
  • Dans une tâche de reconstruction de frames anciennes ("needle-in-a-haystack"), TRecViT montre une robustesse supérieure aux Transformers (ViViT) lorsque la séquence d'entrée dépasse la longueur d'entraînement, là où ViViT subit une dégradation massive de la qualité (PSNR).

5. Signification et Impact

TRecViT représente une avancée majeure pour le domaine de la vision par ordinateur, en particulier pour les applications nécessitant un traitement en temps réel et causal (robotique, réalité augmentée, streaming vidéo).

• Démocratisation des modèles vidéo lourds : En réduisant drastiquement les besoins en mémoire et en calcul, il rend possible le déploiement de modèles vidéo de grande capacité sur du matériel moins puissant ou dans des contraintes de latence strictes.
• Nouvelle voie de recherche : Il valide l'hypothèse que la factorisation du temps (via des SSM/LRUs) et de l'espace (via des Transformers) est une paramétrisation naturelle et efficace pour la vidéo, exploitant la flèche du temps inhérente aux séquences vidéo.
• Futur : L'article ouvre la voie à l'intégration de ces modèles dans des pipelines génératifs (diffusion vidéo) et à l'exploration de vidéos à taux de rafraîchissement variable.

En résumé, TRecViT réussit à concilier l'efficacité des modèles récurrents et la puissance des Transformers, offrant un nouveau standard pour la modélisation vidéo causale.