💻 computer science

Towards Data-Efficient Video Pre-training with Frozen Image Foundation Models

Ce papier propose un paradigme de pré-entraînement vidéo économe en données qui gèle un puissant modèle fondation d'images pour traiter les caractéristiques spatiales tout en entraînant uniquement un module récurrent léger pour le raisonnement temporel, démontrant qu'une compréhension vidéo compétitive peut être obtenue sans les coûts substantiels de données et de calcul du pré-entraînement vidéo de bout en bout.

Auteurs originaux : Svetlana Orlova, Niccolò Cavagnero, Gijs Dubbelman

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Svetlana Orlova, Niccolò Cavagnero, Gijs Dubbelman

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Ne pas réinventer la roue

Imaginez que vous voulez construire un robot capable de regarder un film et d'en comprendre l'histoire. Traditionnellement, pour enseigner cela à un robot, vous devez lui montrer des millions d'heures de films à partir de zéro. Il doit apprendre à reconnaître un « visage » (spatial) et comment un visage bouge quand quelqu'un sourit (temporel), le tout simultanément. C'est incroyablement coûteux, nécessitant d'énormes quantités de données et de puissance informatique.

Ce papier pose une question simple : Avons-nous vraiment besoin d'enseigner au robot comment voir les visages à partir de zéro ?

Les auteurs suggèrent une méthode plus intelligente : Utiliser un robot qui est déjà un expert pour regarder des photos fixes, et simplement lui apprendre comment regarder le film.

L'Analogie : Le Photographe Expert et le Nouveau Réalisateur

Considérez le problème comme la réalisation d'un film :

Le Modèle d'Image Gelée (Le Photographe Expert) :
Imaginez que vous engagez un photographe mondialement célèbre qui a passé des années à étudier des millions de photos. Il est un maître absolu pour reconnaître les objets, la lumière et les textures dans une seule image fixe. Dans ce papier, les chercheurs « gèlent » ce photographe. Ils ne lui permettent pas d'apprendre quoi que ce soit de nouveau ; ils utilisent simplement ses connaissances existantes et parfaites sur l'apparence des choses.
Le Module Temporel (Le Nouveau Réalisateur) :
Maintenant, vous avez besoin de quelqu'un pour déterminer ce qui se passe dans la vidéo. Vous engagez un nouveau « Réalisateur », léger. La seule tâche de ce Réalisateur est de regarder la séquence de photos prises par le Photographe et de comprendre l'histoire (par exemple : « La personne marche », « Le ballon rebondit »).

L'Expérience :
Les chercheurs ont essayé de construire une IA vidéo en prenant un photographe expert « gelé » (un modèle d'image pré-entraîné comme DINOv3) et en y attachant un tout nouveau Réalisateur (un module temporel). Ils n'ont entraîné que le Réalisateur sur des données vidéo, laissant le Photographe complètement intact.

Ce qu'ils ont découvert

1. Le Photographe est déjà parfait
Ils ont comparé leur équipe « Photographe Gelé + Nouveau Réalisateur » aux modèles d'IA vidéo traditionnels qui tentent d'apprendre à la fois la vision et le mouvement à partir de zéro.

Résultat : L'équipe utilisant le photographe expert gelé a en réalité mieux performé pour reconnaître les objets et les scènes que les modèles qui ont essayé d'apprendre tout à partir de zéro.
À retenir : La connaissance « spatiale » (reconnaître ce qui est dans l'image) est déjà si bonne dans les modèles d'image modernes qu'il n'est pas nécessaire de perdre du temps à la réapprendre pour la vidéo.

2. Le Réalisateur a besoin d'entraînement (mais avec moins de données)
Même avec le Photographe parfait, le Réalisateur avait encore besoin d'apprendre à relier les points entre les images.

Résultat : Lorsqu'ils ont entraîné le Réalisateur à partir de zéro en utilisant la sortie du Photographe, le système est devenu très bon pour comprendre le mouvement et l'action.
À retenir : Vous n'avez pas besoin de réentraîner tout le système. Vous devez simplement entraîner la partie « Réalisateur ».

3. Efficacité des données : Faire plus avec moins
C'est la partie la plus excitante. Parce que le Photographe connaît déjà tout sur le monde, le Réalisateur n'a pas besoin de voir des millions de vidéos pour apprendre.

Résultat : Leur système, utilisant un modèle d'image gelé, a mieux performé qu'un modèle vidéo massif même lorsqu'il a été entraîné sur moins de 25 % des données habituelles.
Analogie : C'est comme enseigner à un nouveau réalisateur qui a déjà un scénario écrit par un génie. Il n'a pas besoin de regarder 1 000 films pour comprendre l'intrigue ; il peut la comprendre en regardant seulement 250.

Le Test de « Streaming »

Les chercheurs ont testé cela en mode « streaming », ce qui signifie que l'IA devait comprendre la vidéo au fur et à mesure qu'elle se déroulait, image par image, sans regarder en avant (comme regarder un flux en direct).

Résultat : Même dans ce test strict et en temps réel, leur approche « Photographe Gelé + Nouveau Réalisateur » était compétitive, et a souvent battu, les modèles vidéo de pointe entraînés sur des milliards de clips vidéo.

La Conclusion

Le papier conclut que nous gaspillons probablement de l'argent et de l'énergie en entraînant des modèles vidéo à partir de zéro. Au lieu de cela, nous devrions :

Geler un modèle d'image puissant (le Photographe).
Entraîner un petit module léger pour gérer le mouvement (le Réalisateur).

Cette approche économise une énorme quantité de puissance informatique et de données. Les auteurs notent que s'ils n'ont pas encore entièrement pré-entraîné le Réalisateur sur d'énormes jeux de données vidéo (c'est la prochaine étape), leurs tests initiaux prouvent que cette méthode « découplée » est une voie très prometteuse pour construire une IA vidéo efficace.

En résumé : N'enseignez pas à l'IA comment voir ; enseignez-lui simplement comment regarder.

Résumé Technique : Vers un Pré-entraînement Vidéo Économe en Données avec des Modèles Fondation d'Images Gelés

Énoncé du Problème
Les modèles fondation vidéo atteignent actuellement les performances les plus avancées (SotA) sur diverses tâches de compréhension vidéo, mais reposent sur un pré-entraînement de bout en bout sur d'énormes ensembles de données vidéo (souvent des millions à des milliards de clips). Cette approche engendre des coûts substantiels en matière de collecte de données, de stockage et de ressources informatiques. À l'inverse, les modèles fondation d'images modernes ont atteint des capacités sans précédent, fournissant des représentations spatiales puissantes entraînées sur des milliards d'images. La question de recherche centrale soulevée par ce travail est de savoir si des modèles vidéo compétitifs peuvent être construits en réutilisant ces représentations spatiales préexistantes et en restreignant les efforts de pré-entraînement exclusivement au raisonnement temporel. Les auteurs visent à explorer un paradigme d'entraînement léger qui gèle un modèle fondation d'images pré-entraîné et entraîne uniquement un module temporel récurrent pour traiter la vidéo en flux, réduisant ainsi potentiellement les besoins en données et en puissance de calcul pour le pré-entraînement vidéo.

Méthodologie
Le cadre proposé découple l'apprentissage spatial et temporel pour la compréhension vidéo, se composant de trois composants principaux :

Encodeur d'Images Gelé : Le modèle utilise un modèle fondation d'images pré-entraîné (principalement DINOv3, bien que DINOv2, SigLIP2 et des ViTs supervisés soient également évalués) comme extracteur de caractéristiques spatiales. Cet encodeur reste complètement gelé pendant l'entraînement, sans aucun gradient ne le traversant.
- Extraction de Caractéristiques Multi-profondeur : Pour exploiter les informations distribuées à travers la profondeur de l'encodeur gelé, le cadre extrait des jetons de patchs à quatre profondeurs ViT équidistantes (1/4, 1/2, 3/4 et 1). Ces caractéristiques sont adaptées via des MLP par couche entraînables avec des connexions résiduelles et moyennées pour former la représentation d'entrée, complétée par des jetons CLS et register.
Module Temporel Récurrent : Un module temporel léger traite les caractéristiques par image séquentiellement et de manière causale (sans accès aux images futures). Le module maintient un état caché à travers les images. Les auteurs évaluent quatre architectures distinctes :
- RVMRNN : Un noyau récurrent à porte GRU avec attention croisée, adopté de la base RVM.
- Mamba : Un modèle d'espace d'états sélectif (SSM) opérant indépendamment sur les jetons spatiaux.
- MambaMix : Mamba entrelacé avec des blocs d'attention self-spatiale pour permettre l'interaction inter-patchs au sein des images.
- GatedMambaMix (GMMix) : Une extension de MambaMix incorporant un mécanisme de porte appris pour contrôler le flux d'informations temporelles, analogue à la porte GRU.
Lecture Attentive : Une tête spécifique à la tâche produit les prédictions. Les auteurs emploient un protocole de « flux » où la lecture ne reçoit que la sortie de l'image actuelle ( $h_t$ ), garantissant que le contexte temporel est strictement accumulé dans l'état récurrent et non compensé par la lecture.

Contributions Clés

Étude Empirique de l'Apprentissage Temporel avec des Représentations Spatiales Gelées : Les auteurs démontrent qu'un raisonnement temporel efficace émerge à travers plusieurs encodeurs d'images, architectures temporelles et tâches vidéo diverses (reconnaissance d'actions, suivi d'objets/points, estimation de profondeur, estimation de pose de caméra), même lorsque l'épine dorsale d'images est fixe.
Preuves pour un Pré-entraînement Vidéo Économe en Données : Les résultats suggèrent que les modèles fondation d'images modernes contiennent déjà une capacité spatiale suffisante pour la compréhension vidéo. Cela soutient un paradigme futur où seul le module temporel nécessite un pré-entraînement vidéo, découplant significativement l'apprentissage spatial et temporel.

Résultats Expérimentaux
L'étude évalue le cadre sur des benchmarks incluant Something-Something v2 (SSv2), Waymo Open, Perception Test (PT), ScanNet et NuScenes.

Compétitivité de l'Encodeur Spatial : Les encodeurs pré-entraînés sur images gelés (spécifiquement DINOv3 et DINOv2) correspondent ou surpassent constamment l'encodeur RVM pré-entraîné sur vidéo. Par exemple, sur SSv2, DINOv3 a atteint 66,9 % de précision contre 62,7 % pour l'encodeur RVM pré-entraîné sur vidéo. Sur Waymo, les encodeurs d'images ont surpassé l'encodeur RVM (85,0–85,5 mIoU contre 83,4 mIoU).
Performance du Module Temporel : Lorsqu'il est apparié à un encodeur DINOv3 gelé, toutes les architectures temporelles testées ont nettement surpassé une base RVM gelée (qui possède un encodeur pré-entraîné sur vidéo et un noyau temporel gelés). Par exemple, DINOv3 + GMMix a atteint une moyenne normalisée de 99,4, contre 77,7 pour le RVM-L gelé.
Stratégie d'Extraction de Caractéristiques : L'utilisation de caractéristiques multi-profondeur de l'encodeur gelé a constamment amélioré les performances sur toutes les architectures temporelles par rapport à l'utilisation exclusive des jetons de la dernière couche.
Transférabilité des Dynamiques Temporelles : L'initialisation du module temporel avec des poids pré-entraînés sur vidéo (de RVM) a apporté des gains de performance même lorsqu'apparié à un encodeur gelé différent (DINOv3). Cela indique que les dynamiques temporelles apprises sont partiellement agnostiques à l'encodeur.
Efficacité des Données : L'entraînement de DINOv3 + GMMix sur seulement 25 % de l'ensemble d'entraînement SSv2 a produit des performances (56,5 %) surpassant le RVM gelé entraîné sur 100 % des données (46,9 %).
Comparaison avec l'État de l'Art : À l'échelle ViT-L, le modèle proposé (DINOv3 + GMMix) a atteint une moyenne normalisée de 99,1, dépassant les modèles fondation vidéo tels que RVM-L (89,3), V-JEPA-L (88,5) et VideoMAE-L (88,9), malgré l'absence de pré-entraînement vidéo à grande échelle pour le module temporel du modèle proposé.

Signification et Revendications
Les auteurs positionnent ce travail comme un « travail en cours » vers un nouveau paradigme de pré-entraînement pour les modèles vidéo récurrents. Ils affirment que leurs découvertes fournissent des preuves empiriques initiales que :

Le pré-entraînement vidéo à grande échelle pour l'encodeur spatial n'est pas strictement nécessaire si de puissants modèles fondation d'images sont disponibles.
Une compréhension vidéo robuste est réalisable sans pré-entraînement vidéo à grande échelle lorsque l'encodeur spatial est suffisamment puissant.
Une approche modulaire, où un seul encodeur d'images gelé sert d'épine dorsale partagée pour des têtes temporelles légères spécifiques à la tâche, offre une alternative plus économe en données et en puissance de calcul au pré-entraînement vidéo de bout en bout.

Le papier note explicitement qu'il ne réalise pas encore de pré-entraînement vidéo à grande échelle du module temporel lui-même ; il valide plutôt la faisabilité de l'approche découplée pour justifier l'investissement dans un tel travail futur. Les auteurs concluent que, bien que les résultats actuels soient prometteurs, les travaux futurs devraient inclure le pré-entraînement du module temporel sur des données vidéo pour réaliser pleinement le potentiel de ce paradigme découplé.