🤖 AI

Latent Video Prediction Learns Better World Models

Ce papier présente une étude systématique démontrant que les modèles de prédiction vidéo latente, tels que V-JEPA 2.1, surpassent les modèles traditionnels basés sur la reconstruction et les modèles supervisés sur cinq axes de robustesse, les établissant comme des candidats supérieurs pour la construction de modèles du monde robustes.

Auteurs originaux : Ali J Alrasheed, Aryan Yazdan Parast, Basim Azam, James Bailey, Naveed Akhtar

Publié 2026-05-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali J Alrasheed, Aryan Yazdan Parast, Basim Azam, James Bailey, Naveed Akhtar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment comprendre le monde physique simplement en regardant des vidéos. Vous voulez qu'il devienne un « modèle du monde » — un système qui ne se contente pas de reconnaître des objets, mais qui comprend comment les choses bougent, interagissent et changent au fil du temps.

Pendant longtemps, les chercheurs ont jugé ces robots sur la base d'un seul score de test : « Combien de vidéos a-t-il correctement identifiées sur un test parfait et propre ? ». Cet article soutient que ce seul score est comparable à évaluer la sécurité d'une voiture uniquement en fonction de sa vitesse par une journée ensoleillée. Cela ne vous dit rien sur la façon dont la voiture gère la pluie, les nids-de-poule, ou si un pneu éclate.

Les auteurs de cet article ont décidé de soumettre quatre « cerveaux de robot » (modèles d'IA vidéo) différents à une épreuve beaucoup plus difficile et plus réaliste pour voir lequel comprend réellement le mieux le monde.

Les Quatre Concurrents

Ils ont comparé quatre modèles d'IA populaires, qui relèvent de trois styles d'apprentissage différents :

Les Peintres de Pixels (VideoMAEv2) : Ces modèles tentent d'apprendre en comblant les parties manquantes d'une vidéo, comme un jeu de « peinture par numéros » où ils essaient de deviner les couleurs et les pixels exacts d'une image cachée.
Les Assembleurs (VideoPrism) : Ces modèles tentent d'apprendre en regroupant des vidéos similaires, en se concentrant sur la correspondance de motifs visuels.
Les Prédicteurs de l'Avenir (V-JEPA 2 et 2.1) : Ces modèles ne tentent pas de redessiner l'image. Au lieu de cela, ils essaient de deviner le sens ou l'« essence » de ce qui vient ensuite dans un espace mental caché. Ils se demandent : « Si je vois cette action, quel genre d'événement se produit ensuite ? »

Les Cinq Tests du Monde Réel

Au lieu d'un seul test, les chercheurs ont soumis les modèles à cinq défis spécifiques qui imitent des problèmes de la vie réelle :

1. Le Test « Mauvaise Caméra » (Robustesse aux Corruptions)

Le Scénario : Imaginez que le flux vidéo est défectueux. Il est flou, neigeux ou contient du bruit statique.
Le Résultat : Les Prédicteurs de l'Avenir étaient les champions. Même lorsque la vidéo avait une apparence terrible, ils pouvaient encore déterminer ce qui se passait. Les Peintres de Pixels se sont effondrés. Parce qu'ils étaient entraînés à se soucier de la couleur de chaque pixel individuel, un peu de neige ou de bruit les a complètement confus. Les Prédicteurs de l'Avenir ont appris à ignorer le « bruit » et à se concentrer sur l'histoire.

2. Le Test « Tour de Magie » (Discrimination Fine)

Le Scénario : Les chercheurs ont montré des vidéos de personnes faisant semblant de faire des choses (comme faire semblant de verser de l'eau) par opposition à le faire réellement. Les mouvements semblent presque identiques, mais dans la version « simulée », aucune eau ne coule réellement.
Le Résultat : C'est là que les Prédicteurs de l'Avenir ont brillé. Ils pouvaient distinguer les actions réelles des actions simulées. Les Peintres de Pixels se sont fait piéger. Ils étaient si concentrés sur les détails visuels du mouvement de la main qu'ils ont manqué le fait subtil qu'aucune eau ne coulait. Les Prédicteurs de l'Avenir ont compris la physique de l'interaction, pas seulement l'image.

3. Le Test « Bandeau » (Robustesse à l'Occultation)

Le Scénario : Imaginez que quelqu'un pose une main devant l'objectif, ou qu'une voiture passe entre la caméra et le sujet, bloquant la vue.
Le Résultat : Les Prédicteurs de l'Avenir sont restés calmes. Même lorsque des parties de la vidéo manquaient, ils pouvaient encore deviner ce qui se passait. Fait intéressant, les Assembleurs semblaient très stables sur le papier (leurs mathématiques internes ne changeaient pas beaucoup), mais leur capacité réelle à deviner l'action s'est effondrée. C'était comme un étudiant qui avait mémorisé la forme de la feuille de réponses mais ne connaissait pas les réponses ; le papier semblait bien, mais il a échoué au test.

4. Le Test « Machine à Remonter le Temps » (Direction Temporelle)

Le Scénario : Les chercheurs ont joué des vidéos à l'envers.
Le Résultat : C'était le test le plus révélateur. Lorsqu'une vidéo de quelqu'un « poussant » une boîte était jouée à l'envers, les Prédicteurs de l'Avenir ont correctement réalisé que l'action s'était inversée pour devenir « tirer ». Ils ont compris que le temps a une direction. Les autres modèles étaient pour la plupart simplement confus ou ont deviné au hasard. Ils n'avaient pas appris que « pousser » et « tirer » sont des opposés dans le temps ; ils voyaient simplement des formes bouger.

5. Le Test « Gelé vs Flexible »

Le Scénario : Habituellement, pour rendre un modèle bon dans une tâche spécifique, vous devez le réentraîner à partir de zéro avec beaucoup de données étiquetées. Les chercheurs se sont demandé : « Un modèle qui est gelé (non réentraîné) peut-il encore battre un modèle entièrement réentraîné ? »
Le Résultat : Oui. Les Prédicteurs de l'Avenir, même lorsqu'ils étaient gelés et simplement soumis à une simple « sonde » pour lire leur esprit, ont battu les modèles entièrement réentraînés dans les tests « Mauvaise Caméra » et « Bandeau ». Cela suggère que la façon dont ils ont appris initialement (prédire l'avenir) a construit une base plus solide que la simple mémorisation de réponses.

La Grande Conclusion

L'article conclut que prédire l'avenir dans un « espace mental » (espace latent) est une meilleure façon d'apprendre sur le monde que de tenter de redessiner parfaitement l'image (reconstruction de pixels).

Les Peintres de Pixels sont comme des artistes qui peuvent copier une photo parfaitement mais qui sont confus si l'éclairage change ou si une partie de la photo est déchirée.
Les Prédicteurs de l'Avenir sont comme des détectives. Ils ne se soucient pas de la nuance exacte de bleu d'une chemise ; ils se soucient de l'histoire. Ils comprennent que si vous poussez une tasse, elle bouge, et si vous jouez cette vidéo à l'envers, elle est tirée.

Les auteurs soutiennent que pour construire de vrais « modèles du monde » pour les robots ou l'IA, nous devons arrêter de simplement vérifier s'ils obtiennent la bonne réponse sur un test propre. Nous devons vérifier s'ils peuvent gérer le bruit, les informations manquantes et le flux du temps. Les modèles qui apprennent en prédisant l'avenir semblent être ceux qui comprennent réellement comment le monde fonctionne.

Résumé technique : La prédiction latente de vidéo apprend de meilleurs modèles du monde

Énoncé du problème

Les modèles vidéo auto-supervisés sont de plus en plus positionnés comme des « modèles du monde » — des systèmes capables d'apprendre la dynamique du monde physique à partir de l'observation. Cependant, leur évaluation reste largement confinée à un seul score de précision top-1 sur des benchmarks de classification en aval propres. Cette métrique est insuffisante pour comprendre le potentiel d'un modèle en tant que modèle du monde déployé, car elle ne capture pas des propriétés critiques telles que la stabilité face au bruit des capteurs, la tolérance aux entrées manquantes, la discrimination fine entre des actions visuellement similaires, et un sens interne de l'ordre temporel. De plus, une évaluation comparable au niveau des objectifs de pré-entraînement fait défaut, laissant un vide dans la compréhension de la manière dont différents paradigmes auto-supervisés façonnent les propriétés structurelles des représentations vidéo.

Méthodologie

Les auteurs présentent une étude systématique et contrôlée comparant quatre modèles de fondation vidéo de pointe dotés d'une capacité ViT-L équivalente (~300 millions de paramètres) :

V-JEPA 2.1 et V-JEPA 2 : Représentant le paradigme de la prédiction latente (Architecture d'Embedding Joint Prédictif).
VideoPrism : Représentant la prédiction masquée plus contrastive.
VideoMAEv2 : Représentant la reconstruction de pixels (auto-encodeurs masqués).

Pour isoler l'effet de l'objectif de pré-entraînement, l'étude maintient trois axes fixes : la capacité du backbone, les données/protocoles d'évaluation, et une sonde attentive légère ajustée par encodeur. L'évaluation utilise le jeu de données Something-Something v2 (SSv2), choisi pour sa riche structure de classes d'interactions fines humain-objet.

L'étude évalue ces modèles selon cinq axes de robustesse :

Discriminabilité des caractéristiques : Séparabilité des représentations à travers des classes d'actions stratifiées sémantiquement (verbe différent, même verbe, simulation vs réel).
Robustesse aux corruptions : Précision de classification sous six types de corruptions ImageNet-C (flou de mouvement, neige, pixellisation, bruit impulsionnel, luminosité, transformation élastique) à trois niveaux de sévérité.
Discrimination fine des actions : Performance sur un sous-ensemble de « simulation » où les actions simulent des interactions physiques sans contact réel.
Robustesse à l'occlusion : Performance sous trois paradigmes d'occlusion spatio-temporelle (Bloc mobile, Dropout temporel, Dropout de patch spatio-temporel).
Robustesse temporelle : Sensibilité à l'ordre perturbé et à la direction du temps, mesurant spécifiquement la capacité à encoder la « flèche du temps » via l'inversion de la vidéo.

De plus, l'étude compare les représentations V-JEPA 2 figées contre des bases de référence entièrement affinées (VideoMAE et TimeSformer) pour déterminer si les avantages observés survivent à l'adaptation spécifique à la tâche.

Contributions et résultats clés

1. La prédiction latente forme un profil de robustesse distinct

Sur les cinq axes, les modèles à prédiction latente (variantes V-JEPA) présentent un profil cohérent et distinct par rapport aux modèles contrastifs et à reconstruction de pixels.

Robustesse aux corruptions : V-JEPA 2.1 se dégrade plus gracieusement sous la corruption de pixels, menant sur cinq des six types de corruption. Cela suggère que l'objectif d'embedding joint écarte les variations visuelles de surface au profit d'une structure sémantique d'ordre supérieur.
Découplage de la stabilité et de l'utilité : Une découverte critique est que la stabilité géométrique (mesurée par la similarité cosinus) ne se traduit pas par une utilisabilité. Sous un dropout de patch spatio-temporel sévère, VideoPrism maintient une similarité cosinus quasi parfaite (>0,98) mais s'effondre à 2,7 % de précision top-1. À l'inverse, V-JEPA 2.1 montre un déplacement plus important dans l'espace des représentations mais conserve 46,1 % de précision. Cela indique que la similarité cosinus seule est une mesure trompeuse de la qualité des représentations pour la modélisation du monde.

2. Capture de signaux physiques fins sans reconstruction de pixels

Contrairement à l'intuition selon laquelle les modèles à reconstruction de pixels captureraient mieux les détails spatiaux fins, V-JEPA surpasse VideoMAEv2 sur les « actions de simulation » (par exemple, simuler un versement).

Les variantes V-JEPA montrent les plus grandes marges de performance sur les classes à haute sensibilité où le signal discriminant est l'absence de contact physique (par exemple, une prise vide).
L'objectif prédictif latent semble distiller les signatures spatio-temporelles de l'interaction physique, tandis que la reconstruction de pixels alloue de la capacité à des textures de surface qui diluent ces signaux de contact.

3. Intériorisation de la flèche du temps

Les modèles à prédiction latente intériorisent la directionnalité temporelle de manière nettement plus forte que les alternatives.

Sous inversion vidéo, les modèles V-JEPA inversent leurs prédictions de manière cohérente vers des classes sémantiquement antonymes (par exemple, « pousser » $\to$ « tirer »).
Ils atteignent un Score de Cohérence Sémantique Directionnelle (DSCS) significativement plus élevé que VideoMAEv2 et VideoPrism. Cela suggère que l'objectif de pré-entraînement prédictif (prédire les états latents futurs à partir du contexte passé) encode intrinsèquement la causalité et la direction temporelle, tandis que l'apprentissage contrastif supprime cet axe et que la reconstruction de pixels le dilue.

4. Les avantages persistent sous l'adaptation de tâche

L'étude compare un backbone V-JEPA 2 figé avec une sonde attentive légère contre des modèles VideoMAE et TimeSformer entièrement affinés.

Malgré le fait d'être figé, V-JEPA 2 surpasse les bases de référence entièrement affinées en matière de robustesse aux corruptions et à l'occlusion.
Cela suggère que l'objectif de pré-entraînement, plutôt que l'échelle ou la supervision par étiquettes seule, détermine si une représentation vidéo se comporte comme un modèle du monde robuste ou simplement comme un classificateur de benchmarks propres.

Importance

L'article fournit des preuves empiriques concrètes que la prédiction latente est un paradigme supérieur pour apprendre des modèles du monde vidéo robustes par rapport à la reconstruction de pixels ou à l'apprentissage contrastif. Les auteurs soutiennent que le choix de l'objectif de pré-entraînement laisse une signature structurelle mesurable dans la représentation de base que les benchmarks à score unique manquent.

Le travail démontre que :

Les modèles du monde nécessitent plus qu'une précision propre ; ils exigent une stabilité face au bruit, une tolérance aux données manquantes, et une sensibilité aux sémantiques physiques et à la direction temporelle.
La prédiction latente favorise naturellement ces propriétés en apprenant à prédire des changements d'état abstraits plutôt que des statistiques de pixels de surface.
L'évaluation des modèles de fondation doit dépasser les classements à métrique unique pour adopter des profils de robustesse multi-axes afin de capturer les différences structurelles essentielles au déploiement dans le monde réel.

Les auteurs concluent que les progrès dans les modèles de fondation vidéo ne peuvent pas être suivis par un seul score de précision et qu'une évaluation multi-axes est nécessaire pour identifier des représentations capables de soutenir la planification et le raisonnement physique.