Résumé Technique : CRONOS – Évaluation de la Cohérence Physique Contrefactuelle dans les Modèles Vidéo

Énoncé du Problème

Les récents progrès de la modélisation vidéo générative ont permis la synthèse de futurs temporellement cohérents et haute fidélité, alimentant l'hypothèse que l'augmentation de l'échelle de la prédiction vidéo pourrait produire des « modèles du monde » généralisables capables de capturer les dynamiques du monde réel [19, 22, 21]. Cependant, le réalisme visuel n'implique pas nécessairement l'acquisition de représentations causales capturant les relations entre les objets, les scènes et les dynamiques [42]. Les modèles actuels peuvent reposer sur des régularités statistiques superficielles plutôt que sur des lois physiques sous-jacentes, échouant à produire des prédictions stables lorsque les conditions visuelles (par exemple, le point de vue, l'apparence) changent tandis que l'événement physique reste constant. Les benchmarks existants pour le réalisme physique évaluent souvent les prédictions sous des observations visuelles fixes ou s'appuient sur des jugements humains/de modèles linguistiques-vision (VLM) de plausibilité, échouant à tester systématiquement si la représentation prédictive d'un modèle est stable et structurée sous des interventions contrôlées [30, 36, 52]. Il existe un écart critique dans les évaluations fondées sur des principes qui vont au-delà de la qualité perceptive pour tester directement la cohérence physique contrefactuelle : si les prédictions d'un modèle d'événements physiques répondent de manière appropriée aux changements contrôlés de l'entrée visuelle.

Méthodologie

Les auteurs introduisent CRONOS, un benchmark basé sur l'intervention conçu pour évaluer la cohérence physique contrefactuelle. La méthodologie repose sur un environnement de simulation haute fidélité et photoréaliste construit dans Unreal Engine pour générer des séquences vidéo contrôlées où le type d'événement physique sous-jacent est fixe, mais où des facteurs visuels spécifiques sont systématiquement variés.

1. Génération de Données et Interventions

CRONOS génère des vidéos à travers trois scénarios canoniques d'interaction physique :

• Chute (Roulement à chute) : Un objet roule et tombe d'un bord.
• Collision : Un objet en impacte un autre.
• Occlusion : Un objet roule derrière un obstacle et réapparaît.

Pour chaque événement, le benchmark emploie un plan factoriel complet pour rendre des observations contrefactuelles en intervenant sur quatre dimensions tout en maintenant les autres fixes :

• Scène : Changement de l'environnement de fond et de la disposition (par exemple, hauteur de la surface).
• Point de vue de la caméra : Changement de l'angle de rendu tout en préservant les dynamiques 3D.
• Apparence de l'objet : Changement des attributs visuels (par exemple, la couleur) sans altérer les paramètres physiques.
• Catégorie d'objet : Remplacement de l'objet par un autre compatible, altérant à la fois les propriétés visuelles et les paramètres physiques (masse, friction).

L'ensemble de données comprend 675 vidéos (3 événements × 5 scènes × 5 catégories d'objets × 4 points de vue × 3 apparences), avec l'omission de la variation du point de vue pour les événements d'occlusion afin de préserver la structure de visibilité.

2. Métriques d'Évaluation

CRONOS décompose la qualité de génération en métriques centrées sur l'objet pour démêler le mouvement 3D de l'apparence, validées par une étude utilisateur humaine :

• Stabilité de l'apparence : Mesure la préservation de l'identité visuelle à l'aide d'embeddings DINOv2.
• Stabilité du fond : Mesure la cohérence du fond via l'erreur pixel par pixel (MSE).
• Stabilité de la forme 3D : Évalue la stabilité géométrique en comparant les maillages reconstruits (via SAM3D) au fil du temps en utilisant la distance de Chamfer.
• Similarité du mouvement : Évalue l'accord du mouvement en utilisant un encodeur de mouvement invariant à l'apparence (DisMo).
• Plausibilité physique : Utilise un VLM-juge (Qwen3-VL-32B) pour détecter les violations physiques de haut niveau (par exemple, permanence de l'objet, gravité).
• Taux de réussite : Un signal binaire réussite/échec exigeant que toutes les métriques dépassent des seuils calibrés.
• Sensibilité : Mesure l'écart de performance à travers les types d'intervention ; une sensibilité plus faible indique une cohérence contrefactuelle plus élevée.

Contributions Clés

1. Benchmark CRONOS : Un benchmark novateur basé sur l'intervention qui évalue systématiquement comment les modèles vidéo répondent aux changements contrôlés de point de vue, de scène, de catégorie d'objet et d'apparence, isolant la cohérence physique contrefactuelle de la qualité de génération générale.
2. Environnement Synthétique Haute Fidélité : Contrairement aux benchmarks synthétiques précédents reposant sur des textures plates, CRONOS utilise un rendu photoréaliste Unreal Engine avec des actifs 3D professionnels pour simuler un éclairage, des ombres et des dynamiques réalistes.
3. Cadre d'Évaluation Centré sur l'Objet : Une suite de métriques qui démêle le mouvement de l'apparence et de la forme, incluant un juge basé sur un VLM pour la plausibilité physique et une méthode d'agrégation robuste (min/max robuste sur les trames) pour gérer les erreurs transitoires.
4. Analyse Empirique Complète : Une évaluation des modèles vidéo open-source les plus avancés (Cosmos2.5, CogVideoX1.5, MAGI-1, Wan2.2) dans des configurations Image-vers-Vidéo (I2V) et Vidéo-vers-Vidéo (V2V).

Résultats

L'évaluation des générateurs vidéo open-source récents révèle des échecs substantiels en matière de cohérence physique contrefactuelle :

• Faibles Taux de Réussite : Même les modèles évalués les plus performants atteignent de faibles taux de réussite. Cosmos2.5-2B (V2V) et Wan2.2-14B (I2V) ont atteint respectivement seulement 22 % et 20 % de taux de réussite, tandis que la plupart des autres modèles ont obtenu moins de 15 %.
• Haute Sensibilité aux Interventions : Les modèles montrent une variation substantielle de la qualité de génération à travers les types d'intervention.
  • Sensibilité au Point de Vue : Les changements de point de vue ont induit la plus grande variation, indiquant que les modèles encodent les prédictions de manière fortement dépendante du point de vue plutôt que d'apprendre des dynamiques conscientes de la 3D.
  • Sensibilité à l'Objet et à la Scène : Les changements de catégorie d'objet et de disposition de la scène ont également causé des baisses de performance significatives, suggérant une dépendance aux corrélations spécifiques à l'objet plutôt qu'à des règles physiques généralisables.
• Effet du Conditionnement : Le conditionnement vidéo (V2V) a généralement amélioré les performances par rapport au conditionnement image (I2V), en particulier dans la similarité du mouvement et la stabilité de l'objet, probablement dû au signal temporel supplémentaire fournissant la direction et la vitesse initiales.
• Effet de la Taille du Modèle : L'augmentation de l'échelle de Cosmos de 2 à 14 milliards de paramètres n'a produit aucune amélioration dans la génération d'événements physiques ; en fait, la variante 14B a obtenu de moins bons résultats sur plusieurs métriques, suggérant que l'augmentation du nombre de paramètres seule ne garantit pas une meilleure cohérence physique contrefactuelle.

Importance et Revendications

L'article revendique que CRONOS fournit un terrain d'essai contrôlé et reproductible pour diagnostiquer les limites des modèles vidéo actuels. Les résultats suggèrent que les modèles modernes reposent principalement sur des corrélations visuelles superficielles plutôt que sur le développement de représentations causales stables des dynamiques de la scène. Les auteurs posent que des représentations structurées et causalement significatives sont essentielles pour une généralisation robuste et une prise de décision, et que les modèles actuels échouent à atteindre cela, en particulier sous des variations parasites comme les changements de point de vue.

Le benchmark établit une cible concrète pour le développement de modèles qui fonctionnent de manière cohérente à travers des changements de multiples conditions. Les auteurs soulignent que bien que CRONOS utilise des données synthétiques, sa haute fidélité visuelle permet un test diagnostique rigoureux des capacités de prédiction physique difficile à réaliser avec des vidéos du monde réel en raison de l'impossibilité de contrôler indépendamment les variables. Le travail ne revendique pas que les modèles actuels ont atteint une modélisation générale du monde, mais met plutôt en lumière l'écart entre le réalisme visuel et la cohérence physique, exhortant la recherche future à se concentrer sur la robustesse sous des interventions contrôlées.