Résumé technique : What-If World : un benchmark causal pour les modèles de monde généraux dans des scénarios incarnés

Énoncé du problème

Les modèles de génération vidéo sont de plus en plus proposés comme simulateurs de monde à usage général pour des applications incarnées telles que la conduite autonome et la manipulation robotique. Cependant, les paradigmes d'évaluation existants échouent à évaluer une capacité critique requise pour ces contextes : la sensibilité causale. Les benchmarks actuels (par exemple, VBench, EvalCrafter, VideoPhy) évaluent les vidéos générées de manière isolée, en les notant pour leur réalisme visuel ou leur plausibilité physique par rapport à une seule invite. Cette approche ne peut pas détecter un mode de défaillance fondamental où un modèle produit deux vidéos visuellement plausibles, presque identiques, malgré la réception d'invites décrivant des interventions physiques différentes (par exemple, « freiner doucement » contre « freiner fort »).

Pour les simulateurs conditionnés par l'action et les planificateurs basés sur des modèles, un système qui échoue à suivre les changements d'entrée contrôlés est inutilisable, car les déroulements qui ne divergent pas selon l'intervention ne peuvent pas être utilisés pour comparer des actions alternatives. Les benchmarks causaux existants (par exemple, CLEVRER, NExT-QA) testent la capacité d'un modèle à percevoir la structure causale dans une vidéo donnée, et non sa capacité à générer des dynamiques causales physiquement correctes à partir de zéro en fonction de variations d'entrée.

Méthodologie

1. Le benchmark What-If World

Les auteurs présentent What-If World, le premier benchmark conçu spécifiquement pour l'intervention contrastive dans les modèles de monde vidéo. Le benchmark est construit via un pipeline en trois étapes :

• Définition de la taxonomie (Quoi tester) : Deux experts du domaine (conduite autonome et manipulation robotique) ont analysé 1 000 vidéos du monde réel issues de nuScenes et DROID. Ils ont identifié des variables physiques régissant les résultats et les ont fusionnées en une taxonomie unifiée à six primitives couvrant deux domaines :

  • Domaine de l'environnement ($D_{env}$) : Friction de surface, Matériau et Milieu, Configuration des obstacles.
  • Domaine de l'interaction ($D_{int}$) : Alignement spatial, Force/Degré, Séquençage temporel.
    Ces primitives ont été sélectionnées car elles sont fondamentales sur le plan physique, partagées entre les différentes incarnations et isolables opérationnellement.

• Construction du jeu de données (Comment tester) : Le benchmark est composé de 319 paires d'instances de test. Chaque instance est construite en :

  1. Sélectionnant un extrait vidéo réel et en extrayant une image $x_0$ au point de bifurcation causale (le moment immédiatement précédant le début de l'action) pour fixer l'état initial.
  2. Construisant une paire d'invites contrastives $(p^+, p^-)$ qui partagent la perspective de la caméra et l'état initial de la scène, mais diffèrent par exactement une variable sémantique (l'intervention).
  3. Ne révélant pas le résultat physique dans l'invite pour contraindre le modèle à simuler la conséquence plutôt que de la récupérer à partir de priors textuels.
     Le jeu de données couvre 18 sous-catégories réparties entre la conduite autonome et la manipulation de bras robotique.

• Protocole d'évaluation (Comment évaluer) : Les auteurs proposent le cadre APEO, qui note les paires de vidéos selon quatre dimensions :

  • Adhésion (A) : La vidéo exécute-t-elle l'action demandée ?
  • Physique (P) : Le mouvement respecte-t-il les contraintes physiques ?
  • Environnement (E) : L'arrière-plan et la scène non cible sont-ils stables ?
  • Résultat (O) : Les deux vidéos divergent-elles dans la direction prédite par l'intervention ?

  Crucialement, A, P et E sont notés à la fois en mode vidéo unique (plausibilité indépendante) et en mode apparié (cohérence comparative). Le Résultat (O) est uniquement noté en mode apparié. Cette conception sépare la plausibilité par vidéo de la correction causale. Un juge VLM (Gemini 3.1-Pro), validé par rapport à une annotation humaine (82,3 % d'accord), effectue le notation.

Résultats clés

Le benchmark a été appliqué à neuf modèles de génération vidéo de pointe (quatre open-source, cinq closed-source). Les résultats révèlent des limitations significatives dans les modèles de monde actuels :

1. Faible sensibilité causale : Aucun modèle ne dépasse 52 % sur la métrique appariée principale (pAvg). Le modèle le plus performant, Grok Imagine, atteint 51,7 %, tandis que les modèles open-source se regroupent autour de 28 %.
2. Le goulot d'étranglement contrastif : Il existe un écart substantiel entre les scores vidéo unique et les scores appariés. Par exemple, HunyuanVideo-1.5 obtient un score de physique vidéo unique ($P_s$) de 64,4 %, mais chute à 12,2 % sur le score de physique apparié ($P_p$). Cela indique que les modèles peuvent générer des vidéos individuellement convaincantes qui échouent à se différencier en fonction des changements d'entrée.
3. Prééminence visuelle vs. traçabilité physique : Les performances sont plus fortement corrélées à la prééminence visuelle des conséquences de l'intervention qu'aux physiques sous-jacentes.
   • Force/Degré (produisant des différences de mouvement dramatiques) obtient le score le plus élevé avec 40,4 %.
   • Friction de surface (produisant des différences de trajectoire subtiles sur des variables latentes) obtient le score le plus bas avec 14,2 %.
   • Séquençage temporel montre une plage de performances compressée pour tous les modèles, suggérant qu'il s'agit d'un défi fondamental encore non résolu par la mise à l'échelle.
4. Modes de défaillance cachés : Dans 13,1 % des cas où chaque vérification vidéo unique a réussi, la vérification de physique appariée a échoué. Ces « défaillances cachées » présentent un risque élevé pour les applications en aval telles que la planification contrefactuelle, car la simulation semble valide mais ne fournit aucune distinction causale.

Importance et affirmations

L'article affirme que What-If World fournit le premier cadre unifié et reproductible pour diagnostiquer là où les systèmes de génération vidéo actuels peinent en tant que modèles de monde. Son importance réside dans :

• L'exposition d'un angle mort : Il démontre que les métriques d'évaluation par vidéo existantes sont insuffisantes pour les applications incarnées car elles ne peuvent pas détecter le « goulot d'étranglement contrastif » — l'échec à suivre les changements d'entrée contrôlés.
• La définition d'une norme : Il établit une taxonomie à six primitives qui unifie les variables d'intervention physique entre la conduite autonome et la manipulation robotique, allant au-delà des cas de test ad hoc.
• La quantification de l'écart : Il fournit des preuves quantitatives que les modèles actuels, même les systèmes closed-source les plus avancés, ne sont pas encore fiables pour la simulation conditionnée par l'action ou la planification basée sur des modèles, car ils échouent sur une grande fraction d'interventions causales.

Les auteurs concluent que, bien que les modèles montrent une certaine capacité dans des scénarios visuellement évidents, ils manquent de sensibilité physique généralisable, en particulier pour les variables latentes (comme la friction ou la masse) et le raisonnement relationnel (comme le séquençage temporel). Ce travail met en lumière un écart de capacité critique qui doit être comblé avant que ces modèles puissent être déployés en toute sécurité dans des systèmes incarnés critiques pour la sécurité.