Résumé Technique : YoCausal

Énoncé du Problème

À mesure que les Modèles de Diffusion Vidéo (VDM) progressent vers l'objectif de devenir des « modèles du monde », une question critique demeure : ces modèles comprennent-ils véritablement la causalité, ou se contentent-ils de surajuster à des motifs temporels statistiques ? Les benchmarks existants pour évaluer les « connaissances du monde » dans les modèles génératifs reposent largement sur des données synthétiques ou des enregistrements de laboratoire contrôlés afin d'isoler les variables physiques. Cette dépendance crée un écart significatif « simulation-réalité », limitant l'évaluation de la généralisation au monde réel. De plus, les évaluations actuelles confondent souvent la perception de la « flèche du temps » (la directionnalité inhérente du temps) avec le raisonnement causal véritable (comprendre que l'événement A cause l'événement B). Il manque des benchmarks évolutifs et réels capables de dissocier ces deux concepts pour évaluer si les VDM ont intériorisé des structures causales en tant que partie de leurs priors appris.

Méthodologie

Les auteurs proposent YoCausal, un benchmark à deux niveaux inspiré du paradigme de la Violation de l'Attente (VoE) issu des sciences cognitives. L'hypothèse centrale est qu'un modèle conscient de la causalité devrait manifester de la « surprise » (probabilité plus faible / perte plus élevée) lorsqu'il est confronté à des stimuli contrefactuels, tels que des vidéos inversées temporellement, par rapport à des vidéos dans le sens avant.

1. Construction du Jeu de Données

Contrairement aux travaux antérieurs nécessitant un rendu synthétique, YoCausal utilise des vidéos du monde réel provenant de domaines divers (Général, Physique, Action Humaine, Action Animale), issues de jeux de données existants (par exemple, Moments in Time, Physics IQ, Kinetics, Animal Kingdom).

• Contrefactuels à Coût Zéro : Le benchmark génère des échantillons contrefactuels naturels en inversant temporellement des vidéos du monde réel. Cela permet un jeu de données arbitrairement extensible sans écart simulation-réalité.
• Échelle : L'évaluation initiale couvre 1 232 vidéos réparties en quatre sous-ensembles thématiques.

2. Cadre d'Évaluation

Le cadre opère à deux niveaux pour séparer la perception temporelle de la cognition causale :

• Niveau 1 : Indice de Surprise Inversée (RSI)

  • Mécanisme : Pour chaque vidéo, le modèle calcule la perte de débruitage pour la séquence avant ($x_f$) et la séquence inversée ($x_r$) en utilisant le même bruit échantillonné aux mêmes pas de temps.
  • Métrique : Le RSI mesure la proportion de vidéos pour lesquelles le modèle attribue une perte de débruitage plus faible à la séquence avant qu'à la séquence inversée ($L(x_f) < L(x_r)$).
  • Interprétation : Un RSI élevé indique que le modèle perçoit la flèche du temps. Cependant, cela seul ne confirme pas la compréhension causale, car cela pourrait découler de biais temporels statistiques.

• Niveau 2 : Indice de Cognition Causale (CCI)

  • Désenchevêtrement : Pour isoler le raisonnement causal véritable, le jeu de données est partitionné en un Sous-ensemble Causal ($D_c$) (vidéos avec des interactions explicites de cause à effet) et un Sous-ensemble Non-Causal ($D_{nc}$) (vidéos sans telles interactions, par exemple une voiture en croisière).
  • Mécanisme : Un Modèle Vision-Langage (VLM) automatise cette partition basée sur la présence de mécanismes de cause à effet observables.
  • Métrique : $CCI = RSI(D_c) - RSI(D_{nc})$.
  • Interprétation : Un modèle conscient de la causalité devrait être significativement plus « surpris » par des vidéos causales inversées que par des vidéos non causales inversées. Un CCI élevé indique que le modèle capture des indices causaux au-delà des motifs temporels statistiques.

3. Validation

• Fiabilité du VLM : La partition basée sur le VLM a été validée par rapport à des annotations humaines ($\tau$ de Kendall = 0,7613) et à une analyse du flux optique, confirmant que la séparation repose sur des sémantiques de haut niveau plutôt que sur des indices de mouvement de bas niveau.
• Contrôle de l'Entropie : Des expériences sur des sous-ensembles symétriques en entropie ont confirmé que le RSI reflète la structure temporelle au niveau de l'événement plutôt que la dynamique d'entropie de bas niveau.

Résultats Clés

Le benchmark a évalué 13 VDM open-source de pointe (incluant les familles Wan, CogVideoX, HunyuanVideo et LTX-Video) par rapport à une base de référence humaine.

1. Temps vs Causalité : Il existe un écart significatif entre la perception de la flèche du temps et la compréhension de la causalité. Plusieurs modèles ont obtenu un RSI élevé (percevant la direction du temps) mais un CCI faible ou négatif, indiquant qu'ils reposent sur des statistiques temporelles plutôt que sur une logique causale.
2. Écart Homme-Modèle : Même les modèles les plus performants présentent un écart substantiel par rapport à la cognition causale de niveau humain. Les humains ont obtenu le RSI et le CCI les plus élevés sur tous les sous-ensembles.
3. Lois d'Échelle : La cognition causale corrèle significativement avec les paramètres du modèle et les dates de publication ($\tau \approx 0,69$ et $0,60$ respectivement). Les modèles plus grands et les architectures plus récentes (par exemple, basées sur DiT) montrent une compréhension causale améliorée, suggérant que les lois d'échelle s'étendent à ce raisonnement d'ordre supérieur.
4. Indépendance vis-à-vis de l'Esthétique : Le benchmark montre une corrélation nulle avec les métriques de qualité esthétique, confirmant que la compréhension causale est une capacité distincte non confondue par la fidélité visuelle.
5. Corrélation avec la Physique : Il existe une corrélation positive modérée avec des benchmarks de physique intuitive (LikePhys), suggérant que les lois physiques contraignent les interactions d'objets, mais que la cognition causale n'est pas réductible à la physique seule.

Importance et Contributions

L'article revendique les contributions suivantes :

• Premier Benchmark de Causalité pour les VDM : YoCausal est le premier benchmark spécifiquement conçu pour évaluer la cognition causale dans les modèles de génération vidéo, utilisant un jeu de données du monde réel évolutif exempt d'écart simulation-réalité.
• Cadre Fondé sur les Sciences Cognitives : Il introduit un cadre à deux niveaux qui dissocie avec succès la perception de la « flèche du temps » de la « cognition causale » véritable, abordant une limitation des benchmarks physiques antérieurs.
• Évidence Diagnostique : L'évaluation révèle que les VDM open-source actuels manquent d'une compréhension causale robuste, mettant en lumière un écart critique entre les modèles génératifs actuels et le « modèle du monde » aspiré.
• Orientation pour la Recherche Future : En démontrant que l'échelle et l'évolution architecturale améliorent la cognition causale, ce travail fournit une base quantitative pour guider le développement de futurs modèles du monde, en mettant l'accent sur le raisonnement causal comme objectif distinct.

Les auteurs notent des limites, notamment la difficulté d'évaluer des événements temporellement symétriques (où les vidéos avant et inversées sont visuellement identiques) et la dépendance aux poids du modèle pour le calcul de la perte de débruitage, ce qui restreint l'évaluation des modèles propriétaires. Cependant, ils postulent que le benchmark couvre efficacement les régimes dominants de causalité visuellement explicite pertinents pour la simulation robotique, les moteurs de jeu et la conduite autonome.