💻 computer science

WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation

Cet article présente WBench, une référence complète à tours multiples conçue pour évaluer systématiquement les modèles de monde vidéo interactifs selon cinq dimensions clés — la qualité vidéo, le respect du cadre, le respect des interactions, la cohérence et le respect de la physique — en utilisant 289 cas de test et des métriques automatiques validées pour révéler qu'aucun modèle actuel de l'état de l'art ne excelle dans tous les domaines.

Auteurs originaux : Kaining Ying, Hengrui Hu, Siyu Ren, Jiamu Li, Fengjiao Chen, Ziwen Wang, Xuezhi Cao, Xunliang Cai, Henghui Ding

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kaining Ying, Hengrui Hu, Siyu Ren, Jiamu Li, Fengjiao Chen, Ziwen Wang, Xuezhi Cao, Xunliang Cai, Henghui Ding

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez un moteur de jeu vidéo, mais au lieu de coder les règles, vous enseignez à une IA à « rêver » un monde en existence. Vous lui donnez une image de départ et dites : « Maintenant, avance, saute par-dessus ce rocher, et soudain, un hélicoptère apparaît. » L'IA génère ensuite les quelques secondes de vidéo suivantes en fonction de votre commande.

Le problème est le suivant : Comment savons-nous si l'IA est réellement bonne dans ce domaine ?

Actuellement, il existe de nombreuses façons différentes de tester ces « modèles du monde » d'IA, mais c'est comme essayer de juger une voiture en ne testant que ses freins, ou seulement sa vitesse, ou seulement sa peinture. Il n'existe pas de test unique et unifié qui vérifie tout à la fois.

Voici WBENCH. Considérez WBENCH comme l'examen ultime du « permis de conduire » pour ces IA de vidéo interactive.

La Grande Idée : Le Test du « Simulateur de Monde »

Les auteurs ont créé une suite de tests complète appelée WBENCH. Au lieu de simplement demander à l'IA de produire une belle vidéo, ils l'ont placée dans une école de conduite virtuelle où elle doit gérer une conversation multi-tours avec un utilisateur.

Voici comment le test fonctionne, décomposé en cinq catégories simples :

L'Apparence (Qualité Vidéo) : La vidéo semble-t-elle fluide et belle, ou est-elle saccadée et floue ? C'est comme vérifier si la peinture de la voiture est brillante et si les pneus sont ronds.
La Mémoire (Respect du Contexte) : Si vous avez dit à l'IA : « C'est une montagne enneigée avec un robot rouge », conserve-t-elle la neige et le robot rouge tout au long de la vidéo ? Ou le robot devient-il soudainement bleu et la neige fond-elle ? Cela teste si l'IA se souvient des règles du monde qu'elle a créé.
L'Obéissance (Respect de l'Interaction) : Si vous dites « Tourne à gauche », la caméra tourne-t-elle vraiment à gauche ? Si vous dites « Le robot saute », saute-t-il ? C'est le test du « volant ». L'article a révélé que certaines IA sont excellentes pour créer de belles images mais terribles pour réellement écouter vos commandes.
La Stabilité (Cohérence) : Si la caméra tourne sur elle-même en cercle et revient au point de départ, le monde ressemble-t-il exactement à ce qu'il était avant ? Ou les bâtiments ont-ils bougé, ou le robot a-t-il disparu ? Cela teste si l'IA possède une « mémoire » stable de la disposition du monde.
La Physique (Conformité Physique) : Si une balle tombe, tombe-t-elle vers le bas ? Si une voiture percute un obstacle, s'écrase-t-elle ? Ou la balle flotte-t-elle vers le ciel et la voiture traverse-t-elle le mur comme un fantôme ? Cela teste si l'IA comprend le fonctionnement du monde réel (ou du monde fantastique).

L'Essai Routier : Ce Qu'ils Ont Fait

Les chercheurs ont construit un ensemble de données comprenant 289 « scénarios » différents (comme une montagne enneigée, une ville animée ou un château fantastique). Pour chaque scénario, ils ont créé une séquence de 1 058 instructions (tours).

Ils ont testé 20 modèles d'IA différents (incluant de grands noms comme Kling, Wan, Genie 3, et d'autres). Ils ont demandé à ces modèles de suivre des instructions telles que :

« Avance. »
« Saut. »
« Change la vue de derrière le personnage aux yeux du personnage lui-même. »
« Fais qu'il pleuve. »

Les Résultats : Aucun Conducteur Parfait

Après avoir effectué les tests, l'article a révélé certaines surprises :

Aucun « Super IA » n'existe encore : Tout comme aucune voiture unique n'est à la fois la plus rapide, la plus sûre et la plus économe en carburant, aucun modèle d'IA unique n'a réussi toutes les parties du test. Certains étaient excellents pour créer de belles vidéos mais terribles pour suivre les directives. D'autres étaient excellents pour la navigation mais oubliaient à quoi ressemblait le monde après quelques secondes.
La navigation est délicate : Déplacer la caméra (avancer ou tourner) est en réalité une compétence distincte de la création d'une belle vidéo. Une IA peut réaliser un magnifique film mais échouer à déplacer la caméra lorsqu'on le lui demande.
Le « Long Terme » est difficile : Plus la conversation dure (plus vous faites de tours), plus l'IA commence à commettre des erreurs. C'est comme un humain essayant de se souvenir d'une histoire complexe ; après un certain temps, il commence à mélanger les détails.
L'Open Source rattrape son retard : Certains des modèles gratuits pour tous ont performé aussi bien, voire mieux, que les modèles propriétaires coûteux sur des tâches spécifiques.

La Conclusion

WBENCH est une nouvelle règle standardisée pour mesurer les IA de vidéo interactive. Il prouve que, bien que ces modèles s'améliorent dans la création de films, ils peinent encore à être des « simulateurs de monde » fiables capables de suivre constamment les instructions, de se souvenir du passé et d'obéir aux lois de la physique sur une longue période.

L'article ne dit pas que ces modèles sont prêts à remplacer les concepteurs de jeux humains ou à piloter des voitures autonomes pour l'instant. Au contraire, il déclare : « Voici exactement où ils échouent, afin que les développeurs sachent quoi corriger ensuite. » C'est un outil de diagnostic pour aider la prochaine génération d'IA à devenir véritablement interactive.

Résumé Technique : WBENCH - Une Référence Complète Multi-tours pour l'Évaluation des Modèles de Monde Vidéo Interactifs

1. Énoncé du Problème

Les modèles de monde vidéo interactifs progressent rapidement, capables de générer des séquences vidéo contrôlables en réponse aux actions de l'utilisateur dans des domaines tels que le jeu vidéo, la conduite autonome et l'interaction incarnée. Cependant, le domaine manque d'une norme unifiée pour une évaluation systématique. Les références existantes sont fragmentées : certaines se concentrent uniquement sur la qualité vidéo perceptive (par exemple, VBench) sans tester le contrôle interactif, tandis que d'autres évaluent des aspects spécifiques de la modélisation du monde (par exemple, la navigation ou la mémoire) mais échouent à couvrir le spectre complet des scènes de domaine ouvert, des perspectives et des types d'interaction. Par conséquent, il est difficile de comparer équitablement des modèles ayant des interfaces natives différentes (texte, pose de caméra, actions discrètes) ou de diagnostiquer des modes d'échec spécifiques dans la génération à long horizon, la cohérence et le respect des lois physiques.

2. Méthodologie

2.1 Construction du Jeu de Données (WBENCH)

Les auteurs présentent WBENCH, une référence complète multi-tours comprenant 289 cas de test et 1 058 tours d'interaction. Le jeu de données est construit selon un principe « setting-first » (scénario d'abord) :

Paramètres du Monde : Chaque cas définit un état initial du monde $W$ comprenant quatre attributs : Scène (6 catégories : nature, urbain, intérieur, espace de travail, fantastique, sport), Style (du photoréaliste au stylisé), Perspective (Première personne ou Troisième personne), et Sujet (humain, animal, véhicule, robot ou autre).
Séquences d'Interaction : Chaque cas inclut une séquence multi-tours de contrôles utilisateur tirés de quatre types d'interaction :
1. Navigation : Mouvement de la caméra ou de l'agent égo utilisant WASD (translation) et les touches fléchées (rotation).
2. Action du Sujet : Actions effectuées par le sujet principal (manipulation, locomotion, utilisation d'outils, combat, gestes).
3. Édition d'Événements : Modifications environnementales imposées de l'extérieur (météo, moment de la journée, apparition d'objets).
4. Changement de Perspective : Transitions entre les vues à la première personne et à la troisième personne.
Contrôle Unifié : Pour permettre une comparaison équitable entre les paradigmes, les interactions de navigation sont représentées sous trois formes alignées : invites textuelles, poses de caméra à 6 degrés de liberté (6-DoF) et actions de clavier discrètes.

2.2 Suite d'Évaluation

WBENCH évalue les modèles selon cinq dimensions complémentaires utilisant 22 sous-métriques automatiques fines, toutes validées par rapport à des jugements humains :

Qualité Vidéo : Mesure la qualité perceptive (esthétique, imagerie, scintillement, degré dynamique, fluidité, HPSv3-Norm) indépendamment de la condition.
Respect des Paramètres : Évalue la fidélité au paramètre initial du monde, incluant le Respect de la Scène (maintien des éléments visibles et révélation des éléments hors champ) et le Respect du Sujet (apparence et style de mouvement).
Respect de l'Interaction : Évalue l'exécution correcte des demandes de l'utilisateur.
- Navigation : Utilise MegaSaM pour l'estimation de pose afin de calculer l'erreur de trajectoire absolue normalisée (nATE) par rapport à une vérité terrain synthétique.
- Interactions Sémantiques (Édition d'Événements, Action du Sujet, Changement de Perspective) : Utilise des Modèles Vision-Langage (VLM) avec des vérifications binaires structurées (par exemple, occurrence de l'événement, achèvement, absence d'anomalie).
Cohérence : Mesure la stabilité de la géométrie, de l'apparence et de la perspective dans le temps. Comprend des métriques pour la cohérence spatiale (trajectoires aller-retour), la continuité des segments (détection de coupure), la cohérence de la perspective (suivi du sujet) et la cohérence de reconstruction (reprojection géométrique et photométrique).
Conformité Physique : Évalue le respect des règles physiques via la Fidélité Causale (évaluation par VLM de la physique du rendu et de la logique causale) et la Vraisemblance Visuelle (score Qwen3-VL affiné pour les artefacts de bas niveau).

2.3 Protocole Expérimental

La référence a été appliquée à 20 modèles de pointe couvrant trois paradigmes :

Piloté par Texte (9 modèles) : par exemple, Kling 3.0, Wan 2.7, Seedance 1.5. Évalués sur les 289 cas complets via un transfert itératif de la dernière image.
Contrôlé par Caméra (5 modèles) : par exemple, HY-World 1.5, LingBot-World. Évalués sur un sous-ensemble de navigation partagé (158 cas) utilisant des poses natives en entrée.
Conditionné par Action (6 modèles) : par exemple, Genie 3, Matrix-Game 3.0. Évalués sur le sous-ensemble de navigation utilisant des entrées d'actions discrètes.
Alignement Humain : Une étude avec 400 annotateurs effectuant des comparaisons binaires à l'aveugle a confirmé que les métriques automatisées atteignent une corrélation de Spearman ( $\rho \ge 0,94$ ) avec les préférences humaines.

3. Résultats Clés

Aucun Modèle Dominant : Aucun modèle unique ne performe fortement dans les cinq dimensions. La performance est hautement spécialisée selon le paradigme du modèle et ses données d'entraînement.
Indépendance de la Navigation : La capacité de navigation est largement découplée des autres dimensions. Une forte performance de rendu ou de physique ne garantit pas un mouvement contrôlable. Inversement, la correction physique corrèle plus fortement avec la qualité vidéo et la cohérence qu'avec les capacités de contrôle.
Contrôle vs Cohérence : Le contrôle de la caméra ne garantit pas la cohérence de la perspective. Les modèles avec un contrôle natif de la caméra (par exemple, HY-World 1.5) excellent en navigation mais ont souvent du mal à maintenir un mouvement cohérent du sujet dans les vues à la troisième personne par rapport aux modèles pilotés par texte.
Dégradation sur les Tours : La performance de navigation se dégrade considérablement au fil des séquences multi-tours (chute d'environ 33 points du Tour 1 au Tour 4+), car les erreurs de pose s'accumulent. Les interactions sémantiques (édition d'événements, action du sujet) se dégradent de manière plus modérée. Le changement de perspective reste la tâche la plus difficile dans l'ensemble (score moyen ~30,7).
Compétitivité Open-Source : Les modèles open-source (par exemple, HY-World 1.5, LingBot-World, Matrix-Game 3.0) obtiennent des scores de pointe dans des dimensions spécifiques (navigation, cohérence, contrôle conditionné par action), égalant ou surpassant les alternatives propriétaires.
Difficulté Structurée : La difficulté de la référence varie selon le paramètre. La navigation à la première personne est plus facile qu'à la troisième personne. Les scènes de sport/jeu et les sujets animaux présentent la difficulté la plus élevée en raison de dynamiques complexes, tandis que les scènes d'espace de travail et les robots sont plus faciles en raison d'une géométrie statique.

4. Contributions Clés

Référence Unifiée : Un cadre complet couvrant cinq dimensions d'évaluation avec 22 sous-métriques fines, comblant le vide des références existantes qui ne couvrent que des compétences partielles.
Jeu de Données Multi-tours : Un jeu de données couvrant les deux perspectives, quatre types d'interaction et une interface de navigation unifiée, permettant une comparaison équitable entre paradigmes.
Pipeline Diagnostique : Un pipeline d'évaluation entièrement automatique appliqué à 20 modèles, établissant des bases de référence diagnostiques et mettant en lumière des informations exploitables (par exemple, l'indépendance de la navigation par rapport aux autres capacités) pour le développement futur des modèles.

5. Signification et Revendications

L'article revendique que WBENCH fournit le premier protocole unifié pour l'évaluation des modèles de monde interactifs à travers des scènes de domaine ouvert, les deux perspectives et tous les principaux types d'interaction. En révélant que les modèles actuels n'ont pas encore unifié le rendu haute fidélité avec un contrôle fiable, une cohérence et une physique, la référence met en évidence les lacunes spécifiques du domaine. Les auteurs affirment que leurs découvertes — en particulier le découplage de la navigation par rapport aux autres capacités et la difficulté structurée basée sur les types de scène/sujet — offrent une feuille de route pour développer des modèles de monde plus robustes. Le travail est positionné comme un outil diagnostique pour guider la recherche future plutôt que comme une solution aux défis de génération sous-jacents.

Limites Reconnues : L'ensemble de test actuel se concentre sur des séquences d'actions discrètes plutôt que sur un contrôle continu, et la dimension physique repose partiellement sur une évaluation basée sur les LLM, qui peut présenter des limites de fiabilité pour des effets subtils.