Résumé Technique : ImageTime – Un nouveau benchmark pour sonder la modélisation du monde visuel par la cohérence spatiotemporelle

1. Énoncé du problème

Les modèles de génération d'images actuels ont atteint une maîtrise remarquable dans la synthèse d'images statiques, produisant des visuels de haute qualité et sémantiquement alignés. Cependant, leur capacité à représenter l'évolution d'un monde visuel au fil du temps reste mal comprise. Les flux de travail pratiques tels que le storyboard, l'illustration étape par étape et la prévisualisation vidéo exigent que les modèles préservent l'identité des entités, l'état des objets, les relations spatiales et l'ordre causal à travers de multiples états visuels.

Les protocoles d'évaluation existants se concentrent largement sur la correction d'une image unique (ex. : présence d'objets, liaison d'attributs, relations spatiales) ou sur la qualité vidéo dense (ex. : fluidité du mouvement, scintillement). Ces approches ne parviennent pas à diagnostiquer si un modèle peut imaginer de manière cohérente un processus temporellement ordonné. Un modèle peut générer une image finale plausible tout en sautant des étapes intermédiaires nécessaires, en dupliquant des objets, en dérivant l'identité de la scène ou en violant l'ordre causal. Il existe une lacune critique dans l'évaluation de la capacité des modèles d'images à maintenir un monde visuel cohérent à travers des états ordonnés plutôt que de simplement rendre des instantanés isolés.

2. Méthodologie

2.1 Le benchmark ImageTime

ImageTime est un benchmark diagnostique conçu pour sonder la modélisation du monde visuel à travers la cohérence spatiotemporelle. Au lieu de générer une vidéo continue, le benchmark utilise un protocole à quatre images clés afin d'éviter les biais des dynamiques vidéo denses (ex. : interpolation du flux optique) tout en imposant des exigences temporelles plus élevées que la génération d'une image unique.

• Formulation de la tâche : Étant donné une instruction d'action (et optionnellement une image de référence pour l'état initial), le modèle doit générer une image carrée unique contenant quatre états clés temporellement ordonnés dans une disposition $2 \times 2$ :
  1. $t_1$ État initial : La configuration de départ.
  2. $t_2$ Début de l'action : Le début de l'interaction.
  3. $t_3$ État de transition : Une interaction ou un changement d'état intermédiaire.
  4. $t_4$ État final : La conclusion de l'action.
• Échelle du dataset : Le benchmark comprend 750 cas répartis sur 22 domaines (ex. : ménage, cuisine, laboratoire, sport) et 375 concepts d'action.
• Paramètres : L'évaluation principale utilise un cadre strict de prompt seul, où les modèles synthétisent les quatre panneaux à partir du texte uniquement. Un cadre de support conditionné par une référence est également défini mais exclu de la comparaison inter-modèles principale pour isoler les capacités génératives.

2.2 Arbre de capacités progressives (L0–L6)

Pour structurer l'évaluation, ImageTime introduit une hiérarchie de sept niveaux de capacités. Les tâches ne sont pas plates ; les niveaux supérieurs dépendent de l'exécution réussie des engagements des niveaux inférieurs :

• L0 (Ancrage statique) : Instanciation du sujet, de la scène, du style et de l'état initial.
• L1 (Identité et ancres) : Préservation des acteurs, des objets, des matériaux et des ancres de l'arrière-plan à travers les panneaux.
• L2 (Transition spatiale) : Représentation de changements objectifs de position, de confinement et d'orientation.
• L3 (Transition d'état d'objet) : Suivi des changements d'état (ex. : niveaux de remplissage, comptes) et de la conservation source-cible.
• L4 (Interaction et affordance) : Représentation de contacts plausibles, d'utilisation d'outils et de biomécanique.
• L5 (Processus causal) : S'assurer que les changements d'état suivent des déclencheurs visibles et des étapes intermédiaires (pas d'états finaux prématurés).
• L6 (Contrainte/Contrefactuel) : Respect des négations, des actions bloquées et des résultats conditionnels.

2.3 Évaluation structurée par VLM-en-tant-que-juge

L'article emploie un GPT-5.5 structuré comme juge pour noter les images générées, allant au-delà des scores de préférence holistiques. Le protocole d'évaluation comprend :

• Validation de la mise en page : S'assurer que la sortie est une feuille de mouvement $2 \times 2$ valide et lisible.
• Système de double notation :
  • Scores de capacité (C0–C9) : Scores à grain grossier couvrant la mise en page, la cohérence des entités, la stabilité de la vue spatiale, la continuité du mouvement, l'ordre temporel, le processus causal, l'interaction, la sensibilité aux contraintes et la qualité visuelle.
  • Sous-scores de diagnostic (D0–D14) : Scores à grain fin fournissant des preuves visuelles des échecs (ex. : intégrité de l'analyse des panneaux, permanence de l'objet, couplage trajectoire-pose, visibilité de la transition d'état, exécution des contraintes).
• Agrégation : Les scores de niveau d'arbre ($T_L$) sont calculés comme une moyenne équilibrée des dimensions C et D mappées, garantissant que les affirmations de capacité de haut niveau sont appuyées par des preuves visuelles spécifiques.

3. Contributions clés

1. Une sonde comportementale de la modélisation du monde visuel : ImageTime introduit un benchmark diagnostique qui utilise la cohérence spatiotemporelle à travers des états clés ordonnés comme une sonde observable. Il déplace l'évaluation de la correction d'un état unique vers la cohérence de multi-états ordonnés, fournissant un standard concret avec 75 des cas.
2. Arbre de capacités à sept niveaux et évaluation structurée : Les auteurs conçoivent une hiérarchie L0–L6 et un protocole structuré de VLM-en-tant-que-juge. Cela permet à la fois une analyse au niveau de l'arbre de la dégradation progressive des capacités et une localisation précise des échecs via des sous-scores de diagnostic.
3. Benchmarking multi-modèles systématique : L'article évalue huit modèles de génération d'images divers (incluant GPT Image 2, Nano Banana 2, Seedream 5.0 Lite, FLUX.2 Pro, Qwen-Image-2512, Z-Image-Turbo, HunyuanImage-2.1 et SDXL) en utilisant le benchmark de 750 cas, révélant des modes d'échec récurrents tels que la dérive d'identité, l'absence d'étapes intermédiaires et les violations de l'ordre causal.

4. Résultats expérimentaux

• Hiérarchie des performances : GPT Image 2 a obtenu le score moyen global le plus élevé (7,86), suivi de Nano Banana 2 (7,45) et Seedream 5.0 Lite (7,16). SDXL a obtenu le score le plus bas (1,57), principalement en raison de l'échec de la génération de l'interface à quatre panneaux ordonnés requise.
• Écarts de capacité : Les systèmes les plus forts (GPT Image 2, Nano Banana 2) maintiennent des enveloppes larges à travers la cohérence des entités, la stabilité de la vue spatiale et le processus causal. Cependant, même ces modèles de pointe montrent des baisses significatives en Processus Causal (C6) et Sensibilité aux Contraintes (C8) par rapport à l'ancrage statique.
• Aperçus diagnostiques :
  • La continuité du mouvement (C4) et l'ordre temporel (C5) sont des différenciateurs majeurs. Les modèles plus faibles produisent souvent des "états finaux prématurés" ou sautent des phases intermédiaires.
  • Violations de préconditions causales : De nombreux modèles génèrent des interactions physiquement impossibles (ex. : un objet apparaissant dans une main avant qu'un tiroir ne soit ouvert) ou ne parviennent pas à conserver les quantités (ex. : les niveaux de liquide ne changent pas pendant le versement).
  • Dégradation au niveau de l'arbre : Les modèles moins performants présentent une dégradation brutale aux niveaux de capacité supérieurs (L4–L6), indiquant que bien qu'ils puissent construire des scènes statiques, ils peinent à maintenir un processus causal cohérent sur des états ordonnés.
• Fiabilité : L'analyse de la distribution montre que les modèles de premier rang ne sont pas seulement élevés en moyenne, mais maintiennent une cohérence à travers divers prompts, tandis que les modèles de niveau inférieur présentent des queues de distribution lourdes de défaillances, particulièrement dans les tâches exigeant des contraintes ou des quantités.

5. Signification et affirmations

L'article positionne ImageTime non pas comme une mesure d'un modèle de monde interne, mais comme une sonde comportementale pour déterminer si les modèles d'images peuvent extérioriser un comportement de type modèle de monde.

• Au-delà de la synthèse statique : Les résultats démontent qu'une haute qualité visuelle ne garantit pas une construction fiable de processus temporels. Les modèles actuels échouent souvent à préserver les "variables cachées" (ex. : quantités sources, déclencheurs causaux) nécessaires à un processus cohérent.
• Capacités émergentes : Le benchmark révèle que même les systèmes en poids ouverts et à moindre coût (ex. : Qwen-Image-2512, Z-Image-Turbo) peuvent produire des feuilles de mouvement lisibles et présenter une préservation d'entité non triviale, suggérant qu'une génération de processus spatiotemporels de base émerge en dehors des modèles frontières fermés.
• Limites du raisonnement actuel : Bien que les systèmes orientés vers le raisonnement (comme GPT Image 2) excellent dans la planification à travers les panneaux, ils luttent encore avec la conservation de l'état des objets, la géométrie de contact et le raisonnement contrefactuel.
• Direction future : Les auteurs soutiennent que les progrès dans la génération d'images ne doivent pas être rapportés uniquement par la qualité visuelle et le respect des prompts, mais aussi par des diagnostics explicites de la persistance de l'état et de la cohérence causale. ImageTime sert de pont entre l'évaluation d'images statiques et l'évaluation de vidéos denses, offrant une interface contrôlée pour suivre l'évolution de la modélisation du monde visuel.

L'article conclut que bien que les modèles actuels présentent un comportement de base de type modèle de monde visuel, leur suivi d'état temporel reste fragile face à des processus plus longs, plus contraints ou plus exigeants sur le plan causal.