Résumé Technique : TEMPVIZ – Sur l'évaluation de la connaissance temporelle dans les modèles de texte-vers-image

Énoncé du problème

Le temps modifie fondamentalement l'apparence visuelle des entités dans le monde réel, y compris les objets, les lieux, les animaux et les paysages. Bien qu'une recherche substantielle existe sur la connaissance et le raisonnement temporels dans le traitement du langage naturel (NLP), le paysage des ressources et des méthodes d'évaluation de la connaissance temporelle dans les modèles de texte-vers-image (T2I) reste largement inexploré. Les utilisateurs attendent des modèles T2I qu'ils génèrent des images contextuellement pertinentes basées sur des instructions temporelles (par exemple, un paysage en hiver par rapport à l'été, ou un bâtiment avant par rapport à après un événement historique spécifique). Cependant, il n'est pas encore clair si les modèles T2I existants peuvent interpréter et appliquer ces indices temporels, et il n'existe pas de méthode fiable pour évaluer automatiquement de telles capacités.

Méthodologie

Pour combler cette lacune, les auteurs introduisent TEMPVIZ, un nouvel ensemble de données et un cadre d'évaluation conçu pour évaluer de manière holistique la connaissance temporelle dans la génération d'images.

1. Le jeu de données TEMPVIZ

Le jeu de données se compose de 7 940 prompts répartis en cinq catégories de sujets distinctes, choisies pour refléter des cas d'utilisation courants où les effets temporels sont visuellement observables :

• Paysages : Teste les variations saisonnières et quotidiennes (ex. : « un lac en janvier en Europe »).
• Animaux : Teste le vieillissement biologique à travers les stades de vie (ex. : « un alpaga d'un mois »), en utilisant des données de longévité issues de HAGR.
• Bâtiments : Teste l'existence historique et la destruction (ex. : « le mur de Berlin le 23/10/1983 »), en se concentrant sur des structures avec des dates de début et de démolition connues.
• Cartes : Teste les changements de frontières géopolitiques au fil du temps (ex. : « une carte de l'Europe en 1938 »).
• Œuvres d'art : Teste l'adhérence à des périodes et des styles historiques de l'art spécifiques (ex. : « une œuvre dans le style de l'impressionnisme »).

Pour chaque prompt, les auteurs ont généré quatre variations paraphrasées. Le jeu de données comprend plus de 600 images de référence (sourcées de Wikidata, Google Arts & Culture et OpenHistoricalMap) ainsi que des « valeurs attendues » (descripteurs textuels d'attributs visuels) pour soutenir l'annotation. Notamment, le jeu de données exclut les sujets humains afin d'éviter les complications éthiques liées aux biais démographiques et au renforcement des stéréotypes.

2. Protocole d'évaluation

L'étude emploie une approche d'évaluation double :

• Évaluation humaine : Deux annotateurs ont évalué un échantillon stratifié de 500 images générées à travers cinq modèles T2I (Stable Diffusion v1.5, SDXL-Turbo, SDXL-Base, SD 3.5 et FLUX.1-dev). Les annotateurs ont répondu à trois questions binaires :
  1. L'image est-elle exempte d'erreurs de génération visuelle ?
  2. Le sujet correct est-il présent ?
  3. Le modèle a-t-il appliqué correctement la connaissance temporelle requise ?
• Évaluation automatique : Les auteurs ont testé plusieurs méthodes automatisées établies par rapport aux jugements humains pour déterminer leur fiabilité à détecter les indices temporels. Celles-ci comprenaient :
  • CLIPScore : Mesure la similitude des plongements (embeddings) texte-image.
  • Légendage (Captioning) : Génération de légendes d'images et comparaison avec le prompt.
  • VQA Décompositionnel : Utilisation d'un LLM pour décomposer les prompts en questions fines auxquelles un modèle de vision-langage (VLM) répond.
  • Jugement direct par VLM : Inciter les VLM (Qwen2.5-VL, GPT-4o mini, GPT-5) à juger directement si l'image correspond aux contraintes temporelles du prompt.

Résultats clés

Conclusions de l'évaluation humaine

• Faible compétence temporelle : À travers les cinq modèles et catégories, la compétence temporelle est généralement faible. Aucun modèle n'a dépassé 75 % de précision dans l'application correcte des indices temporels pour une catégorie donnée.
• Variance par catégorie : La catégorie Cartes s'est avérée la plus difficile, même pour le meilleur modèle (FLUX) qui n'a atteint que 50 % de génération sans erreur. Les Œuvres d'art ont montré les taux de génération sans erreur les plus élevés, bien que cela puisse être dû au fait que les annotateurs interprètent les erreurs de génération comme des variations stylistiques.
• Performance Sujet vs Temporelle : Bien que les modèles réussissent généralement bien sur la présence du sujet (Q2), cela ne corrèle pas avec la précision temporelle (Q3). Par exemple, FLUX a obtenu des scores élevés pour la qualité de l'image et la présence du sujet, mais seulement 38 % de précision temporelle, tandis que SD v1.5 a obtenu la précision temporelle moyenne la plus élevée (46 %) malgré une cohérence globale moindre.
• Conclusion : La qualité générale de l'image n'est pas un indicateur de l'encodage de la connaissance temporelle. Les modèles T2I actuels peinent à intégrer les indices temporels de manière cohérente, même dans les catégories qui semblent plus simples.

Conclusions de l'évaluation automatique

• Inefficacité des métriques traditionnelles : Le CLIPScore n'a montré aucune corrélation significative avec les jugements humains concernant la justesse temporelle. L'évaluation basée sur le légendage a montré une certaine corrélation avec la présence du sujet, mais a produit des corrélations négatives pour les indices temporels, indiquant que ces méthodes peuvent être trompeuses lorsque la justesse dépend du temps plutôt que de l'identité de l'objet.
• Limites des juges VLM : Même les VLM avancés (incluant GPT-5) ont échoué à fournir des évaluations fiables. La meilleure configuration (GPT-5 avec un prompting en 3-shot) n'a atteint qu'un score F1 macro de 72 %, bien en dessous du seuil d'une évaluation automatisée fiable.
• Désalignement avec la difficulté humaine : Les juges automatisés n'ont pas systématiquement concordé avec la difficulté perçue par les humains. Par exemple, GPT-5 a fréquemment mal jugé la catégorie « Animaux » (vieillissement) alors que les humains la trouvaient moins difficile que les catégories « Bâtiments » ou « Cartes ».

Signification et contributions

Le papier apporte trois contributions principales :

1. Jeu de données TEMPVIZ : Le premier jeu de données spécifiquement conçu pour analyser la connaissance temporelle dans les modèles T2I, comprenant 7,9k prompts à travers cinq catégories diverses avec des images de référence et des valeurs attendues.
2. Benchmarking empirique : Une évaluation humaine complète de cinq modèles T2I de pointe, révélant que même les modèles les plus forts échouent à appliquer systématiquement la connaissance temporelle, la précision dépassant rarement 75 %.
3. Analyse de l'écart d'évaluation : Une évaluation systématique des méthodes d'évaluation automatisées, démontrant que les approches actuelles (CLIPScore, légendage, VQA et jugement direct par VLM) sont insuffisantes pour juger de manière fiable les indices temporels dans les images générées.

Les auteurs concluent qu'il existe un besoin pressant de recherches futures axées à la fois sur l'amélioration de la génération d'indices temporels dans les modèles T2I et sur le développement de métriques d'évaluation capables d'évaluer ces relations visuo-temporelles fines. Le papier positionne TEMPVIZ comme une ressource fondamentale pour motiver cette direction, plutôt que de prétendre avoir résolu les défis sous-jacents de génération ou d'évaluation.