V-DyKnow: A Dynamic Benchmark for Time-Sensitive Knowledge in Vision Language Models

Ce papier présente V-DyKnow, un nouveau benchmark dynamique conçu pour évaluer les limites des modèles vision-langage dans la gestion et la mise à jour des connaissances factuelles sensibles au temps, révélant ainsi leur tendance à produire des informations obsolètes et leur difficulté à maintenir la cohérence entre les modalités textuelles et visuelles.

L'essentiel

🕵️‍♂️ Le Problème : Des Cerveaux Numériques qui Vivent dans le Passé

Imaginez que vous avez un ami très intelligent, disons Jean, qui a lu des millions de livres et vu des milliards de photos jusqu'en 2023. Jean est un expert : il connaît le monde. Mais il y a un gros problème : Jean ne lit plus rien depuis 2023.

Si vous lui demandez : "Qui est le président de la France en 2026 ?", il va probablement vous répondre avec le nom du président de 2023, car c'est la dernière information qu'il a dans sa tête. Pour lui, le monde s'est figé à ce moment-là.

C'est exactement ce qui arrive aux Modèles de Langage et de Vision (VLM). Ce sont des IA capables de voir des images (comme des drapeaux, des logos ou des visages) et de répondre à des questions. Mais elles ont été entraînées sur des "instantanés" (des photos) du monde qui datent d'il y a quelques années. Elles sont donc déjà obsolètes dès leur naissance.

🧪 La Solution : Le "V-DyKnow" (Le Test de Vérité Dynamique)

Les chercheurs de l'Université de Trente (en Italie) ont créé un nouveau test appelé V-DyKnow. C'est comme un examen de culture générale en temps réel, mais avec une petite astuce.

Au lieu de demander à l'IA : "Qui est le président de la France ?" (ce qui est facile, car le texte est clair), ils lui montrent l'image du drapeau français et demandent : "Qui est le président de ce pays ?".

C'est comme si vous montriez une photo de votre voisin à un ami qui ne le connaît pas, et que vous lui demandiez son nom. Si l'ami dit "C'est Paul" alors que c'est "Marc", il y a deux problèmes possibles :

1. Il ne reconnaît pas le visage (problème de vision).
2. Il reconnaît le visage, mais il pense que Marc s'appelle encore Paul alors qu'il a changé de nom (problème de connaissance obsolète).

🔍 Ce que les chercheurs ont découvert

En utilisant ce test sur plusieurs IA modernes (comme GPT-4, LLaVA, Qwen, etc.), ils ont trouvé des choses surprenantes :

1. Le syndrome du "Vieux Journal" : La plupart des IA donnent des réponses qui étaient vraies il y a 5 ou 10 ans. Elles sont comme des journaux de 2015 qu'on essaie de lire en 2026.
2. La cécité visuelle : Quand on pose la question par texte, l'IA est souvent correcte. Mais dès qu'on lui montre une image, elle se trompe beaucoup plus souvent. C'est comme si l'IA avait une excellente mémoire textuelle, mais qu'elle "oubliait" tout dès qu'elle doit regarder une photo.
3. Le fossé entre les modes : Même si l'IA reconnaît parfaitement l'image (elle sait que c'est le logo d'Apple), elle peut quand même donner le nom du PDG de 2010 au lieu de celui d'aujourd'hui.

🛠️ Peut-on réparer ça ? (Les "Correctifs")

Les chercheurs ont essayé de "patcher" ces IA pour les mettre à jour, comme on met à jour un logiciel de téléphone. Ils ont testé trois méthodes :

• La Mémoire Externe (RAG) : On donne à l'IA un livre à côté d'elle avec les bonnes réponses.
  • Résultat : Ça marche bien, mais seulement si l'IA lit le livre. Si elle est trop sûre d'elle (basée sur son ancienne mémoire), elle ignore le livre.
• Le "Chirurgien" (Knowledge Editing) : On essaie de modifier directement les connexions dans le cerveau de l'IA pour changer un fait.
  • Résultat : C'est très difficile. Souvent, l'IA oublie l'information, invente des choses (hallucinations) ou ne change rien du tout. C'est comme essayer de changer l'adresse d'un ami dans un annuaire géant sans casser le reste du livre.

🧠 L'Analogie Finale : La Bibliothèque Figée

Imaginez que ces IA sont des bibliothécaires qui travaillent dans une bibliothèque immense.

• Le problème, c'est que les livres dans cette bibliothèque sont figés dans le temps.
• Si un événement important se passe aujourd'hui (un nouveau président, un nouveau champion du monde), il n'y a pas de livre pour ça.
• Les chercheurs ont essayé de coller des post-it sur les vieux livres pour les mettre à jour, mais les bibliothécaires (les IA) continuent souvent de lire les vieux titres ou ignorent les post-it.

💡 En Résumé

Cet article nous dit que les IA actuelles sont excellentes pour voir et comprendre, mais terriblement mauvaises pour savoir ce qui se passe maintenant.

Elles sont comme des touristes qui visitent un pays avec un guide touristique de 2010 : ils voient les mêmes paysages, mais ils ne savent pas que le restaurant préféré est fermé ou que le maire a changé.

La leçon ? Nous ne pouvons pas faire confiance aveuglément aux réponses des IA pour des faits récents, surtout quand on leur montre des images. Il faut inventer de nouvelles façons de les entraîner pour qu'elles puissent apprendre en continu, comme nous le faisons tous les jours.

Résumé technique

Résumé Technique : V-DyKnow

1. Problématique

Les modèles Vision-Language (VLM) sont actuellement entraînés sur des instantanés statiques de données (images et textes) collectés à des moments précis. Bien que ces modèles excellent dans la compréhension visuelle et textuelle, leur connaissance factuelle est intrinsèquement obsolète et traitée comme invariante dans le temps.
Dans le monde réel, les faits (ex: chefs d'État, dirigeants d'entreprises, équipes sportives) évoluent de manière erratique ou périodique. Les benchmarks existants utilisent des vérités terrain fixes, ce qui fausse l'évaluation : un modèle peut répondre "correctement" selon ses données d'entraînement (qui datent de 2023) mais "incorrectement" par rapport à la réalité actuelle (2025).
De plus, il existe un fossé de performance entre les requêtes textuelles et visuelles : les modèles peinent souvent à extraire des faits à partir d'images même lorsqu'ils reconnaissent l'entité, et les méthodes d'alignement actuelles échouent à mettre à jour la connaissance de manière cohérente à travers les modalités.

2. Méthodologie : Le Benchmark V-DyKnow

Les auteurs proposent V-DyKnow, le premier benchmark dynamique conçu pour évaluer la connaissance factuelle sensible au temps dans les VLM, sous des conditions textuelles et visuelles.

• Construction des Données :

  • Basé sur Wikidata, le benchmark contient 139 faits temporels (triplets sujet-propriété-attribut) couvrant des pays, des athlètes et des organisations.
  • Chaque fait est associé à un intervalle de validité temporelle (ex: "Tim Cook, CEO d'Apple, 2011-présent").
  • Les requêtes sont présentées sous deux formes appariées :
    1. Textuelle : "Qui est le PDG d'Apple ?"
    2. Visuelle : L'entité est remplacée par une image (drapeau, logo, portrait) avec la question "Qui est le PDG de cette entreprise ?".
  • Un sous-tâche de reconnaissance d'entité visuelle est incluse pour distinguer les erreurs de reconnaissance des erreurs de rappel factuel.

• Protocole d'Évaluation :

  • Validation en temps réel : Les réponses sont comparées aux attributs valides au moment de l'évaluation (via Wikidata), et non à une vérité terrain fixe.
  • Catégorisation des réponses :
    • Correct : Correspond au fait actuel.
    • Obsolète (Outdated) : Correspond à un fait valide dans le passé mais plus actuel.
    • Irrelevant : Factuellement faux ou sans rapport.
  • Stratégie "Upper-Bound" : Chaque requête est testée avec trois variations lexicales (paraphrases) pour atténuer la sensibilité au prompt. La meilleure réponse parmi les trois est retenue pour le score final.

3. Contributions Clés

1. Introduction de V-DyKnow : Un benchmark dynamique évaluant la connaissance temporelle des VLM à travers les modalités et les perturbations d'entrée.
2. Évaluation Systématique : Première analyse approfondie des VLMs de l'état de l'art (LLaVA, Qwen, GPT-4/5, etc.) révélant la prévalence des faits obsolètes et l'écart de performance modal.
3. Analyse des Méthodes de Mise à Jour : Évaluation critique des approches d'alignement existantes (Knowledge Editing et RAG multimodal) pour la mise à jour des faits.
4. Analyse Mécanistique et des Données : Investigation des sources des prédictions obsolètes en reliant les sorties des modèles aux snapshots de données d'entraînement et en étudiant l'activation des couches neuronales.

4. Résultats Principaux

• Prévalence des Faits Obsolètes :

  • La plupart des modèles (y compris les plus récents comme GPT-5) génèrent fréquemment des réponses obsolètes, reflétant les données d'entraînement plutôt que l'état actuel du monde.
  • Pour de nombreux modèles, le nombre de réponses obsolètes dépasse celui des réponses correctes.

• Fossé Modal (Visuel vs Textuel) :

  • La fiabilité factuelle se dégrade significativement lorsque l'entité est présentée visuellement par rapport au texte.
  • Même lorsque la reconnaissance visuelle de l'entité est correcte (ex: Qwen2-VL), le rappel du fait associé reste souvent obsolète.
  • L'alignement multimodal semble parfois dégrader la connaissance factuelle par rapport au modèle de langage de base (LLM) correspondant.

• Inefficacité des Méthodes de Mise à Jour :

  • Knowledge Editing (WISE, GRACE) : Ces méthodes échouent majoritairement à mettre à jour les faits obsolètes (taux de succès < 6% pour WISE/GRACE). Elles introduisent souvent des hallucinations ou des réponses génériques.
  • IKE (In-Context Learning) : Performant mais peu réaliste car il nécessite de fournir le fait correct à l'entrée pour chaque requête.
  • RAG Multimodal : Plus efficace que l'édition directe, mais dépend fortement de la qualité de la récupération. De plus, la connaissance paramétrique interne du modèle interfère souvent avec les documents externes fournis, empêchant une mise à jour complète.

• Analyse Mécanistique :

  • L'analyse des couches montre que le rappel factuel se produit principalement dans les dernières couches du modèle.
  • Les méthodes d'édition (comme GRACE) tentent de modifier les couches intermédiaires, mais ces modifications ne se propagent pas toujours efficacement vers la sortie, ou entrent en conflit avec les associations factuelles pré-entraînées.

5. Signification et Implications

Ce travail met en lumière une limitation fondamentale des VLMs actuels : ils ne sont pas des bases de connaissances dynamiques mais des archives statiques du monde.

• Limitation des Paradigmes Actuels : Les approches d'entraînement sur des snapshots statiques et les méthodes d'alignement actuelles sont insuffisantes pour maintenir une connaissance à jour.
• Besoin de Nouveaux Paradigmes : Il est nécessaire de développer des architectures capables de modéliser explicitement la validité temporelle, d'intégrer des sources de connaissances dynamiques et de supporter des mises à jour continues sans perturber les représentations existantes.
• Ressource pour la Recherche : V-DyKnow, avec son code et ses données, fournit un outil essentiel pour étudier comment les modèles acquièrent, stockent et mettent à jour la connaissance du monde réel dans un contexte multimodal.

En conclusion, l'article démontre que sans mécanismes spécifiques de gestion temporelle, les VLMs resteront des systèmes de "connaissance figée", peu fiables pour des applications nécessitant une information factuelle actualisée en temps réel.