Benchmarking Deflection and Hallucination in Large Vision-Language Models

Cet article présente VLM-DeflectionBench, un nouveau benchmark dynamique conçu pour évaluer la capacité des modèles vision-langage à gérer les conflits d'informations et à formuler des refus appropriés lorsque les connaissances récupérées sont insuffisantes ou trompeuses.

L'essentiel

🕵️‍♂️ L'Histoire : Le Détective qui voit des fantômes

Imaginez que vous avez engagé un super-détective (c'est le modèle d'IA) pour résoudre des énigmes complexes. Ce détective est très intelligent : il a lu des millions de livres (sa mémoire interne) et il a aussi des jumelles pour regarder des photos (sa vision).

Mais il y a un problème : ce détective a deux défauts majeurs :

1. L'Hallucination : Parfois, il invente des faits. Il vous dit : "J'ai vu le voleur porter un chapeau rouge !" alors que dans la photo, il n'y a personne. C'est comme s'il voyait des fantômes.
2. Le Manque d'Humilité (Pas de "Déviation") : Quand il ne sait pas vraiment, au lieu de dire "Je ne sais pas", il continue d'inventer une réponse pour faire joli. Il préfère mentir plutôt que d'avouer son ignorance.

Les chercheurs de cet article (Nicholas, Christopher et leurs collègues d'Amazon et d'autres universités) ont réalisé que les tests actuels pour évaluer ces détectives sont trop faciles. Ils ressemblent à des énigmes que le détective peut résoudre juste en se souvenant de ses livres, sans avoir besoin de regarder la photo ou de chercher des indices réels.

🛠️ La Solution : Le "VLM-DeflectionBench"

Pour tester la vraie honnêteté de ces détectives, ils ont créé un nouveau jeu d'énigmes appelé VLM-DeflectionBench. Voici comment ça marche, avec des analogies :

1. Le Filtre "Anti-Mémoire" 🧠

Avant de donner une énigme au détective, les chercheurs vérifient : "Est-ce que tu peux répondre juste en te souvenant de tes livres, sans regarder la photo ?"

• Si oui, l'énigme est jetée à la poubelle.
• Si non, elle est gardée.
  L'analogie : C'est comme si on enlevait toutes les questions de culture générale pour ne garder que celles qui demandent de regarder spécifiquement l'image ou un document récent. On force le détective à utiliser ses jumelles et ses recherches, pas juste sa mémoire.

2. Le Test des "Faux Indices" 🕵️‍♀️

Dans ce nouveau test, on donne au détective :

• La photo de l'énigme.
• Un dossier avec la vraie réponse (les indices d'or).
• Mais caché dans le dossier, il y a aussi 10 fausses réponses (des leurres) qui semblent plausibles mais qui sont fausses.

Le but du jeu :

• Si le détective trouve la vraie réponse en ignorant les faux indices : Bravo !
• Si le détective se fait piéger par les faux indices et invente une réponse : C'est une hallucination.
• Si le détective voit que les indices sont contradictoires ou insuffisants et dit : "Désolé, je ne peux pas répondre avec certitude" : C'est une déviation (le comportement idéal).

🎭 Les 4 Scénarios du Test

Les chercheurs ont testé les détectives dans 4 situations différentes, comme des niveaux de difficulté dans un jeu vidéo :

1. Le Mode "Mémoire Pure" (Parametric) : On ne donne aucune photo ni aucun document. Juste la question.
   • Résultat attendu : Le détective devrait dire "Je ne sais pas". S'il répond, il hallucine.
2. Le Mode "Parfait" (Oracle) : On donne uniquement la vraie réponse.
   • Résultat attendu : Il devrait répondre correctement. S'il invente, c'est qu'il ne sait pas lire.
3. Le Mode "Réaliste" (Realistic) : On donne la vraie réponse mélangée à des fausses.
   • Résultat attendu : Il doit trouver la vraie et ignorer les fausses. C'est là que ça rate souvent !
4. Le Mode "Piège" (Adversarial) : On ne donne que des fausses réponses.
   • Résultat attendu : Il doit absolument dire "Je ne peux pas répondre". S'il répond, il est tombé dans le piège.

📉 Ce qu'ils ont découvert (Les mauvaises nouvelles)

Après avoir testé 20 des meilleurs détectives du monde (y compris les modèles d'OpenAI, Google, Meta, etc.), voici ce qu'ils ont vu :

• Ils sont trop confiants : Même quand les indices sont faux ou contradictoires, la plupart des modèles préfèrent inventer une réponse plutôt que de dire "Je ne sais pas". C'est comme un élève qui invente une réponse à un examen plutôt que de laisser la case vide.
• Le texte domine l'image : Si le détective reçoit une photo vraie mais un texte faux, il fait souvent confiance au texte et ignore la photo. C'est comme si un détective regardait une photo du voleur, mais lisait un faux rapport disant "C'est un autre", et finissait par croire le rapport.
• Plus il y a de bruit, plus ils hallucinent : Plus on ajoute de fausses informations dans le dossier, plus les modèles se trompent. Ils ne savent pas trier le bon du mauvais.
• Les ordres stricts ne suffisent pas : Même si on leur dit très fermement "N'invente rien !", ils deviennent soit trop timides (ils ne répondent jamais, même quand ils savent), soit ils continuent d'inventer.

💡 La Conclusion en une phrase

Ce papier nous dit qu'il ne suffit pas de demander à une IA "Est-ce que tu connais la réponse ?". Il faut aussi lui demander "Es-tu capable de reconnaître quand tu ne sais pas ?".

Pour l'instant, nos super-détectives sont très forts pour trouver des réponses, mais ils sont encore très mauvais pour savoir quand s'arrêter. Ils ont besoin d'apprendre l'humilité pour être vraiment fiables dans le monde réel.

L'outil créé par les chercheurs est maintenant public, ce qui permet à tout le monde de continuer à tester ces détectives pour les rendre plus honnêtes et plus sûrs à l'avenir.

Résumé technique

1. Problématique

Les Grands Modèles Vision-Langage (LVLM) reposent de plus en plus sur la récupération d'informations (RAG) pour répondre à des questions multimodales complexes. Cependant, les benchmarks existants souffrent de trois lacunes majeures :

1. Obsolescence rapide : À mesure que les ensembles de données d'entraînement des LVLM grandissent, de nombreuses questions autrefois nécessitant une recherche externe peuvent désormais être répondues par la mémoire paramétrique du modèle, rendant les benchmarks de récupération obsolètes.
2. Manque de distinction des modes d'échec : Les évaluations actuelles se concentrent principalement sur la précision (accuracy) et ne distinguent pas clairement entre l'hallucination (générer une réponse incorrecte non étayée par les preuves) et la déviation (refuser de répondre lorsque les preuves sont insuffisantes ou contradictoires).
3. Absence de gestion des conflits : Peu d'évaluations testent le comportement des modèles face à des preuves visuelles et textuelles contradictoires ou à des contextes de récupération bruyants.

L'article postule qu'un système fiable doit savoir quand ne pas répondre (déviation) plutôt que de halluciner avec confiance lorsque les preuves sont manquantes ou trompeuses.

2. Méthodologie : VLM-DeflectionBench

Les auteurs proposent VLM-DeflectionBench, un nouveau benchmark dynamique conçu pour évaluer la robustesse et la calibration des LVLM.

A. Pipeline de curation dynamique

Pour garantir que le benchmark reste difficile et pertinent face à l'évolution des modèles, les auteurs ont mis en place un pipeline en trois étapes :

1. Filtrage paramétrique (Stage I) : Un ensemble de modèles "gardiens" (gating models) puissants tente de répondre aux questions sans aucune connaissance externe. Les questions que ces modèles peuvent résoudre uniquement par leur mémoire interne sont éliminées. Seuls les échantillons nécessitant une récupération externe sont conservés.
2. Appariement et extraction de distracteurs (Stage II) : Chaque échantillon conservé est enrichi avec :
   • Des preuves dorées (Gold Context) : Les informations correctes nécessaires.
   • Des distracteurs (Negative Context) : Des textes ou images pertinents mais incorrects, extraits de bases de connaissances (Wikipedia, images de requêtes).
3. Contrôle de qualité (Stage III) :
   • Vérification de la solvabilité : Si les modèles gardiens échouent même avec les preuves dorées, l'échantillon est rejeté.
   • Validation des distracteurs : Si un modèle réussit à répondre correctement en utilisant uniquement un distracteur, celui-ci est éliminé.
   • Le benchmark final contient 2 775 échantillons avec au moins 5 distracteurs par question.

B. Scénarios d'évaluation

Le benchmark définit quatre scénarios pour dissocier la mémorisation de la robustesse à la récupération :

1. Paramétrique : Aucune connaissance externe (question + image uniquement). Les modèles devraient dévier.
2. Oracle : Seules les preuves dorées sont fournies. Les modèles devraient répondre avec précision.
3. Réaliste : Mélange de preuves dorées et de distracteurs. Les modèles doivent ignorer le bruit.
4. Adversarial : Seuls des distracteurs sont fournis. Les modèles devraient dévier (refuser de répondre).

C. Protocole d'évaluation

L'évaluation utilise GPT-4o comme juge automatique (via le protocole SIMPLEQA) pour classer les réponses en : Correct, Incorrect (Hallucination), ou Non tenté (Déviation). Une validation humaine a confirmé un accord de 92,6% avec le juge automatique.

3. Contributions Clés

1. Pipeline de curation dynamique : Une méthode pour filtrer les questions solvables par mémoire, assurant que le benchmark teste réellement la capacité de récupération et non la mémorisation.
2. VLM-DeflectionBench : Une collection de 2 775 échantillons couvrant divers scénarios de récupération multimodale, incluant des contextes dorés et des distracteurs (texte et image).
3. Protocole d'évaluation granulaire : Une approche à quatre scénarios qui mesure explicitement le compromis entre hallucination et déviation, offrant une vue plus nuancée que la simple précision.

4. Résultats Expérimentaux

Les auteurs ont évalué 20 LVLMs (modèles open-weight et propriétaires comme GPT-5, Claude 4, Gemini 2.5) sur ce benchmark.

• Échec généralisé à la déviation : La majorité des modèles, même les plus performants, échouent à dévier lorsqu'ils sont confrontés à des preuves insuffisantes ou contradictoires. Ils préfèrent souvent halluciner plutôt que de reconnaître leur ignorance.
• Biais Langage > Vision : Dans les scénarios réalistes, les distracteurs textuels dominent systématiquement les preuves visuelles correctes. Même lorsque l'image contient la réponse exacte, la présence d'un texte trompeur fait chuter la précision et augmente les refus (ou les hallucinations), révélant un biais fort en faveur du texte.
• Impact de la sévérité des prompts :
  • Augmenter la sévérité des instructions de refus (ex: "Ne répondez que si vous êtes certain") améliore la déviation dans les scénarios adversariaux mais provoque une sur-déviation (refus excessif) dans les scénarios réalistes, réduisant drastiquement la précision même lorsque les preuves sont correctes.
  • Cela indique que le "prompting" seul est un outil trop brut pour calibrer la confiance des modèles.
• Robustesse au bruit : La précision diminue et le taux d'hallucination augmente de manière linéaire avec la densité de distracteurs. Les modèles peinent à séparer le signal du bruit, préférant souvent inventer une réponse plutôt que de s'abstenir.

5. Signification et Conclusion

Ce travail met en lumière une faille critique dans les LVLMs actuels : le manque de calibration de la confiance. Les modèles ne savent pas distinguer quand ils ont assez d'informations pour répondre et quand ils doivent s'abstenir.

• Pour la recherche : VLM-DeflectionBench offre une base reproductible et évolutive pour mesurer l'hallucination et la déviation, dépassant les limites des benchmarks statiques.
• Pour l'industrie : Il souligne la nécessité de développer des mécanismes de "rejet" (abstention) plus intelligents et intrinsèques aux modèles, plutôt que de compter uniquement sur des instructions de prompting ou des filtres post-hoc.
• Perspective : Un système RAG (Génération Augmentée par Récupération) fiable ne doit pas seulement savoir répondre, mais aussi savoir quand ne pas répondre pour éviter la désinformation.

En résumé, l'article démontre que malgré les progrès en précision, les LVLMs restent vulnérables aux hallucinations et manquent de la prudence nécessaire pour des applications réelles où la fiabilité est cruciale.