💻 computer science

VLM-UQBench: A Benchmark for Modality-Specific and Cross-Modality Uncertainties in Vision Language Models

Ce papier présente VLM-UQBench, un nouveau benchmark conçu pour évaluer la capacité des modèles vision-langage à localiser l'incertitude (visuelle, textuelle ou croisée), révélant que les méthodes actuelles peinent encore à détecter les ambiguïtés subtiles et les hallucinations au niveau individuel.

Auteurs originaux : Chenyu Wang, Tianle Chen, H. M. Sabbir Ahmad, Kayhan Batmanghelich, Wenchao Li

Publié 2026-02-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Chenyu Wang, Tianle Chen, H. M. Sabbir Ahmad, Kayhan Batmanghelich, Wenchao Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'intelligence qui "fait semblant" de savoir

Imaginez que vous demandiez à un ami : "Quelle est la couleur de la voiture garée là-bas ?".

Si la voiture est bien visible, il répond sans hésiter.
Si la voiture est cachée derrière un gros nuage de fumée, il devrait vous dire : "Je ne suis pas sûr, je ne vois rien".
Mais si votre ami est un peu trop fier, il va peut-être inventer une couleur au hasard : "Elle est rouge !".

C'est ce qu'on appelle une hallucination. Les modèles d'intelligence artificielle actuels (les VLM, qui voient des images et lisent du texte) sont très intelligents, mais ils ont un gros défaut : ils ne savent pas dire "Je ne sais pas". Ils ont tendance à inventer des réponses avec un aplomb incroyable, même quand l'image est floue ou que la question est mal posée.

La Solution : VLM-UQBench, le "Détecteur de Doutes"

Les chercheurs de Boston University ont créé un outil appelé VLM-UQBench. Pour comprendre ce que c'est, imaginez un examen de passage pour détecteurs de mensonges.

Au lieu de simplement demander à l'IA si elle a raison, les chercheurs veulent savoir pourquoi elle doute. Est-ce parce que l'image est mauvaise ? Parce que la question est bizarre ? Ou parce que l'image et le texte ne sont pas d'accord ?

1. Le Laboratoire de Chaos (Le Pipeline de Perturbation)

Pour tester l'IA, les chercheurs ne lui donnent pas des images parfaites. Ils créent un "laboratoire de chaos" où ils sabotent les données de trois manières :

Le Sabotage Visuel : Ils rendent l'image floue, sombre ou pixelisée (comme si vous essayiez de regarder à travers un pare-brise sale).
Le Sabotage Textuel : Ils ajoutent des fautes d'orthographe ou posent des questions bizarres et subjectives (comme si vous parliez avec quelqu'un qui bégaye ou qui est très confus).
Le Sabotage de la Connexion (Cross-modal) : Ils créent un décalage entre ce qu'on voit et ce qu'on lit (comme si vous demandiez "Où est le chat ?" alors qu'il n'y a qu'un chien sur la photo).

2. Les deux nouveaux thermomètres (URR et HCC)

Pour mesurer si l'IA est capable de détecter son propre doute, les chercheurs ont inventé deux nouveaux instruments de mesure :

L'URR (Le Thermomètre de Sensibilité) : Est-ce que le "niveau de doute" de l'IA monte bien quand on rend l'image plus floue ? Si l'IA reste très confiante alors que l'image est illisible, c'est qu'elle est "aveugle" à son propre doute.
Le HCC (Le Détecteur de Mensonges) : Est-ce que l'augmentation du doute correspond vraiment au moment où l'IA commence à inventer n'importe quoi ?

Ce que l'étude a découvert (Le verdict)

Les résultats sont un peu inquiétants pour l'avenir de l'IA :

Chacun sa spécialité : Certaines méthodes de calcul du doute sont bonnes pour détecter les erreurs de texte, mais totalement nulles pour détecter les images floues. C'est comme avoir un expert en grammaire qui est incapable de reconnaître un paysage dans le brouillard.
L'IA est trop sûre d'elle : La plupart des IA actuelles sont de très mauvais détecteurs de mensonges. Même quand on leur donne des images très dégradées qui provoquent des erreurs, leur "thermomètre de doute" ne bouge presque pas. Elles continuent de répondre avec une confiance aveugle.
Le fossé de l'ambiguïté : Les IA arrivent à gérer les erreurs "grossières" (une image totalement noire), mais elles échouent lamentablement face aux subtilités (une question légèrement ambiguë ou un petit détail caché).

En résumé

Ce papier est un cri d'alarme. Il dit aux ingénieurs : "Vos IA sont impressionnantes, mais elles sont comme des conducteurs qui roulent à 130 km/h avec les yeux bandés, persuadés qu'ils voient parfaitement la route".

VLM-UQBench est là pour donner aux chercheurs la règle et le compas nécessaires pour construire des IA plus honnêtes, capables de dire : "Attendez, je ne suis pas sûr, pouvez-vous répéter ?"

Résumé Technique : VLM-UQBench

1. Problématique (Le Problème)

L'utilisation des modèles de langage-vision (VLM) dans des domaines critiques (robotique, médical, assistance visuelle) nécessite une quantification de l'incertitude (UQ) robuste pour éviter les hallucinations coûteuses. Actuellement, l'UQ est souvent traitée de manière globale (un score scalaire unique), ce qui ne permet pas de savoir d'où provient l'incertitude : est-elle due à une image de mauvaise qualité, à une question textuelle ambiguë, ou à un défaut d'alignement entre l'image et le texte (incertitude cross-modale) ? Les benchmarks existants manquent de granularité et ne permettent pas de distinguer ces sources de manière contrôlée.

2. Méthodologie

Les auteurs introduisent VLM-UQBench, un benchmark conçu pour isoler et évaluer l'incertitude par modalité. Leur approche repose sur trois piliers :

Constitution de sous-ensembles annotés :
- VizWiz-based : Quatre sous-ensembles curés par des experts (Clean, Image, Text, Cross-modal) basés sur les raisons de désaccord des annotateurs humains.
- VQ-FocusAmbiguity : Utilisation de données ancrées (grounded) pour évaluer l'ambiguïté de l'alignement texte-image.
- CLEVR-Hallucination : Utilisation de scènes synthétiques pour contrôler précisément les types d'hallucinations (attributs, existence, comptage, relations).
Pipeline de perturbation scalable : Pour étendre l'évaluation à d'autres jeux de données, ils ont créé un pipeline automatisé injectant des incertitudes contrôlées :
- Visuelles ( $U_v$ ) : Flou, bruit, luminosité, occlusion (cutout), etc.
- Textuelles ( $U_t$ ) : Reformulations subjectives, fautes de frappe, suppression de mots, inversion de syntaxe.
- Cross-modales ( $U_x$ ) : Réécriture de questions basée sur l'image (ambiguïté) ou masquage des zones d'attention CLIP (insuffisance de preuves).
Nouvelles métriques d'évaluation :
- Uncertainty Reflection Rate (URR) : Mesure la sensibilité d'une méthode d'UQ à une perturbation spécifique (est-ce que le score d'incertitude augmente quand on dégrade l'entrée ?).
- Hallucination Consistency Coefficient (HCC) : Mesure la corrélation entre l'augmentation de l'incertitude et l'apparition d'hallucinations.

3. Contributions Clés

Un benchmark spécialisé : Le premier outil capable de séparer l'incertitude par source (image, texte, interaction).
Un pipeline de perturbation robuste : Permet de transformer n'importe quel dataset VQA en un benchmark d'incertitude sans annotations humaines supplémentaires.
Une étude systématique : Une évaluation exhaustive de 9 méthodes d'UQ (boîte blanche et boîte noire) sur 4 modèles VLM (dont GPT-4o-mini).
Des métriques dédiées : L'introduction de l'URR et de l'HCC pour lier l'incertitude à la performance réelle et aux erreurs de génération.

4. Résultats Principaux

L'étude révèle des lacunes critiques dans l'état de l'art :

Spécialisation et dépendance au modèle : Les méthodes d'UQ ne sont pas universelles. Une méthode efficace pour l'incertitude textuelle (ex: Semantic Entropy) peut échouer totalement sur l'incertitude visuelle. De plus, les performances varient énormément selon l'architecture du VLM utilisé.
Faible corrélation avec les hallucinations : Bien que les perturbations induisent des hallucinations (notamment sur les attributs et l'existence), les scores d'UQ actuels ne parviennent pas à les détecter de manière cohérente. Le lien entre l'augmentation du score d'incertitude et le risque d'hallucination est jugé faible et incohérent.
Échec sur l'ambiguïté fine : Si les méthodes d'UQ détectent bien l'ambiguïté "évidente" (au niveau du groupe), elles échouent à détecter l'ambiguïté subtile au niveau de l'instance (sample-wise) introduite par les perturbations.

5. Signification et Impact

Ce travail démontre que l'UQ actuelle pour les VLM est insuffisante pour un déploiement sécurisé. En fournissant un cadre pour évaluer la sensibilité modale, les auteurs ouvrent la voie à la conception de la prochaine génération de méthodes d'UQ : des méthodes "modality-aware" capables de dire non seulement "je ne sais pas", mais aussi "je ne sais pas car l'image est trop sombre" ou "votre question est ambiguë".