Résumé Technique : Entropie Sémantique Visuelle (VSE)

1. Définition du Problème

Les modèles vision-langage (VLM) excellent dans le domaine du Questionnement Visuel (VQA), mais produisent souvent des prédictions confiantes sur des entrées visuellement ambiguës, ce qui conduit à des résultats biaisés et peu fiables. Une estimation de l'incertitude (UE) fiable est cruciale pour filtrer ces prédictions. Cependant, les méthodes d'UE existantes présentent trois modes de défaillance spécifiques lorsqu'elles sont appliquées aux VLM :

1. Suppression de la Variation de Sortie : Les méthodes basées sur l'entropie standard comme l'Entropie Sémantique (SE) reposent sur un décodage stochastique pour générer des sorties diverses. Les auteurs démontrent que lorsqu'un VLM forme un plongement visuel hautement confiant (même pour des images ambiguës), le décodage stochastique produit des sorties presque identiques. Par conséquent, la SE sous-estime l'incertitude car elle ne parvient pas à capturer l'ambiguïté inhérente à l'entrée visuelle.
2. Distances Gonflées par la Formulation : Les méthodes qui agrègent les distances sémantiques par paires (par exemple, SNNE) traitent les réponses comme des étiquettes catégorielles ou s'appuient sur des distances de plongement. Parce que le langage est discret, des réponses sémantiquement équivalentes mais formulées différemment peuvent paraître distantes dans l'espace de plongement. Cette variation linguistique gonfle les estimations d'incertitude même lorsqu'il n'y a pas de véritable désaccord sémantique.
3. Dominance Textuelle dans les Perturbations Conjointes : Des approches récentes sondent l'incertitude via des perturbations d'entrée, incluant le paraphrasage textuel ou des perturbations conjointes texte-image. Les auteurs montrent que le paraphrasage textuel induit des décalages sémantiques nettement plus importants dans l'espace de plongement multimodal que les perturbations visuelles. En conséquence, la variabilité de la sortie dans ces méthodes est principalement pilotée par la sensibilité au prompt (changements linguistiques) plutôt que par l'ambiguïté visuelle, conduisant à des estimations d'incertitude qui reflètent la sensibilité textuelle plutôt que l'évidence visuelle.

2. Méthodologie : Entropie Sémantique Visuelle (VSE)

Pour remédier à ces limitations, les auteurs proposent l'Entropie Sémantique Visuelle (VSE), un cadre conçu pour sonder l'ambiguïté visuelle tout en atténuant le bruit linguistique. La méthode se compose de trois étapes clés :

A. Perturbation Visuelle (Texte Fixe)

Contrairement aux méthodes qui perturbent la question ou perturbent conjointement le texte et l'image, la VSE maintient la requête textuelle $q$ fixe et ne perturbe que l'image d'entrée $v$.

• Mécanisme : Un opérateur de perturbation visuelle $\mathcal{T}$ génère $M$ vues perturbées $v_m = \mathcal{T}(v; \xi_m)$. Les auteurs utilisent un bruit gaussien avec un écart-type fixe et faible ($\sigma=20$) pour induire des variations visuelles locales sans altérer le contenu sémantique de haut niveau ni déplacer l'échantillon en dehors du voisinage local de l'entrée originale.
• Justification : Cela isole l'incertitude visuelle. En évitant les changements textuels, la méthode empêche le problème de "sensibilité au prompt" où le paraphrasage domine la diversité de la sortie.

B. Échantillonnage de Réponse

Le VLM génère $M$ échantillons de réponses $\{a_m\}$ correspondant aux $M$ vues d'images perturbées. Ce processus permet de susciter des interprétations alternatives de l'évidence visuelle que le décodage stochastique seul pourrait manquer lorsque les plongements visuels sont trop confiants.

C. Agrégation Sémantique par Prototype (ProtoSem)

Pour éviter que les variations linguistiques ne gonflent l'incertitude, la VSE agrège les réponses au niveau sémantique plutôt que de les traiter comme des jetons bruts.

1. Clustering : Les variantes de réponses sont regroupées en $K$ clusters $\{c_k\}$ basés sur la distance sémantique (en utilisant un modèle de similitude sémantique pré-entraîné comme DeBERTa).
2. Sélection de Prototype : Pour chaque cluster $c_k$, une réponse prototype $p_k$ est sélectionnée comme étant le membre minimisant la distance moyenne aux autres membres du même cluster.
3. Calcul de l'Incertitude : L'incertitude est calculée comme la dispersion par paires pondérée par la masse parmi ces prototypes :
   $$\tilde{u} = \sum_{k \neq k'} w_k w_{k'} \, \mathrm{d}(p_k, p_{k'})$$
   où $w_k = |c_k|/M$ est la probabilité empirique (masse) du cluster $k$. Cette métrique capture le désaccord entre des significations sémantiques distinctes tout en ignorant les variations de formulation intra-cluster.

3. Contributions Clés

1. Analyse des Modes de Défaillance : L'article fournit une analyse systématique identifiant trois limitations spécifiques des estimateurs d'incertitude des VLM actuels : (1) les plongements visuels trop confiants qui suppriment la diversité de sortie, (2) les variations de formulation qui gonflent les métriques basées sur la distance, et (3) les perturbations textuelles qui dominent la variabilité de sortie dans les schémas de perturbation conjointe.
2. Entropie Sémantique Visuelle (VSE) : Les auteurs introduisent la VSE, une nouvelle méthode d'UE qui perturbe uniquement l'image pour sonder l'ambiguïté visuelle et utilise l'agrégation sémantique par prototype pour quantifier l'incertitude. Cette conception évite explicitement les facteurs confondants de la sensibilité au prompt et du bruit linguistique.
3. Évaluation Approfondie : L'étude évalue la VSE sur cinq VLM modernes (Qwen2.5-VL, Gemma3, Intern3.5-VL, LLaVA-NeXT, Qwen3-VL) et cinq benchmarks diversifiés (OKVQA, AOKVQA, MMVet, VILP, VLM-are-biased), établissant un nouveau état de l'art pour l'estimation de l'incertitude en VQA.

4. Résultats Expérimentaux

L'évaluation utilise l'Aire Sous la Courbe ROC (AUC) pour mesurer la capacité des scores d'incertitude à distinguer les prédictions correctes des incorrectes.

• Performance Générale : La VSE surpasse systématiquement les méthodes existantes (Verbalisée, basée sur les Logits, basée sur la Cohérence, et basée sur l'Entropie) sur tous les modèles et jeux de données testés. Par exemple, sur le jeu de données AOKVQA, la VSE a obtenu des scores AUC allant de 0,724 à 0,798 à travers différents modèles, surpassant la meilleure méthode basée sur l'entropie suivante (VL-Uncertainty) jusqu'à 9,2 % dans certains cas.
• Focus sur l'Ambiguïté Visuelle : Sur les jeux de données adverses conçus pour exposer le biais visuel (VILP et VLM-are-biased), la VSE a montré les gains les plus significatifs. Par exemple, sur VILP avec Qwen2.5-VL, la VSE a atteint un AUC de 0,650, surpassant substantiellement la SE de base (0,535) et VL-Uncertainty (0,489). Cela confirme la capacité de la VSE à capturer l'incertitude provenant spécifiquement de l'ambiguïté visuelle.
• Études d'Ablation :
  • L'ajout de la perturbation visuelle aux méthodes d'entropie existantes (SE et SNNE) a systématiquement amélioré leurs performances, validant la nécessité de sonder l'espace d'entrée visuel.
  • Le remplacement de l'échantillonnage de réponse brut par l'Agrégation Sémantique par Prototype (ProtoSem) a encore amélioré les résultats, confirmant que le clustering des réponses sémantiquement équivalentes réduit le bruit des variations linguistiques.

5. Signification et Revendications

L'article affirme que la VSE établit un nouvel état de l'art pour l'estimation de l'incertitude en VQA en s'attaquant directement à la source de l'ambiguïté : l'entrée visuelle. Les auteurs soutiennent qu'une estimation fiable de l'incertitude nécessite de :

• Sonder l'espace d'entrée visuel plutôt que de compter uniquement sur la stochasticité du décodage.
• Éviter les perturbations textuelles qui introduisent une sensibilité au prompt.
• Agrégat les prédictions au niveau du prototype sémantique pour atténuer le bruit linguistique.

Les auteurs positionnent la VSE comme une étape vers un déploiement plus fiable des VLM, particulièrement dans les scénarios où l'évidence visuelle est ambiguë. Ils reconnaissent des limitations, notamment le coût computationnel supplémentaire associé à l'échantillonnage par perturbation et la sensibilité à la fonction de distance sémantique utilisée pour le clustering, mais soulignent que leur approche offre un reflet plus fidèle de l'incertitude visuelle que les alternatives actuelles.