🤖 AI

Mitigating Visual Hallucinations in Multimodal Systems through Retrieval-Augmented Reliability-Aware Inference

Cet article propose un cadre d'inférence fondé sur la recherche augmentée et la sensibilisation à la fiabilité qui exploite des preuves visuelles externes pour estimer la fiabilité de la prédiction et mettre en œuvre un filtrage décisionnel sélectif, améliorant ainsi considérablement la précision et réduisant les hallucinations dans les modèles de langage multimodaux de grande taille sans nécessifier de réentraînement du modèle.

Auteurs originaux : Pratheswaran Hariharan, Haiping Xu, Donghui Yan

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pratheswaran Hariharan, Haiping Xu, Donghui Yan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robotique très intelligent et sûr de lui, capable de regarder une image et de vous dire exactement ce qu'il voit. Il est excellent pour décrire les choses, mais parfois, lorsqu'il n'est pas sûr à 100 %, il devine quand même et s'exprime avec une assurance totale. C'est comme un élève qui ne connaît pas la réponse à un problème de mathématiques, mais qui lève la main et crie une supposition quand même, en ayant l'air très sûr de lui. Dans le monde de l'IA, on appelle cela une « hallucination visuelle » — le système voit des choses qui n'existent pas réellement ou invente des faits parce qu'il veut être utile.

Ce document présente un nouveau système de « contrôle de sécurité » pour empêcher le robot de deviner avec assurance quand il ne le devrait pas. Voici comment cela fonctionne, en utilisant des analogies simples :

Le Problème : La supposition trop confiante

Les modèles d'IA actuels sont comme des élèves qui ont mémorisé beaucoup de faits mais qui n'ont aucun moyen de vérifier leur propre travail. S'ils voient l'image floue d'un oiseau, ils pourraient dire avec assurance : « C'est un faucon ! », même s'il s'agit en réalité d'un cerf-volant. Parce que le robot s'exprime de manière très fluide et assurée, les humains ont tendance à le croire, même lorsqu'il a tort.

La Solution : Le « Bibliothécaire de l'Évidence »

Les auteurs proposent d'ajouter une deuxième étape avant que le robot ne donne sa réponse finale. Considérez ce nouveau système comme un Bibliothécaire qui se tient entre le cerveau du robot et l'utilisateur.

La Recherche (Récupération) : Lorsque le robot voit une nouvelle image, au lieu de simplement deviner, il envoie une requête au Bibliothécaire. Le Bibliothécaire possède une immense bibliothèque de millions de photos de référence (une base de données). Le Bibliothécaire trouve les 5 photos les plus proches dans la bibliothèque qui ressemblent à la nouvelle image.
La Vérification des Faits (Estimation de la Fiabilité) : Le Bibliothécaire ne se contente pas de regarder les photos ; il les analyse comme un détective. Il pose quatre questions clés :
- Similitude : Les photos de référence ressemblent-elles vraiment de près à la nouvelle image ?
- Accord : Est-ce que toutes les photos de référence sont d'accord sur ce qu'est l'objet ? (Par exemple, si 4 disent « requin » et 1 dit « dauphin », il y a un conflit).
- Écart de Confiance : La réponse « requin » est-elle nettement meilleure que la réponse « dauphin », ou est-ce une égalité ?
- Confusion : Les preuves sont-elles éparpillées et désordonnées, ou sont-elles claires et concentrées ?

La Porte de Décision : Le Feu de Signalisation

Sur la base de cette vérification des faits, le Bibliothécaire place un feu de signalisation sur la réponse du robot :

🟢 Feu Vert (Accepter) : Les preuves sont solides, claires et tout le monde est d'accord. Le robot est autorisé à donner une réponse confiante : « C'est un Grand Requin Blanc. »
🟡 Feu Jaune (Prudence) : Les preuves sont correctes, mais un peu fragiles ou mixtes. Le robot est autorisé à répondre, mais il doit utiliser un « langage prudent ». Au lieu de dire « C'est un cerf-volant », il dira : « Cela pourrait être un cerf-volant, mais je n'en suis pas entièrement sûr. »
🔴 Feu Rouge (S'abstenir/Repli) : Les preuves sont faibles, confuses, ou l'objet ne figure pas dans la bibliothèque. Le robot a l'interdiction de deviner. Il doit dire : « Je ne peux pas identifier ceci avec certitude » ou « Je n'ai pas assez d'informations pour répondre. »

Qu'est-il arrivé lors des expériences ?

Les chercheurs ont testé ce système en utilisant un ensemble standard de 100 types d'images (comme un examen scolaire).

Avant le contrôle de sécurité : Le robot répondait à toutes les questions. Il avait raison environ 86 % du temps, mais il se trompait avec assurance 14 % du temps.
Après le contrôle de sécurité : Le robot a cessé de répondre à environ 11 % des questions (celles dont il n'était pas sûr). Pour les questions auxquelles il a répondu, il avait raison 89 % du temps.
Le Résultat : Le nombre de fois où le robot a donné une mauvaise réponse avec assurance a considérablement chuté (passant de 14 % à 11 %).

La Grande Conclusion

Ce système ne nécessite pas de réentraîner le cerveau géant et complexe du robot. Il ajoute simplement une couche de « vérification de la réalité » qui examine les preuves extérieures avant de laisser le robot parler.

Si les preuves sont fortes : Le robot parle avec assurance.
Si les preuves sont faibles : Le robot reste silencieux ou s'exprime avec prudence.

Cela rend l'IA plus digne de confiance car elle admet quand elle ne sait pas, plutôt que d'inventer un mensonge convaincant. C'est comme avoir un ami qui dit : « Je ne suis pas sûr, laissez-moi vérifier », au lieu de simplement deviner en espérant que vous ne remarquiez pas qu'il a tort.

Résumé Technique : Atténuation des Hallucinations Visuelles dans les Systèmes Multimodaux par une Inférence de Fiabilité Augmentée par la Récupération

1. Énoncé du Problème

Les modèles de langage multimodaux (MLLM) ont fait progresser la compréhension vision-langage, mais souffrent d'un problème de fiabilité critique : l'hallucination visuelle. Ces systèmes génèrent souvent des réponses en langage naturel fluentes et assurées, même lorsque les preuves visuelles sous-jacentes sont faibles, ambiguës ou sémantiquement incohérentes. Les approches actuelles se concentrent principalement sur l'amélioration de l'alignement des représentations ou sur la génération augmentée par la récupération, mais manquent de mécanismes pour quantifier la fiabilité de la prédiction au niveau de l'instance.

Un fossé important subsiste dans l'inférence multimodale digne de confiance : les systèmes sont souvent contraints de fournir une réponse pour chaque entrée, indépendamment de la qualité des preuves. Les scores de confiance standards (par exemple, les probabilités softmax) sont fréquemment mal calibrés et ne reflètent pas la correction réelle, menant à des erreurs « trop confiantes » où les utilisateurs sont induits en erreur par des sorties incorrectes mais affirmées. L'article pose comme postulat qu'un système fiable doit non seulement prédire une réponse, mais aussi évaluer si cette réponse peut être acceptée, en distinguant les preuves solides des données insuffisantes ou conflictuelles.

2. Méthodologie

Les auteurs proposent un Cadre d'Inférence de Fiabilité Augmenté par la Récupération. Il s'agit d'une couche post-hoc insérée entre la prédiction visuelle et la génération de la réponse finale, conçue pour valider les prédictions à l'aide de preuves visuelles externes sans réentraîner les grands modèles multimodaux sous-jacents.

2.1 Architecture du Cadre

Le pipeline se compose de quatre étapes principales :

Encodage de l'Entrée et Récupération des Preuves :
- Les images d'entrée sont traitées à l'aide d'un extracteur de caractéristiques ResNet-50 pré-entraîné (avec la couche de classification retirée) pour générer des plongements (embeddings) de dimension 2048.
- Les plongements sont normalisés par L2 pour assurer une recherche basée sur la similitude cosinus.
- Une base de données de preuves de référence est construite à partir de l'ensemble d'entraînement ImageNet-100 (~130 000 images).
- Pour une image de requête, le système récupère les $k$ plus proches voisins (où $k=5$ ) de la base de données en utilisant FAISS.
Estimation du Support de Classe :
- Au lieu de se fier au seul plus proche voisin, le cadre agrège les preuves à travers l'ensemble des voisins récupérés.
- Une fonction softmax pondérée par la similitude assigne des poids aux voisins récupérés en fonction de leurs scores de similitude ( $s_j$ ).
- Les scores de support de classe ( $S(c)$ ) sont calculés en sommant les poids des voisins appartenant à chaque classe. La classe prédite est celle ayant le support agrégé le plus élevé.
Calcul du Signal de Fiabilité :
Le système calcule plusieurs indicateurs pour estimer la fiabilité :
- Force de Similitude : Similitude maximale ( $s_{top}$ ) et similitude moyenne ( $s_{mean}$ ) de l'ensemble récupéré.
- Accord de Support de Classe : Support primaire ( $E_1$ ) pour la classe prédite par rapport au support secondaire ( $E_2$ ) pour la classe concurrente la plus forte.
- Marge d'Évidence ( $M$ ) : La différence $E_1 - E_2$ , indiquant la séparation entre les classes.
- Entropie ( $H$ ) : Mesure l'incertitude de la distribution des preuves récupérées à travers les classes.
- Score de Fiabilité Agrégé ( $R$ ) : Une combinaison pondérée du support primaire et de la force de similitude normalisée ( $R = 0.6E_1 + 0.4Q$ ).
Portier de Décision Sélectif :
Sur la base des signaux calculés, un portier de décision assigne l'entrée à l'un des trois états :
- ACCEPTER (ACCEPT) : Si les preuves sont fortes, cohérentes et de faible incertitude (ex: $R \ge 0,85$ , $H \le 0,30$ , $M \ge 0,50$ ). Le système fournit une réponse confiante.
- RÉPONDRE AVEC PRUDENCE (ANSWER WITH CAUTION) : Si les preuves sont partiellement contributives mais incertaines (ex: $R \ge 0,70$ , $M \ge 0,25$ ). La réponse est adoucie par un langage prudent.
- S'ABSTENIR/RECOURS (ABSTAIN/FALLBACK) : Si les preuves sont faibles, conflictuelles ou en dessous des seuils de similitude ( $s_{top} < \tau_{sim}$ ou $s_{mean} < \tau_{mean}$ ). Le système évite de faire une affirmation définitive.

2.2 Génération de la Réponse

Une couche de réponse multimodale (utilisant LLaVA dans les expériences) génère la sortie finale. Crucialement, la génération du langage est conditionnée par la décision de fiabilité. Si le portier sélectionne « S'ABSTENIR », le système explique que les preuves sont insuffisantes plutôt que de forcer une étiquette potentiellement hallucinée.

3. Contributions Clés

Cadre de Fiabilité Augmenté par la Récupération : Un nouveau pipeline d'inférence qui valide les prédictions visuelles par rapport à une base de données de preuves externes avant de générer les réponses finales, séparant la génération de la prédiction de l'acceptation de la prédiction.
Estimation de Fiabilité Multi-Signaux : Une stratégie qui combine la force de similitude, la cohérence du support de classe, la marge d'évidence et l'incertitude basée sur l'entropie pour créer une estimation de confiance plus robuste que les seuls scores de confiance bruts.
কত Mécanisme de Décision Sélectif : Implémentation d'un portier de décision à trois voies (Accepter, Prudence, S'abstenir) qui permet au système de négocier le compromis entre couverture et fiabilité, réduisant efficacement les erreurs de surconfiance.
Applicabilité Post-Hoc : Démonstration que ces améliorations peuvent être obtenues sans réentraînement des grands modèles multimodaux, servant d'ajout pratique pour les systèmes existants.

4. Résultats Expérimentaux

Le cadre a été évalué sur le jeu de données ImageNet-100 (130k images d'entraînement pour la base de données, 5k images de validation pour les tests).

Amélioration de la Précision : Le système de récupération de base (répondant toujours) a atteint une précision de 85,84 %. Le cadre de fiabilité proposé a amélioré la précision de la prédiction acceptée à 88,88 % avec une couverture de 89,04 %.
Réduction des Hallucinations : Le « taux de mauvaise réponse acceptée de type hallucination » (prédictions incorrectes qui sont acceptées et renvoyées à l'utilisateur) est passé de 14,16 % (base) à 11,12 % (proposé), soit une réduction relative de 21,48 %.
Calibration : L'erreur de calibration attendue (ECE) s'est améliorée de 7,40 % à 5,87 %, indiquant un meilleur alignement entre la fiabilité prédite et la correction réelle.
Erreurs Confidentes : Le nombre de « cas d'erreurs confiantes » (prédictions incorrectes avec une fiabilité $\ge 0,85$ ) est passé de 263 à 226.
Analyse de la Qualité des Preuves : Les échantillons acceptés présentaient des scores de fiabilité, des marges de similitude et une entropie nettement plus élevés que les échantillons dont on s'est abstenu, confirmant que le portier filtre efficacement les cas d'ambiguïté ou de preuves faibles.

5. Signification et Revendications

L'article affirme que l'intégration de la récupération de preuves, de l'estimation de la fiabilité et du portier de décision sélectif offre un mécanisme post-hoc pratique pour améliorer la fiabilité de l'inférence visuelle multimodale.

Atténuation de la Surconfiance : Le cadre réduit avec succès le risque que les systèmes produisent des sorties incorrectes mais affirmées en identifiant les cas où les preuves visuelles sont insuffisantes.
Aucun Réentraînement Requis : Contrairement aux méthodes nécessitant des changements architecturaux ou un entraînement supplémentaire, cette approche fonctionne avec des encodeurs pré-entraînés et des MLLM existants.
Interprétabilité : En s'appuyant sur les plus proches voisins récupérés, le système fournit des preuves interprétables (exemples visuels) pour soutenir ou rejeter une prédiction, renforçant ainsi la transparence.
Gestion des Compromis : Le système gère explicitement le compromis entre couverture (répondre à chaque question) et fiabilité (répondre uniquement quand on est confiant), privilégiant la confiance de l'utilisateur dans les applications à enjeux élevés.

Les auteurs concluent que bien que l'implémentation actuelle soit limitée à des contextes de classification contrôlés (ImageNet-100) et à des encodeurs spécifiques (ResNet-50), l'approche démontre une voie viable vers des systèmes d'IA multimodaux plus sûrs et plus fiables, capables de s'abstenir de répondre lorsque les preuves ne justifient pas une réponse définitive.