🤖 machine learning

Instruction Lens Score: Your Instruction Contributes a Powerful Object Hallucination Detector for Multimodal Large Language Models

Ce papier présente Instruction Lens Score (InsLen), un détecteur plug-and-play d'hallucinations d'objets pour les grands modèles de langage multimodaux qui exploite les embeddings de tokens d'instruction pour surpasser les méthodes existantes sans nécessiter de modèles auxiliaires ni d'entraînement supplémentaire.

Auteurs originaux : Runhe Lai, Xinhua Lu, Yanqi Wu, Jinlun Ye, Weijiang Yu, Ruixuan Wang

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Runhe Lai, Xinhua Lu, Yanqi Wu, Jinlun Ye, Weijiang Yu, Ruixuan Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robot très intelligent (un Modèle de Langage Multimodal) capable de regarder des images et de les décrire en détail. Vous lui demandez : « Que voyez-vous ? » et il se met à parler. Mais parfois, ce robot devient un peu trop imaginatif. Il pourrait regarder une photo d'une montagne enneigée avec des skieurs et affirmer avec assurance : « Je vois un sac rouge sur le skieur », alors qu'il n'y a pas de sac sur l'image. C'est ce qu'on appelle l'hallucination d'objet.

L'article présente un nouvel outil appelé Instruction Lens Score (InsLen) pour déceler ces mensonges. Voici comment cela fonctionne, en utilisant des analogies simples :

Le Problème : La « Caméra Bruitée » contre le « Guide Intelligent »

Considérez le système de vision du robot comme une caméra qui se trompe parfois à cause d'un mauvais éclairage ou de reflets. Elle pourrait voir une ombre qui ressemble à un sac et dire au cerveau du robot : « Hé, il y a un sac ! »

Habituellement, d'autres méthodes tentent de vérifier la réponse du robot en examinant les données brutes de la caméra (les « embeddings visuels »). Mais si la caméra est confuse, ce contrôle échoue.

Les auteurs ont découvert quelque chose de surprenant : les instructions du robot (le texte que vous tapez, comme « Veuillez décrire l'image ») agissent comme un Guide Intelligent. Même si la caméra est bruitée, le Guide Intelligent possède un moyen de filtrer ce bruit. Lorsque le robot lit votre instruction, il « sait » implicitement ce qui se trouve réellement sur l'image et peut ignorer le faux signal « sac » provenant de la caméra confuse.

La Solution : La « Lentille d'Instruction »

Les chercheurs ont construit un détecteur appelé InsLen qui agit comme une loupe focalisée spécifiquement sur les pensées du Guide Intelligent, plutôt que sur celles de la caméra.

Ils décomposent cela en deux vérifications principales :

1. La « Vérification de la Réalité » (Score Local Calibré)

L'Analogie : Imaginez qu'un détective (la caméra) trouve un indice qui ressemble à un sac. Mais un juge sage (l'instruction) examine le même indice et dit : « Je ne pense pas que ce soit un sac ; ce n'est qu'une ombre. »
Comment cela fonctionne : La méthode prend la « confiance » que le robot a à voir un sac. Si la caméra est excitée par le sac, mais que le « Guide Intelligent » (l'instruction) est très sceptique et lui attribue une faible probabilité, le système sait calibrer (abaisser) cette confiance. Il dit essentiellement : « La caméra ment ; le guide en sait plus long. »

2. La « Vérification du Contexte » (Score de Cohérence Contextuelle)

L'Analogie : Imaginez que vous essayez d'identifier une personne dans une foule.
- Vérification Locale : Vous regardez un patch flou de pixels qui ressemble à un visage.
- Vérification Contextuelle : Vous demandez au « Guide Intelligent » : « Cette personne correspond-elle à l'histoire de l'ensemble de la scène ? » Si la scène est une piste de ski, le guide sait qu'il devrait y avoir des skieurs et de la neige, mais peut-être pas un « sac » flottant dans les airs.
Comment cela fonctionne : La méthode examine la compréhension que le « Guide Intelligent » a de l'ensemble de la scène. Elle vérifie si l'objet que le robot prétend voir (par exemple, « un sac ») s'inscrit dans l'histoire globale que le guide raconte. Si l'histoire du guide ne soutient pas l'existence d'un sac, le système le signale comme une hallucination.

Pourquoi est-ce mieux ?

La plupart des méthodes précédentes tentaient de corriger le robot en ajoutant plus de machinerie lourde (comme demander à une seconde IA, super coûteuse, de vérifier le travail) ou en entraînant le robot à être parfait (ce qui prend une éternité).

InsLen est différent car :

C'est « Plug-and-Play » : Vous n'avez pas besoin de réentraîner le robot ni d'ajouter de nouveaux outils coûteux. Vous utilisez simplement les propres pensées internes du « Guide Intelligent » du robot pour vérifier son travail.
C'est Rapide : Cela n'ajoute presque aucun temps supplémentaire au processus de réflexion du robot.
C'est Précis : Dans leurs tests, cette méthode a décelé plus de mensonges que toute autre méthode qu'ils ont essayée, même lorsque le robot regardait des images délicates où les vrais objets et les faux objets se ressemblaient beaucoup (comme une cuillère et un couteau).

Résumé

L'article affirme qu'en écoutant les instructions du robot (le « Guide Intelligent ») plutôt que simplement ses yeux (la caméra), nous pouvons efficacement filtrer les objets fictifs. Le Instruction Lens Score combine une « Vérification de la Réalité » (calibrer la confiance de la caméra) avec une « Vérification du Contexte » (s'assurer que l'objet correspond à l'histoire) pour créer un détecteur de mensonges hautement fiable pour les descriptions d'images par IA.

Résumé technique : Instruction Lens Score pour la détection des hallucinations d'objets

Énoncé du problème

Les modèles de langage multimodaux à grande échelle (MLLM) ont démontré des capacités significatives en matière de compréhension et de raisonnement visuels. Cependant, un obstacle critique à leur déploiement fiable est l'hallucination d'objets (OH), où les modèles génèrent des descriptions d'objets absents des images d'entrée. Les méthodes de détection existantes se heurtent à deux limitations principales :

Dépendance aux modèles auxiliaires : Les méthodes reposant sur des modèles externes (par exemple, GPT-4) ou sur des détecteurs d'hallucinations dédiés entraînent une surcharge computationnelle substantielle et nécessitent un entraînement supplémentaire.
Vulnérabilité aux signaux visuels trompeurs : Les scores de détection basés sur la vision (par exemple, les poids d'attention, la similarité locale) souffrent souvent d'une confiance élevée spurieuse lorsque les encodeurs visuels introduisent des informations trompeuses ou lorsque les motifs visuels locaux des objets hallucinés ressemblent à ceux d'objets réels (par exemple, des textures similaires pour les cuillères et les couteaux).

Méthodologie : Instruction Lens Score (InsLen)

L'article propose Instruction Lens Score (InsLen), un détecteur sans entraînement, plug-and-play, qui exploite les plongements internes des tokens d'instruction pour filtrer les informations visuelles trompeuses. L'idée centrale est que les plongements d'instruction encodent implicitement des informations visuelles ancrées dans l'image tout en supprimant efficacement les indices erronés introduits par les plongements visuels.

La méthode utilise la technique Logit Lens pour projeter les plongements des couches intermédiaires dans l'espace du vocabulaire afin d'analyser les distributions de confiance. InsLen comprend deux composantes complémentaires :

1. Score local calibré ( $S_{cls}$ )

Cette composante traite le problème de la surconfiance spurieuse dans les scores basés sur la vision.

Mécanisme : Elle introduit une Confiance de calibration ( $S_{cafe}$ ) en mesurant la confiance maximale attribuée à un token d'objet à travers tous les plongements d'instruction.
Logique : Puisque les plongements d'instruction filtrent les indices visuels trompeurs, les objets hallucinés reçoivent une confiance plus faible dans cette projection.
Fusion : $S_{cafe}$ est fusionnée de manière multiplicative avec les scores visuels existants (par exemple, Score de similarité locale, Confiance interne) pour calibrer les preuves visuelles locales :
$S_{cls}(o) = S_{cafe}(o) \cdot S_{local}(o)$

2. Score de cohérence contextuelle ( $S_{ccs}$ )

Cette composante traite la limitation des plongements visuels au niveau des patches, qui peuvent échouer à distinguer les objets ayant des textures locales similaires.

Mécanisme : Elle agrège les plongements d'instruction qui attribuent une forte probabilité au token d'objet pour former une représentation contextuelle globale ( $\bar{z}$ ).
Logique : Les plongements d'instruction capturent le contexte global de l'objet. La cohérence entre le plongement du token d'objet généré ( $h_o$ ) et le contexte d'instruction agrégé ( $\bar{z}$ ) est mesurée à l'aide d'une distance $\ell_2$ normalisée.
Pondération : Le score de cohérence est pondéré par la confiance moyenne des plongements d'instruction sélectionnés pour garantir la fiabilité :
$S_{ccs}(o) = S_{con}(o) \cdot p(o|\{\hat{z}_1, ..., \hat{z}_m\})$

Score final

Le score InsLen final est une combinaison pondérée du Score local calibré et du Score de cohérence contextuelle :
$S_{Ins}(o) = \omega \cdot S_{cls}(o) + (1 - \omega) \cdot S_{ccs}(o)$
où $\omega$ est un hyperparamètre.

Contributions clés

Analyse des plongements d'instruction : Les auteurs révèlent que les plongements d'instruction dans les MLLM encodent implicitement des sémantiques visuelles fiables et peuvent filtrer efficacement les informations trompeuses provenant des plongements visuels, une capacité précédemment négligée pour la détection d'hallucinations.
Détecteur proposé (InsLen) : Un détecteur novateur, sans entraînement, qui intègre des preuves visuelles calibrées avec une cohérence contextuelle basée sur les instructions, sans nécessiter de modèles auxiliaires ni d'entraînement supplémentaire.
Évaluation complète : Des expériences étendues sur plusieurs benchmarks (MSCOCO, Objects365, POPE, CLEVR) et des architectures MLLM diverses (LLaVA-1.5, InstructBLIP, mPLUG-Owl3, Qwen3-VL, LLaVA-OneVision) démontrent l'efficacité de la méthode.

Résultats expérimentaux

Performance : InsLen surpasse systématiquement les méthodes de l'état de l'art existantes (par exemple, GLSIM, SVAR, Confiance interne) sur tous les benchmarks et architectures de modèles testés.
- Sur le benchmark MSCOCO avec Qwen3-VL, InsLen a amélioré l'AUROC de 7,70 % par rapport à la meilleure base de référence (GLSIM).
- Sur le benchmark POPE, il a atteint jusqu'à 13,81 % d'AUROC en plus par rapport aux bases de référence pour LLaVA-1.5.
- Sur le benchmark CLEVR (testant les hallucinations d'attributs et relationnelles), InsLen a montré des performances supérieures, en particulier sur des modèles plus puissants comme Qwen3-VL (77,72 % d'AUROC contre 73,01 % pour SVAR).
Robustesse : La méthode reste efficace sur les modèles post-entraînés (par exemple, LLaVA-RLHF, LLaVA-RLAIF-V) et démontre une stabilité à travers différentes longueurs d'instructions d'entrée et paramètres d'hyperparamètres ( $\omega$ , $m$ , $\tau$ ).
Efficacité : Bien qu'elle introduise une surcharge computationnelle légèrement supérieure à certaines bases de référence (par exemple, ~104 ms contre 95 ms pour LLaVA-1.5), le coût est minime par rapport à la génération de réponses et nettement inférieur à celui des méthodes nécessitant des modèles auxiliaires ou des opérations de mise à zéro (par exemple, EAZY).

Importance et affirmations

L'article affirme que Instruction Lens Score fournit un signal précieux et sous-exploré pour améliorer la fiabilité de la génération des MLLM. En démontrant que les plongements d'instruction peuvent efficacement supprimer les informations visuelles trompeuses, ce travail offre une nouvelle perspective sur la détection d'hallucinations qui ne repose ni sur des ressources externes ni sur un réentraînement. Les auteurs positionnent InsLen comme une solution robuste, plug-and-play, qui améliore la fiabilité des MLLM dans des applications réelles où l'hallucination d'objets pose des risques significatifs.