Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination

Imaginez que vous parlez à un ami robot super intelligent qui a vu des millions d'images et lu des milliards de livres. Vous montrez une photo d'un parc ensoleillé au robot, et il commence à décrire la scène. Mais parfois, ce robot peut se montrer un peu trop créatif. Il pourrait vous affirmer avec assurance qu'il y a un « énorme ballon rouge » flottant au-dessus des arbres, alors que la photo est complètement vide à cet endroit. C'est ce qu'on appelle une « hallucination », et c'est un véritable casse-tête pour les scientifiques qui construisent ces systèmes d'IA. Si un robot pense voir des choses qui n'existent pas, nous ne pouvons pas vraiment lui faire confiance pour nous aider dans des tâches importantes.

Pendant longtemps, les chercheurs ont pensé que le problème venait du fait que le robot ne « regardait » pas assez attentivement l'image. Ils pensaient que l'IA rêvait simplement parce que ses yeux erraient, alors ils ont essayé de la forcer à prêter plus attention à l'image. Mais et si le robot regardait vraiment ? Et si l'IA fixait précisément l'endroit où le faux ballon devrait se trouver, mais qu'elle interprétait mal ce qu'elle voyait ? Cet article, intitulé « Same Attention, Different Truths » (Même attention, vérités différentes), plonge précisément dans ce mystère. Il utilise une astuce ingénieuse appelée « Logit Lens » (imaginez cela comme un rayon X pour le cerveau du robot) pour jeter un coup d'œil à l'intérieur de l'esprit de l'IA pendant qu'elle parle. Le but est de comprendre pourquoi le robot ment sur ce qu'il voit, afin de lui apprendre à dire la vérité sans avoir besoin de le réentraîner de zéro.

Le Mystère : Regarder intensément, mais se tromper

Les auteurs ont commencé par tester une idée populaire : celle que les hallucinations de l'IA se produisent parce que le modèle ne prête pas assez d'attention à l'image. Ils ont observé l'IA pendant qu'elle décrivait des images, suivant précisément l'endroit où son « regard » (l'attention) se posait. Ils ont découvert quelque chose de surprenant : l'IA prêtait autant d'attention aux objets réels (comme une chaise) qu'aux objets fictifs (comme un bol qui n'existait pas).

C'est comme un détective qui fixe intensément un mur blanc, convaincu qu'un message secret y est caché. Le détective n'ignore pas le mur ; il le regarde droit dans les yeux ! Le problème n'est pas combien il regarde, mais ce qu'il croit voir. L'article appelle cela « Same Attention, Different Truths ». L'IA concentre son énergie, mais le lien entre ce qu'elle voit et ce qu'elle dit est brisé.

Le Rayon X : Lire dans l'esprit de l'IA

Pour comprendre ce qui se passait, les chercheurs ont utilisé un outil appelé Logit Lens. Imaginez le cerveau de l'IA comme un gâteau à plusieurs couches. À mesure que l'IA traite une image, l'information traverse ces couches. Le Logit Lens permet aux chercheurs de jeter un coup d'œil à la « garniture » du gâteau à différents niveaux et de demander : « Si nous arrêtions l'IA juste ici, quel mot dirait-elle ? »

En faisant cela, ils ont découvert une séparation claire :

• Objets Réels : Lorsque l'IA regardait une vraie chaise, la « garniture » de son cerveau décodait correctement l'image comme étant une « chaise ». La preuve visuelle correspondait au mot.
• Objets Fictifs : Lorsque l'IA regardait une zone floue au sol et décidait de l'appeler un « bol », le Logit Lens a montré que le cerveau ne voyait pas réellement un bol. La preuve visuelle était confuse et incertaine, mais l'IA insistait quand même pour dire « bol ».

Deux types de menteurs

L'article a découvert que l'IA ment pour deux raisons très différentes, comme deux types d'étudiants différents passant un examen.

1. Le menteur à la « vision floue » (Incertitude Visuelle)
Parfois, l'image est simplement déroutante. Peut-être qu'une forme sombre et diffuse ressemble un peu à un bol. L'IA fixe cet endroit flou et confus, s'embrouille, et devine : « Je parie que c'est un bol ! »

• La solution : Les chercheurs ont découvert que si l'on masquait simplement cet endroit flou et confus, l'IA arrêtait de mentir. Elle réalisait : « Oh, je ne vois rien là, donc je ne vais pas deviner. » C'est ce qu'on appelle le HARM (High-Attention Regions Masking). C'est comme dire au détective : « Ne regarde pas ce mur flou ; regarde plutôt la fenêtre claire. »

2. Le menteur par « rêverie » (Prior de Contexte)
D'autres fois, l'image est claire, mais l'IA est trop influencée par ce qu'elle s'attend à voir. Imaginez que l'IA décrive une cuisine. Même s'il n'y a pas de micro-ondes dans l'image, l'IA pourrait dire : « Il y a un micro-ondes », car dans son entraînement, les cuisines ont généralement des micro-ondes. Elle est tellement habituée à l'idée d'un micro-ondes qu'elle en hallucine un.

• Le rebondissement : Si vous masquez la partie de l'image que l'IA regarde, elle ne cesse pas de mentir ! Elle déplace simplement son regard vers un autre endroit et continue de dire « micro-ondes ». L'IA suit un script : « Je dois regarder quelque chose avant de dire "micro-ondes". »
• La solution : Pour ce type de mensonge, les chercheurs ont utilisé une méthode appelée VEED (Visual Evidence Enhanced Decoding). Ils ont forcé l'IA à prêter une attention accrue à la véritable preuve visuelle qu'elle avait déjà trouvée (qui, dans ce cas, ne montrait pas de micro-ondes) et ont utilisé cela pour l'emporter sur sa rêverie. C'est comme rappeler au détective : « Vérifie à nouveau tes notes ; les notes disent qu'il n'y a pas de micro-ondes, alors arrête de deviner. »

La Solution : La boîte à outils du détective

Sur la base de ces découvertes, les auteurs ont construit un outil simple, « sans réentraînement ». Cela signifie qu'ils n'ont pas eu besoin de réenseigner l'IA de zéro ; ils ont simplement ajouté une étape de contrôle intelligente avant que l'IA ne donne sa réponse finale.

1. Le Contrôle : À mesure que l'IA génère une phrase, le système utilise le Logit Lens pour vérifier : « Est-ce que l'image soutient réellement ce mot ? » Si la réponse est non, il signale le mot comme une hallucination.
2. Le Diagnostic : Il détermine ensuite pourquoi l'IA a menti. Est-ce parce que l'image était floue (Type 1) ou parce que l'IA était en train de rêver (Type 2) ?
3. Le Remède :
   • S'il s'agit du Type 1, il masque la partie floue et demande à l'IA d'essayer à nouveau.
   • S'il s'agit du Type 2, il booste le signal de la véritable preuve visuelle pour noyer la rêverie.

Les Résultats

L'équipe a testé cette méthode sur plusieurs modèles d'IA différents et a constaté qu'elle fonctionnait extrêmement bien. Elle a réduit le nombre d'objets fictifs inventés par l'IA plus que toute autre méthode testée, sans que l'IA n'oublie de mentionner les objets réels.

En résumé, cet article montre que les hallucinations de l'IA ne sont pas seulement dues au fait que le robot ne regarde pas assez attentivement. Parfois, il regarde justement le problème, mais interprète mal un indice flou, et d'autres fois, il est simplement trop impatient de suivre une histoire qu'il a déjà entendue. En comprenant ces deux types de « mensonges », les chercheurs ont trouvé un moyen de les attraper et de les corriger, rendant nos amis robots un peu plus honnêtes et beaucoup plus fiables.