💬 NLP

LookBack: Where and How to Score LVLM Responses via Visual Reference Usage

Cet article introduit LookBack, une méthode sans entraînement qui améliore la notation des réponses des LVLM en augmentant la vraisemblance des jetons par un score de regard visuel en arrière (visual lookback score) afin de mieux détecter les hallucinations et de sélectionner des sorties ancrées, remédiant ainsi aux limites des métriques de confiance existantes.

Auteurs originaux : Beomsik Cho, Jinhyeong Kim, Dongseok Lee, Jaehyung Kim

Publié 2026-08-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Beomsik Cho, Jinhyeong Kim, Dongseok Lee, Jaehyung Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous parlez à un robot super intelligent qui possède à la fois des yeux et un cerveau. Ce robot, appelé un Modèle de Vision-Langage Étendu (ou LVLM pour faire court), peut regarder une image puis écrire une histoire ou répondre à une question à son sujet. C'est comme avoir un ami capable de voir le monde et de le décrire parfaitement. Mais voici le hic : parfois, ce robot devient trop sûr de sa propre voix. Il peut décrire une scène avec une grammaire et une fluidité si parfaites qu'elle semble totalement réelle, même s'il invente des choses qui ne figurent pas du tout dans l'image. C'est ce qu'on appelle « halluciner ».

Pour corriger cela, les scientifiques essaient généralement de choisir la meilleure réponse parmi une liste de nombreuses suppositions faites par le robot. Ils utilisent souvent une astuce simple : ils choisissent la réponse qui semble la plus confiante ou la plus probable selon les propres calculs internes du robot. Imaginez cela comme un professeur choisissant la dissertation qui semble la plus fluide. Mais et si le robot n'était qu'un beau parleur qui est sereinement dans l'erreur ? C'est le problème que cet article aborde : comment savoir si le robot regarde réellement l'image, ou s'il est simplement en train de rêver éveillé tout en ayant l'air intelligent ?

Les chercheurs derrière cette étude, de l'Université Yonsei, ont réalisé que le « compteur de confiance » habituel du robot est défaillant lorsqu'il s'agit d'images. Ils ont découvert que même si vous retirez l'image et que vous demandez simplement au robot de deviner, il donne toujours les mêmes scores de confiance élevés à ses réponses. C'est comme un élève qui peut réciter parfaitement une dissertation d'histoire de mémoire, mais si vous l'interrogez sur une photo spécifique de son manuel, il pourrait décrire avec assurance un dinosaure dans une salle de classe parce qu'il est simplement doué pour deviner des mots, et non pour regarder les preuves.

Pour résoudre cela, l'équipe a inventé une nouvelle méthode appelée LOOKBACK. Imaginez que vous notez à nouveau la dissertation de cet élève. Au lieu de simplement vérifier si les phrases sont fluides, vous demandez : « As-tu vraiment regardé la photo quand tu as écrit ce mot ? » LOOKBACK est un outil spécial qui vérifie chaque mot écrit par le robot pour voir si les « yeux » du robot (son attention interne) regardaient réellement l'image à ce moment précis.

Voici comment cela fonctionne de manière amusante :

La vérification de la confiance : D'abord, LOOKBACK vérifie à quel point le robot est sûr de lui, tout comme les anciennes méthodes le faisaient.
La vérification du regard en arrière (Lookback) : Ensuite, il demande : « As-tu regardé l'image pour dire cela ? » Si le robot dit « panda » et que ses yeux internes fixaient précisément un panda dans l'image, ce mot reçoit un énorme bonus. Si le robot dit « panda » mais qu'il devinait simplement parce qu'il adore le mot « panda », il reçoit une pénalité.
Le score final : L'outil combine ces deux vérifications. Il donne le score le plus élevé aux réponses qui sont non seulement fluides et confiantes, mais qui prouvent aussi qu'elles se sont réellement appuyées sur les preuves visuelles.

L'équipe a testé cette idée sur quatre défis différents impliquant des images et des questions, en utilisant trois cerveaux de robots intelligents différents. Ils ont découvert que LOOKBACK était bien meilleur pour choisir la bonne réponse que les anciennes méthodes. En fait, lorsque les robots généraient 25 suppositions différentes et que LOOKBACK était utilisé pour choisir le gagnant, il choisissait systématiquement la bonne réponse plus souvent que toute autre méthode testée.

Ce qui est vraiment cool, c'est que LOOKBACK n'a pas besoin d'apprendre de nouvelles choses ou d'utiliser d'autres robots pour l'aider. Il utilise simplement les signaux que le robot principal envoie déjà pendant qu'il réfléchit. C'est comme donner un miroir au robot pour qu'il puisse vérifier son propre travail sans avoir besoin qu'un professeur se tienne au-dessus de lui. L'étude suggère qu'en demandant simplement au robot de « regarder en arrière » vers l'image pendant qu'il parle, nous pouvons l'empêcher de mentir avec assurance sur ce qu'il voit, rendant ces amis IA beaucoup plus fiables pour des tâches du monde réel.

Résumé technique : LOOKBACK – Où et comment évaluer les réponses des LVLM via l'utilisation de références visuelles

1. Énoncé du problème

Les grands modèles de langage-vision (LVLM) intègrent la perception visuelle à la génération de langage, mais souffrent d'un type spécifique d'hallucination : la production de réponses fluides et plausibles qui ne sont pas ancrées dans l'image d'entrée. Bien que les méthodes existantes pour améliorer la fiabilité, telles que la sélection Best-of-N (BoN), reposent sur l'évaluation de réponses candidates pour sélectionner la meilleure, les mécanismes d'évaluation actuels sont insuffisants pour les LVLM.

L'article identifie une lacune critique dans la confiance dans l'espace de sortie (par exemple, la vraisemblance des jetons ou l'auto-certitude/Self-Certainty). Les diagnostics révèlent que ces scores de confiance sont largement insensibles à l'entrée visuelle. Supprimer l'image du contexte d'entrée modifie à peine la sélection de la réponse la mieux classée basée sur la confiance. Cela indique que la confiance dans l'espace de sortie capture principalement la plausibilité textuelle (fluidité linguistique) plutôt que l'ancrage visuel (accord avec l'image). Par conséquent, s'appuyer uniquement sur la confiance échoue à distinguer les réponses qui sont linguistiquement fluides mais visuellement hallucinées de celles qui sont fidèles à l'image.

2. Méthodologie : LOOKBACK

Pour remédier à cela, les auteurs proposent LOOKBACK, une méthode d'évaluation de réponse intrinsèque au modèle et sans entraînement. LOOKBACK augmente la vraisemblance des jetons par un score de regard en arrière visuel (visual lookback score), une mesure légère de la force avec laquelle chaque jeton généré se réfère à l'entrée visuelle. La méthode opère en trois étapes :

A. Score de regard en arrière visuel ( $A_t$ )

Les auteurs exploitent les mécanismes d'attention internes du LVLM. Puisque les LVLM traitent les images comme des jetons de vision explicites au sein du contexte causal, chaque prédiction de jeton peut directement porter attention à ces jetons de vision.

Définition : Pour un jeton généré $y_t$ , le score de regard en arrière visuel $A_t$ est la fraction du poids d'attention dirigée de l'étape de prédiction vers les jetons de vision ( $P_v$ ) à travers toutes les couches et toutes les têtes d'attention.
Signification : $A_t$ sert de proxy pour l'utilisation de la référence visuelle. Il est élevé pour les jetons décrivant des objets, des attributs ou des relations présents dans l'image, et faible pour les mots de fonction génériques.

B. Score de jeton calibré par regard en arrière ( $u_t$ )

LOOKBACK combine la confiance de sortie du modèle ( $p_t$ ) avec le score de regard en arrière visuel ( $A_t$ ) pour former un score de jeton calibré :
$u_t = \log(p_t) + \alpha \log(A_t)$

Ici, $\alpha$ est un hyperparamètre contrôlant la force de la calibration.
Cette formulation garantit que les jetons ayant une haute confiance mais une faible attention visuelle (hallucinations) reçoivent un score plus bas, tandis que les jetons qui sont à la fois confiants et ancrés visuellement sont favorisés.

C. Pondération de la pertinence visuelle et agrégation

Tous les jetons ne contribuent pas de la même manière à l'ancrage visuel. LOOKBACK agrège les scores de jetons en utilisant une distribution de pertinence visuelle ( $q_\lambda$ ) plutôt qu'une moyenne uniforme.

Distribution : $q_\lambda$ est dérivée de la maximisation d'un objectif de pertinence régularisé par l'entropie, concentrant la masse de probabilité sur les jetons ayant des scores de regard en arrière visuel élevés ( $A_t$ ).
Score final : Le score final de la réponse $S(y)$ est l'espérance mathématique des scores de jetons calibrés sous cette distribution :
$S(y) = \sum_{t=1}^{T} q_\lambda(t) \cdot u_t$
Cela garantit que le score final est fortement influencé par les jetons qui sont à la fois confiants et fortement liés à l'entrée visuelle.

3. Contributions clés

Aperçu diagnostique : L'article fournit une preuve empirique que les métriques de confiance standard dans l'espace de sortie (comme l'auto-certitude) sont largement insensibles à l'image, échouant à détecter les hallucinations visuelles dans les contextes de sélection Best-of-N.
Évaluation sans entraînement : LOOKBACK introduit une méthode pour évaluer les réponses des LVLM sans nécessiter de modèles de récompense externes, d'entraînement supplémentaire ou de passes d'inférence supplémentaires. Il utilise uniquement les signaux internes (probabilités de jetons et poids d'attention) disponibles lors de la génération.
Complémentarité au niveau des jetons : Le travail démontée que la confiance dans l'espace de sortie et les scores de regard en arrière visuel capturent des aspects complémentaires de la génération : la confiance favorise la prédictibilité linguistique, tandis que le regard en arrière favorise la référence visuelle.
Agrégation efficace : En pondérant les jetons selon leur pertinence visuelle, LOOKBACK donne la priorité aux mots de contenu diagnostiques (noms, attributs) par rapport aux mots de fluidité génériques dans l'évaluation finale.

4. Résultats expérimentaux

Les auteurs ont évalué LOOKBACK à travers quatre benchmarks (VQAv2, CHAIR, AMBER, HallusionBench) et trois LVLM représentatifs (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B).

Performance : LOOKBACK a systématiquement surpassé les lignes de base existantes, y compris les méthodes côté langage (Auto-certitude, Auto-cohérence universelle) et les méthodes côté vision (CLIPScore, VAUQ).
- Il a obtenu la performance moyenne par modèle la plus élevée à travers les trois LVLM.
- Il a amélioré la précision de la sélection Best-of-N d'environ 4,97 % de gain relatif par rapport à la sélection aléatoire et a systématiquement battu la ligne de base de l'auto-certitude.
Mise à l'échelle (Scaling) : À mesure que la taille du pool de candidats ( $N$ ) augmentait de 1 à 25, LOOKBACK maintenait un avantage constant sur les lignes de base, alors que les autres méthodes montraient des rendements décroissants ou de l'instabilité.
Efficacité : LOOKBACK a engendré un surcoût computationnel négligeable par rapport au temps de génération. Il était nettement plus rapide que les méthodes nécessitant une perturbation (VAUQ) ou des encodeurs externes (CLIPScore), n'ajoutant qu'un coût modeste de post-évaluation après la génération.

5. Signification et affirmations

L'article affirme que LOOKBACK fournit une solution légère et interne au modèle pour améliorer la fiabilité des réponses des LVLM. Sa signification réside dans :

Combler le fossé : Il s'attaque directement au déconnect entre le conditionnement par l'image et la sensibilité à l'image dans les métriques d'évaluation actuelles.
Praticité : Étant sans entraînement et ne nécessitant aucun modèle auxiliaire, il est applicable aux contextes à ressources limitées et aux scénarios de boîte noire (à condition que les poids d'attention internes soient accessibles).
Généralisabilité : Les auteurs suggèrent que le principe de "l'évaluation consciente de la source" (vérifier si les étapes de génération à haute confiance se réfèrent bien à la source prévue) pourrait s'étendre au-delà de la vision à d'autres tâches de génération ancrées, telles que la génération augmentée par récupération (RAG) ou l'utilisation d'outils.

Limites reconnues :
Les auteurs notent que LOOKBACK nécessite l'accès aux poids d'attention internes, ce qui limite son utilisation avec les API strictement "boîte noire". De plus, le regard en arrière visuel est un proxy pour l'utilisation de la référence, et non une garantie de correction factuelle ; un modèle peut prêter attention aux jetons de l'image tout en générant un contenu incorrect ou biaisé. Par conséquent, LOOKBACK est recommandé comme une aide à la sélection de réponses à utiliser parallèlement à une validation spécifique à la tâche et une supervision humaine.