💬 NLP

Revisit What You See: Revealing Visual Semantics in Vision Tokens to Guide LVLM Decoding

L'article présente ReVisiT, une méthode de décodage sans entraînement qui atténue les hallucinations dans les modèles de langage visuel de grande taille en projetant dynamiquement des sémantiques visuelles pertinentes issues des jetons visuels dans le processus de génération de texte, obtenant ainsi des performances supérieures avec un coût computationnel réduit.

Auteurs originaux : Beomsik Cho, Jaehyung Kim

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Beomsik Cho, Jaehyung Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : L'Artiste « Rêveur »

Imaginez que vous engagez un artiste brillant (un Modèle Visuel-Linguistique de Grande Taille, ou LVLM) pour décrire une photo que vous lui montrez. Vous lui présentez une image d'une pomme rouge posée sur une table.

Idéalement, l'artiste regarde la photo et dit : « C'est une pomme rouge. »
Mais parfois, l'artiste se laisse distraire par ses propres pensées internes. Il pourrait dire : « C'est une pomme rouge... et aussi une banane et une pizza », même si ces objets ne figurent pas sur l'image. C'est ce qu'on appelle une hallucination.

Le papier se demande : Pourquoi cela arrive-t-il ?
Les chercheurs ont découvert que l'artiste voit en réalité la pomme correctement dans son « œil de l'esprit » (les données visuelles), mais lorsqu'il commence à parler, il se laisse troubler par le bruit de son propre vocabulaire. Il connaît la vérité, mais oublie de la dire car il est trop concentré sur les mots qui vont habituellement ensemble (comme « pomme » et « tarte »), plutôt que sur ce qui se trouve réellement sur la photo.

La Découverte : Les « Notes Cachées »

L'équipe a examiné de près le fonctionnement de ces modèles d'IA. Ils ont constaté que le modèle décompose l'image en de minuscules fragments appelés jetons visuels. Imaginez ces jetons comme de petits post-it collés sur différentes parties de l'image.

Les Post-it sont intelligents : Même lorsque l'IA commet une erreur (elle hallucine une banane), les post-it sur l'image contiennent toujours l'information correcte concernant la pomme. La vérité visuelle est là, simplement enfouie.
Le Problème de Traduction : Lorsque l'IA tente de transformer ces post-it en mots, cela devient confus. Si vous demandez à l'IA : « Quel mot représente ce post-it ? » sans aucune règle, elle pourrait deviner « ciel », « bleu » ou « texture ». C'est trop vague.
Le Filtre Magique : Les chercheurs ont découvert que si vous appliquez un filtre à la question — en demandant à l'IA de choisir uniquement parmi une liste spécifique de mots pertinents (comme « pomme », « fruit », « rouge ») — les post-it deviennent soudainement très clairs. L'IA peut enfin dire : « Ah ! Ce post-it signifie définitivement « pomme » ! »

La Solution : ReVisiT (Référencement des Jetons Visuels)

Sur cette base, les auteurs ont créé une nouvelle méthode appelée ReVisiT. C'est comme donner à l'artiste une « feuille de triche » pendant qu'il parle, sans avoir besoin de le réentraîner ou d'en engager un nouveau.

Voici comment ReVisiT fonctionne, étape par étape :

La Vérification du Contexte : Alors que l'IA commence à écrire une phrase, ReVisiT examine ce à quoi l'IA pense actuellement.
Le Filtre : Il crée une petite liste de mots pertinents basée sur ce contexte (par exemple, si la phrase concerne une cuisine, la liste inclut « tasse », « cuillère », « pomme », mais pas « avion »).
La Mise en Correspondance : ReVisiT examine tous les « post-it » (jetons visuels) de l'image et demande : « Lequel de ces post-it correspond le mieux à notre liste actuelle de mots ? ». Il sélectionne le meilleur match unique.
Le Coup de Pouce : Il prend ce post-it gagnant et pousse doucement le choix du mot suivant de l'IA vers lui. C'est comme chuchoter : « Hé, souviens-toi de ce post-it ? Il dit « pomme », pas « banane ». »

Pourquoi C'est Génial

Aucun Entraînement Nécessaire : Vous n'avez pas besoin d'enseigner quelque chose de nouveau à l'IA. Vous changez simplement la façon dont elle parle pendant qu'elle parle.
Super Rapide : Comme il ne s'agit que d'une vérification mathématique rapide et d'un « coup de pouce », cela ne ralentit pas l'IA. En fait, c'est presque aussi rapide que la méthode standard de parole.
Fonctionne Partout : Ils l'ont testé sur de nombreux modèles d'IA différents (de petits aux très grands) et sur de nombreuses tâches différentes (description d'images, réponse à des questions, détection d'objets). Il a constamment réduit les « rêveries » (hallucinations) et rendu les descriptions plus précises.

L'Analogie : Le Bibliothécaire et le Livre

Imaginez que l'IA est un élève passant un examen.

Les Jetons Visuels sont les manuels scolaires que l'élève a ouverts sur son bureau. L'élève a les bonnes réponses dans les livres.
L'Hallucination se produit parce que l'élève essaie de deviner la réponse de mémoire tout en ignorant les livres, ou parce que les livres sont ouverts à la mauvaise page.
ReVisiT est un bibliothécaire qui s'approche, regarde la question, pointe la page exacte du manuel qui contient la réponse et dit : « Lisez cette partie. » L'élève lit alors la bonne réponse dans le livre au lieu de deviner.

Résumé

Le papier prouve que les modèles d'IA « voient » déjà la vérité à l'intérieur de leurs données visuelles, mais qu'ils échouent souvent à la dire parce qu'ils se perdent dans leurs propres associations de mots. ReVisiT est un outil simple et gratuit qui agit comme un pont, forçant le modèle à regarder ses propres notes visuelles et à les utiliser pour corriger sa parole, ce qui se traduit par moins de mensonges et des descriptions plus précises.

Résumé Technique : ReVisiT – Révéler les Sémantiques Visuelles dans les Tokens Visuels pour Guider le Décodage des LVLM

Énoncé du Problème

Les Modèles Langage-Vision de Grande Taille (LVLM) intègrent la perception visuelle à la compréhension du langage, mais souffrent fréquemment d'hallucinations d'objets, où le modèle génère un texte décrivant des objets absents de l'image d'entrée. Bien que l'information visuelle soit encodée dans des « tokens visuels » au sein des états cachés du modèle, le mécanisme par lequel ces tokens influencent le processus de décodage reste sous-exploré. Les approches existantes traitent souvent les tokens visuels comme des contextes auxiliaires statiques ou s'appuient sur des pipelines d'entraînement complexes et des inférences multi-passe pour atténuer les hallucinations. Le problème central abordé est de savoir comment exploiter efficacement l'information sémantique intrinsèque contenue dans les tokens visuels durant le processus de décodage, sans modifications architecturales ni entraînement supplémentaire.

Méthodologie : ReVisiT

Les auteurs proposent ReVisiT (Referencing Vision Tokens), une stratégie de décodage sans entraînement et agnostique au modèle, conçue pour guider la génération de texte en référençant dynamiquement les tokens visuels les plus pertinents. La méthode opère en trois étapes principales à chaque pas de temps de décodage $t$ :

Construction d'un Sous-ensemble de Vocabulaire Sensible au Contexte :
Au lieu d'opérer sur l'ensemble du vocabulaire, ReVisiT contraint dynamiquement l'espace du vocabulaire à un sous-ensemble $V_t^{cons}$ . Ce sous-ensemble est défini de manière adaptative en fonction de la distribution de sortie standard $p_\theta$ du LVLM, en conservant les tokens ayant des probabilités supérieures à un seuil $\alpha \cdot \max(p_\theta)$ . Cette contrainte réduit la distraction sémantique et concentre le décodage sur des candidats plausibles.
Sélection de Tokens Visuels via une Divergence Contrainte :
La méthode projette les états cachés des tokens visuels ( $h_i^j$ ) provenant des couches de décodeur candidates $j$ sur le sous-ensemble de vocabulaire contraint $V_t^{cons}$ . Elle calcule ensuite la divergence de Jensen-Shannon (JSD) entre la distribution de sortie standard et chaque distribution de token visuel projetée. Le token visuel $(i^*, j^*)$ présentant la JSD minimale est sélectionné comme signal de référence le plus pertinent contextuellement.
- Optimisation : Pour garantir l'efficacité, les projections des tokens visuels sur l'ensemble du vocabulaire sont pré-calculées une seule fois avant le décodage. Durant le décodage, ces projections mises en cache sont découpées et masquées pour s'adapter au sous-ensemble dynamique $V_t^{cons}$ , évitant ainsi des passes avant supplémentaires.
Raffinement des Logits :
La distribution de sortie standard est raffinée en la fusionnant avec la distribution du token visuel sélectionné. Cela est réalisé par une addition dans l'espace des logarithmes (équivalente à une combinaison Produit d'Experts dans l'espace des probabilités) :
$l_{ReVisiT}(y_t) = \log p_\theta(y_t | h_{T+t-1}^L, V_t^{cons}) + \log p_\theta(y_t | h_{i^*}^{j^*}, V_t^{cons})$
La distribution finale est normalisée sur le sous-ensemble contraint, et le token suivant est échantillonné à partir de cette distribution raffinée.

Contributions Clés

Insights Empiriques sur les Tokens Visuels :
L'article fournit des preuves quantitatives et qualitatives que les tokens visuels encodent intrinsèquement des sémantiques interprétables au niveau des objets. Les auteurs démontrent que, bien que ces signaux soient souvent latents sous un décodage non contraint (où des objets hallucinés peuvent être sélectionnés malgré des objets de vérité terrain ayant des probabilités élevées), ils deviennent explicites et bien alignés lorsqu'ils sont projetés sur des sous-ensembles de vocabulaire sémantiquement cohérents.
Algorithme ReVisiT :
L'introduction d'une méthode de décodage simple et sans entraînement qui utilise une divergence contrainte sensible au contexte pour sélectionner et référencer les tokens visuels. Cette approche affine les logits au niveau du token pour mieux intégrer les sémantiques visuelles sans nécessiter de modules externes, de changements architecturaux ou d'inférences multi-passe.
Validation Complète :
La méthode est validée sur six tailles de modèles (allant de 7B à 32B paramètres) couvrant trois architectures distinctes (LLaVA-1.5, Qwen2.5-VL et InternVL). L'évaluation porte sur cinq benchmarks, incluant des ensembles de données spécifiques aux hallucinations (HallusionBench, CHAIR, POPE) et des tâches à usage général (VQAv2, MMMU).

Résultats Expérimentaux

Réduction des Hallucinations : ReVisiT réduit systématiquement les hallucinations sur toutes les architectures testées. Sur le benchmark CHAIR, il obtient des scores F1 compétitifs ou supérieurs par rapport aux références de l'état de l'art (par exemple, DoLa, VCD, M3ID) tout en maintenant ou en améliorant la couverture des objets. Sur HallusionBench, il obtient les meilleurs scores sur quatre des cinq métriques pour plusieurs modèles.
Généralisation : La méthode démontre sa robustesse sur des tâches discriminatives (POPE, VQAv2) et des raisonnements riches en connaissances (MMMU), indiquant que les signaux d'ancrage visuel mis en évidence par ReVisiT se généralisent à travers différents types de tâches.
Efficacité : Contrairement aux méthodes de référence qui nécessitent des passes avant supplémentaires (par exemple, VCD, CODE) ou des projections de couches intermédiaires (DoLa), ReVisiT n'augmente la latence d'inférence que de 0,6 % à 2,0 %. Il réalise une réduction allant jusqu'à 2 $\times$ du coût computationnel par rapport aux références multi-passe.

Importance et Revendications

L'article revendique que ReVisiT démontre que les tokens visuels encodent intrinsèquement des sémantiques interprétables qui peuvent être débloquées grâce à des contraintes sémantiquement cohérentes. En exposant explicitement ces sémantiques dans l'espace du langage, la méthode fournit un signal de guidage interprétable pour la génération.

Les auteurs positionnent ReVisiT comme une solution évolutive et largement applicable qui améliore l'ancrage visuel sans la surcharge computationnelle des méthodes d'alignement intra ou post-existantes. Ils soulignent que l'efficacité de la méthode à travers diverses tailles et architectures de modèles suggère que la divergence contrainte sensible au contexte proposée capture un signal de décodage fondamental plutôt qu'une heuristique spécifique à un benchmark.

Limites Reconnues :
Les auteurs notent que ReVisiT repose fortement sur les sémantiques encodées au sein des tokens visuels internes du modèle, ce qui peut conduire à une suraccentuation des éléments ancrés perceptuellement au détriment du raisonnement implicite de bon sens. De plus, en tant que méthode de temps de décodage, elle ne peut pas corriger les erreurs factuelles découlant des données de préentraînement si les preuves visuelles sont insuffisantes, ni intégrer la récupération de connaissances externes, bien qu'elle reste compatible avec les pipelines de Génération Augmentée par Récupération (RAG). L'évaluation est actuellement limitée aux modèles open-source dans la gamme de 7 à 32 milliards de paramètres.