💬 NLP

VisRAG2.0: Mitigating Visual Hallucinations via Evidence-Guided Multi-Image Reasoning in Visual Retrieval-Augmented Generation

L'article propose EVisRAG, un cadre guidé par l'évidence qui atténue les hallucinations visuelles dans le raisonnement multi-images en collectant explicitement des preuves visuelles pertinentes par rapport à la question et en employant un nouvel algorithme RS-GRPO pour une optimisation conjointe améliorée de la localisation et du raisonnement, atteignant des gains de performance significatifs sur les benchmarks de questions-réponses visuelles.

Auteurs originaux : Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

Publié 2026-07-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de résoudre un mystère, mais au lieu d'un indice unique, on vous remet une pile désordonnée de trois journaux, photos et cartes différents. Vous avez un détective super intelligent dans votre poche — un programme informatique appelé Modèle de Langage-Vision (VLM) — qui peut lire du texte et regarder des images. Ce détective est excellent pour répondre aux questions, mais parfois, face à une énorme pile d'images, il s'embrouille. Il peut commencer à inventer des détails qu'il n'a pas vus, comme prétendre qu'une photo montre un chat alors qu'il s'agit d'un chien, ou mélanger des faits provenant de deux pages différentes. C'est ce qu'on appelle une « hallucination visuelle ».

Pour aider ces détectives, des scientifiques ont développé un système appelé Génération Augmentée par Récupération Visuelle (VRAG). Voyez cela comme le fait de donner une carte de bibliothèque au détective. Lorsque vous posez une question, le système extrait instantanément les pages les plus pertinentes de la bibliothèque et les tend au détective. L'idée est que si le détective a les bonnes preuves juste sous ses yeux, il n'aura pas besoin de deviner ou d'inventer des choses. Cependant, même avec les bonnes pages, le détective a souvent du mal à trouver la phrase exacte ou l'image dont il a besoin parmi le bruit, ou il peut être distrait par des détails non pertinents et inventer quand même une réponse. La grande question est : comment enseigner au détective à être un véritable enquêteur qui scanne attentivement chaque page, note uniquement les faits qu'il voit réellement, puis résout le mystère sans deviner ?

C'est exactement ce que le papier « VisRAG2.0 » (plus précisément le cadre EVisRAG) cherche à résoudre. Les auteurs, une équipe de chercheurs d'universités chinoises, proposent une nouvelle façon d'entraîner ces détectives IA pour qu'ils arrêtent d'halluciner et commencent à raisonner avec des preuves réelles. Ils ont constaté que les méthodes précédentes étaient comme donner une pile de papiers au détective en lui disant : « Débrouille-toi ! », ce qui menait souvent à la confusion. Au lieu de cela, EVisRAG force le modèle à agir comme un détective méticuleux qui suit un processus strict en trois étapes : Observer, Enregistrer et Raisonner.

Premièrement, le modèle regarde les images récupérées et énonce explicitement ce qu'il voit, page par page. Deuxièmement, il crée un « journal de preuves », en écrivant des faits spécifiques de chaque image et, surtout, en notant lorsqu'une image ne contient aucune information utile. Enfin, il utilise uniquement ce journal écrit pour résoudre le problème. Pour s'assurer que le modèle apprend réellement ce comportement, les chercheurs ont inventé une nouvelle méthode d'entraînement appelée RS-GRPO (Optimisation de Politique de Groupe Relative à Portée de Récompense). Vous pouvez voir cela comme un entraîneur très strict qui ne se contente pas de donner une note pour la réponse finale. Au lieu de cela, l'entraîneur donne un score séparé pour « A-t-il regardé la bonne image ? » et un autre score pour « A-t-il écrit le fait correctement ? ». Cela empêche le modèle d'obtenir une bonne note simplement en trouvant la bonne réponse par chance, garantant qu'il apprend réellement à trouver d'abord les preuves.

Les résultats de cette nouvelle approche sont assez impressionnants. Testé sur divers benchmarks de questions-réponses visuelles (comme la lecture de graphiques, de documents et de diapositives), le modèle EVisRAG surpasse systématiquement les modèles « backbone » standards d'une précision moyenne d'environ 19 %. Plus important encore, il réduit considérablement le nombre de fois où le modèle invente des faits. Dans un test spécifique, un modèle standard pourrait regarder un graphique et affirmer avec assurance que le mauvais pays a une population plus grande parce qu'il a halluciné un chiffre. EVisRAG, cependant, regarderait le graphique, écrirait les chiffres corrects dans son journal de preuves, puis déduirait correctement la réponse.

Le papier soutient également l'idée que le simple fait de faire « réfléchir plus longtemps » le modèle ou d'ajouter des agents plus complexes au système n'est pas la meilleure solution. Au lieu de cela, ils démontrent qu'une approche structurée, guidée par les preuves et combinée à leur méthode d'entraînement spécifique (RS-GRPO), est plus efficace. Ils ont démontré qu'en délimitant les récompenses — en ne donnant du crédit que pour les bonnes actions au bon moment — le modèle devient beaucoup plus stable et fiable. Bien que le papier ne prétende pas résoudre tous les problèmes possibles de l'IA, les expériences suggèrent que cette méthode est un grand pas en avant pour rendre les systèmes d'IA visuelle plus dignes de confiance, plus précis et moins enclins à inventer des choses lorsqu'ils examinent plusieurs images.

Résumé Technique : VisRAG2.0 (EVisRAG)

Énoncé du Problème

La génération augmentée par récupération visuelle (VRAG - Visual Retrieval-Augmented Generation) vise à doter les modèles de langage-vision (VLM) de preuves visuelles externes pour répondre à des questions qui dépassent leurs connaissances paramétriques. Cependant, les approches VRAG existantes font face à des défis importants dans les contextes multi-images :

Hallucinations Visuelles : Les VLM échouent souvent à identifier avec précision les preuves pertinentes à la question à travers plusieurs images récupérées, ce qui conduit à des réponses incorrectes ou à la fabrication de contenus visuels inexistants.
Absence de Collecte Explicite de Preuves : Les méthodes actuelles transposent souvent les pratiques de RAG textuel vers le domaine visuel sans processus explicite de collecte de preuves inter-images. Elles dépendent d'agents ou d'outils externes, ce qui augmente la complexité architecturale et le coût computationnel.
Instabilité de l'Entraînement : L'optimisation conjointe de la perception visuelle et du raisonnement via des récompenses mixtes entraîne souvent un entraînement instable. L'absence d'attribution claire du crédit provoque une interférence entre les signaux, où les gradients d'objectifs hétérogènes entrent en conflit à travers des tokens non pertinents.

Méthodologie : EVisRAG

Les auteurs proposent EVisRAG (Evidence-guided Vision Retrieval-augmented Generation), un cadre conçu pour permettre aux VLM d'effectuer une perception et un raisonnement visuels précis sur plusieurs images.

1. Processus de Raisonnement Guidé par les Preuves

EVisRAG structure le processus de génération en quatre étapes distinctes, allant au-delà de la chaîne de pensée (CoT - Chain-of-Thought) standard en séparant explicitement l'observation, l'enregistrement des preuves et le raisonnement :

Récupération (Retrieval) : Récupère les instantanés de pages de documents les plus pertinents par rapport à la requête.
Perception Visuelle (Observation) : Le modèle observe séquentiellement les images récupérées, générant une observation grossière et sensible à la page ( $y_o$ ) pour établir une compréhension du contenu visuel.
Enregistrement des Preuves (Evidence Recording) : Conditionné par la requête et les observations, le modèle génère des séquences de preuves par image ( $y_e$ ). Crucialement, il enregistre explicitement « aucune information pertinente » pour les images dépourvues de preuves, empêissant le modèle de forcer des détails non pertinents dans le raisonnement.
Raisonnement de Réponse (Answer Reasoning) : Le modèle effectue un raisonnement de type « détective » ( $y_r$ ) sur les preuves agrégées ( $y_p = \{y_o, y_e\}$ ), formulant des hypothèses, vérifiant les contradictions et organisant une trajectoire cohérente avant de générer la réponse finale ( $y_a$ ).

2. Optimisation de la Politique par Groupe Relative par Portée de Récompense (RS-GRPO)

Pour entraîner efficacement EVisRAG, les auteurs introduisent RS-GRPO, une extension de l'Optimisation de la Politique par Groupe Relative (GRPO) qui traite le problème d'attribution du crédit dans le raisonnement multi-étapes.

Portées de Récompense (Reward Scopes) : La séquence de sortie est segmentée en quatre portées : Observation ( $T_o$ ), Enregistrement des Preuves ( $T_e$ ), Raisonnement ( $T_r$ ) et Réponse ( $T_a$ ).
Récompenses à Grain Fin : Trois récompenses spécifiques sont appliquées :
- Récompense de Format ( $R_{format}$ ) : Impose l'adhérence au flux de travail structuré (observer $\to$ enregistrer $\to$ raisonner $\to$ répondre).
- Récompense de Perception ( $R_{perception}$ ) : Évalue si les régions pertinentes pour la question sont correctement localisées et résumées lors de la phase d'enregistrement des preuves.
- Récompense de Dérivation ( $R_{derivation}$ ) : Évalue si la réponse finale est correctement dérivée des preuves enregistrées.
Optimisation par Portée (Scoped Optimization) : Contrairement aux méthodes traditionnelles qui diffusent les récompenses sur l'ensemble de la séquence, RS-GRPO restreint chaque récompense à sa portée de tokens effective (par exemple, $R_{perception}$ ne supervise que $T_o$ et $T_e$ ). Cela réduit l'interférence entre les étapes, affine les signaux d'optimisation et stabilise l'entraînement.

Contributions Clés

Cadre EVisRAG : Une nouvelle architecture qui sépare explicitement la collecte de preuves visuelles du raisonnement, permettant aux VLM d'agir comme des « détectives » en collectant et en vérifiant les preuves image par image avant de conclure.
Algorithme RS-GRPO : Une stratégie d'entraînement qui introduit des récompenses spécifiques à chaque portée pour aligner les signaux de récompense avec des segments de tokens précis. Cela atténue l'interférence entre les objectifs de perception et de raisonnement, menant à une optimisation conjointe plus stable et efficace.
Évaluation Exhaustive : Expérimentations étendues sur cinq benchmarks VQA diversifiés (ChartQA, InfoVQA, DocVQA, SlideVQA, ViDoSeek) démontrant l'efficacité de l'approche.

Résultats Expérimentaux

Gains de Performance : EVisRAG (utilisant un backbone de 7 milliards de paramètres) surpasse systématiquement le baseline Qwen2.5-VL-7B avec une augmentation moyenne de 19 % de la précision et de 27 % du score F1. Il surpasse également des modèles plus grands de 32B ainsi que d'autres méthodes SOTA de VLRM et VRAG.
Réduction des Hallucinations : Le cadre réduit considérablement les hallucinations visuelles. Dans les scénarios de récupération incorrecte, EVisRAG montre une augmentation contrôlée de l'abstention (refus de répondre) plutôt que de générer des réponses erronées, indiquant une meilleure fidélité au contenu récupéré.
Études d'Ablation :
- Remplacer le CoT générique par un raisonnement guidé par les preuves produit des gains constants, prouvant la valeur de la localisation structurée des preuves.
- RS-GRPO surpasse DAPO et StepGRPO, confirmant que l'attribution du crédit par portée est critique pour la performance.
Analyse de l'Attention : EVisRAG atteint le ratio d'attention des preuves visuelles le plus élevé (concentration sur les boîtes de preuves annotées par l'humain) parmi les méthodes comparées, ce qui est fortement corrélé à une plus grande précision du raisonnement.
Efficacité : Malgré la génération multi-étapes, EVisRAG maintient une latence d'inférence compétitive (environ 100s) et une longueur de sortie maîtrisée, surpassant des baselines comme R1-Router qui engendrent des coûts computationnels plus élevés pour une précision similaire ou moindre.

Signification

L'article affirme que la collecte explicite de preuves et la conception de récompenses par portée sont des mécanismes efficaces pour améliorer l'ancrage visuel et la fiabilité du raisonnement dans les contextes multi-images. En découplant la perception du raisonnement et en appliquant une supervision ciblée, EVisRAG s'attaque aux causes profondes des hallucinations visuelles dans le VRAG. Ce travail démontre qu'un modèle de 7B équipé de ce cadre peut excéder les performances de modèles nettement plus grands, offrant une voie pratique et scalable vers des systèmes de génération augmentée par récupération visuelle plus fiables, interprétables et résistants aux hallucinations.