Résumé Technique : Quand le RAG fait mal : Diagnostiquer et atténuer la distraction de l'attention dans les LVLM avec RAG

Définition du Problème

Bien que la Génération Augmentée par Récupération (RAG) soit un paradigme dominant pour améliorer les Grands Modèles Vision-Langage (LVLM) sur les tâches de Questions-Réponses Visuelles basées sur la connaissance (KB-VQA), des observations récentes indiquent que le RAG n'améliore pas universellement les performances. Plus précisément, l'article identifie un mode d'échec distinct nommé Distraction de l'Attention (AD - Attention Distraction), où l'introduction d'un contexte textuel récupéré provoque l'échec des LVLM sur des questions qu'ils pouvaient auparavant répondre correctement en mode "livre fermé" (closed-book), même lorsque l'information récupérée est exacte et hautement pertinente.

Les auteurs diagnostiquent l'AD comme une mauvaise allocation systématique de l'attention lors du processus de génération multimodale, caractérisée par deux phénomènes spécifiques :

1. Distraction de l'Attention Cross-Modale : Le contexte récupéré supprime activement l'attention globale allouée aux jetons (tokens) de l'image. Par rapport à l'inférence en mode livre fermé, le modèle déplace son attention de la modalité visuelle vers la modalité textuelle, réduisant le ratio d'attention de l'image de 12,1 % à 41,1 %.
2. Distraction de l'Attention Intra-Image : Même au sein de la modalité visuelle, l'attention se détourne des régions pertinentes pour la question vers des zones d'arrière-plan ou des zones sémantiquement non pertinentes. Cela se produit parce que le texte récupéré perturbe la capacité du modèle à ancrer son raisonnement dans des preuves visuelles spécifiques.

L'article soutient que les travaux précédents attribuant les échecs du RAG à une attention insuffisante au contexte (et proposant d'augmenter l'attention textuelle) négligent cette interdépendance intrinsèque. Augmenter simplement l'attention aux jetons de contexte ne parvient pas à traiter le problème de fond : la suppression de l'ancrage visuel par le contexte récupéré.

Méthodologie : MAD-RAG

Pour traiter la distraction de l'attention, les auteurs proposent MAD-RAG (Mitigating Attention Distraction in Retrieval-Augmented Generation for LVLMs). Il s'agit d'une intervention sans entraînement, au moment de l'inférence, conçue pour découpler l'ancrage visuel de l'intégration du contexte. La méthode se compose de deux composantes principales :

1. Formulation de Double-Question

Les entrées RAG standard suivent la structure $[I, Q, C]$ (Image, Question, Contexte). Les auteurs observent que dans ce format, les jetons de la question agissent comme des requêtes pour l'attention visuelle mais sont isolés du contexte récupéré en raison du masquage causal, créant un goulot d'étranglement informationnel.
MAD-RAG restructure l'entrée en $[I, Q_I, C, Q_C]$, où :

• $Q_I$ (jetons de l'image-question) sont ajoutés immédiatement après les jetons de l'image, forçant le modèle à prioriser l'ancrage visuel avant de voir le contexte.
• $Q_C$ (jetons du contexte-question) sont ajoutés après les documents récupérés, permettant au modèle d'intégrer des connaissances externes.
  Ce découpage garantit que le modèle forme une référence visuelle fiable avant d'incorporer l'information externe, réduisant ainsi l'interférence cross-modale.

2. Mélange d'Attention pour la Préservation de l'Ancrage Visuel

Malgré la structure de double-question, les contextes récupérés longs peuvent encore induire un "biais de récence", causant le fait que le modèle porte une attention disproportionnée au texte par rapport aux jetons d'image distants. Pour contrer cela, MAD-RAG introduit un mécanisme de mélange d'attention.
À chaque couche du transformeur, les poids d'attention des jetons de la question de contexte ($Q_C$) sont modifiés par l'injection des poids d'attention ancrés sur l'image dérivés des jetons de la question d'image ($Q_I$). La sortie d'attention mélangée $\hat{O}(Q_C)$ est calculée comme une combinaison convexe :
$$\hat{O}(Q_C) = \alpha \cdot O(Q_I) + (1 - \alpha) \cdot O(Q_C)$$
où $\alpha \in [0, 1]$ est un poids de mélange. Cette opération préserve explicitement l'ancrage visuel établi par $Q_I$ au sein de la phase d'intégration du contexte de $Q_C$, garantissant que le raisonnement reste focalisé sur les régions de l'image pertinentes pour la question.

Principales Contributions

L'article présente trois contributions majeures :

1. Caractérisation de la Distraction de l'Attention (AD) : Les auteurs identifient et définissent l'AD comme un mode d'échec distinct dans les LVLM avec RAG, comprenant à la fois la suppression cross-modale de l'attention visuelle et la dérive de l'attention intra-image. Ils démontrent que cette dégradation provient d'une dynamique d'attention inappropriée pendant la génération, indépendamment de la qualité de la récupération.
2. Analyse Empirique : À travers une analyse approfondie des cartes de chaleur de l'attention et des ratios d'attention par jeton, l'article fournit la preuve que l'AD provient de l'interaction entre l'augmentation par récupération et les dynamiques d'attention autorégressives lors de l'inférence multimodale à long contexte.
3. Cadre MAD-RAG : Les auteurs introduisent une méthode simple, efficace et sans entraînement qui aligne robustement l'attention visuelle avec la question. La méthode ne nécessite aucun réentraînement, aucune modification du récupérateur et n'entraîne qu'un surcoût computationnel négligeable.

Résultats Expérimentaux

Les auteurs ont évalué MAD-RAG sur trois benchmarks de KB-VQA : OK-VQA, E-VQA et InfoSeek, sur plusieurs familles de LVLM (LLaVA-1.5, Qwen2.5-VL).

• Gains de Performance : MAD-RAG surpasse systématiquement le RAG classique et les bases existantes (y compris les méthodes orientées RAG comme CAD, AdaCAD, ALFAR et les méthodes de mitigation d'hallucination comme DoLA, VCD).
  • Les améliorations absolues par rapport au RAG classique ont atteint jusqu'à 4,76 % sur OK-VQA, 9,20 % sur E-VQA et 6,18 % sur InfoSeek.
• Récupération des Modes d'Échec : La méthode cible spécifiquement les cas d'échec "Livre fermé Correct, RAG Incorrect". MAD-RAG a rectifié jusqu'à 74,68 % de ces cas de distraction d'attention sur OK-VQA, avec des taux de récupération élevés similaires sur les autres jeux de données.
• Robustesse : La méthode a démontré sa robustesse face à des longueurs de contexte et des qualités de récupération variables (récupérateurs oracle et du monde réel). Elle a maintenu ses gains de performance même lorsque la longueur du contexte augmentait, là où les méthodes de base se dégradaient souvent.
• Efficacité : MAD-RG introduit un surcoût négligeable, augmentant le temps d'inférence de seulement 9 à 11 % par rapport au RAG classique. En revanche, d'autres méthodes de calibration (ex: CAD, OPERA) augmentent la latence par un facteur 3 ou plus.

Signification et Revendications

L'article affirme que la Distraction de l'Attention est un problème fondamental dans le RAG multimodal qui a été négligé jusqu'à présent. La signification de MAD-RAG réside dans sa capacité à stabiliser l'ancrage visuel sans nécessiter de réentraînement coûteux ou de changements architecturaux complexes.

Les auteurs soulignent que leur approche traite la cause profonde des échecs induits par le RAG dans les scénarios où le modèle possède la connaissance interne correcte mais est induit en erreur par la présence de texte récupéré. En restaurant l'équilibre entre les preuves visuelles et le contexte externe, MAD-RAG permet aux LVLM de tirer parti de l'augmentation par récupération sans sacrifier les capacités de raisonnement visuel essentielles aux tâches de KB-VQA. Ce travail suggère que les futurs systèmes RAG pour les modèles vision-langage doivent explicitement gérer les dynamiques d'attention pour éviter la suppression des preuves visuelles par le contexte textuel.