💬 NLP

Chain of Evidence: Pixel-Level Visual Attribution for Iterative Retrieval-Augmented Generation

L'article présente la Chaîne de Preuves (CoE), un cadre indépendant du récupérateur qui exploite les modèles vision-langage pour permettre une attribution visuelle au niveau du pixel dans la Génération Augmentée par Récupération Itérative, surmontant ainsi les limites du parsing uniquement textuel en raisonnant directement sur des captures d'écran de documents afin de fournir des citations de boîtes englobantes précises et de préserver les informations essentielles de mise en page visuelle.

Auteurs originaux : Peiyang Liu, Ziqiang Cui, Xi Wang, Di Liang, Wei Ye

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Peiyang Liu, Ziqiang Cui, Xi Wang, Di Liang, Wei Ye

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre une énigme complexe. Autrefois, vous deviez parcourir des centaines de pages de rapports dactylographiés pour trouver les indices. Si le rapport indiquait : « Le suspect était à Paris », vous deviez vous fier à cette information. Mais que se passerait-il si le rapport était en réalité un dépliant désordonné contenant une carte, une photo d'un billet de train et une note manuscrite ? Si vous vous contentiez de transcrire les mots de ce dépliant, vous perdriez la carte et la photo, et vous n'auriez aucune idée de où sur la page se cachait l'indice.

C'est le problème que les auteurs de cet article résolvent avec un nouveau système appelé Chaîne de Preuve (CoE).

Le Problème : La « Photocopie Floue »

Les systèmes d'IA actuels qui répondent à des questions (appelés Génération Augmentée par Récupération, ou RAG) fonctionnent généralement ainsi :

Vous posez une question.
L'IA trouve des documents.
Elle élimine toutes les images, graphiques et mises en page élaborées, transformant tout en texte brut (comme une photocopie floue).
Elle vous donne une réponse et déclare : « J'ai trouvé cela dans le Document A ».

Le Piège : Si le Document A est une présentation avec un graphique ou un PDF contenant un tableau complexe, le convertir en texte brut détruit la logique. C'est comme essayer de comprendre une recette en ne lisant que la liste des ingrédients, tout en ignorant les images montrant comment les mélanger. De plus, lorsque l'IA dit « Document A », elle ne vous indique pas quelle partie de ce document contient la réponse. Vous devez parcourir manuellement 50 pages pour trouver la phrase spécifique. C'est le « Goulot d'étranglement de la Vérification ».

La Solution : Le « Détective au Niveau des Pixels »

Les auteurs proposent la Chaîne de Preuve (CoE), qui change la donne en traitant les documents comme des images (captures d'écran) plutôt que comme de simples textes.

Pensez à la CoE comme à un détective qui ne se contente pas de lire le rapport, mais qui examine la photo originale, non modifiée du document.

Plus de Suppression : Elle ne convertit pas d'abord le document en texte. Elle examine la capture d'écran, en conservant tous les graphiques, flèches et la mise en page intacts.
Le « Surligneur Magique » : Au lieu de simplement dire « C'est dans le Document 3 », la CoE dessine un cadre précis (une boîte englobante) autour de l'endroit exact sur l'image où se trouve la réponse. Elle pointe directement vers le chiffre spécifique dans un graphique ou la ligne précise dans un paragraphe.
La Chaîne : Pour les questions complexes nécessitant plusieurs étapes (par exemple : « Qui a réalisé le film et où a-t-il fait ses études ? »), la CoE construit une chaîne visuelle. Elle vous montre : « Étape 1 : Regardez cette boîte sur le Document A pour trouver le réalisateur. Étape 2 : Regardez cette boîte sur le Document B pour trouver l'école. »

Comment Ils L'Ont Testé

Pour prouver que cela fonctionne, l'équipe a construit deux nouveaux « terrains d'entraînement » (ensembles de données) :

Wiki-CoE : Une vaste collection de pages Wikipédia converties en captures d'écran. Ils ont pris des questions nécessitant de sauter entre plusieurs pages et ont appris à l'IA à trouver l'endroit visuel exact de la réponse.
SlideVQA : Une collection de diapositives de présentation avec des mises en page désordonnées, des flèches et des diagrammes complexes. C'est le test en « mode difficile » car les systèmes basés sur le texte échouent généralement ici.

Les Résultats : Pourquoi Cela Compte

L'article montre que la CoE est un changement de paradigme, en particulier pour les documents qui ne sont pas de simples textes :

Elle est plus intelligente sur le « Où » : Sur des diapositives complexes, les systèmes d'IA standards qui reposent sur le texte se perdent souvent. La CoE, en examinant la mise en page visuelle, a identifié les preuves beaucoup plus souvent et correctement.
Elle est Fiable : Parce que la CoE dessine un cadre autour de la preuve, vous pouvez vérifier instantanément la réponse. Vous n'avez pas à deviner ; vous pouvez voir la preuve directement sur l'écran.
Elle N'a Pas Besoin d'un Moteur de Recherche Spécifique : La CoE fonctionne avec n'importe quel outil de recherche qui trouve des documents. Elle prend simplement les 5 meilleurs résultats (sous forme d'images) et déduit la logique.

L'Essentiel

Les auteurs soutiennent que pour que l'IA soit véritablement fiable, en particulier avec des documents complexes comme des rapports, des diapositives et des graphiques, elle doit « voir » le document, et non se contenter de « lire » une version textuelle. La Chaîne de Preuve transforme l'IA en un détective visuel capable de pointer directement du doigt la vérité, rendant le processus de raisonnement transparent et facile à vérifier pour les humains.

En bref : Au lieu de vous donner une référence vague à un livre, la CoE vous remet le livre, l'ouvre à la page exacte et dessine un cercle autour de la phrase dont vous avez besoin.

Résumé technique : Chaîne de preuves (CoE) pour la génération augmentée par récupération itérative

1. Énoncé du problème

La génération augmentée par récupération itérative (iRAG) est devenue un paradigme pour répondre à des questions complexes multi-sauts en récupérant et en raisonnant progressivement sur des documents externes. Cependant, les systèmes iRAG actuels font face à trois goulots d'étranglement critiques lorsqu'ils opèrent sur des documents réels riches visuellement (par exemple, PDF, diapositives, rapports web) :

Le goulot d'étranglement de la vérification : Les systèmes existants fournissent des citations grossières au niveau du texte (par exemple, "[Source : Doc-1]"). Dans les scénarios multi-sauts, cela force les utilisateurs à parcourir manuellement des documents longs pour localiser des phrases de soutien spécifiques, créant une charge cognitive élevée.
Perte d'information lors de la conversion en texte : La conversion de documents riches visuellement en texte linéaire via l'OCR ou l'analyse syntaxique détruit la logique spatiale et les indices de mise en page (par exemple, tendances des graphiques, flux de diagrammes, hiérarchies de diapositives). Pour de nombreux documents, la preuve réside dans la relation visuelle entre les éléments, et non seulement dans le texte, rendant les citations basées sur le texte fondamentalement insuffisantes.
Chaînes de raisonnement opaques : Les utilisateurs manquent de visibilité sur la trajectoire des décisions. Les méthodes actuelles ne visualisent pas la « chaîne de preuves » — comment un élément de preuve intermédiaire guide la sélection du document suivant dans une trajectoire multi-sauts.

2. Méthodologie : Chaîne de preuves (CoE)

Pour remédier à ces limitations, les auteurs proposent la Chaîne de preuves (CoE), un cadre d'attribution visuelle indépendant du récupérateur qui opère directement sur des captures d'écran de documents plutôt que sur du texte analysé.

Architecture centrale

Paradigme axé sur le visuel : CoE contourne les pipelines d'analyse syntaxique de texte fragiles. Il prend un ensemble de captures d'écran de documents candidats (provenant d'un récupérateur en amont) et les traite comme des images ( $d^{vis}_i \in \mathbb{R}^{H \times W \times 3}$ ).
Conception indépendante du récupérateur : Le cadre suppose un récupérateur générique en amont renvoyant un ensemble de $k$ meilleurs candidats. CoE se concentre sur la sélection, l'ordonnancement et l'ancrage des preuves au sein de ces candidats sans introduire de paramètres spécifiques au récupérateur.
Format de sortie : Au lieu de citations textuelles, CoE produit une chaîne de preuves structurée composée de :
- Identifiants d'images de candidats sélectionnés.
- Boîtes englobantes précises $[(x_1, y_1), (x_2, y_2)]$ pointant vers les régions de preuve (paragraphes de texte, cellules de tableau, diagrammes).
- Sous-requêtes en langage naturel ou pensées de raisonnement pour chaque saut.
Processus de génération : Le modèle effectue un seul passage autorégressif pour générer la chaîne de preuves complète, mappant la requête et les captures d'écran candidates vers une réponse et une séquence de tuples $(document, \text{boîtes englobantes}, \text{raisonnement})$ .

Stratégie d'entraînement

Les auteurs emploient une stratégie d'apprentissage par curriculum en deux phases utilisant le modèle Qwen3-VL-8B-Instruct :

Phase I (Saut unique) : Se concentre sur l'établissement de capacités d'ancrage visuel en entraînant le modèle à localiser des preuves dans une seule image.
Phase II (Multi-sauts) : Introduit la génération de chaînes de preuves multi-sauts sur les 5 meilleures captures d'écran candidates, en démarrant à chaud à partir du point de contrôle de la Phase I.

Augmentation des données : Pour assurer la robustesse, l'entraînement intègre une augmentation spatiale (recadrage, translation), une variation de résolution (gestion de différentes densités visuelles) et une permutation des preuves (découplage de l'ordre de présentation de l'ordre de raisonnement logique).

3. Jeux de données et évaluation

Pour évaluer rigoureusement CoE à travers différents niveaux de complexité visuelle, les auteurs introduisent une stratégie de double benchmark :

Wiki-CoE : Un jeu de données à grande échelle dérivé de 2WikiMultiHopQA, contenant 70 418 questions multi-sauts. Il présente des captures d'écran haute fidélité de pages Wikipédia avec des annotations de boîtes englobantes pour des mises en page structurées (tableaux, infobox).
SlideVQA : Un jeu de données difficile de diapositives de présentation comportant des diagrammes complexes, des mises en page libres et des graphiques où l'agencement spatial est sémantiquement crucial.

Métriques d'évaluation :

Précision de la réponse (EM) : Correspondance exacte pour la réponse générée.
Précision de la localisation des preuves (Loc-Acc) : Une métrique conjointe exigeant la sélection correcte de l'image candidate et un chevauchement de boîte englobante (IoU $\ge$ 0,3) avec la vérité terrain.
Précision de la chaîne de raisonnement (Chain-Acc) : Vérifie si la séquence ordonnée des documents sélectionnés correspond au chemin de raisonnement de référence.

4. Résultats clés

Les expériences démontrent que CoE surpasse significativement les bases de référence textuelles et les modèles vision-langage (VLM) en zéro-shot, en particulier dans les scénarios nécessitant une compréhension de la mise en page visuelle.

Performance sur Wiki-CoE : CoE-8B atteint 82,3 % d'EM, 94,4 % de Chain-Acc et 80,4 % de Loc-Acc. Bien que les VLM généraux (par exemple, GPT-5) atteignent une précision de réponse compétitive, la qualité de leur attribution est nettement plus faible (par exemple, GPT-5 n'atteint que 31,7 % de Loc-Acc).
Performance sur SlideVQA : L'avantage de l'approche axée sur le visuel est ici le plus prononcé. Les bases de référence textuelles échouent en raison de la perte d'information de mise en page. CoE-8B atteint 58,8 % d'EM, 87,5 % de Chain-Acc et 61,0 % de Loc-Acc. En revanche, Qwen3-VL-235B en zéro-shot chute à 6,8 % de Loc-Acc, et les bases de référence OCR textuelles peinent considérablement avec les diapositives riches en diagrammes.
Impact de la complexité visuelle : Sur les diapositives avec des organigrammes et des graphiques de données, CoE surpasse les méthodes basées sur l'OCR avec des marges allant jusqu'à 28,1 % en précision, prouvant que l'attribution visuelle est une nécessité, et non simplement une amélioration, pour les structures d'information non linéaires.
Études d'ablation :
- Apprentissage par curriculum : Supprimer la phase de pré-entraînement à saut unique entraîne des baisses significatives de Loc-Acc (par exemple, -7,3 points sur Wiki-CoE), confirmant que l'ancrage isolé est une condition préalable au raisonnement multi-sauts.
- Résolution : Une entrée haute résolution (1536×1536) est critique ; réduire la résolution à 512×512 provoque une chute catastrophique des performances, en particulier pour le texte fin dans les infobox.
- Modalité : Une base de référence uniquement textuelle (utilisant l'OCR) présente un écart de performance d'environ 26 points sur Wiki-CoE et 22 points sur SlideVQA par rapport au modèle visuel, validant que la structure visuelle est le principal vecteur d'information logique dans ces contextes.

5. Signification et revendications

L'article revendique que la Chaîne de preuves (CoE) représente un changement de paradigme dans l'iRAG en passant d'une analyse syntaxique de texte fragile à un raisonnement visuel robuste.

Ancrage visuel comme nécessité de raisonnement : Les auteurs soutiennent que pour les documents complexes, la modalité visuelle n'est pas simplement une fonctionnalité d'interprétabilité mais une exigence fondamentale pour le raisonnement. La logique spatiale dépasse souvent le texte linéaire, et son abandon conduit à des hallucinations et des réponses invérifiables.
Résolution du goulot d'étranglement de la vérification : En fournissant des boîtes englobantes au niveau du pixel et en visualisant la chaîne de raisonnement complète, CoE offre un mécanisme de vérification visuelle immédiat. Cela permet aux utilisateurs d'auditer pourquoi une réponse a été générée, répondant à l'opacité des systèmes iRAG actuels.
Interprétabilité indépendante du récupérateur : CoE établit une solution pour l'iRAG interprétable au niveau du pixel compatible avec n'importe quel récupérateur en amont (lexicale, dense, hybride ou visuelle), découplant les capacités de raisonnement et d'attribution du mécanisme de récupération.
IA digne de confiance : Ce travail fournit un modèle pour la prochaine génération de systèmes d'IA vérifiables, en particulier pour les domaines à haut risque où l'attribution des sources et la transparence du raisonnement sont essentielles.

Les auteurs concluent que leur travail remet en question la vision centrée sur le texte prédominante de la récupération d'information, démontrant que la préservation des sémantiques visuelles est cruciale pour un raisonnement multi-sauts digne de confiance et interprétable.