💬 NLP

Chain of Evidence: Pixel-Level Visual Attribution for Iterative Retrieval-Augmented Generation

Het artikel introduceert Chain of Evidence (CoE), een retriever-agnostisch raamwerk dat Vision-Language-modellen benut om pixel-level visuele attributie mogelijk te maken in Iteratieve Retrieval-Augmented Generation, en zo de beperkingen van alleen tekstgebaseerde parsing overwint door direct te redeneren op document-screenshots om nauwkeurige bounding box-citaties te leveren en essentiële visuele lay-outinformatie te behouden.

Oorspronkelijke auteurs: Peiyang Liu, Ziqiang Cui, Xi Wang, Di Liang, Wei Ye

Gepubliceerd 2026-05-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Peiyang Liu, Ziqiang Cui, Xi Wang, Di Liang, Wei Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert een complex mysterie op te lossen. In het verleden moest je honderden pagina's vol getypte rapporten doorbladeren om de aanwijzingen te vinden. Als het rapport zei: "De verdachte was in Parijs", dan moest je dat geloven. Maar wat als het rapport eigenlijk een rommelige flyer was met een kaart, een foto van een treinkaartje en een handgeschreven notitie? Als je gewoon de woorden van die flyer overtypde, zou je de kaart en de foto verliezen, en zou je geen idee hebben waar op de pagina de aanwijzing zich verstopte.

Dit is het probleem dat de auteurs van dit artikel oplossen met een nieuw systeem genaamd Chain of Evidence (CoE).

Het Probleem: De "Vage Fotokopie"

Huidige AI-systemen die vragen beantwoorden (zogenaamde Retrieval-Augmented Generation, of RAG) werken meestal als volgt:

Je stelt een vraag.
De AI vindt enkele documenten.
Het verwijdert alle afbeeldingen, grafieken en opvallende lay-outs en verandert alles in platte tekst (zoals een vage fotokopie).
Het geeft je een antwoord en zegt: "Ik heb dit gevonden in Document A."

De Vangst: Als Document A een presentatie is met een grafiek of een PDF met een complexe tabel, vernietigt het omzetten naar platte tekst de logica. Het is alsof je probeert een recept te begrijpen door alleen de lijst met ingrediënten te lezen, maar de afbeeldingen van hoe je ze moet mengen negeert. Bovendien, wanneer de AI zegt "Document A", vertelt het je niet welk deel van dat document het antwoord bevat. Je moet handmatig door 50 pagina's scrollen om de specifieke zin te vinden. Dit is de "Verificatieknelpunt".

De Oplossing: De "Pixel-gebaseerde Detective"

De auteurs stellen Chain of Evidence (CoE) voor, wat het spel verandert door documenten te behandelen als afbeeldingen (screenshots) in plaats van alleen tekst.

Stel je CoE voor als een detective die niet alleen het rapport leest, maar kijkt naar de originele, onbewerkte foto van het document.

Geen Verwijdering Meer: Het converteert het document niet eerst naar tekst. Het kijkt naar de screenshot, waarbij alle grafieken, pijlen en lay-outs intact blijven.
De "Magische Markeerstift": In plaats van alleen te zeggen "Het zit in Document 3", tekent CoE een precies kader (een bounding box) om de exacte plek op de afbeelding waar het antwoord zich bevindt. Het wijst direct naar het specifieke getal in een grafiek of de specifieke regel in een alinea.
De Keten: Voor complexe vragen die meerdere stappen vereisen (bijvoorbeeld: "Wie regisseerde de film, en waar ging hij naar school?"), bouwt CoE een visuele keten op. Het laat je zien: "Stap 1: Kijk naar dit kader in Document A om de regisseur te vinden. Stap 2: Kijk naar dit kader in Document B om de school te vinden."

Hoe Ze Het Testten

Om te bewijzen dat dit werkt, bouwde het team twee nieuwe "trainingsvelden" (datasets):

Wiki-CoE: Een enorme verzameling Wikipedia-pagina's omgezet in screenshots. Ze namen vragen die het overspringen tussen meerdere pagina's vereisen en leerden de AI de exacte visuele plek voor het antwoord te vinden.
SlideVQA: Een verzameling presentatiedia's met rommelige lay-outs, pijlen en complexe diagrammen. Dit is de "harde modus"-test, omdat tekstgebaseerde systemen hier meestal falen.

De Resultaten: Waarom Het Belangrijke Is

Het artikel toont aan dat CoE een game-changer is, vooral voor documenten die niet alleen platte tekst zijn:

Het Is Slimmer in "Waar": Op complexe dia's raken standaard AI-systemen die vertrouwen op tekst vaak de weg kwijt. CoE, door naar de visuele lay-out te kijken, identificeerde het bewijs veel vaker correct.
Het Is Betrouwbaar: Omdat CoE een kader om het bewijs trekt, kun je het antwoord direct verifiëren. Je hoeft niet te raden; je kunt het bewijs direct op het scherm zien.
Het Heeft Geen Specifieke Zoekmachine Nodig: CoE werkt met elke zoektool die documenten vindt. Het neemt gewoon de top 5 resultaten (als afbeeldingen) en werkt de logica uit.

De Conclusie

De auteurs betogen dat AI pas echt betrouwbaar is, vooral bij complexe documenten zoals rapporten, dia's en grafieken, als het het document kan "zien" en niet alleen een tekstversie ervan kan "lezen". Chain of Evidence verandert de AI in een visuele detective die direct met de vinger naar de waarheid kan wijzen, waardoor het redeneerproces transparant wordt en gemakkelijk te controleren is voor mensen.

Kortom: In plaats van je een vaag verwijzing naar een boek te geven, geeft CoE je het boek, opent het op de exacte pagina en tekent een cirkel om de zin die je nodig hebt.

Technische Samenvatting: Bewijsketen (CoE) voor Iteratieve Retrieval-Augmented Generation

1. Probleemstelling

Iteratieve Retrieval-Augmented Generation (iRAG) is ontstaan als een paradigma voor het beantwoorden van complexe meerhop-vragen door progressief externe documenten op te halen en daarover te redeneren. Echter, huidige iRAG-systemen staan voor drie kritieke knelpunten bij het werken met real-world, visueel rijke documenten (bijv. PDF's, presentaties, webrapporten):

Het Verificatieknelpunt: Bestaande systemen bieden grofkorrelige, tekstniveau-citaties (bijv. "[Bron: Doc-1]"). In meerhop-scenario's dwingt dit gebruikers om handmatig lange documenten te scannen om specifieke ondersteunende zinnen te vinden, wat een hoge cognitieve belasting creëert.
Informatieverlies bij Tekstconversie: Het converteren van visueel rijke documenten naar lineaire tekst via OCR of parsing vernietigt ruimtelijke logica en lay-outaanwijzingen (bijv. charttrends, diagramstromen, presentatiehiërarchieën). Voor veel documenten bestaat het bewijs in de visuele relatie tussen elementen, niet alleen in de tekst, waardoor tekstgebaseerde citaties fundamenteel ontoereikend zijn.
Ondoorzichtige Redeneerketens: Gebruikers hebben geen zicht op de trajecten van beslissingen. Huidige methoden visualiseren niet de "bewijsketen" – hoe een tussentijds bewijsstuk de selectie van het volgende document in een meerhop-traject stuurt.

2. Methodologie: Bewijsketen (CoE)

Om deze beperkingen aan te pakken, stellen de auteurs Chain of Evidence (CoE) voor, een retriever-agnostisch visueel attributiekader dat direct werkt op documentscreenshots in plaats van geparsed tekst.

Kernarchitectuur

Visueel Eerst-Paradigma: CoE omzeilt breekbare tekst-parsingpijplijnen. Het neemt een set kandidaat-documentscreenshots (van een upstream-retriever) en verwerkt deze als afbeeldingen ( $d^{vis}_i \in \mathbb{R}^{H \times W \times 3}$ ).
Retriever-Agnostisch Ontwerp: Het kader gaat uit van een generieke upstream-retriever die een top- $k$ kandidaatset retourneert. CoE richt zich op het selecteren, ordenen en verankeren van bewijs binnen deze kandidaten zonder retriever-specifieke parameters in te voeren.
Outputformaat: In plaats van tekstcitaties, geeft CoE een gestructureerde bewijsketen uit bestaande uit:
- Geselecteerde kandidaat-afbeeldingsidentificatoren.
- Precieze omhullende rechthoeken $[(x_1, y_1), (x_2, y_2)]$ die bewijsregio's aanduiden (tekstparagrafen, tabelcellen, diagrammen).
- Natuurlijke taal sub-vragen of redeneergedachten voor elke hop.
Generatieproces: Het model voert een enkele autoregressieve doorgang uit om de volledige bewijsketen te genereren, waarbij de query en kandidaat-screenshots worden gemapt naar een antwoord en een reeks $(document, \text{omhullende rechthoeken}, \text{redenering})$ -tupels.

Trainingsstrategie

De auteurs maken gebruik van een twee-fase curriculum learning-strategie met het Qwen3-VL-8B-Instruct-model:

Fase I (Enkelhop): Richt zich op het vestigen van visuele verankeringscapaciteiten door het model te trainen om bewijs in één afbeelding te lokaliseren.
Fase II (Meerhop): Introduceert meerhop-bewijsketengeneratie over top-5 kandidaat-screenshots, warm-startend vanaf het checkpoint van Fase I.

Data-Augmentatie: Om robuustheid te waarborgen, omvat de training ruimtelijke augmentatie (bijsnijden, translatie), resolutievariatie (omgaan met verschillende visuele dichtheden) en bewijspermutatie (het ontkoppelen van presentatievolgorde van logische redeneervolgorde).

3. Datasets en Evaluatie

Om CoE rigoureus te evalueren over verschillende niveaus van visuele complexiteit, introduceren de auteurs een dual-benchmarkstrategie:

Wiki-CoE: Een grootschalige dataset afgeleid van 2WikiMultiHopQA, met 70.418 meerhop-vragen. Deze bevat hoogwaardige screenshots van Wikipedia-pagina's met annotaties van omhullende rechthoeken voor gestructureerde lay-outs (tabellen, infoboxen).
SlideVQA: Een uitdagende dataset van presentatiedia's met complexe diagrammen, vrij-vorm lay-outs en grafieken waarbij de ruimtelijke rangschikking semantisch cruciaal is.

Evaluatiemetrics:

Antwoordnauwkeurigheid (EM): Exacte Overeenkomst voor het gegenereerde antwoord.
Bewijslokaliseringsnauwkeurigheid (Loc-Acc): Een gezamenlijke metric die de juiste selectie van kandidaat-afbeeldingen vereist en een overlap van de omhullende rechthoek (IoU $\ge$ 0,3) met de ground truth.
Redeneerketennauwkeurigheid (Chain-Acc): Verifieert of de geordende reeks geselecteerde documenten overeenkomt met het gouden redeneerpad.

4. Belangrijkste Resultaten

Experimenten tonen aan dat CoE significant beter presteert dan tekstgebaseerde baselines en zero-shot Vision-Language Models (VLM's), met name in scenario's die visuele lay-outbegrip vereisen.

Prestaties op Wiki-CoE: CoE-8B bereikt 82,3% EM, 94,4% Chain-Acc en 80,4% Loc-Acc. Hoewel algemene VLM's (bijv. GPT-5) concurrerende antwoordnauwkeurigheid bereiken, is hun attributiekwaliteit aanzienlijk zwakker (bijv. bereikt GPT-5 slechts 31,7% Loc-Acc).
Prestaties op SlideVQA: Het voordeel van de visueel-eerst-aanpak is hier het meest uitgesproken. Tekstgebaseerde baselines falen door verlies van lay-outinformatie. CoE-8B bereikt 58,8% EM, 87,5% Chain-Acc en 61,0% Loc-Acc. Daarentegen daalt zero-shot Qwen3-VL-235B naar 6,8% Loc-Acc, en tekstgebaseerde OCR-baselines worstelen aanzienlijk met dia's met veel diagrammen.
Impact van Visuele Complexiteit: Op dia's met stroomdiagrammen en datagrafieken presteert CoE OCR-gebaseerde methoden met marges tot 28,1% in nauwkeurigheid, wat bewijst dat visuele attributie een noodzaak is, niet slechts een verbetering, voor niet-lineaire informatiestructuren.
Ablatiestudies:
- Curriculum Learning: Het verwijderen van de enkelhop-voortrainingsfase veroorzaakt significante dalingen in Loc-Acc (bijv. -7,3 punten op Wiki-CoE), wat bevestigt dat geïsoleerde verankering een voorwaarde is voor meerhop-redenering.
- Resolutie: Invoer met hoge resolutie (1536×1536) is kritiek; het verminderen van de resolutie naar 512×512 veroorzaakt een catastrofale daling in prestaties, vooral voor fijnkorrelige tekst in infoboxen.
- Modaal: Een tekst-only baseline (met OCR) vertoont een prestatiekloof van ongeveer 26 punten op Wiki-CoE en ongeveer 22 punten op SlideVQA in vergelijking met het visuele model, wat valideert dat visuele structuur de primaire drager is van logische informatie in deze contexten.

5. Betekenis en Claims

Het artikel stelt dat Chain of Evidence (CoE) een paradigma-verschuiving in iRAG vertegenwoordigt door over te stappen van breekbare tekstparsing naar robuust visueel redeneren.

Visuele Verankering als Redeneernoodzaak: De auteurs betogen dat voor complexe documenten de visuele modus niet louter een interpreteerbaarheidsfunctie is, maar een fundamentele vereiste voor redenering. Ruimtelijke logica gaat vaak lineaire tekst voorbij, en het weggooien ervan leidt tot hallucinaties en niet-verifieerbare antwoorden.
Oplossen van het Verificatieknelpunt: Door pixel-niveau omhullende rechthoeken te bieden en de volledige redeneerketen te visualiseren, biedt CoE een onmiddellijk visueel verificatiemechanisme. Dit stelt gebruikers in staat om te auditeren waarom een antwoord is gegenereerd, waardoor de ondoorzichtigheid van huidige iRAG-systemen wordt aangepakt.
Retriever-Agnostische Interpreteerbaarheid: CoE vestigt een oplossing voor pixel-niveau interpreteerbare iRAG die compatibel is met elke upstream-retriever (lexicaal, dicht, hybride of visueel), waardoor de redeneer- en attributiemogelijkheden worden ontkoppeld van het ophaalmechanisme.
Betrouwbare AI: Het werk biedt een blauwdruk voor de volgende generatie verifieerbare AI-systemen, met name voor hoog-risicodomeinen waar bronattributie en transparantie van redenering essentieel zijn.

De auteurs concluderen dat hun werk de heersende tekstgerichte visie op informatierecherche uitdaagt, en aantoont dat het behoud van visuele semantiek cruciaal is voor betrouwbare en interpreteerbare meerhop-redenering.