💬 NLP

Chain of Evidence: Pixel-Level Visual Attribution for Iterative Retrieval-Augmented Generation

Das Papier stellt Chain of Evidence (CoE) vor, ein retriever-agnostisches Framework, das Vision-Language-Modelle nutzt, um eine pixelgenaue visuelle Zuordnung in der iterativen retrievalgestützten Generierung zu ermöglichen und dadurch die Grenzen rein textbasierter Parsing-Verfahren zu überwinden, indem es direkt über Dokumentenscreenshots schlussfolgert, um präzise Bounding-Box-Zitationen bereitzustellen und wesentliche visuelle Layoutinformationen zu bewahren.

Ursprüngliche Autoren: Peiyang Liu, Ziqiang Cui, Xi Wang, Di Liang, Wei Ye

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Peiyang Liu, Ziqiang Cui, Xi Wang, Di Liang, Wei Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein komplexes Rätsel zu lösen. In der Vergangenheit mussten Sie durch hunderte Seiten getippter Berichte lesen, um die Hinweise zu finden. Wenn im Bericht stand: „Der Verdächtige war in Paris", mussten Sie dem glauben. Aber was, wenn der Bericht eigentlich ein unordentliches Flugblatt mit einer Karte, einem Foto eines Zugtickets und einer handschriftlichen Notiz war? Wenn Sie die Wörter von diesem Flugblatt einfach abtippten, würden Sie die Karte und das Foto verlieren, und Sie hätten keine Ahnung, wo auf der Seite sich der Hinweis verbarg.

Dies ist das Problem, das die Autoren dieses Papiers mit einem neuen System namens Chain of Evidence (CoE) lösen.

Das Problem: Der „unscharfe Fotokopie"-Effekt

Aktuelle KI-Systeme, die Fragen beantworten (genannt Retrieval-Augmented Generation oder RAG), funktionieren normalerweise so:

Sie stellen eine Frage.
Die KI findet einige Dokumente.
Sie entfernt alle Bilder, Diagramme und aufwendigen Layouts und verwandelt alles in einfachen Text (wie eine unscharfe Fotokopie).
Sie liefert Ihnen eine Antwort und sagt: „Ich habe dies in Dokument A gefunden."

Der Haken: Wenn Dokument A eine Folienpräsentation mit einem Diagramm oder ein PDF mit einer komplexen Tabelle ist, zerstört die Umwandlung in einfachen Text die Logik. Es ist, als würde man versuchen, ein Rezept zu verstehen, indem man nur die Zutatenliste liest, aber die Bilder, wie man sie mischt, ignoriert. Darüber hinaus sagt die KI, wenn sie „Dokument A" erwähnt, nicht, welcher Teil dieses Dokuments die Antwort enthält. Sie müssen manuell durch 50 Seiten scrollen, um den spezifischen Satz zu finden. Dies ist die „Verifikations-Engstelle".

Die Lösung: Der „Pixelgenaue Detektiv"

Die Autoren schlagen Chain of Evidence (CoE) vor, das das Spiel verändert, indem es Dokumente als Bilder (Screenshots) und nicht nur als Text behandelt.

Stellen Sie sich CoE als einen Detektiv vor, der nicht nur den Bericht liest, sondern das ursprüngliche, unbearbeitete Foto des Dokuments betrachtet.

Kein Streifen mehr: Es wandelt das Dokument nicht zuerst in Text um. Es betrachtet den Screenshot und behält alle Diagramme, Pfeile und das Layout intakt.
Der „magische Textmarker": Anstatt nur zu sagen „Es ist in Dokument 3", zeichnet CoE eine präzise Box (eine Begrenzungsbox) um die genaue Stelle auf dem Bild, an der die Antwort liegt. Es zeigt direkt auf die spezifische Zahl in einem Diagramm oder die spezifische Zeile in einem Absatz.
Die Kette: Für komplexe Fragen, die mehrere Schritte erfordern (z. B. „Wer hat den Film inszeniert, und wo ging er zur Schule?"), baut CoE eine visuelle Kette auf. Es zeigt Ihnen: „Schritt 1: Schauen Sie in diese Box auf Dokument A, um den Regisseur zu finden. Schritt 2: Schauen Sie in diese Box auf Dokument B, um die Schule zu finden."

Wie sie es getestet haben

Um zu beweisen, dass dies funktioniert, entwickelte das Team zwei neue „Trainingsgelände" (Datensätze):

Wiki-CoE: Eine massive Sammlung von Wikipedia-Seiten, die in Screenshots umgewandelt wurden. Sie nahmen Fragen, die das Springen zwischen mehreren Seiten erfordern, und lehrten die KI, den genauen visuellen Ort für die Antwort zu finden.
SlideVQA: Eine Sammlung von Präsentationsfolien mit unordentlichen Layouts, Pfeilen und komplexen Diagrammen. Dies ist der Test im „schweren Modus", weil textbasierte Systeme hier normalerweise versagen.

Die Ergebnisse: Warum es wichtig ist

Das Papier zeigt, dass CoE ein Wendepunkt ist, insbesondere für Dokumente, die nicht nur reiner Text sind:

Es ist schlauer beim „Wo": Auf komplexen Folien verirren sich Standard-KI-Systeme, die sich auf Text verlassen, oft. CoE identifizierte durch Betrachtung des visuellen Layouts die Beweise viel häufiger korrekt.
Es ist vertrauenswürdig: Da CoE eine Box um den Beweis zeichnet, können Sie die Antwort sofort verifizieren. Sie müssen nicht raten; Sie können den Beweis direkt auf dem Bildschirm sehen.
Es benötigt keine spezifische Suchmaschine: CoE funktioniert mit jedem Suchtool, das Dokumente findet. Es nimmt einfach die Top-5-Ergebnisse (als Bilder) und ermittelt die Logik.

Das Fazit

Die Autoren argumentieren, dass die KI, um wirklich vertrauenswürdig zu sein, insbesondere bei komplexen Dokumenten wie Berichten, Folien und Diagrammen, das Dokument „sehen" muss, nicht nur eine Textversion davon „lesen". Chain of Evidence verwandelt die KI in einen visuellen Detektiv, der direkt auf die Wahrheit zeigen kann, wodurch der Denkprozess transparent und für Menschen leicht überprüfbar wird.

Kurz gesagt: Anstatt Ihnen einen vagen Verweis auf ein Buch zu geben, reicht Ihnen CoE das Buch, öffnet es auf der exakten Seite und zeichnet einen Kreis um den Satz, den Sie benötigen.

Technische Zusammenfassung: Beweiskette (CoE) für iterative Retrieval-Augmented Generation

1. Problemstellung

Die iterative Retrieval-Augmented Generation (iRAG) hat sich als Paradigma zur Beantwortung komplexer Multi-Hop-Fragen etabliert, indem sie externe Dokumente schrittweise abruft und darauf schlussfolgert. Allerdings stoßen aktuelle iRAG-Systeme beim Einsatz mit realen, visuell reichen Dokumenten (z. B. PDFs, Folien, Web-Berichte) auf drei kritische Engpässe:

Der Verifikations-Engpass: Bestehende Systeme liefern grobgranulare, textbasierte Zitierungen (z. B. „[Quelle: Doc-1]"). In Multi-Hop-Szenarien zwingt dies Benutzer dazu, lange Dokumente manuell zu durchsuchen, um spezifische unterstützende Sätze zu finden, was zu einer hohen kognitiven Belastung führt.
Informationsverlust bei der Textkonvertierung: Die Umwandlung visuell reicher Dokumente in linearen Text mittels OCR oder Parsing zerstört räumliche Logik und Layout-Hinweise (z. B. Diagrammtrends, Flussdiagramme, Folienhierarchien). Bei vielen Dokumenten liegt der Beweis in der visuellen Beziehung zwischen Elementen und nicht nur im Text, was textbasierte Zitierungen grundlegend unzureichend macht.
Undurchsichtige Schlussfolgerungsketten: Benutzer haben keine Einsicht in den Verlauf der Entscheidungen. Aktuelle Methoden visualisieren nicht die „Beweiskette" – wie ein intermediärer Beweis die Auswahl des nächsten Dokuments in einer Multi-Hop-Trajektorie steuert.

2. Methodik: Beweiskette (CoE)

Um diese Einschränkungen zu adressieren, schlagen die Autoren die Chain of Evidence (CoE) vor, ein retriever-agnostisches visuelles Attributionsframework, das direkt auf Dokumenten-Screenshots und nicht auf geparstem Text operiert.

Kernarchitektur

Visuelles Primat-Paradigma: CoE umgeht zerbrechliche Text-Parsing-Pipelines. Es nimmt eine Menge von Kandidaten-Dokumentenscreenshots (von einem vorgelagerten Retriever) entgegen und verarbeitet sie als Bilder ( $d^{vis}_i \in \mathbb{R}^{H \times W \times 3}$ ).
Retriever-agnostisches Design: Das Framework geht von einem generischen vorgelagerten Retriever aus, der eine Top- $k$ -Kandidatenmenge zurückgibt. CoE konzentriert sich auf die Auswahl, Sortierung und Verankerung von Beweisen innerhalb dieser Kandidaten, ohne retrieverspezifische Parameter einzuführen.
Ausgabeformat: Anstelle von Textzitierungen gibt CoE eine strukturierte Beweiskette aus, bestehend aus:
- Ausgewählten Identifikatoren der Kandidatenbilder.
- Präzisen Begrenzungsrahmen $[(x_1, y_1), (x_2, y_2)]$ , die Beweisregionen (Textabsätze, Tabellenzellen, Diagramme) exakt lokalisieren.
- Natürlichsprachlichen Teilabfragen oder Schlussfolgerungsgedanken für jeden Hop.
Generierungsprozess: Das Modell führt einen einzigen autoregressiven Durchlauf durch, um die vollständige Beweiskette zu generieren und die Abfrage sowie die Kandidatenscreenshots auf eine Antwort und eine Sequenz von $(Dokument, \text{Begrenzungsrahmen}, \text{Schlussfolgerung})$ -Tupel abzubilden.

Trainingsstrategie

Die Autoren setzen eine zweiphasige Curriculum-Learning-Strategie mit dem Qwen3-VL-8B-Instruct-Modell ein:

Phase I (Single-Hop): Fokus auf die Etablierung visueller Verankerungsfähigkeiten durch Training des Modells zur Lokalisierung von Beweisen in einem einzelnen Bild.
Phase II (Multi-Hop): Einführung der Generierung von Multi-Hop-Beweisketten über Top-5-Kandidatenscreenshots, wobei vom Checkpoint der Phase I ausgegangen wird.

Daten-Augmentierung: Um Robustheit zu gewährleisten, umfasst das Training räumliche Augmentierung (Zuschneiden, Translation), Auflösungsvariation (Umgang mit unterschiedlichen visuellen Dichten) und Beweis-Permutation (Entkopplung der Präsentationsreihenfolge von der logischen Schlussfolgerungsreihenfolge).

3. Datensätze und Evaluation

Um CoE über verschiedene Stufen visueller Komplexität rigoros zu evaluieren, führen die Autoren eine Dual-Benchmark-Strategie ein:

Wiki-CoE: Ein groß angelegter Datensatz, abgeleitet von 2WikiMultiHopQA, der 70.418 Multi-Hop-Fragen enthält. Er verfügt über hochauflösende Screenshots von Wikipedia-Seiten mit Begrenzungsrahmen-Annotationen für strukturierte Layouts (Tabellen, Infoboxen).
SlideVQA: Ein herausfordernder Datensatz von Präsentationsfolien mit komplexen Diagrammen, freiformigen Layouts und Diagrammen, bei denen die räumliche Anordnung semantisch entscheidend ist.

Evaluationsmetriken:

Antwortgenauigkeit (EM): Exakte Übereinstimmung für die generierte Antwort.
Genauigkeit der Beweislokalisierung (Loc-Acc): Eine kombinierte Metrik, die die korrekte Auswahl des Kandidatenbildes und eine Überlappung des Begrenzungsrahmens (IoU $\ge$ 0,3) mit dem Ground Truth erfordert.
Genauigkeit der Schlussfolgerungskette (Chain-Acc): Überprüft, ob die sortierte Sequenz der ausgewählten Dokumente dem goldenen Schlussfolgerungspfad entspricht.

4. Wichtige Ergebnisse

Experimente zeigen, dass CoE textbasierte Baselines und Zero-Shot Vision-Language Models (VLMs) signifikant übertrifft, insbesondere in Szenarien, die ein Verständnis visueller Layouts erfordern.

Leistung auf Wiki-CoE: CoE-8B erreicht 82,3 % EM, 94,4 % Chain-Acc und 80,4 % Loc-Acc. Während allgemeine VLMs (z. B. GPT-5) eine wettbewerbsfähige Antwortgenauigkeit erreichen, ist ihre Attributionsqualität deutlich schwächer (z. B. erreicht GPT-5 nur 31,7 % Loc-Acc).
Leistung auf SlideVQA: Der Vorteil des visuellen Primat-Ansatzes ist hier am ausgeprägtesten. Textbasierte Baselines scheitern aufgrund von Layout-Informationsverlust. CoE-8B erreicht 58,8 % EM, 87,5 % Chain-Acc und 61,0 % Loc-Acc. Im Gegensatz dazu fällt Zero-Shot Qwen3-VL-235B auf 6,8 % Loc-Acc ab, und textbasierte OCR-Baselines haben erhebliche Schwierigkeiten mit diagrammreichen Folien.
Auswirkung visueller Komplexität: Bei Folien mit Flussdiagrammen und Datencharts übertrifft CoE OCR-basierte Methoden um Genauigkeitsmargen von bis zu 28,1 % und beweist, dass visuelle Attribution für nicht-lineare Informationsstrukturen eine Notwendigkeit und nicht nur eine Verbesserung ist.
Ablationsstudien:
- Curriculum Learning: Das Entfernen der Single-Hop-Vortrainingsphase führt zu signifikanten Einbußen bei der Loc-Acc (z. B. -7,3 Punkte auf Wiki-CoE), was bestätigt, dass isolierte Verankerung eine Voraussetzung für Multi-Hop-Schlussfolgerungen ist.
- Auflösung: Hochauflösender Input (1536×1536) ist kritisch; eine Reduzierung der Auflösung auf 512×512 führt zu einem katastrophalen Leistungsabfall, insbesondere für feingranularen Text in Infoboxen.
- Modalität: Eine rein textbasierte Baseline (unter Verwendung von OCR) weist im Vergleich zum visuellen Modell eine Leistungslücke von ca. 26 Punkten auf Wiki-CoE und ca. 22 Punkten auf SlideVQA auf, was validiert, dass die visuelle Struktur in diesen Kontexten der primäre Träger logischer Informationen ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Chain of Evidence (CoE) einen Paradigmenwechsel in der iRAG darstellt, indem sie von zerbrechlichem Text-Parsing zu robuster visueller Schlussfolgerung übergeht.

Visuelle Verankerung als Schlussfolgerungsnotwendigkeit: Die Autoren argumentieren, dass für komplexe Dokumente die visuelle Modalität nicht nur ein Interpretierbarkeitsmerkmal, sondern eine grundlegende Voraussetzung für Schlussfolgerungen ist. Räumliche Logik übertrifft oft linearen Text, und ihre Vernachlässigung führt zu Halluzinationen und nicht überprüfbaren Antworten.
Lösung des Verifikations-Engpasses: Durch die Bereitstellung von pixelgenauen Begrenzungsrahmen und die Visualisierung der vollständigen Schlussfolgerungskette bietet CoE einen unmittelbaren visuellen Verifikationsmechanismus. Dies ermöglicht es Benutzern zu prüfen, warum eine Antwort generiert wurde, und adressiert die Undurchsichtigkeit aktueller iRAG-Systeme.
Retriever-agnostische Interpretierbarkeit: CoE etabliert eine Lösung für pixelgenau interpretierbare iRAG, die mit jedem vorgelagerten Retriever (lexikalisch, dicht, hybrid oder visuell) kompatibel ist und die Schlussfolgerungs- und Attributionsfähigkeiten vom Retrievalmechanismus entkoppelt.
Vertrauenswürdige KI: Die Arbeit liefert einen Bauplan für die nächste Generation überprüfbarer KI-Systeme, insbesondere für hochriskante Bereiche, in denen Quellenattribution und Transparenz der Schlussfolgerung essenziell sind.

Die Autoren schließen, dass ihre Arbeit die vorherrschende textzentrierte Sichtweise der Informationswiedergewinnung herausfordert und demonstriert, dass die Erhaltung visueller Semantik für vertrauenswürdige und interpretierbare Multi-Hop-Schlussfolgerungen entscheidend ist.