💻 computer science

VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents

VLD-RAG ist ein agentisches multimodales Retrieval-Augmented-Generation-Framework, das seitenbewahrende Indizierung, hybride Retrieval-Strategien und einen koordinierten Multi-Agenten-Workflow nutzt, um Fragen effektiv zu beantworten, indem es verstreute textuelle und visuelle Belege über lange, visuell reichhaltige mehrseitige Dokumente hinweg synthetisiert.

Ursprüngliche Autoren: Seonok Kim

Veröffentlicht 2026-07-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Seonok Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, 100-seitiges Rätsel zu lösen, aber die Hinweise sind überall verstreut. Einige Hinweise sind in reinem Text geschrieben, andere sind in komplexen Diagrammen verborgen, wieder andere sind in Zeichnungen versteckt, und manche sind einfach Teil des Seitenlayouts. Dies ist die Welt der „visuell reichen Dokumente“ – denken Sie an diese unordentlichen, farbenfrohen und informationsdichten Berichte, Handbücher und Präsentationsfolien, die wir in der realen Welt sehen. Lange Zeit hatten Computer, die versuchten, diese Dokumente zu lesen, ein großes Problem: Sie versuchten oft, alle Bilder und Layouts wegzulassen, um nur den Text zu lesen. Es war, als würde man versuchen, einen Comic zu verstehen, indem man nur die Textblasen liest und die Zeichnungen ignoriert; man würde den Kontext, die Witze und die Wendungen der Handlung verpassen.

Um dies zu beheben, nutzen Wissenschaftler eine Technik namens Retrieval-Augmented Generation (RAG). Betrachten Sie RAG als einen superintelligenten Bibliothekar, der nicht nur Bücher auswendig lernt, sondern gezielt nach den exakten Seiten sucht, die Sie benötigen, bevor er Ihre Frage beantwortet. Wenn diese „Bücher“ jedoch diese unordentlichen, vielseitigen visuellen Dokumente sind, verlieren Standard-Bibliothekare oft den Überblick. Sie greifen vielleicht die falsche Seite, weil sie nur auf den Text geschaut haben, oder sie übersehen ein entscheidendes Diagramm, weil sie nicht „sehen“ konnten, was darauf abgebildet ist. Die große Frage lautet: Wie bauen wir ein System, das in der Lage ist, die richtigen Beweise über Dutzende von Seiten hinweg aufzuspüren, indem es Text und Bilder perfekt miteinander kombiniert, um eine Frage korrekt zu beantworten?

Hier kommt VLD-RAG ins Spiel, ein neues Framework, das als der ultimative Detektiv für diese langen, visuellen Dokumente konzipiert wurde. Die Forscher hinter dieser Arbeit erkannten, dass man, um ein Rätsel zu lösen, das sich über 150 Seiten erstreckt, sich nicht nur auf einen Trick verlassen kann. Stattdessen entwickelten sie ein „agentisches“ System – ein Team aus KI-Spezialisten, die zusammenarbeiten. Stellen Sie sich ein Trio von Detektiven vor: Einer ist der Keyword Hunter (Schlüsselwort-Jäger), der nach exakten Wörtern und Zahlen scannt; ein anderer ist der Visual Sleuth (Visueller Ermittler), der auf den allgemeinen „Vibe“ und das Layout der Seiten achtet; und ein dritter ist der Critical Verifier (Kritischer Prüfer), der deren Arbeit kontrolliert.

So arbeiten sie zusammen. Zuerst zerlegt das System Ihre Frage in einen Plan. Es fragt nicht einfach nur: „Was ist der Gewinn?“, sondern: „Finde die Tabelle in Abschnitt 3, suche nach dem Diagramm mit dem Titel ‚Q4 Ergebnisse‘ und überprüfe den Text auf den spezifischen Dollarbetrag.“ Dann gehen der Keyword Hunter und der Visual Sleuth gleichzeitig auf die Suche im Dokument. Der Hunter schnappt sich Seiten mit den richtigen Wörtern, während der Sleuth Seiten greift, die so aussehen, als könnten sie die Antwort enthalten, selbst wenn die Wörter anders sind.

Die Magie geschieht, wenn sie ihre Notizen vergleichen. Wenn der Hunter sagt: „Seite 12 sieht gut aus“, aber der Sleuth sagt: „Seite 12 sieht völlig falsch aus“, dann rät das System nicht einfach. Es nutzt eine spezielle „Konsistenzprüfung“, um zu erkennen, dass etwas nicht stimmt. Wenn die Beweislage schwach oder unvollständig erscheint, greift der Critical Verifier ein und sagt: „Hey, wir haben etwas übersehen! Versuchen wir, die Frage auf eine andere Weise zu stellen.“ Dies löst eine zweite Suche aus, die die Hinweise verfeinert, bis die richtigen Seiten gefunden werden. Schließlich sammelt das System die Beweise – Textfragmente, Ausschnitte von Diagrammen und Seitenzahlen – und füttert sie in einen Generator ein, um die endgültige Antwort zu schreiben, wobei sichergestellt wird, dass jede Behauptung durch das tatsächliche Dokument gestützt wird.

Die Forscher testeten dieses Detektiv-Team in zwei massiven Herausforderungen: MMLongBench-Doc und LongDocURL. Dies sind wie die „Olympia Spiele“ für das Lesen von Dokumenten, die hunderte von Dokumenten mit tausenden von Seiten, komplexen Tabellen und kniffligen Fragen enthalten. Die Ergebnisse waren beeindruckend. VLD-RAG fand nicht nur öfter die richtigen Seiten als bisherige Methoden; es fand auch mehr der richtigen Seiten. Beim LongDocURL-Benchmark, der Dokumente mit durchschnittlich 85,6 Seiten umfasst, gelang es VLD-RAG, die korrekten Beweisseiten in 81,16 % der Fälle zu finden, wenn es die Top-5-Ergebnisse betrachtete (Recall@5), und übertraf damit alle anderen Methoden. Es rangierte die relevantesten Seiten auch höher als jeder andere, was bedeutet, dass die Antwort meist direkt oben in der Liste stand.

Das Paper legt nahe, dass dieser Erfolg daraus resultiert, dass der Computer nicht gezwungen wird, sich zwischen „Lesen“ und „Sehen“ zu entscheiden. Indem das System das visuelle Layout und den Text getrennt, aber dennoch zusammenarbeitend behandelt und die KI-Agenten gegenseitig prüfen lässt, vermeidet es die Fehler, die entstehen, wenn man versucht, ein reichhaltiges, farbenfrohes Dokument in reinen Text zu „plätten“. Während die Forscher anmerken, dass dieser Ansatz speziell für Dokumente ist, bei denen Informationen über mehrere Seiten verteilt sind, deutet der Befund stark darauf an, dass für diese komplexen, mehrseitigen Rätsel ein Team aus spezialisierten, verifizierenden Agenten weita weitaus überlegen ist als ein einzelner, einsamer Sucher.

Technisches Resümee: VLD-RAG

Problemstellung

Visuell reichhaltige Dokumente (z. B. Berichte, Folien, Handbücher) verteilen die zur Beantwortung einer Frage erforderlichen Belege oft über mehrere Seiten hinweg und mischen dabei Text mit komplexen Layouts, Tabellen, Diagrammen und Abbildungen. Standardmäßige Retrieval-Augmented Generation (RAG)-Pipelines, die primär für textzentrierte Szenarien entwickelt wurden, zeigen in diesen Fällen eine geminderte Leistung. Die Umwandlung von Seiten in reinen Text führt oft zu einem Informationsverlust, da Layout-Semantik, räumliche Beziehungen und nicht-textuelle Hinweise, die für eine korrekte Interpretation essenziell sind, verschleiert werden. Darüber hinaus stehen bestehende Vision-First-Ansätze vor Herausforderungen: Die Abhängigkeit von extrahiertem Text oder OCR kann strukturelle Signale übersehen; eine naive Fusion von lexikalischen und semantischen Signalen kann brüchig sein, wenn die Modalitäten divergieren; zudem ist ein Single-Shot-Retrieval oft unzureichend für lange Dokumente, die eine mehrstufige Entdeckung von Belegen erfordern, welche über mehrere Seiten verteilt sind.

Methodik: VLD-RAG Framework

Die Autoren schlagen VLD-RAG vor, ein agentenbasiertes multimodales RAG-Framework, das für die mehrseitige Belegabfrage und das kreuzseitenübergreifende Schließen (Cross-Page Reasoning) konzipiert ist. Das System operiert in drei primären Phasen:

1. Dualer Raum der Dokumentrepräsentation

VLD-RAG verwendet eine duale Index-Architektur, um komplementäre Signale zu bewahren:

Visueller Index: Seitenbilder werden mittels eines Vision-Encoders (ColPali) in dichte Vision-Language-Embeddings ( $v_i$ ) kodiert. Dies bewahrt das visuelle Layout und die textuelle Semantik in einem vereinheitlichten Raum und folgt der Philosophie „Retrieval durch das Seitenbild“.
Text-Index: Seiten werden in strukturiertes Markdown parst, wodurch Layout-Informationen (Tabellen, Abbildungen, Überschriften) erhalten bleiben. Diese werden serialisiert und als Chunk-Embeddings ( $t_{i,j}$ ) indiziert. Dies ermöglicht eine getreue Rekonstruktion der Belege und präzises lexikalisches Matching (IDs, Zahlen, seltene Entitäten).

2. Multimodale Query-Formulierung und hybrides Retrieval

Nach Erhalt einer Query $q$ führt das System eine multimodale Query-Dekomposition durch, um strukturierte Retrieval-Intents zu generieren, einschließlich prominenter Entitäten, visueller Anker und erwarteter Evidenztypen. Der Retrieval-Prozess kombiniert zwei Zweige:

Sparses lexikalisches Retrieval: Extrahiert Schlüsselwörter ( $k$ ) aus der Query, um eine Standard-Suche basierend auf der Termfrequenz durchzuführen.
Dichtes semantisches Retrieval: Generiert mithilfe eines Sprachmodells (Gemma3n) ein „hypothetisches Dokument“ ( $h$ ), das auf der Query konditioniert ist. Dieses synthetische Dokument approximiert den Inhalt einer idealen antworttragenden Seite und überbrückt so die semantische Lücke zwischen der Query und dem Dokument. Das hypothetische Dokument wird in ein dichtes Vision-Language-Embedding ( $e_h$ ) kodiert und via ANN-Suche gegen die Seiten-Embeddings abgeglichen.

Modalitäts-konsistente Fusion:
Kandidaten aus beiden Zweigen werden zusammengeführt. Um Cross-Modal-Diskrepanzen zu handhaben, wird ein konsistenzbeschränkter Fusions-Score angewendet:
$s(i) = \alpha s_{sparse}(i) + (1 - \alpha) s_{dense}(i) - \lambda \Delta(i)$
wobei $\Delta(i)$ Kandidaten bestraft, bei denen die sparsen und dichten Signale signifikant voneinander abweichen.

3. Agentischer Workflow und iterative Verfeinerung

VLD-RAG nutzt einen Verifizierer-gesteuerten Agenten-Workflow, bestehend aus einem Retrieval-Agenten, einem Answer-Agenten und einem Validation-Agenten.

Evidenz-gestützte Generierung: Der Generator produziert eine Antwort, die auf abgerufenen Seitenregionen, parsten Markdown-Spans und Metadaten basiert.
Verifizierungs-Schleife: Ein Validation-Agent prüft, ob die generierte Antwort ausreichend durch die Evidenz gestützt wird (Konfidenzschwellenwert $\tau$ ). Falls die Validierung fehlschlägt (z. B. fehlende Zitate oder geringe Konfidenz), löst das System einen Schritt der iterativen Verfeinerung aus. Die Query wird basierend auf der fehlenden Evidenz verfeinert ( $q'$ ) und der Retrieval-Prozess wird mit aktualisierten Intents wiederholt.

Zentrale Beiträge

Duale Index-Architektur: Ein Vision-Language-Dokument-RAG-Framework, das sowohl visuelle Layout-Hinweise (via Seiten-Embeddings) als auch präzise lexikalische Signale (via strukturierter Markdown-Serialisierung) bewahrt.
Modalitäts-konsistentes hybrides Retrieval: Eine Retrieval-Strategie, die explizit die Übereinstimmung zwischen sparsen und dichten Modalitäten modelliert und Konsistenzbeschränkungen nutzt, um die Robustheit gegenüber Cross-Modal-Mismatch zu verbessern.
Verifizierer-gesteuerter Agenten-Loop: Ein Mechanismus, der eine zuverlässige mehrseitige Entdeckung von Belegen durch iterative Query-Verfeinerung ermöglicht und so die Unzulänglichkeit von Single-Shot-Retrieval für komplexe, seitenübergreifende Fragen adressiert.

Experimentelle Ergebnisse

Das Framework wurde auf zwei Benchmarks für multimodale Langdokumente evaluiert: LongDocURL und MMLongBench-Doc.

Retrieval-Leistung: VLD-RAG zeigte konsistente Verbesserungen gegenüber Baselines (einschließlich M3DocRAG, MDocAgent und MoLoRAG) in Bezug auf Recall@K, NDCG und MRR über alle Top-K-Einstellungen ( $K \in \{1, 3, 5\}$ $K \in {1, 3, 5}$ ) hinweg.
- Auf MMLongBench-Doc erreichte VLD-RAG die höchsten Werte bei Recall und Ranking-Qualität.
- Auf LongDocURL (welches längere Dokumente und einen höheren Anteil an mehrseitigen Fragen aufweist) zeigte VLD-RAG besonders starke Zuwächse in Recall und NDCG und übertraf damit text- und bild-basierte Baselines.
Analyse: Die Ergebnisse deuten darauf hin, dass der hybride Ansatz effektiv positionsbewusste Relevanz erfasst, was für das mehrseitige Retrieval entscheidend ist. Die Integration der Generierung hypothetischer Dokumente half dabei, semantische Lücken zu schließen, insbesondere wenn die Evidenz in komplexen Layouts eingebettet war. Während einige Baselines eine höhere Präzision bei mittleren K-Werten erreichten, deutet die überlegene Recall- und Ranking-Metrik von VLD-RAG auf eine bessere Gesamteffektivität für Retrieval-Augmented-Generation-Aufgaben hin, die eine umfassende Belegabdeckung erfordern.

Bedeutung

Das Paper postuliert, dass koordinierte agentenbasierte Verifizierung und multimodales hybrides Retrieval entscheidend für eine zuverlässige Fundierung sind, wenn korrekte Antworten von über mehrere Seiten verteilten Belegen abhängen. Durch die Bewahrung der visuellen Layout-Informationen bei gleichzeitiger Aufrechterhaltung des präzisen lexikalischen Matchings adressiert VLD-RAG die Limitationen bestehender RAG-Systeme in visuell reichhaltigen Langdokument-Kontexten. Die Ergebnisse unterstreichen, dass effektives multimodales RAG nicht nur bessere Encoder benötigt, sondern auch strukturelle Strategien zur Fusion von Modalitäten und iterative Mechanismen zur Wiederherstellung fehlender Evidenz.