💬 NLP

$G^2$ -Reader: Dual Evolving Graphs for Multimodal Document QA

$G^2$ -Reader adressiert die Sprödigkeit von Retrieval-Augmented Generation in der multimodalen Langdokument-Fragebeantwortung durch die Einführung eines dualen Graph-Systems, das einen Content Graph zur Bewahrung der nativen Dokumentenstruktur und einen Planning Graph zur Steuerung der iterativen Evidenzbeschaffung entwickelt, wodurch es eine staatliche Spitzenleistung auf VisDoMBench erzielt.

Ursprüngliche Autoren: Yaxin Du, Junru Song, Yifan Zhou, Cheng Wang, Jiahao Gu, Zimeng Chen, Menglan Chen, Wen Yao, Yang Yang, Ying Wen, Siheng Chen

Veröffentlicht 2026-01-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yaxin Du, Junru Song, Yifan Zhou, Cheng Wang, Jiahao Gu, Zimeng Chen, Menglan Chen, Wen Yao, Yang Yang, Ying Wen, Siheng Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen riesigen, 500-seitigen Kriminalroman zu lösen, der eine Mischung aus Text, Diagrammen, Fotos und handschriftlichen Notizen ist. Sie sind ein Experte, ein Detektiv (die KI), aber Sie haben ein sehr kurzes Gedächtnis: Sie können gleichzeitig nur etwa 10 Seiten im Kopf behalten.

Dies ist das Problem, das das Papier als Multimodale Dokumenten-Beantwortung (Multimodal Document QA) bezeichnet. Aktuelle KI-Systeme versuchen, dieses Buch zu lösen, indem sie es in winzige, flache Stücke zerlegen (wie das Zerschneiden eines Puzzles in einzelne Quadrate) und dann nach den richtigen Teilen suchen. Das Problem dabei ist, dass dies das Gesamtbild zerstört. Ein Diagramm wird von seiner Bildunterschrift getrennt; ein Graph wird von dem Absatz getrennt, der ihn erklärt. Die KI endet mit „semantischen Fragmenten“ – Puzzleteilen, die für sich allein genommen keinen Sinn ergeben.

G2-Reader ist ein neues System, das genau dieses Problem lösen soll. Die Autoren schlagen eine Lösung vor, die auf zwei sich entwickelnden Graphen (denken Sie an zwei verschiedene Arten von Landkarten) basiert, die zusammenarbeiten.

1. Der Inhaltsgraph: Die „lebende Enzyklopädie“

Anstatt das Dokument in flache Stücke zu schneiden, erstellt G2-Reader einen Inhaltsgraphen.

Die Analogie: Stellen Sie sich das Dokument nicht als einen Stapel Papier vor, sondern als eine Stadt.
- Knoten (Die Gebäude): Jeder Absatz, jede Tabelle oder jede Abbildung ist ein Gebäude.
- Kanten (Die Straßen): Die Verbindungen zwischen ihnen sind Straßen. Eine Bildunterschrift ist eine Straße, die zu einem Bild führt; ein Verweis ist eine Straße, die zu einem vorherigen Absatz führt.
Die Magie (Die Evolution): In alten Systemen basieren diese Straßen nur auf der physischen Nähe (was neben was liegt). In G2-Reader agiert das System wie ein Stadtplaner, der ständig durch die Straßen spaziert. Es fragt: „Steht dieses Gebäude tatsächlich in Verbindung mit jenem?“
- Wenn ein Diagramm in Kapitel 1 einen Graphen in Kapitel 5 erklärt, baut der Planer eine neue, unsichtbare Straße, die sie miteinander verbindet.
- Es aktualisiert die „Schilder“ an den Gebäuden (die Zusammenfassungen), um den Kontext ihrer Nachbarn einzubeziehen.
- Ergebnis: Die KI sieht nicht nur ein schwebendes Diagramm; sie sieht ein Diagramm, das mit der Geschichte verbunden ist, die es erzählt. Dies bewahrt die „natürliche Struktur“ des Dokuments.

2. Der Planungsgraph: Das „agentische Notizbuch des Detektivs“

Sobeder der Stadtplan erstellt wurde, muss die KI die spezifische Frage lösen. Hier kommt der Planungsgraph ins Spiel.

Die Analogie: Stellen Sie sich einen Detektiv vor, der versucht, einen komplexen Fall zu lösen. Anstatt einfach nur zu raten, schreibt er ein Flussdiagramm aus Unterfragen in ein Notizbuch.
- Die Wurzel: Die Hauptfrage („Wer hat den Keks gestohlen?“).
- Die Zweige: Kleinere Fragen („Ist der Butler in den Raum gekommen?“ „War der Kekskrug offen?“).
Die Magie (Dynamische Umplanung):
- Die KI agiert als Agent. Sie folgt dem Flussdiagramm und sucht im „Inhaltsgraphen“ (der Stadt) nach Beweisen für jede Unterfrage.
- Der „Beweisprüfer“: Nachdem Beweise gesammelt wurden, fungiert ein spezieller Teil des Systems wie ein Qualitätskontrolleur. Er betrachtet das Notizbuch und fragt: „Haben wir genug Beweise, um den Hauptfall zu lösen?“
- Die „Umplanung“: Wenn der Inspektor sagt: „Nein, uns fehlen Informationen über das Alibi des Butlers“, rät das System nicht einfach. Es schreibt das Flussdiagramm um. Es fügt einen neuen Zweig zum Notizbuch hinzu, um gezielt nach diesem fehlenden Alibi zu suchen.
- Ergebnis: Die KI gerät nie in eine Endlosschleife. Sie besitzt ein beständiges Gedächtnis darüber, was sie weiß und was sie noch finden muss, was sie Schritt für Schritt zur Antwort führt.

Wie sie zusammenarbeiten

Betrachten Sie den Inhaltsgraphen als die Bibliothek (wo die Bücher perfekt organisiert mit Querverweisen liegen) und den Planungsgraph als die Strategie des Bibliothekars (ein schrittweiser Plan, um die richtigen Bücher zu finden).

Der Bibliothekar (Planungsgraph) unterteilt die große Frage in kleine Aufgaben.
Für jede Aufgabe geht er in die Bibliothek (Inhaltsgraph). Da die Bibliothek mit „lebendigen“ Verbindungen organisiert ist, findet er sofort das exakte Cluster aus verwandtem Text, Tabellen und Bildern.
Wenn der Bibliothekar merkt, dass er einen Hinweis übersehen hat, wandert er nicht ziellos umher; er aktualisiert seine Strategiekarte und kehrt in die Bibliothek zurück, um genau das fehlende Puzzleteil zu finden.

Die Ergebnisse

Die Autoren testeten dieses System auf einem Benchmark namens VisDoMBench, der schwierige Fragen zu Folien, wissenschaftlichen Arbeiten und Tabellen umfasst.

Sie verwendeten ein Open-Source-KI-Modell (Qwen3-VL-32B) als „Gehirn“.
Das Ergebnis: G2-Reader erreichte eine Genauigkeit von 66,21 %.
Der Vergleich: Dies schlug die besten Open-Source-Modelle, die versuchten, dies alleine zu lösen (29,90 %), und übertraf sogar ein massives, proprietäres „Super-Modell“ (GPT-5), das lediglich 53,08 % erreichte.

Das Fazit

Das Paper behauptet, dass für komplexe, mehrseitige Dokumente mit Bildern und Tabellen Struktur wichtiger ist als rohe Rechenleistung. Indem man der KI eine strukturierte Karte des Dokuments (Inhaltsgraph) und einen dynamischen Plan für die Suche (Planungsgraph) gibt, kann eine kleinere Open-Source-KI viel größere, „dummere“ Systeme übertreffen, die lediglich versuchen, alles auf einmal zu lesen.

Das Paper behauptet nicht, dass dies bereits für medizinische Diagnosen oder Gerichtssäle bereit ist; es beweist lediglich, dass diese „Dual-Graph“-Architektur eine überlegene Methode ist, um komplexe Dokumente zu lesen und darüber zu schlussfolgern.

Technisches Resümee: G2-Reader: Dual Evolving Graphs für multimodale Dokumenten-QA

Problemstellung

Retrieval-Augmented Generation (RAG) hat sich als dominantes Paradigma für die Beantwortung von Fragen über lange Dokumente etabliert. Aktuelle RAG-Systeme stehen jedoch vor erheblichen Einschränkungen, wenn sie auf multimodale Langdokumente (z. B. akademische Arbeiten, Folienpräsentationen, Lehrbücher) angewendet werden, in denen Text, Tabellen und Abbildungen über viele Seiten hinweg miteinander verwoben sind. Die Arbeit identifiziert zwei gekoppelte Krisen bestehender Ansätze:

Die Repräsentations-Herausforderung: Standardmäßige RAG-Pipelines zerlegen Dokumente in unabhängige Text-Chunks. Dieses „flache Chunking“ bricht die native Struktur des Dokuments und die cross-modale Ausrichtung (z. B. die Trennung einer Abbildung von ihrer Bildunterschrift oder dem referierenden Text) auf. Infolgedessen werden die abgerufenen Kontexte zu semantischen Fragmenten, die isoliert betrachtet schwer zu interpretieren sind.
Die Retrieval-Herausforderung: Traditionelles RAG ist oft „One-Shot“-basiert und in langen Kontexten instabil. Obwohl iteratives Retrieval eingeführt wurde, um Abfragen Schritt für Schritt zu verfeinern, scheitert es in langen multimodalen Settings häufig durch das Verharren in partiellen Evidenzen oder das Abdriften in irrelevante Abschnitte, während sich Rauschen akkumuliert. Dies geschieht, weil jeder Schritt nur durch das aktuelle Snippet geleitet wird, ohne einen persistenten globalen Suchzustand zu besitzen.

Methodik: G2-Reader

Um diese Probleme zu adressieren, schlagen die Autoren G2-Reader vor, ein duales Graph-System, das sowohl die Evidenzrepräsentation als auch das Retrieval-Reasoning vorantreibt. Das System operiert durch zwei eng gekoppelte, evolvierende Graphen:

1. Content Graph ( $G_C$ ): Strukturierte multimodale Repräsentation

Anstatt flachem Chunking konstruiert G2-Reader einen heterogenen multimodalen Content Graph, um die dokumenteneigenen Layouts und die cross-modale Semantik zu bewahren.

Konstruktion: Dokumente werden in atomare Einheiten (Absätze, Tabellen, Abbildungen mit Bildunterschriften) zerlegt, die den Knotensatz $V$ bilden. Kanten werden basierend auf der Lesereihenfolge (Sliding Windows) initialisiert.
Gemeinsame Evolution: Der Graph durchläuft einen iterativen Evolutionsprozess ( $T$ $T$ Schritte), der durch ein Vision-Language Model (VLM) gesteuert wird. In jedem Schritt führt das VLM eine gemeinsame Aktualisierung der Knotenattribute (Zusammenfassungen und Schlüsselwörter) und der Graph-Topologie (Kanten) durch.
- Attribut-Aktualisierung: Das VLM bereichert Knotenzusammenfassungen mit Kontext aus benachbarten Knoten, löst implizite Referenzen auf und betont unterscheidungsrelevante Merkmale.
- Topologie-Aktualisierung: Das VLM identifiziert aussagekräftige logische Verknüpfungen (z. B. Erklärung, Kausalität, cross-modale Erdung), die über einfache Ähnlichkeit hinausgehen, und erstellt so einen spärlichen Satz substanzieller Abhängigkeiten.
Retrieval: Evidenz wird über einen strukturbewussten Readout-Operator abgerufen. Gegeben einer Abfrage werden Knoten nach Ähnlichkeit gerankt, und die Top-Knoten werden um ihre unmittelbaren Nachbarn im Graphen erweitert, was eine kontextsensitive Assemblierung der Evidenz sicherstellt.

2. Planning Graph ( $G_P$ ): Agentic Reasoning State

Der Planning Graph ist ein gerichteter azyklischer Graph (DAG), der den Reasoning-Prozess explizit verankert und als dynamischer Zustands-Tracker für die Assemblierung von Evidenzen dient.

Initialisierung: Ein Decomposer-Agent zerlegt die Benutzeranfrage in einen initialen DAG aus atomaren Teilfragen, wobei die Abhängigkeitsrelationen kodiert werden.
Ausführung & Verfeinerung: Das System führt die Teilfragen in topologischer Reihenfolge aus. Für jede Teilfrage ruft ein Worker-Agent einen lokalen Evidenz-Subgraphen aus $G_C$ ab und generiert eine Zwischenantwort.
Verifizierung & Replanning: Ein Evidence Checker evaluiert, ob die akkumulierten Zwischenantworten ausreichen, um die ursprüngliche Anfrage zu beantworten.
- Wenn ausreichend, wird der Prozess terminiert.
- Wenn unzureichend, identifiziert der Checker spezifische Lücken (fehlende Daten, Ambiguitäten). Ein Decomposer verfeinert daraufhin den Planning Graph, indem er Knoten hinzufügt, aktualisiert oder entfernt, um diese Lücken zu adressieren.
Synthese: Sobald die Hinlänglichkeit gegeben ist, synthetisiert ein Reasoner-Agent die finale Antwort basierend auf der ursprünglichen Anfrage und dem verifizierten, strukturierten Evidenzsatz.

Kernbeiträge

Das Paper beansprucht drei primäre Beiträge:

Problemidentifikation: Es identifiziert formal die gekoppelten Limitationen fragmentierter Evidenzrepräsentation und instabiler Long-Context-Retrieval in aktuellen multimodalen RAG-Systemen.
Dual-Graph-Architektur: Es führt den Content Graph zur Bewahrung semantischer Strukturen innerhalb multimodaler Dokumente und den Planning Graph zur Aufrechterhaltung eines Reasoning-Zustands ein, der die schrittweise Navigation zur Vervollständigung der Evidenz leitet.
Empirische Überlegenheit: Auf dem VisDoMBench Benchmark über fünf multimodale Domänen (Folien, Webseiten, akademische Arbeiten, Lehrbücher und wissenschaftliche Grafiken) erreicht G2-Reader eine State-of-the-Art-Performance.

Experimentelle Ergebnisse

Das System wurde auf VisDoMBench unter Verwendung von Qwen3-VL-32B-Instruct als Backbone evaluiert.

Gesamtleistung: G2-Reader erreichte eine durchschnittliche Genauigkeit von 66,21 %.
Vergleich mit Baselines:
- Es übertraf das proprietäre Frontier-Modell GPT-5 (53,08 %) signifikant um eine Marge von 13,13 Prozentpunkten.
- Es übertraf starke Open-Source-Baselines, einschließlich VisDoMRAG (65,01 %) und spezialisierter graphbasierter Systeme wie GraphRAG (50,86 %).
- Es zeigte eine relative Verbesserung von 121 % gegenüber dem Basismodell Qwen3-VL-32B im Zero-Shot-Setting (29,90 %).
Ablationsstudien:
- Multimodalität: Die Einbeziehung visueller Evidenz verbesserte die durchschnittliche Genauigkeit um 8,4 %.
- Komponenten-Synergie: Die Kombination aus Content Graph und Planning Graph lieferte einen Leistungsgewinn (+4,8 %), der die Summe ihrer individuellen Beiträge überstieg, was auf eine starke Komplementarität hindeutet.
- Iterative Verfeinerung: Eine moderate Verfeinerung des Planning Graphs (bis zu 3 Iterationen) verbesserte die Leistung, während eine Über-Verfeinerung zu abnehmenden Erträgen führte.
- Graph-Evolution: Die iterative Evolution des Content Graphs (bis zu 3 Runden) verbesserte die Knotenrepräsentationen, wobei die Performance bei höheren Iterationen aufgrund von Over-Smoothing sank.

Bedeutung und Behauptungen

Das Paper postuliert, dass G2-Reader die Hypothese validiert, dass eine strukturierte Architektur Open-Source-Modelle befähigen kann, leistungsstarke Closed-Source-Frontier-Modelle zu übertreffen. Durch die Bereitstellung einer strukturierten Grundlage für die komplexe Assemblierung von Evidenzen kompensiert der Dual-Graph-Ansatz effektiv die Einschränkungen des Long-Context-Reasonings mittelgroßer Modelle.

Die Autoren betonen, dass ihre Methode den Paradigmenwechsel von „Dokumente als Text“ zu „Dokumente als Wissen“ vollzieht, indem sie visuell reiche Dokumente in explizite, wiederverwendbare externe Wissensstrukturen verwandelt. Dieser Ansatz ermöglicht eine kontrollierbarere Wissensverwaltung und ein robustes Reasoning über multimodale Langdokumente, wodurch die Instabilität aktueller RAG-Systeme in realen Szenarien adressiert wird. Die Arbeit legt nahe, dass eine anspruchsvolle Organisation von Evidenzen und iterative Planung effektiver sind als bloßes Modell-Scaling oder proprietäres Training für komplexe multimodale Reasoning-Aufgaben.