🔬 materials science

VecTree-RAG: An Agentic Retrieval-Augmented Generation Framework Combining Vector and Tree Retrieval for Efficiency and Accuracy

VecTree-RAG ist ein agentisches Retrieval-Augmented-Generation-Framework, das Vektorsuche für das Korpus-weite Dokumenten-Ranking mit reasoning-gesteuerter Baumtraversierung zur präzisen Evidenzlokalisierung kombiniert und dadurch durch die Bewahrung und Nutzung des strukturellen Kontextes akademischer Literatur eine Spitzenleistung sowie verbesserte Effizienz bei Benchmarks zur Beantwortung wissenschaftlicher Fragen erzielt.

Ursprüngliche Autoren: Xinyan Zhong, Yuwei Shi, Yuqi Wei, Chen Shen, Tianhang Zhou, Zhenghao Wu

Veröffentlicht 2026-07-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinyan Zhong, Yuwei Shi, Yuqi Wei, Chen Shen, Tianhang Zhou, Zhenghao Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein massives, vielschichtiges Rätsel zu lösen, aber anstatt eines einzelnen Notizbuchs haben Sie eine Bibliothek mit tausenden dicken, komplexen Büchern. In der Welt der künstlichen Intelligenz ist dies die Herausforderung des „Scientific Question Answering“ (wissenschaftliche Fragenbeantwortung). Wissenschaftler und Computer müssen die richtigen Antworten finden, die in Forschungsarbeiten verborgen sind, aber diese Arbeiten sind nicht nur Listen von Fakten; sie sind strukturierte Geschichten mit Kapiteln, Methoden, Abbildungen und Argumenten.

Um dies anzugehen, nutzen Forscher eine Technik namens Retrieval-Augmented Generation (RAG). Stellen Sie sich RAG wie einen superintelligenten Bibliothekar vor, der nicht nur Fakten auswendig lernt, sondern auch in der Lage ist, das richtige Buch zu finden, die relevanten Seiten zu lesen und dann eine perfekte Antwort für Sie zu schreiben. Herkömmliche Bibliothekare machen jedoch oft einen Fehler: Sie zerreißen die Bücher in winzige, zufällige Schnipsel (wie einzelne Sätze) und mischen sie alle zusammen in einem riesigen Haufen. Wenn Sie eine Frage stellen, greift der Bibliothekar eine Handvoll dieser Schnipsel heraus. Das Problem ist, dass ein Schnipsel über eine wissenschaftliche Methode vielleicht weit entfernt von den Ergebnissen landen kann, die er erklärt, oder der Kontext verloren geht, was die KI verwirrt. Es ist, als würde man versuchen, ein Puzzle zu lösen, wenn jemand alle Teile aus tausend verschiedenen Puzzles in eine einzige Box gemischt hat.

Dieses Paper stellt eine neue, intelligentere Art vor, dieser Bibliothekar zu sein. Die Forscher, angeführt von Xinyan Zhong und Zhenghao Wu, haben ein System namens VecTree-RAG entwickelt. Anstatt die Bücher in Stücke zu reißen, respektiert dieses System die ursprüngliche Struktur der Dokumente. Es verwendet eine zweistufige „Lokalisieren-dann-Lesen“-Strategie. Zuerst nutzt es einen Hochgeschwindigkeits-Scanner, um schnell die richtigen Bücher und Kapitel zu finden (mittels „Vektor“-Suche, was so ähnlich ist wie das Abgleichen des Vibes oder der Bedeutung Ihrer Frage mit dem Titel und der Zusammenfassung des Buches). Zweitens nutzt es, sobald es weiß, welches Buch und welches Kapitel es betrachten muss, ein „Baum“-Navigationssystem, um durch die Struktur des Dokuments zu wandern und die exakte Seite zu finden, auf der sich die Beweise befinden. Es öffnet die schweren Seiten erst dann, um das Kleingedruckte zu lesen, wenn es absolut notwendig ist. Dieser Ansatz bewahrt den „Fortlauf der Geschichte“ der Wissenschaft und stellt sicher, dass die KI Methoden, Abbildungen und Schlussfolgerungen in ihrer richtigen Reihenfolge sieht.

Die Entdeckung des Papers

Die Autoren testeten dieses neue „VecTree-RAG“-System gegen vier andere populäre Methoden bei drei verschiedenen Arten von wissenschaftlichen Herausforderungen. Sie wollten sehen, ob das Beibehalten der Dokumentenstruktur der KI tatsächlich hilft, bessere Antworten zu geben und die richtigen Belege zu finden.

Die Ergebnisse: Ein klarer Gewinner
Das VecTree-RAG-System war nicht nur gut; es übertraf jede andere Methode, die die Forscher getestet haben.

Bei Fragen zu einzelnen Papern (QASper): Als nach Antworten basierend auf nur einem spezifischen Paper gefragt wurde, erreichte VecTree-RAG einen Korrektheitswert von 0,800 (bewertet durch eine andere KI). Die nächstbesten Methoden erreichten nur etwa 0,750. Wichtiger noch: VecTree-RAG war viel besser darin, die exakte Seite zu benennen, auf der die Antwort gefunden wurde. Seine „Evidenz-Präzision“ lag bei 0,274, während die anderen Methoden mit Werten zwischen 0,046 und 0,071 zu kämpfen hatten. Das bedeutet, dass VecTree-RAG viel weniger Zeit damit verschwendet, irrelevante Seiten zu lesen.
Beim Finden des richtigen Papers in einer Bibliothek (LitQA2): Bei der Aufgabe, welches von 61 Papern die Antwort enthielt, erreichte VecTree-RAG eine Genauigkeit von 0,925. Die anderen Methoden lagen zwischen 0,759 und 0,889.
Bei der Kombination vieler Paper (MOSAIC): Dies war der schwierigste Test, der die KI erforderte, Informationen aus 5 bis 7 verschiedenen Papern zu synthetisieren, um eine einzige Frage zu beantworten. VecTree-RAG erzielte 0,547 und schlug damit den nächstbesten Wert von 0,503.

Was das Paper ausschließt
Die Forscher argumentieren explizit gegen die Vorstellung, dass es die Lösung ist, einfach mehr Text zu lesen oder Dokumente in zufällige Fragmente zu „flachzuklopfen“. Sie fanden heraus, dass die Erweiterung der Suche auf mehr zufällige Passagen (wie die „Dense RAG“-Baselines) die Aufgabe der KI eher erschwerte, indem sie „Rauschen“ und Redundanz hinzufügte. Das Paper legt nahe, dass es ineffizient ist, mehr Daten auf das Problem zu werfen, ohne die Struktur des Dokuments zu verstehen, und oft zu schlechteren Antworten führt. Sie zeigten auch, dass ihr System nicht einfach nur rät, sondern eine Methode der „progressiven Offenlegung“ nutzt, was bedeutet, dass es mit kleinen, kostengünstigen Zusammenfassungen beginnt und erst dann für das „teure“ Lesen des Volltextes „bezahlt“, wenn es sich sicher ist, auf dem richtigen Weg zu sein.

Wie sicher sind sie sich?
Die Autoren sind sehr zuversichtlich bei diesen Ergebnissen, da sie das System mit realen, Open-Access-Datensätzen mit spezifischen, vordefinierten Fragen getestet haben. Sie haben die Ergebnisse nicht nur simuliert; sie haben die tatsächlichen KI-Agenten mehrmals durch die Tests laufen lassen (unter Verwendung von drei verschiedenen „Seeds“ oder Startpunkten), um sicherzustellen, dass die Werte konsistent sind. Sie haben die Ergebnisse nach strengen Regeln gemessen, wie etwa der Verwendung einer separaten KI-Instanz, die die Antworten gegen die korrekten prüft. Sie räumen ein, dass ihr System mehr Schritte benötigt (und somit mehr Rechenzeit beansprucht) als eine einfache Ein-Schritt-Suche, demonstrieren aber, dass dieser zusätzliche Aufwand zu einer signifikant höheren Genauigkeit und einer viel besseren Lokalisierung von Belegen führt. Das Paper legt nahe, dass für komplexe wissenschaftliche Fragen dieser „strukturbewusste“ Ansatz ein notwendiges Upgrade gegenüber den alten „flachen“ Methoden darstellt.

Technisches Resümee: VecTree-RAG

Problemstellung

Die Beantwortung wissenschaftlicher Fragen (Question Answering, QA) steht vor einer doppelten Herausforderung: der Identifizierung relevanter Arbeiten innerhalb eines großen Korpus und dem Auffinden spezifischer Belege innerhalb dieser Arbeiten. Konventionelle Retrieval-Augmented Generation (RAG)-Systeme adressieren beide Aufgaben typischerweise, indem sie Dokumente in fest vorgegebene, längenbasierte Textpassagen (Chunks) zerlegen und eine Ähnlichkeitssuche über diese Chunks durchführen. Die Autoren argumentieren, dass dieser Ansatz die inhärente Sektionshierarchie wissenschaftlicher Arbeiten verwirft, wodurch oft Ansprüche von ihrem notwendigen methodischen oder argumentativen Kontext getrennt werden. Darüber hinaus führt das Erweitern der Anzahl der abgerufenen Passagen, um diesen Verlust zu kompensieren, häufig zu Redundanz und verschleiert nützliche Belege, während flache Passagen die strukturellen Beziehungen zwischen Ergebnissen, Methoden und Qualifizierungen nicht repräsentieren können.

Methodik: VecTree-RAG

VecTree-RAG ist ein agentenbasiertes Framework, das darauf ausgelegt ist, die Entdeckung auf Korpus-Ebene von der Lokalisierung von Belegen innerhalb eines Dokuments mittels eines „Locate-then-Read“-Workflows zu trennen. Es verwendet zwei komplementäre Retrieval-Mechanismen, die von einem ReAct-ähnlichen Agenten koordiniert werden.

1. Modellierung der Dokumentstruktur und verifizierte Indizierung

Im Gegensatz zur Standard-Chunk-basierten Indizierung bewahrt VecTree-RAG die native Sektionshierarchie jeder Arbeit.

Quellenverifizierte Bäume: PDFs werden in eine Baumstruktur ( $T_d$ ) geparst, wobei Knoten Repräsentationen von Sektionen darstellen. Jeder Knoten enthält einen Titel, eine Zusammenfassung und einen Seitenbereich, der im Quelldokument fundiert ist.
Verifizierung: Ein LLM extrahiert Sektionstitel und Seitenbereiche, die gegen den Quelltext unter Verwendung einer fallunabhängigen Substring-Regel mit einer Toleranz von $\pm 1$ Seite validiert werden. Fehlgeschlagene Einträge durchlünden Reparaturrunden.
Speicherung: Der Index speichert kompakte Dokument- und Sektionsrepräsentationen (Titel, Zusammenfassungen, Metadaten), behält jedoch den vollständigen Text der Seiten und Abbildungen in separaten Quellspeichern bei, wodurch ein Passage-Ebene-Vektorstore für den Rohtext vermieden wird.

2. Progressive-Disclosure-Interface

Das System stellt Informationen in drei Schichten mit zunehmender Payload-Größe bereit, um die Token-Effizienz und den Kontext zu steuern:

Layer 0 (Suche): Verwendet hybrides Retrieval (SPECTER2 dichte Embeddings + BM25 dünne Signale) über Dokument- und Sektions-Einträge, um Kandidaten-Arbeiten zu ranken. Liefert nur Metadaten und passende Sektionstitel (~50 Tokens/Ergebnis).
Layer 1 (Baumnavigation): Der Agent navigiert durch den quellenverifizierten Sektionsbaum der vorausgewählten Arbeiten mittels get_document_tree und search_within_paper. Dies legt die Sektionsstrukturen und Zusammenfassungen offen (200–500 Tokens/Dokument), ohne sofort den vollständigen Text zu laden.
Layer 2 (Inhalt): Erst nach der strukturellen Lokalisierung fordert der Agent spezifische Seiteninhalte (get_page_content) oder Abbildungen (get_page_image) an, wodurch der vollständige Text und Bilder exponiert werden (500–2.000 Tokens/Seite).

3. Agentic Workflow

Ein ReAct-ähnlicher Agent verwaltet die Interaktion und verwebt Schlussfolgerungen mit Tool-Aufrufen. Der Agent ist durch ein Budget (bis zu 30 Iterationen) begrenzt und ist angewiesen, vor dem Öffnen von Dokumenten zu suchen und belegbare Seitennachweise zu zitieren. Der Agent wählt Aktionen aus einem Satz von sieben Tools aus, die sich über die drei Disclosure-Layer erstrecken, was es ihm ermöglicht, seine Suche von „welches Paper?“ über „welche Sektion?“ bis hin zu „welche Seite?“ zu verfeinern.

Kernbeiträge

VecTree-RAG Framework: Ein agentenbasiertes RAG-System, das die semantische Rangfolge über Dokumente hinweg dem Vektor-Retrieval und die struktur-bewusste Navigation innerhalb von Dokumenten dem Baum-Retrieval zuweist und dabei einen „Locate-then-Read“-Workflow nutzt.
Source-Verified Hierarchical Index: Eine neuartige Indizierungsmethode, die Dokument-/Sektionsrepräsentationen mit den Originalseiten verknüpft, was eine kompakte Indizierung und eine rückverfolgbare Beleglokalisierung ermöglicht, ohne auf einen Passage-Ebene-Vektorstore für den Rohtext angewiesen zu sein.
MOSAIC Benchmark: Die Einführung eines neuen Datensatzes für die wissenschaftliche Synthese über mehrere Dokumente, der 49 Freitextfragen über 124 Arbeiten enthält. Jede Frage erfordert Belege aus 5–7 Arbeiten und testet Fähigkeiten zur Aggregation, zum Vergleich und zur Multi-Hop-Inferenz.

Experimentelle Ergebnisse

Das Framework wurde auf drei Benchmarks evaluiert: QASPER (Single-Dokument-QA), LitQA2 (Korpus-weite Single-Source-QA) und MOSAIC (Multi-Dokument-Synthese).

QASPER (300 Fragen): VecTree-RAG erreichte den höchsten LLM-Judge-Korrektheitswert von 0,800 und übertraf damit Dense RAG (0,750), Reranked Dense RAG (0,757), RAPTOR (0,690) und Search-o1 (0,757). Entscheidend war, dass es eine überlegene Beleglokalisierung mit einer Evidence-Page-Präzision von 0,274 demonstrierte, verglichen mit 0,046–0,071 bei den Baselines, während es gleichzeitig eine hohe Recall-Rate von 0,737 beibehielt.
LitQA2 (54 Fragen): VecTree-RAG erreichte eine Genauigkeit von 0,925 und übertraf damit alle Baselines (Dense RAG: 0,870; Reranked: 0,889; RAPAT: 0,815; Search-o1: 0,759). Ablationsstudien zeigten, dass die vollständige Vektor-Baum-Architektur weniger Inferenz-Tokens benötigte als Varianten, denen die Baum-Navigation oder das Korpus-Ebene-Vektor-Routing fehlten.
MOSAIC (49 Fragen): VecTree-RAG erzielte einen zusammengesetzten Score von 0,547 (0,75 Factuality-F1 + 0,25 skalierter SPECTER Cosine) und übertraf damit alle Baselines, einschließlich des erweiterten Kontext-Dense-RAG (0,503). Es zeigte einen signifikant besseren Evidence-Recall (0,586) und eine bessere Präzision (0,221) im Vergleich zu anderen Methoden.

Bedeutung und Behauptungen

Das Paper behauptet, dass VecTree-RAG eine struktur-bewusste und rückverfolgbare Architektur für die Beantwortung wissenschaftlicher Literaturfragen bietet. Indem es die autorisierte Struktur einer Arbeit als Retrieval-Interface behandelt, anstatt sie zu glätten, verengt das System effektiv den Korpus-weiten Suchraum via Vektor-Retrieval und konzentriert das Lesen auf strukturell relevante Belege via Baum-Navigation.

Die Autoren merken an, dass die Multi-Turn-Inferenz zwar in Bezug auf die kumulativen API-Kosten teurer ist als ein Single-Call-Retrieval, das Framework jedoch einen deutlichen Vorteil bei der Effizienz des Index-Footprints (basierend auf strukturellen Einträgen statt Text-Chunks) und der Genauigkeit der Beleglokalisierung bietet. Die Ergebnisse legen nahe, dass die Trennung der Aufgaben „Finden des Papers“ und „Finden des Belegs“ eine höhere Präzision bei der wissenschaftlichen QA ermöglicht, insbesondere bei komplexen Multi-Dokument-Synthese-Aufgaben, bei denen Kontext und strukturelle Beziehungen entscheidend sind.