💬 NLP

RAS: Retrieval-And-Structuring for Knowledge-Intensive LLM Generation

Das Papier schlägt Retrieval-And-Structuring (RAS) vor, ein Framework, das durch iteratives Abrufen und strukturierten Wissensaufbau dynamisch fragenspezifische Wissensgraphen konstruiert, um die mehrstufige Argumentationsleistung von großen Sprachmodellen bei wissensintensiven Aufgaben signifikant zu verbessern.

Ursprüngliche Autoren: Pengcheng Jiang, Lang Cao, Ruike Zhu, Minhao Jiang, Yunyi Zhang, Jiaming Shen, Jimeng Sun, Jiawei Han

Veröffentlicht 2026-01-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Pengcheng Jiang, Lang Cao, Ruike Zhu, Minhao Jiang, Yunyi Zhang, Jiaming Shen, Jimeng Sun, Jiawei Han

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr kniffliges Rätsel zu lösen, wie zum Beispiel genau herauszufinden, welcher Religion ein berühmter Wissenschaftler nach seiner Heirat angehörte. Sie haben eine riesige Bibliothek von Büchern (das Internet) zur Verfügung, aber Sie können nicht jede einzelne Seite lesen.

Das Problem mit aktuellen Methoden
Die meisten KI-Assistenten von heute arbeiten wie ein Schüler, dem ein Stapel wahlloser Papiere hingestellt wird. Man sagt ihm: „Hier sind fünf Dokumente über diesen Wissenschaftler; schreibe eine Antwort.“ Der Schüler muss sich durch die unordentlichen, unorganisierten Papiere lesen, versucht, die Punkte in seinem Kopf zu verbinden, und hofft, dass er nichts erfindet (ein Problem, das als „Halluzination“ bezeichnet wird). Wenn sich die Papiere widersprechen oder schwer nachvollziehbar sind, wird der Schüler verwirrt und gibt eine falsche oder unsichere Antwort.

Die neue Lösung: RAS (Retrieval-and-Structuring)
Das Paper stellt einen neuen Rahmen namens RAS vor. Denken Sie bei RAS nicht an einen Schüler, der einen Stapel Papiere liest, sondern an einen Detektiv, der eine Fallakte erstellt.

So funktioniert RAS Schritt für Schritt, unter Verwendung unserer Detektiv-Analogie:

Der Plan des Detektivs (Planung):
Anstatt einfach nur wahllos Papiere zu greifen, fragt der Detektiv zuerst: „Was muss ich im Moment eigentlich wissen?“

Wenn die KI die Antwort bereits kennt, stoppt sie und schreibt den Bericht.
Wenn nicht, erstellt sie eine spezifische, fokussierte Frage (eine „Sub-Query“), um das fehlende Puzzleteil zu finden. Es ist so, als würde man sagen: „Ich weiß, wen er geheiratet hat, aber ich weiß nicht, woran sie glaubten. Lassen Sie uns gezielt nach ihrer religiösen Einstellung suchen.“

Beweise sammeln und organisieren (Retrieval & Structuring):
Der Detektiv geht in die Bibliothek, findet die spezifischen Seiten, die diese fokussierte Frage beantworten, und tut dann etwas Entscheidendes: Er liest nicht nur die Seiten; er verwandelt die Fakten in eine Landkarte.

Anstatt die Informationen als lange, unordentliche Absätze zu behalten, bricht RAS die Informationen in einfache, klare Fakten herunter: Subjekt (Marie Curie) -> Beziehung (Glaubte an) -> Objekt (Agnostizismus).
Er zeichnet diese Fakten auf ein Whiteboard (einen „Knowledge Graph“). Wenn er später einen neuen Fakt findet, fügt er ihn der Karte hinzu und verbindet ihn mit den vorherigen Fakten. Dies schafft ein wachsendes, organisiertes Netz der Wahrheit, das spezifisch für dieses Rätsel ist.

Den Fall lösen (Beantwortung):
Schließlich betrachtet der Detektiv die fertige Karte. Da die Informationen logisch und klar organisiert sind, kann die KI das Gesamtbild sehen, ohne sich im Rauschen zu verlieren. Sie schreibt die endgültige Antwort basierend nur auf den klaren Verbindungen auf der Karte.

Warum ist das besser?

Kein „Gehirnnebel“ mehr: Alte Methoden zwingen die KI dazu, zu raten, wie Fakten zusammenhängen. RAS baut die Verbindungen explizit auf, so wie man Linien auf einer Karte zeichnet.
Keine Zeitverschwendung: Es liest nicht die ganze Bibliothek. Es sucht nur nach dem, was es braucht, und organisiert es dann.
Weniger Fehler: Indem es unordentliche Texte in strukturierte Fakten verwandelt, ist es weniger wahrscheinlich, dass die KI etwas erfindet.

Die Ergebnisse
Die Autoren haben diesen „Detektiv“ bei sieben verschiedenen Arten schwieriger Wissensaufgaben getestet (wie zum Beispiel komplexen wissenschaftlichen Fragen oder dem Schreiben langer, detaillierter Erklärungen).

Bei der Verwendung von Open-Source-KI-Modellen verbesserte RAS die Genauigkeit um etwa 7 %.
Bei der Verwendung von leistungsstarken, kostenpflichtigen (proprietären) KI-Modellen verbesserte es die Genauigkeit um etwa 8,7 %.

Das Fazit
RAS verändert die Art und Weise, wie KI mit Wissen umgeht. Anstatt in einem Meer aus unorganisiertem Text zu ertrinken, agiert sie wie ein intelligenter Organisator, der für jede gestellte Frage eine maßgeschneiderte, faktengestützte Karte erstellt. Dies macht die KI intelligenter, genauer und viel besser darin, komplexe Probleme durch logisches Denken zu lösen.

Technisches Resümee: RAS (Retrieval-And-Structuring) für die wissensintensive LLM-Generierung

Problemstellung

Große Sprachmodelle (LLMs) haben beeindruckende Fähigkeiten in wissensintensiven Aufgaben demonstriert, kämpfen jedoch häufig mit mehrstufigem Schließen (Reasoning). Diese Einschränkung resultiert primlich aus der unstrukturierten Natur des abgerufenen Kontextes in Standard-RAG-Frameworks (Retrieval-Augmented Generation). Während RAG externe Informationen bereitstellt, führt der Mangel an expliziter Organisation unter den abgerufenen Passagen dazu, dass Modelle logische Lücken implizit überbrücken müssen, was oft zu brüchigen Reasoning-Pfaden und Halluzinationen führt.

Bestehende Versuche, Wissensgraphen (Knowledge Graphs, KGs) mit LLMs zu integrieren, verlassen sich typischerweise auf statische, korpusweite Graphen. Diese Ansätze stehen vor zwei signifikanten Einschränkungen:

Hohe Kosten: Der Aufbau und die Wartung globaler KGs (z. B. für Wikipedia) erfordert Millionen von LLM-Aufrufen und beträchtliche finanzielle Ressourcen.
Ambiguität: Globale Graphen vermischen oft Belege aus widersprüchlichen Dokumenten, was zu mehrdeutigen oder widersprüchlichen Relationen führt, die den spezifischen Kontext relevant für eine Benutzeranfrage verschleiern.

Folglich besteht ein Bedarf an einem System, das dynamisch auf eine spezifische Anfrage zugeschnittene Wissensstrukturen konstruieren kann, um ein interpretierbares und robusteres Schließen zu ermöglichen, ohne die prohibitiven Kosten einer Offline-Indizierung zu verursachen.

Methodik: Das RAS-Framework

Die Autoren schlagen Retrieval-And-Structuring (RAS) vor, ein Framework, das durch iteratives Retrieval und strukturierte Wissensbildung dynamisch fragen-spezifische Wissensgraphen konstruiert. RAS verwebt gezieltes Retrieval-Planning mit inkrementeller Graph-Konstruktion, wodurch das Modell in der Lage ist, evolvierende, auf die jeweilige Anfrage zugeschnittene Wissensstrukturen zusammenzusetzen und darüber zu schlussfolgern.

Das Framework operiert durch drei primäre Stadien:

1. Wissensbewusstes Planning (Knowledge-Aware Planning)

Der Prozess wird durch ein Planning-Modul initiiert und gesteuert, das den aktuellen Wissenszustand dynamisch bewertet.

Initiales Planning: Gegeben eine Eingabeanfrage $Q$ , entscheidet das Modell, ob die Anfrage direkt beantwortet werden kann ([NO_RETRIEVAL]) oder ob Retrieval erforderlich ist. Falls Retrieval benötigt wird, dient die Hauptfrage als initiale Subquery ( $q_0$ ).
Iteratives Planning: In jeder Iteration $i$ $i$ analysiert das Modell den akkumulierten Wissensgraphen $G_i$ $G_{i}$ sowie die Historie der Subqueries und extrahierten Triples. Es entscheidet, ob es:
- Eine neue fokussierte Subquery ( $q_{i+1}$ ) generiert, um spezifische Wissenslücken zu füllen ([SUBQ]).
- Das Retrieval abbricht, wenn das akkumulierte Wissen ausreichend ist ([SUFFICIENT]).

2. Text-Retrieval und Strukturierung (Text Retrieval and Structuring)

Sobald eine Subquery generiert wurde, führt das System eine Retrieval-und-Strukturierungs-Pipeline aus:

Retrieval: Ein dichter Retriever (Dense Retriever) ruft die top- $k$ semantisch relevanten Passagen ( $t_i$ ) für die Subquery ab.
Text-zu-Triple-Konvertierung: Ein spezialisiertes Modell ( $f_{t2t}$ ) konvertiert den abgerufenen Text in strukturierte faktische Triples (Subjekt-Prädikat-Objekt). Dieses Modell wurde auf dem WikiOfGraph-Datensatz trainiert.
Graph-Konstruktion: Die extrahierten Triples werden in eine Graphstruktur $g'_i$ mit semantischen Embeddings für Knoten und Kanten umgewandelt.
Iterative Anreicherung: Der neue Graph $g'_i$ wird in einen sich entwickelnden, fragen-spezifischen Wissensgraphen $G_Q$ integriert. Dieser Graph wächst iterativ und akkumuliert Belege, die relevant für die Hauptanfrage sind.

3. Wissensgestützte Beantwortung (Knowledge-Augmented Answering)

Wenn das Planning-Modul signalisiert, dass das Wissen ausreichend ist, generiert das Modell die finale Antwort.

Falls kein Retrieval erforderlich war, wird die Antwort direkt aus der Anfrage generiert.
Andernfalls wird die Antwort unter Berücksichtigung des kodierten fragen-spezifischen KGs ( $G_Q$ ) sowie der Kette von Subqueries und deren assoziierten Graph-Informationen generiert. Das Modell nutzt diesen strukturierten Kontext, um präzise und kohärente Ausgaben zu produzieren.

Trainingsstrategie

RAS verwendet einen struktur-bewussten Multitask-Learning-Ansatz. Ein einzelnes Graph-LLM wird darauf trainiert, sowohl Planning- als auch Answering-Aufgaben mittels einer parametereffizienten Fine-Tuning-Strategie (LoRA) durchzuführen. Die Trainingsdaten, HotpotQA-SUBQ, werden durch das Filtern von HotpotQA-Dokumenten erstellt, wobei für jedes unterstützende Dokument Subqueries generiert und die Proben mit der entsprechenden Planning-Aktion ([SUBQ], [SUFFICIENT] oder [NO_RETRIEVAL]) oder der finalen Antwort gelabelt werden.

Zentrale Beiträge

RAS-Framework: Der Vorschlag eines Frameworks, das dynamisch fragen-spezifische Wissensgraphen durch iteratives Retrieval und Strukturierung aufbaut und so die Kosten und das Rauschen globaler KGs vermeidet.
Vereinheitlichte Modellarchitektur: Das Design eines vereinheitlichten Graph-LLMs, das sowohl den Bedarf an Retrieval plant als auch Antworten über evolvierende Wissensgraphen generiert, unter Nutzung eines Multitask-Learning-Setups.
Empirische Validierung: Demonstration konsistenter Leistungssteigerungen über sieben diverse Benchmarks hinweg, was zeigt, dass dynamische Strukturierung die Genauigkeit und Robustheit des Reasonings verbessert.

Experimentelle Ergebnisse

Die Autoren evaluierten RAS auf sieben Benchmarks, die Open-Domain-QA (TriviaQA, PopQA, 2WikiMultihopQA), Closed-Set-Aufgaben (PubHealth, ARC-Challenge) und Long-Form-Generierung (ASQA, ELI5) abdecken.

Leistungssteigerungen: RAS übertraf konsistent starke Baselines, einschließlich Self-RAG, RPG und SuRe.
- Mit Open-Source-LLMs (LLaMA-2-7B/LLaMA-3-8B) erzielte RAS Steigerungen von bis zu 7,0 % gegenüber den Baselines.
- Mit proprietären Modellen (Claude-3.5-Sonnet) erzielte RAS Steigerungen von bis zu 8,7 %.
Ablationsstudien:
- Iteratives Planning: Das Entfernen des Planning-Moduls (Rückkehr zum Single-Pass-Retrieval) führte zu signifikanten Leistungseinbußen, was die Notwendigkeit unterstreicht, den Bedarf an Retrieval dynamisch zu bestimmen.
- Graph-Konstruktion: Das Entfernen der Text-zu-Triple-Konvertierung oder des Graph-Encoders führte zu einer erheblichen Degradation, was den Wert der strukturierten Wissensrepräsentation bestätigt.
- Trainingsstrategie: Das gemeinsame Multitask-Training und die Verwendung von LoRA erwiesen sich als entscheidend für die optimale Leistung.
Effizienz: Im Gegensatz zu statischen Graph-Methoden (z. B. GraphRAG), die ein teures Offline-Indexing erfordern (geschätzt auf 85.000 $– 500.000$ für Wikipedia-Skala), verursacht RAS vernachlässigbare Offline-Kosten, da die Graphen dynamisch zur Inferenzzeit konstruiert werden.

Bedeutung und Ansprüche

Das Paper behauptet, dass die dynamische, fragen-spezifische Wissensstrukturierung einen robusten Weg bietet, um die Genauigkeit und Robustheit des Reasonings in der Sprachmodell-Generierung zu verbessern. Durch die explizite Organisation des abgerufenen Wissens in evolvierende Graphen mildert RAS die mit unstrukturiertem Kontext verbundenen Halluzinationsrisiken sowie die Ineffizienzen globaler Wissensgraphen ab.

Die Autoren betonen, dass ihr Ansatz mit Interpretabilitätsstudien übereinstimmt, die darauf hindeuten, dass das Scheitern von LLMs oft auf unterbrochenen impliziten Reasoning-Ketten beruht. Indem RAS diese Ketten durch strukturierte intermediäre Prozesse explizit macht, bietet es eine transparente und skalierbare Lösung für wissensintensive Aufgaben. Das Framework wird als allgemeiner Ansatz für Open-Domain-Fragebeantwortung präsentiert und ist nicht auf spezifische Knowledge Graph Question Answering (KGQA)-Aufgaben beschränkt.