💬 NLP

Extracting and Following Paths for Robust Relational Reasoning with Large Language Models

Die Arbeit stellt Path-of-Thoughts (PoT) vor, ein neues, nicht-feinabgestimmtes Framework, das komplexe relationale Schlussfolgerungen durch die Zerlegung in Graph-Extraktion, Pfadidentifikation und logisches Denken verbessert und dabei sowohl die Genauigkeit als auch die Robustheit gegenüber Fehlern signifikant steigert.

Ursprüngliche Autoren: Ge Zhang, Mohammad Ali Alomrani, Hongjian Gu, Jiaming Zhou, Yaochen Hu, Bin Wang, Qun Liu, Mark Coates, Yingxue Zhang, Jianye Hao

Veröffentlicht 2026-03-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ge Zhang, Mohammad Ali Alomrani, Hongjian Gu, Jiaming Zhou, Yaochen Hu, Bin Wang, Qun Liu, Mark Coates, Yingxue Zhang, Jianye Hao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der kluge, aber verwirrte Bibliothekar

Stell dir vor, du hast einen extrem klugen Bibliothekar (das ist die KI oder das Large Language Model). Dieser Bibliothekar kennt jede Geschichte, jedes Wort und kann fließend sprechen. Wenn du ihn fragst: „Wer ist der Onkel von Tim?", antwortet er oft richtig, weil er das Konzept „Onkel" aus Millionen Büchern kennt.

Aber wenn die Geschichte kompliziert wird – etwa: „Tim ist der Bruder von Anna. Annas Mutter ist Lisa. Lisas Bruder ist Max. Wie ist Max mit Tim verwandt?" – dann stolpert der Bibliothekar. Er versucht, die ganze Geschichte auf einmal im Kopf zu behalten, verliert den Faden und macht Fehler. Er „halluziniert" oft, weil er versucht, alles aus dem Gedächtnis abzuleiten, ohne einen echten Plan zu haben.

Die Lösung: PoT (Der Weg der Gedanken)

Die Autoren dieses Papiers haben eine neue Methode namens Path-of-Thoughts (PoT) entwickelt. Man kann sich das wie einen Detektiv vorstellen, der nicht einfach rät, sondern systematisch arbeitet. Der Detektiv teilt die Aufgabe in drei klare Schritte auf:

Schritt 1: Die Landkarte zeichnen (Graph-Extraktion)

Statt die ganze Geschichte einfach nur zu lesen, macht der Detektiv erst einmal eine Landkarte.

Die Metapher: Stell dir vor, die Geschichte ist ein dichter Wald. Der Detektiv geht nicht blind durch den Wald, sondern zeichnet zuerst eine Skizze auf ein Blatt Papier. Er notiert: „Hier ist Tim, hier ist Anna, und zwischen ihnen steht ein Schild ‚Bruder'".
Was passiert technisch: Die KI liest den Text und extrahiert alle wichtigen Namen (Personen/Objekte) und ihre Beziehungen (Bruder, Mutter, links von, rechts von) und schreibt sie als klare Liste von Fakten auf. Das ist wie das Erstellen eines Graphen (ein Netz aus Punkten und Linien).

Schritt 2: Den richtigen Pfad finden (Pfad-Identifikation)

Jetzt hat der Detektiv eine Landkarte mit vielen Wegen. Aber er muss nur den Weg von A nach B finden.

Die Metapher: Auf deiner Landkarte gibt es vielleicht 50 verschiedene Wege. Der Detektiv sucht sich aber nur die relevanten Pfade aus, die für die Frage wichtig sind. Er ignoriert alles andere. Wenn die Frage ist „Wer ist Tims Onkel?", sucht er nur die Linie, die von Tim über Anna zu Max führt. Er schneidet den Rest der Landkarte ab.
Der Vorteil: Das ist wie das Suchen nach dem kürzesten Weg in einer App (wie Google Maps), statt durch jede einzelne Straße der Stadt zu laufen. Das verhindert, dass der Detektiv durch irrelevante Informationen abgelenkt wird.

Schritt 3: Die Reise antreten (Reasoning)

Jetzt, wo der Detektiv nur noch den einen, klaren Pfad vor sich hat, geht er ihn Schritt für Schritt ab.

Die Metapher: Er läuft den Weg: „Tim ist Bruder von Anna. Anna ist Tochter von Lisa. Lisa ist Schwester von Max." -> Also ist Max Tims Onkel.
Der Clou: Da der Detektiv nur diesen einen, klaren Pfad betrachtet, macht er viel weniger Fehler. Und falls die Landkarte (Schritt 1) einen kleinen Fehler hatte (z. B. ein falsches Schild), kann er oft trotzdem den richtigen Weg finden, weil er alternative Pfade prüfen kann.

Warum ist das so gut?

Robustheit gegen Fehler: Wenn der Bibliothekar (die KI) beim Zeichnen der Landkarte einen kleinen Fehler macht (z. B. „links" statt „rechts" schreibt), kann das System trotzdem oft das Richtige finden, weil es den Pfad separat prüft. Es ist wie ein Navigationssystem, das auch dann noch den Weg findet, wenn eine Straße auf der Karte falsch eingezeichnet ist, weil es den Gesamtzusammenhang sieht.
Kein neues Training nötig: Man muss die KI nicht mühsam neu lernen lassen (kein „Fine-Tuning"). Man gibt ihr einfach einen besseren Befehl (Prompt), damit sie erst die Landkarte zeichnet und dann den Pfad sucht.
Bessere Ergebnisse: In Tests (wie bei Verwandtschaftsfragen oder räumlichen Rätseln) war diese Methode bis zu 21 % besser als andere Methoden, bei denen die KI einfach nur „raten" oder „schrittweise denken" musste, ohne die Landkarte zu nutzen.

Zusammenfassung in einem Satz

Statt die KI zu bitten, ein komplexes Rätsel aus dem Gedächtnis zu lösen, zwingen wir sie erst, eine Landkarte zu zeichnen, dann den richtigen Weg darauf zu suchen und diesen Weg schrittweise abzulaufen. So wird aus einem verwirrten Bibliothekar ein präziser Detektiv.

1. Problemstellung

Große Sprachmodelle (LLMs) verfügen zwar über umfangreiches semantisches Wissen, scheitern jedoch häufig an komplexen Schlussfolgerungsaufgaben, insbesondere bei relationalen Reasoning-Problemen (z. B. Verwandtschaftsbeziehungen oder räumliches Reasoning).

Herausforderungen: LLMs neigen zu oberflächlichem Reasoning und leiden unter „Halluzinationen" oder Fehlern bei der Extraktion von Fakten aus Texten. Herkömmliche Prompting-Methoden wie Chain-of-Thought (CoT) versagen oft bei Multi-Hop-Aufgaben, da irrelevante Informationen den Denkprozess stören.
Bestehende Ansätze: Neuro-symbolische Methoden kombinieren LLMs mit symbolischen Lösern, sind aber oft starr, anfällig für Extraktionsfehler des LLMs oder erfordern viele LLM-Aufrufe sowie manuell erstellte, aufgabenspezifische Übersetzungsmodule.
Spezifisches Ziel: Die Autoren zielen darauf ab, ein Framework zu entwickeln, das robust gegenüber Extraktionsfehlern ist, keine Feinabstimmung (Fine-Tuning) benötigt und effizient mit wenigen LLM-Aufrufen auskommt.

2. Methodik: Path-of-Thoughts (PoT)

Das vorgestellte Framework Path-of-Thoughts (PoT) zerlegt das Problem des relationalen Reasonings in drei aufeinanderfolgende Stufen:

A. Graph-Extraktion (Graph Extraction)

Ziel: Umwandlung des unstrukturierten Textes (Story) in einen strukturierten Graphen $G = (N, E)$ .
Prozess: Ein einzelner LLM-Aufruf extrahiert alle relevanten Entitäten (Knoten $N$ ), Relationen (Kanten $E$ ) und Attribute.
Innovation: Die Autoren verwenden speziell gestaltete Prompts mit strukturellen Markierungen, syntaktischen Trennzeichen und vordefinierten Kategorien, um die Extraktionsgenauigkeit zu maximieren. Im Gegensatz zu früheren Ansätzen werden hier auch die zu befragenden Entitäten direkt aus der Frage extrahiert, anstatt sie als feste Eingabe vorgegeben zu haben.
Ausgabe: Ein Graph, der als „kognitive Karte" des Problems dient.

B. Pfad-Identifikation (Path Identification)

Ziel: Isolierung der für die Frage relevanten Reasoning-Pfade im Graphen.
Prozess: Es werden alle Pfade zwischen den Quell- und Zielknoten (den in der Frage genannten Entitäten) mittels Tiefensuche (Depth-First Search) identifiziert.
Robustheitsmechanismus: Dies ist der Kern der Robustheit. Da LLMs bei der Graph-Extraktion Fehler machen können (z. B. falsche Relationen oder irrelevante Kanten), identifiziert PoT alle möglichen Pfade.
- Wenn ein Pfad durch einen Extraktionsfehler verfälscht ist, können andere Pfade dennoch korrekte Schlussfolgerungen liefern.
- Dies verhindert, dass ein einzelner Fehler in der Extraktionskette das gesamte Reasoning-Resultat kaskadierend zerstört.

C. Reasoning (Schlussfolgerung)

Ziel: Ableitung der Antwort basierend auf den identifizierten Pfaden.
Optionen:
1. LLM-Reasoner: Der LLM erhält nur den extrahierten Pfad (nicht den gesamten ursprünglichen Text) und leitet die Antwort ab. Dies reduziert Ablenkung durch irrelevante Kontexte.
2. Symbolischer Reasoner: Ein logischer Löser (z. B. CLINGO basierend auf Answer Set Programming) wird verwendet, um die Fakten und Regeln des Pfades formal zu lösen.
Aggregation: Da mehrere Pfade existieren können, werden die Ergebnisse aller Pfade gesammelt, um alle möglichen Antworten zu inferieren.

3. Wichtige Beiträge

Effiziente Graph-Extraktion: Entwicklung eines Prompting-Verfahrens, das in einem einzigen LLM-Aufruf sowohl den Graphen als auch die Abfrage entnimmt, ohne Fine-Tuning.
Pfad-Identifikation als Robustheitsmechanismus: Die Einführung einer Phase, die mehrere unabhängige Reasoning-Pfade identifiziert. Dies nutzt die kompositionelle Natur von Graphen, um Fehler in der Extraktion oder mehrdeutige Beschreibungen im Text zu kompensieren.
Benchmarking: Umfassende Evaluierung auf vier Datensätzen (StepGame, CLUTRR, SPARTUN und einem neuen chinesischen Verwandtschafts-Datensatz), die zeigen, dass PoT State-of-the-Art-Basenlinien signifikant übertrifft.
Erste Arbeit ihrer Art: PoT ist laut Autoren die erste Arbeit, die das Reasoning-Modul explizit durch die Identifizierung von abfrage-relevanten Subgraphen vor dem eigentlichen Reasoning optimiert, um Extraktionsfehler zu mildern.

4. Ergebnisse

Die Evaluierung umfasste verschiedene Modelle (GPT-3.5, GPT-4, GPT-4o, Llama3, sowie spezialisierte Reasoning-Modelle wie o1-mini und GPT-5).

Leistungssteigerung: PoT übertrifft die besten Baselines (einschließlich CoT, CoT-SC und neuro-symbolischer Ansätze wie LLM-ASP) in den meisten Szenarien signifikant.
- Die Genauigkeitssteigerung beträgt bis zu 21,3 % im Vergleich zu den besten Baselines.
- Besonders bei komplexen Aufgaben mit vielen Reasoning-Hops (z. B. $k=10$ im StepGame-Datensatz) zeigt PoT den größten Vorsprung.
Robustheit: In Experimenten mit synthetischen Rauschen (z. B. hinzugefügte irrelevante Kanten oder widersprüchliche Informationen) behielt PoT (insbesondere die Variante mit symbolischem Reasoner) eine hohe Genauigkeit, während Modelle ohne Pfad-Identifikation stark an Leistung verloren.
Effizienz: Trotz zweier LLM-Aufrufe (Extraktion + Reasoning) ist der Rechenaufwand und die Latenz mit direkten Prompting-Methoden vergleichbar, da der Reasoning-Teil nur auf den kleinen, extrahierten Pfaden operiert und nicht auf dem gesamten Text.
Chinesisches Kinship: PoT bewältigte erfolgreich die extrem komplexe chinesische Verwandtschaftslogik (über 500 Titel), wo symbolische Ansätze aufgrund der Schwierigkeit, Regeln zu definieren, oft versagten.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Zerlegung von Reasoning-Aufgaben in Extraktion, Pfad-Identifikation und Reasoning ein effektiver Weg ist, um die Grenzen aktueller LLMs zu überwinden.

Paradigmenwechsel: Anstatt das LLM zu zwingen, den gesamten Reasoning-Prozess in einem Durchgang durchzuführen, nutzt PoT das LLM primär zur strukturellen Analyse (Graph-Extraktion) und nutzt dann die inhärente Robustheit von Graphenstrukturen, um Fehler zu tolerieren.
Anwendbarkeit: Das Framework ist domänenunabhängig und funktioniert sowohl für räumliches als auch für kinship-basiertes Reasoning, ohne dass für jede Domäne neue symbolische Regeln manuell kodiert werden müssen (bei Verwendung des LLM-Reasoners).
Zukunftsausblick: Die Arbeit legt den Grundstein für robustere neuro-symbolische Systeme, die weniger anfällig für die „Halluzinationen" von LLMs sind und komplexe logische Schlussfolgerungen in realen Anwendungen zuverlässiger durchführen können.

Zusammenfassend bietet PoT einen neuen, effizienten und robusten Ansatz für das relationale Reasoning, der die Stärken von LLMs (Sprachverständnis) mit der Strukturiertheit von Graphen kombiniert, um die Schwächen beider Ansätze zu minimieren.