Knowledge augmented causal discovery through large language models and knowledge graphs: application in chronic low back pain

Die Studie zeigt, dass die Kombination von Large Language Models mit wissensbasierten GraphRAG-Systemen die Leistung von kausalen Entdeckungsalgorithmen bei chronischen Rückenschmerzen im Vergleich zu rein datengetriebenen Ansätzen oder einfachen RAG-Methoden signifikant verbessert, indem sie Domänenwissen effektiv mit Daten integriert.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, ein riesiges, verworrenes Labyrinth aus Ursachen und Wirkungen zu verstehen – speziell im Bereich chronischer Rückenschmerzen. Das ist genau das Problem, mit dem sich diese Wissenschaftler beschäftigt haben.

Hier ist die einfache Erklärung, wie sie es gelöst haben, mit ein paar bildhaften Vergleichen:

Das Problem: Der blinde Detektiv

Stellen Sie sich einen blinden Detektiv vor, der nur auf einer Liste von Hinweisen (Daten) herumtappen darf. Er versucht herauszufinden, was was verursacht (z. B. „Verursacht schlechte Haltung den Schmerz?").
Das Problem ist: Wenn er nur auf die Liste schaut, ohne zu sehen oder zu wissen, wie die Welt funktioniert, macht er viele Fehler. Er sieht nur Korrelationen (Dinge, die oft zusammen passieren), aber nicht die echte Ursache. Es ist, als würde er raten, wer der Mörder ist, nur weil beide am Tatort waren, ohne zu wissen, wie ein Mord überhaupt funktioniert.

Die Lösung: Der Detektiv mit einem riesigen Wissensschatz

Die Forscher haben diesem blinden Detektiv drei verschiedene Werkzeuge gegeben, um ihm zu helfen, und haben getestet, welches am besten funktioniert:

1. Der blinde Detektiv allein (Daten allein):
   Er schaut nur auf die Zahlen. Das Ergebnis? Er ist sehr unsicher und macht viele Fehler. (Ergebnis: Nur ca. 40 % richtig).

2. Der Detektiv mit einem KI-Chatbot (LLM):
   Jetzt gibt man dem Detektiv einen super-intelligenten Assistenten (eine große KI), der alles über Medizin weiß. Der Assistent kann raten, was logisch klingt. Das ist schon besser, aber der Assistent halluziniert manchmal oder vermisst Details. (Ergebnis: Ca. 64 % richtig).

3. Der Detektiv mit einer Bibliothek (RAG):
   Hier bekommt der Detektiv einen Assistenten, der nicht nur aus dem Kopf weiß, sondern sofort in einer riesigen Bibliothek nachschlägt, bevor er antwortet. Das ist noch genauer. (Ergebnis: Ca. 71 % richtig).

4. Der Detektiv mit einer interaktiven Landkarte (GraphRAG – Der Gewinner!):
   Das ist der Clou der Forschung. Statt einer normalen Bibliothek bekommt der Detektiv eine interaktive Landkarte des Wissens.

   • Die Analogie: Stellen Sie sich vor, Sie haben nicht nur eine Liste von Fakten, sondern ein riesiges Netz aus verbundenen Knotenpunkten (wie ein U-Bahn-Netz). Jeder Punkt ist ein medizinisches Wissen (z. B. „Entzündung", „Nerv", „Schmerz").
   • Wenn der Detektiv fragt: „Was verursacht Rückenschmerzen?", sieht er auf der Karte nicht nur isolierte Fakten, sondern die Verbindungswege zwischen ihnen. Er kann sehen, wie A zu B führt, und B zu C.
   • Durch diese „Landkarte" (Knowledge Graph) in Kombination mit der KI (RAG) versteht der System nicht nur was passiert, sondern warum es logisch zusammenhängt.

Das Ergebnis

Das Team hat herausgefunden, dass diese Kombination aus KI + Wissenslandkarte (GraphRAG) am besten funktioniert. Sie konnte die wahren Ursachen für Rückenschmerzen zu 74,5 % korrekt identifizieren – weit besser als alle anderen Methoden.

Warum ist das wichtig?

Stellen Sie sich vor, Sie wollen ein Auto reparieren.

• Nur Daten: Sie schauen auf die Ölspur am Boden und raten, was kaputt ist.
• Mit KI: Sie fragen einen Mechaniker, der viel gelesen hat.
• Mit GraphRAG: Sie haben einen Mechaniker, der nicht nur gelesen hat, sondern einen 3D-Plan des gesamten Motors vor sich hat, auf dem alle Schläuche, Kabel und Verbindungen leuchten. Er sieht sofort, wie ein Defekt an einer Schraube den ganzen Motor beeinflusst.

Fazit: Diese Studie zeigt, dass wir, um komplexe Krankheiten wie chronische Rückenschmerzen wirklich zu verstehen, nicht nur auf Daten angewiesen sind. Wir müssen die Daten mit dem menschlichen Wissen verbinden – und zwar so, dass die KI die Zusammenhänge wie eine Landkarte sieht, nicht nur wie eine Liste. Das hilft Ärzten und Forschern, schneller und genauer die wahren Ursachen von Schmerzen zu finden und bessere Behandlungen zu entwickeln.

Technische Zusammenfassung

1. Problemstellung

Herkömmliche Algorithmen zur kausalen Entdeckung (Causal Discovery) stützen sich primär auf Daten, um kausale Beziehungen zu inferieren und kausale Modelle zu rekonstruieren. Diese rein datengetriebenen Ansätze weisen jedoch signifikante Einschränkungen auf:

• Strukturelle Beschränkungen: Die Qualität der Ergebnisse hängt stark von der Struktur und den Eigenschaften des verwendeten Datensatzes ab.
• Fehlende kausale Logik: Daten allein liefern oft nur Korrelationen, ohne die zugrundeliegende kausale Logik zu verstehen.
• Mangel an externem Wissen: Ohne Einbeziehung von Domänenwissen können diese Algorithmen lediglich potenzielle, aber nicht verifizierte kausale Beziehungen vorschlagen.

Das Ziel der Studie ist es, diese Limitierungen zu überwinden, indem externe Wissensquellen und Large Language Models (LLMs) integriert werden, um die Genauigkeit und Zuverlässigkeit der kausalen Modellierung zu verbessern.

2. Methodik

Die Autoren untersuchen verschiedene Ansätze zur Erweiterung (Augmentierung) von kausalen Entdeckungsverfahren:

• Basis-Modell: Ein rein datengetriebener kausaler Entdeckungsalgorithmus.
• LLM-Augmentierung: Nutzung von Large Language Models zur Generierung von kausalem Wissen.
• RAG-Augmentierung (Retrieval-Augmented Generation): Integration von RAG-Systemen, die externe Textdaten zur Unterstützung des LLMs abrufen.
• GraphRAG-Augmentierung: Ein neuartiger Ansatz, der auf einem Wissensgraphen (Knowledge Graph) basiert. Hier wird ein vom Experten definierter kausaler Graph für chronische Rückenschmerzen genutzt, um ein GraphRAG-System zu erstellen. Dies ermöglicht eine strukturierte Abfrage und Nutzung von domänenspezifischem Wissen.

Prompting-Strategien:
Die Studie untersucht zudem den Einfluss verschiedener Prompting-Methoden, die von der Vorgehensweise der Domänenexperten inspiriert wurden. Dazu gehören Abfragen nach:

• Der Plausibilität kausaler Beziehungen.
• Der Existenz statistischer Assoziationen.
• Der Existenz zeitlicher kausaler Beziehungen.

Als Ground Truth (Referenzstandard) diente ein von Experten definierter kausaler Graph für chronische Rückenschmerzen.

3. Wichtige Beiträge

• Entwicklung von GraphRAG für kausale Entdeckung: Die Autoren schlagen vor, GraphRAG-Systeme als überlegene Alternative zu herkömmlichen RAG-Systemen für die kausale Modellierung einzusetzen, da sie strukturierte Beziehungen besser abbilden können.
• Systematischer Benchmark: Eine umfassende Leistungsbewertung verschiedener Architekturen (Daten-only, LLM, RAG, GraphRAG) im Kontext der kausalen Entdeckung.
• Analyse von Prompting-Techniken: Untersuchung, wie spezifische Fragen an LLMs (z. B. zu Zeitlichkeit oder Plausibilität) die Qualität der Ergebnisse beeinflussen.
• Brückenschlag zwischen Daten und Wissen: Demonstration, wie LLMs und Wissensgraphen die Lücke zwischen rein datengetriebenen Ansätzen und domänenspezifischem Expertenwissen schließen können.

4. Ergebnisse

Die Leistung der verschiedenen Methoden wurde anhand des F1-Scores gemessen. Die Ergebnisse zeigen eine klare Hierarchie der Genauigkeit:

1. Reine kausale Entdeckung (Daten-only): F1 = 0,396 (Schlechteste Leistung, bestätigt die Limitierungen rein datengetriebener Ansätze).
2. Augmentierung mit LLM: F1 = 0,636 (Deutliche Verbesserung durch generatives Wissen).
3. Augmentierung mit RAG: F1 = 0,714 (Verbesserung durch Abruf externen Textwissens).
4. Augmentierung mit GraphRAG: F1 = 0,745 (Bestes Ergebnis).

Der GraphRAG-Ansatz erzielte den höchsten F1-Score und übertraf sowohl das reine RAG als auch das reine LLM. Dies unterstreicht die Bedeutung der Integration von strukturierten Wissensgraphen für die kausale Inferenz.

5. Bedeutung und Ausblick

Die Studie demonstriert, dass die Kombination aus Large Language Models und strukturierten Wissensgraphen (GraphRAG) ein leistungsfähiges Werkzeug zur Verbesserung der kausalen Entdeckung ist.

• Anwendung im Gesundheitswesen: Im spezifischen Fall der chronischen Rückenschmerzen ermöglicht dieser Ansatz die Erstellung präziserer kausaler Modelle, was für die Entwicklung besserer Behandlungsstrategien entscheidend ist.
• Beschleunigung der Forschung: Die Methode kann den Prozess der kausalen Modellierung beschleunigen, indem sie Expertenwissen effizient in datengetriebene Analysen integriert.
• Allgemeine Relevanz: Die Ergebnisse deuten darauf hin, dass zukünftige Systeme zur kausalen Inferenz nicht mehr nur auf Rohdaten angewiesen sein sollten, sondern zwingend externe, strukturierte Wissensquellen einbeziehen müssen, um robuste und interpretierbare Ergebnisse zu liefern.