AOP-Smart: A RAG-Enhanced Large Language Model Framework for Adverse Outcome Pathway Analysis

Die Studie stellt AOP-Smart vor, ein RAG-basiertes Framework, das die Halluzinationen von Large Language Models bei der Analyse von Adverse Outcome Pathways (AOPs) erheblich reduziert und deren Genauigkeit durch den Abgleich mit offiziellen AOP-Wiki-Daten von bis zu 35 % auf bis zu 100 % steigert.

Das Wesentliche

🧠 Das Problem: Der brillante, aber träumerische Assistent

Stell dir vor, du hast einen extrem intelligenten Assistenten (einen „Künstlichen Intelligenz-Chatbot"), der alles über Chemie und Toxikologie zu wissen scheint. Er kann fließend sprechen und komplexe Sätze bilden.

Das Problem ist: Er halluziniert.

Wenn du ihn nach einem sehr spezifischen, seltenen chemischen Prozess fragst, antwortet er vielleicht selbstbewusst mit etwas, das klingt, als wäre es wahr, aber in Wirklichkeit ist es komplett erfunden. Es ist, als würde ein Schüler, der für eine Prüfung gelernt hat, aber den Stoff nicht ganz verstanden hat, einfach Dinge erfinden, um die Aufgabe zu lösen. In der Wissenschaft, wo es um die Sicherheit von Chemikalien geht, sind solche „Erdichtungen" gefährlich.

💡 Die Lösung: AOP-Smart (Der „Nachschlagewerk"-Assistent)

Die Forscher von der Universität Nanyang haben eine Lösung namens AOP-Smart entwickelt. Stell dir das wie folgt vor:

Statt dem Assistenten zu erlauben, nur aus seinem Gedächtnis (seinen Trainingsdaten) zu antworten, geben wir ihm vor der Antwort ein offizielles, lückenloses Nachschlagewerk in die Hand.

1. Das Buch (Die Datenbank): Die Forscher haben alle offiziellen Daten aus der „AOP-Wiki" (eine Art Wikipedia für giftige Wirkungswege) in ein digitales, strukturiertes Buch verwandelt.
2. Der Suchmechanismus (RAG): Wenn du eine Frage stellst, sucht AOP-Smart nicht erst im Gehirn des Assistenten, sondern schlägt sofort im Buch nach.
   • Es findet die relevanten Abschnitte (die „Schlüsselereignisse").
   • Es schaut sich an, was davor passiert ist (Vorgänger) und was danach kommt (Nachfolger).
   • Es verbindet diese Punkte wie eine Schnur an einer Perlenkette, um den ganzen Weg der Reaktion zu verstehen.
3. Die Antwort: Erst nachdem der Assistent diese genauen Fakten aus dem Buch gelesen hat, darf er seine Antwort formulieren. Er sagt dann nicht mehr „Ich glaube, es ist so...", sondern „Laut dem offiziellen Buch ist es so...".

🧩 Wie funktioniert das genau? (Die Perlenkette-Analogie)

In der Toxikologie gibt es sogenannte AOPs (Adverse Outcome Pathways). Stell dir das wie eine Perlenkette vor:

• Eine Perle ist ein molekularer Auslöser (z. B. eine Chemikalie bindet an ein Protein).
• Die nächste Perle ist eine Zellreaktion.
• Die nächste ist eine Gewebeschädigung.
• Am Ende hängt eine Perle, die das eigentliche Problem darstellt (z. B. ein kranke Leber).

Früher hat der KI-Assistent versucht, die ganze Kette aus dem Kopf zu rekonstruieren. Oft hat er Perlen verwechselt oder Perlen erfunden, die gar nicht existieren.

AOP-Smart macht es anders:

• Du fragst: „Was passiert, wenn Perle X passiert?"
• Das System sucht im Buch nach Perle X.
• Es findet sofort die Perle davor und die Perle danach.
• Es legt diese drei Perlen (und den ganzen Kontext) direkt vor den Assistenten.
• Der Assistent muss nur noch die Geschichte erzählen, die auf diesen echten Perlen basiert.

📊 Die Ergebnisse: Ein Wunder der Genauigkeit

Die Forscher haben das System getestet, indem sie 20 schwierige Fragen stellten, die von einfachen Fakten bis zu komplexen Zusammenhängen reichten.

• Ohne das Buch (Nur KI-Gedächtnis): Die KI war katastrophal. Sie lag bei manchen Fragen zu 85 % falsch! (Die Genauigkeit lag nur bei 15–35 %). Sie war wie ein Schüler, der raten muss.
• Mit dem Buch (AOP-Smart): Die Ergebnisse waren überwältigend. Die KI lag fast nie falsch (Genauigkeit stieg auf 95–100 %).

Es war, als würde man einem Schüler, der vorher nur geraten hat, plötzlich den Lösungsschlüssel und das Lehrbuch geben. Plötzlich kann er jede Aufgabe perfekt lösen.

🚀 Was bedeutet das für die Zukunft?

Diese Studie zeigt, dass wir KI in der Wissenschaft nicht einfach „loslaufen" lassen sollten. Wir müssen ihr Werkzeuge geben, um Fakten zu prüfen.

• Zuverlässigkeit: Wir können der KI mehr vertrauen, wenn sie auf echten Daten basiert.
• Keine Erfindungen: Das Problem der „Halluzinationen" (das Erfinden von Fakten) wird fast vollständig gelöst.
• Zukunft: In Zukunft könnte dieses System helfen, automatisch neue wissenschaftliche Zusammenhänge zu finden oder riesige Mengen an Studien zu lesen, ohne dass Menschen stundenlang suchen müssen.

Zusammenfassend: AOP-Smart ist wie ein unsichtbarer Bibliothekar, der der KI sagt: „Bevor du antwortest, lies hier nach!" – und dadurch wird aus einem träumerischen Träumer ein präziser Wissenschaftler.

Technische Zusammenfassung

1. Problemstellung

Adverse Outcome Pathways (AOPs) sind ein zentrales Wissensframework in der toxikologischen Forschung und Risikobewertung, das kausale Zusammenhänge von molekularen Auslöseereignissen (MIEs) bis hin zu nachteiligen Ergebnissen (AOs) beschreibt. Obwohl die Datenmenge in AOP-Wiki wächst, stellt dies eine Herausforderung für Forscher dar, relevante Informationen effizient zu finden und zu integrieren.

Große Sprachmodelle (LLMs) wurden zwar zunehmend für Fragen zu AOPs und mechanistisches Schlussfolgern eingesetzt, leiden jedoch unter erheblichen Einschränkungen:

• Halluzinationen: LLMs neigen dazu, flüssig formulierte, aber faktisch falsche Antworten zu generieren, insbesondere bei hochspezialisiertem Domänenwissen.
• Fehlende externe Wissensbasis: Ohne Zugriff auf aktuelle oder spezifische externe Daten verlassen sich LLMs nur auf ihre Trainingsdaten, was zu Lücken oder Inkonsistenzen führt.
• Strukturelle Komplexität: AOP-Wissen ist hierarchisch, kausal vernetzt und strukturiert (Key Events, KERs), was von herkömmlichen Retrieval-Augmented-Generation (RAG)-Ansätzen, die oft auf semantischer Ähnlichkeit in unstrukturiertem Text basieren, nicht adäquat berücksichtigt wird.

2. Methodik: Das AOP-Smart-Framework

Die Autoren stellen AOP-Smart vor, ein RAG-Framework, das speziell für die AOP-Domäne entwickelt wurde. Es nutzt offizielle XML-Daten von AOP-Wiki, um eine strukturierte Wissensbasis zu erstellen.

Kernkomponenten und Ablauf:

1. Datenverarbeitung:
   • Die XML-Daten werden in zwei strukturierte Ressourcen zerlegt:
     • Index.txt: Enthält IDs und Titel aller Key Events (KEs). Dieser Index ist extrem leichtgewichtig (~20.000 Tokens) und wird direkt in den Prompt geladen, um eine effiziente Vorauswahl zu ermöglichen.
     • AOP-Smart.json: Speichert detaillierte strukturierte Informationen zu KEs, Key Event Relationships (KERs) und vollständigen AOPs.
2. Zweistufiger Retrieval-Prozess:
   • Schritt 1 (Top-N Auswahl): Die Benutzerfrage wird zusammen mit dem Index.txt an das LLM gesendet. Das Modell bewertet die Relevanz aller KEs und wählt die Top-N (N ist ein einstellbarer Parameter, im Experiment N=5) relevantesten KE-IDs aus.
   • Schritt 2 (Erweiterung durch Kontext): Basierend auf den ausgewählten KE-IDs erfolgt eine kontextuelle Erweiterung:
     • KE-Erweiterung: Direkte upstream- und downstream-KEs werden hinzugefügt.
     • KER-Rekonstruktion: Alle KERs, die die erweiterten KEs verbinden, werden extrahiert.
     • AOP-Retrieval: Vollständige AOP-Ketten werden identifiziert, wenn mindestens zwei Elemente (MIE, KE oder AO) mit dem erweiterten KE-Set übereinstimmen.
3. Generierung:
   • Die strukturierten Kontextdaten (KE-, KER- und AOP-Details) werden zusammen mit der ursprünglichen Frage als externer Kontext in das LLM eingespeist.
   • Das LLM generiert die Antwort basierend auf diesem faktenbasierten Kontext, was die Wahrscheinlichkeit von Halluzinationen minimiert.

3. Hauptbeiträge

1. Domänenspezifisches RAG-Framework: Einführung eines RAG-Ansatzes, der AOP-spezifisches Wissen (hierarchisch und kausal) direkt in den Schlussfolgerungsprozess von LLMs integriert.
2. Strategische Wissens-Erweiterung: Entwicklung einer Strategie zur Erweiterung des Kontexts basierend auf den Top-N Key Events. Dies ermöglicht die assoziative Suche und den Abruf von Informationen über KEs, KERs und gesamte AOPs hinweg.
3. Validierung der Wirksamkeit: Durchgeführte Vergleichsexperimente belegen, dass der Ansatz das Halluzinationsproblem im AOP-Bereich signifikant reduziert und die Antwortgenauigkeit drastisch verbessert.

4. Experimentelle Ergebnisse

Die Studie wurde mit einem Testset aus 20 Fragen evaluiert, die vier Kategorien abdecken: KE-Identifikation, Downstream/Upstream-KE-Retrieval und komplexe AOP-Abfragen. Drei Modelle (Gemini, DeepSeek, ChatGPT) wurden unter zwei Bedingungen getestet: ohne RAG und mit AOP-Smart.

Ergebnisse (Genauigkeit):

• Ohne RAG: Die Modelle zeigten sehr schwache Leistungen, da sie auf internes Wissen angewiesen waren.
  • GPT: 15,0 %
  • DeepSeek: 35,0 %
  • Gemini: 20,0 %
• Mit AOP-Smart (RAG): Die Genauigkeit stieg in allen Fällen drastisch an.
  • GPT: 95,0 %
  • DeepSeek: 100,0 %
  • Gemini: 95,0 %

Besonders bei komplexen Aufgaben (Multi-Hop-Abfragen und strukturelle Beziehungen) zeigte RAG den größten Verbesserungseffekt, wobei die Modelle von unter 10 % auf über 90 % Genauigkeit kamen.

5. Bedeutung und Ausblick

Bedeutung:
AOP-Smart demonstriert, dass die Integration strukturierter, domänenspezifischer Wissensgraphen in LLMs durch RAG ein effektiver Weg ist, um die Zuverlässigkeit und Interpretierbarkeit von KI in der wissenschaftlichen Forschung zu erhöhen. Es löst das Problem der „faktischen Inkonsistenz" bei spezialisierten toxikologischen Fragen und bietet eine reproduzierbare Methode zur Nutzung von AOP-Wiki-Daten.

Limitationen und Zukunftsausblick:

• Derzeit werden keine Metadaten wie Evidenzlevel oder Konfidenzgewichtung berücksichtigt.
• Die Textfilterung zur Anpassung an Token-Limits könnte zu Informationsverlust führen.
• Der Testdatensatz ist noch relativ klein (20 Fragen).

Zukünftige Arbeiten sollen die Evaluierungsdatenbasis erweitern, Evidenzgewichtung implementieren und das Framework für die automatische Extraktion von Informationen aus wissenschaftlicher Literatur sowie den Aufbau von AOP-Wissensgraphen nutzen.