DrugAgent: Reliable Multi-Agent Integration of Conflicting Biomedical Evidence for Drug-Target Interaction Assessment

Technisches Resümee: DrugAgent

Problemstellung
Die Bewertung von Wirkstoff-Target-Interaktionen (Drug-Target Interaction, DTI) ist eine kritische Aufgabe in der frühen Phase der Arzneimittelentwicklung, die eine Synthese heterogener Datenquellen erfordert: quantitative Vorhersagen aus Modellen des maschinellen Lernens (ML), kuratierte Beziehungen aus Wissensgraphen (Knowledge Graphs, KGs) und experimentelle Erkenntnisse aus der wissenschaftlichen Literatur. Diese Quellen sind oft komplementär, aber auch unvollkommen. ML-Modelle können außerhalb ihrer Trainingsverteilung eine mangelnde Kalibrierung aufweisen; KGs können zwar Konnektivität implizieren, aber keine direkte Bindung garantieren; und die Evidenz in der Literatur ist ungleichmäßig verteilt und kann widersprüchliche oder assayspezifische Befunde enthalten. Bestehende Ansätze verlassen sich typischerweise auf einzelne Modalitäten (z. B. numerische ML-Vorhersagen) oder es fehlt an Mechanismen, um Übereinstimmung, Konflikt und Unsicherheit über diese verschiedenen Provenienzen hinweg explizit zu versöhnen. Es besteht ein Bedarf an einem System, das diese Quellen in eine interpretierbare, evidenzbasiert fundierte Bewertung integriert, anstatt lediglich als eigenständiger Prädiktor zu fungieren.

Methodik
Die Autoren stellen DrugAgent vor, ein auf Large Language Models (LLMs) basierendes Multi-Agenten-System, das zur Integration heterogener biomedizinischer Evidenz für die DTI-Bewertung entwickelt wurde. Das System verwendet eine strukturierte, modulare Pipeline, die aus vier Kernkomponenten besteht:

1. Coordinator Agent: Orchestriert den Workflow, ruft spezialisierte Agenten auf und erzwingt ein gemeinsames JSON-Schema für deren Ausgaben, um eine konsistente Weiterverarbeitung zu gewährleisten.
2. Spezialisierte Evidenz-Agenten:
   • ML Agent: Nutzt ein vortrainiertes DeepPurpose-Modell (Message Passing Neural Networks für Wirkstoffe, CNNs für Proteine), das auf BindingDB trainiert wurde, um quantitative Affinitätsvorhersagen (z. B. pKd) zu generieren, welche anschließend in Aktivitätslabels (Stark, Moderat, Schwach) diskretisiert werden.
   • KG Agent: Konstruiert einen heterogenen Wissensgraphen unter Integration von DrugBank, CTD und BindingDB. Er führt eine mehrstufige Breitensuche (max. Tiefe 5) durch, um mechanistische Pfade zu finden. Die Pfade werden basierend auf der Länge bewertet, wobei ein Malus für das Durchlaufen von hochgradigen „Hub“-Knoten angewendet wird, um unspezifische Konnektivität zu reduzieren. Der Agent gibt strukturierte Evidenz inklusive Pfadbeschreibungen und Konfidenzscores aus.
   • RAG Agent (Retrieval-Augmented Generation): Ruft Volltextartikel aus PubMed Central (Open Access) mittels einer Multi-Channel-Strategie ab: Wirkstoff-Target-Paar-Abfragen, reine Wirkstoff-Abfragen und reine Target-Abfragen. Die Abfragen werden mit assayspezifischer Terminologie (z. B. IC50, Kd, Inhibition) angereichert. Die abgerufenen Textabschnitte werden basierend auf dem Sektionstyp (bevorzugt „Results“) und Co-Mentions von Entitäten neu bewertet (Re-Ranking).
3. Reasoning Agent: Dieses Modul führt die Kernintegration in zwei Stufen durch:
   • Strukturierte Zusammenfassung: Wandelt die Ausgaben der Agenten in eine gemeinsame Repräsentation um und fasst Übereinstimmung, Konflikt und Unsicherheit über die Quellen hinweg explizit zusammen.
   • Regelgesteuerte Entscheidungsfindung: Wendet eine prioritätenbasierte Logik an (zuerst Mehrheitsentscheidung, dann Tie-Breaking), um ein finales Label zu generieren. Falls die Regeln nicht eindeutig sind, wird ein eingeschränktes LLM-Fallback-Verfahren genutzt. Dieses Design trennt die Evidenzsynthese von der endgültigen Entscheidung, um die Interpretierbarkeit zu gewährleisten.

Wesentliche Beiträge

• Multi-Agenten-Integrationsrahmen: DrugAgent ist das erste System, das ML-Vorhersagen, pfadbasierte KG-Evidenz und RAG-basierte Literaturrecherche gemeinsam in einen einheitlichen, strukturierten Reasoning-Prozess für DTI integriert.
• Explizite Konfliktmodellierung: Das System modelliert und fasst Übereinstimmung und Konflikt zwischen den Evidenzquellen explizit zusammen, anstatt sie lediglich als einen einzigen Input-Stream zu behanden.
• Interpretierbarkeit und Treue (Faithfulness): Durch die Umwandlung der Agent-Outputs in strukturierte Repräsentationen und die Verwendung regelgesteuerter Entscheidungsfindung liefert DrugAgent reproduzierbare Begründungen, die in der spezifischen bereitgestellten Evidenz verwurzelt sind, und vermeidet so die „Black Box“-Natur unbeschränkter LLM-Argumentation.
• Evaluierung der Verfügbarkeit von Evidenz: Die Studie analysiert systematisch, wie die Verfügbarkeit abgerufener Literatur die biologische Plausibilität und Kohärenz der Systemausgaben beeinflusst.

Ergebnisse
Das System wurde auf zwei Benchmarks evaluiert: einem Kinase-Inhibitions-Datensatz (900 Paare, 178 Kinasen, 42 Inhibitoren) und einem Tox21-Androgenrezeptor (AR)-Antagonisten-Screening-Datensatz (500 Paare).

• Treue (Faithfulness): In LLM-as-a-Judge (LLMaJ) Evaluationen waren die Ausgaben von DrugAgent in 98,8 % der Kinase-Fälle treu gegenüber der Eingangs-Evidenz, mit hohen Werten für die Fundierung und geringen Raten an nicht durch die Evidenz gestützten Behauptungen.
• Biologische Plausibilität: 98,9 % der DrugAgent-Ausgaben wurden als mindestens plausibel bewertet. Das System zeigte eine hohe Stabilität mit einer Label-Übereinstimmung von 98 % bei wiederholten Durchläufen.
• Evidenzdynamik:
  • Konfliktlösung: Wenn die Evidenzquellen im Konflikt standen, tendierte DrugAgent dazu, intermediäre Labels (z. B. „Moderat“) statt extremer Labels zuzuweisen. In Fällen vollständigen Konflikts wurden 68 % der Ausgaben als „Moderat“ eingestuft.
  • Einfluss der Literatur: Das Vorhandensein direkter Wirkstoff-Target-Literatur verbesserte die biologische Plausibilität und die Scores für die mechanistische Kohärenz signifikant. Systeme ohne RAG (z. B. ML+KG) produzierten teilweise höhere Plausibilitätswerte, jedoch mit einer höheren Rate an „widersprüchlichen und nicht plausiblen“ Ausgaben, was darauf hindeutet, dass die Literatur als entscheidende Fundierung einschränkend wirkt.
  • Stratifizierte Leistung: Während die ML+KG-Baseline in der Gesamtschau wettbewerbsfähig war, übertraf DrugAgent (unter Einbeziehung von RAG) die Baselines, wenn direkte Literatur-Evidenz verfügbar war. Eine Hybridstrategie (Verwendung von DrugAgent nur, wenn paarweise relevante Paper existieren, andernfalls ML+KG) erzielte die besten Ergebnisse auf dem Tox21-Datensatz (Genauigkeit: 0,67, F1: 0,67).
• Stichprobenkontrollen (Sanity Checks): Die Plausibilitätswerte korrelierten nicht direkt mit den Ground-Truth-Aktivitätslabels, was darauf hindeutet, dass Plausibilität die Kohärenz des Arguments angesichts der Evidenz widerspiegelt und kein direktes Maß für die Vorhersagegenauigkeit ist.

Bedeutung und Ansprüche
Die Autoren positionieren DrugAgent nicht als eigenständigen DTI-Prädiktor, der darauf abzielt, spezialisierte ML-Modelle isoliert zu übertreffen, sondern als ein komplementäres Werkzeug zur Evidenzintegration. Die primäre Bedeutung liegt in der Fähigkeit:

1. Heterogene, evidenzbasierte Bewertungen bereitzustellen, die interpretierbar und reproduzierbar sind.
2. Strategien anzubieten, um Übereinstimmung, Konflikt und Unsicherheit in biomedizinischen Daten zu modellieren, wodurch die Herausforderung adressiert wird, unterschiedliche biologische Modalitäten und Provenienzen zu versöhnen.
3. Aufzuzeigen, dass abgerufene Literatur am vorteilhaftesten ist, wenn direkte Evidenz vorliegt, was die Bedeutung der Verfügbarkeit von Evidenz für die RAG-basierte Integration unterstreicht.

Das Paper schließt mit dem Hinweis, dass das System zwar die Zuverlässigkeit und Interpretierbarkeit verbessert, jedoch weiterhin regelgesteuert und nicht statistisch kalibriert ist. Zukünftige Arbeiten müssen sich mit den Rechenkosten, Bedenken hinsichtlich Data Leakage in den vortrainierten Komponenten und der breiteren Generalisierung auf bisher ungesehene Wirkstoff-Target-Paare und Target-Klassen befassen.