HemOncAgent: an artificial intelligence system for retrieving structured and narrative oncology knowledge

In der komplexen Welt der Krebsbehandlung müssen Ärzte zwei sehr unterschiedliche Arten von Informationen navigieren. Die eine Art ist starr und präzise, wie ein Katalog der Inhaltsstoffe, der genau auflistet, welche Medikamente zu einer bestimmten Kombination gehören oder welche medizinischen Codes eine bestimmte Krankheit beschreiben. Die andere Art ist fließend und deskriptiv, zu finden in den schriftlichen Notizen von Spezialisten, die erklären, wie Behandlungen über die Zeit hinweg sequenziert werden, wann eine neue Therapie begonnen werden sollte oder wie ein Patient nach einem Rückfall zu versorgen ist. Jahrzehntelang haben Computersysteme, die Ärzten helfen sollten, Schwierigkeiten gehabt, beides gleichzeitig zu bewältigen. Einige zeichnen sich dadurch aus, exakte Fakten zu finden, scheitern aber daran, die Geschichte eines Behandlungsplans zu verstehen, während andere gut darin sind, Texte zu lesen, aber die kritischen Verbindungen zwischen spezifischen Medikamenten übersehen. Diese Lücke ist von Bedeutung, denn wenn ein Arzt eine Frage zur Krebsversorgung stellt, benötigt er in einem Moment vielleicht eine präzise Medikamentenliste und im nächsten eine narrative Erklärung von Behandlungsverläufen.

Ein Team von Forschern hat einen neuen digitalen Assistenten namens HemOncAgent entwickelt, um diese Kluft zu überbrücken. Anstatt eine einzige Methode die gesamte Arbeit erledigen zu lassen, agiert dieses System wie ein aufmerksamer Bibliothekar, der weiß, wann er eine strukturierte Datenbank prüfen und wann er ein detailliertes Handbuch lesen muss. Die Forscher testeten dieses Werkzeug gegenüber Standard-Computersystemen anhand von Hunderten von Fragen zum onkologischen Wissen. Sie fanden heraus, dass das neue System, indem es dem Computer erlaubte, die richtige Quelle für jede spezifische Frage auszuwählen, sowohl faktische Abfragen als auch komplexe Behandlungsszenarien mit hoher Genauigkeit beantworten konnte. Die Ergebnisse legen nahe, dass für medizinisches Wissen, das teils aus harten Daten und teils aus menschlicher Erfahrung besteht, ein hybrider Ansatz weitaus zuverlässiger ist als die bloße Verwendung einer einzigen Suchart.

Die Herausforderung in der Onkologie besteht darin, dass Wissen in zwei unterschiedlichen Formen existiert. Einerseits gibt es kuratierte Datenbanken, die strukturierte Fakten speichern, wie etwa, welche Medikamente zu einem spezifischen Regime gehören oder welche Standard-Medizin-Codes auf eine Erkrankung zutreffen. Diese sind wie die festen Regeln eines Spiels, bei denen jedes Element einen definierten Platz hat. Andererseits gibt es Ressourcen, die von Klinikern verfasst wurden und beschreiben, wie Behandlungen in der Praxis tatsächlich angewendet werden, wobei sie detailliert darlegen, in welcher Reihenfolge Therapien für verschiedene Stadien einer Krankheit verabreicht werden. Diese Narrative erfassen die Nuancen der Entscheidungsfindung, die starre Datenbanken oft vermissen lassen. Während große Sprachmodelle – Computerprogramme, die auf riesigen Mengen an Text trainiert wurden – Fragen beantworten können, halluzinieren oder raten sie oft, wenn sie keinen Zugang zu diesen spezifischen externen Quellen haben. Um dies zu lösen, entwickelten Forscher ein System, das in der Lage ist, auf beide Arten von Ressourcen zuzugreifen und die am besten geeignete auszuwählen, basierend darauf, was der Nutzer fragt.

Die Forscher schufen HemOncAgent als zentralen Knotenpunkt, der mit zwei spezifischen Wissensquellen verbunden ist. Die erste ist ein strukturierter Wissensgraph, ein massives Netzwerk aus über 126.000 Konzepten und 424.000 Beziehungen, die Medikamente, Regime und Krankheiten miteinander verknüpfen. Diese Quelle ist exzellent darin, Fragen über exakte Zusammensetzungen oder regulatorische Zulassungen zu beantworten. Die zweite Quelle ist eine narrative Website mit tausenden von Seiten Text, die von Experten verfasst wurden und Behandlungsverläufe sowie Pfade der Versorgung beschreiben. Wenn eine Frage gestellt wird, analysiert der Agent die Anfrage und entscheidet, ob er den strukturierten Graphen abfragt, den narrativen Text durchsucht oder beides nutzt. Er ruft dann die relevanten Informationen ab und synthetisiert eine endgültige Antwort. Um zu sehen, ob dieser Ansatz funktionierte, verglich das Team HemOncAgent mit drei anderen Systemen: einem Standard-Sprachmodell ohne externes Wissen, einem System, das ausschließlich den narrativen Text durchsuchte, und einem System, das nur den strukturierten Graphen abfragte.

Das Testen umfasste 600 Fragen, die in zwei Gruppen unterteilt waren. Die erste Gruppe konzentrierte sich auf strukturierte Fakten, wie etwa die Identifizierung der Medikamente in einem Regime oder das Finden eines spezifischen medizinischen Codes. Die zweite Gruppe konzentrierte sich auf narrative Details, wie etwa die Bestimmung der Reihenfolge von Behandlungen für eine spezifische Krankheitssituation. Die Ergebnisse zeigten ein klares Muster. Das System, das nur den narrativen Text durchsuchte, performte gut bei Behandlungssequenzen, scheiterte aber kläglich beim Finden exakter Codes oder Medikamentenlisten. Umgekehrt war das System, das nur den strukturierten Graphen nutzte, exzellent bei Fakten, hatte aber Schwierigkeiten, die richtigen Behandlungsverläufe zu finden, die im Text beschrieben wurden. Das Standard-Sprachmodell ohne externe Hilfe schnitt in beiden Bereichen schlecht ab. HemOncAgent hingegen erreichte die höchste Gesamtpunktzahl. Es entsprach der Leistung des spezialisierten Graph-Systems bei faktischen Fragen und übertraf das textbasierte System bei narrativen Fragen, wodurch es die Stärken beider Ansätze erfolgreich kombinierte.

Als die Forscher genauer hinschauten, wurden die Vorteile des Hybridsystems noch deutlicher. Für Fragen, die exakte Übereinstimmungen erforderten, wie etwa das Finden einer Medikamentenklassifizierung oder einer klinischen Studiennummer, griff der Agent fast ausschließlich auf die strukturierte Datenbank zurück und erreichte eine nahezu perfekte Genauigkeit. Bei Fragen zu Behandlungsszenarien, wie etwa was passiert, nachdem eine Erstlinien-Therapie versagt hat, durchsuchte der Agent primär die narrativen Seiten. In diesen Fällen übertraf er das Graph-System deutlich, welches die Antworten, die im Prosa versteckt waren, nicht finden konnte. Der Agent demonstrierte auch, dass er Quellen intelligent mischen kann, wenn es nötig ist, indem er für etwa ein Viertel der narrativen Fragen sowohl den Graphen als auch den Text nutzte, um eine vollständige Antwort zu gewährleisten. Diese Flexibilität ermöglichte es ihm, eine hohe Genauigkeit über das gesamte Spektrum des onkologischen Wissens hinweg aufrechtzuerhalten.

Die Studie testete zudem, wie robust diese Ergebnisse waren, indem die zugrunde liegende Rechenmodellierung, die die Antworten generierte, verändert wurde. Selbst als die Forscher die primäre Engine gegen einen anderen Typ von Künstlicher Intelligenz austauschten, übertraf das Hybridsystem weiterhin die Single-Source-Alternativen. Obwohl sich die absoluten Punktzahlen leicht änderten, blieb das Muster bestehen: Der Zugriff auf sowohl strukturierte als auch narrative Quellen bot einen konsistenten Vorteil. Die Forscher merkten an, dass das automatisierte Bewertungssystem, das zur Evaluierung der Antworten verwendet wurde, in nahezu 94 Prozent der Fälle mit einem zweiten, unabhängigen Bewertungssystem übereinstimmte, was Vertrauen in die Ergebnisse schuf, dass diese nicht bloß ein Zufallsprodukt einer spezifischen Bewertungsmethode waren.

Trotz dieser Erfolge geben die Autoren vorsichtig die Grenzen ihrer Erkenntnisse an. Die für die Tests verwendeten Fragen wurden direkt aus denselben Ressourcen generiert, nach denen das System suchte, was bedeutet, dass der Test maß, wie gut das System Informationen aus diesen spezifischen Quellen abrufen kann, anstatt wie gut es über neue, ungesehene klinische Szenarien schlussfolgern kann. Die Studie behauptet nicht, dass dieses System bereit ist, Ärzte zu ersetzen, oder dass es jede mögliche Frage zur Krebsversorgung beantworten kann, insbesondere da sich medizinische Leitlinien schnell ändern und die Wissensbasis eine Momentaufnahme darstellt. Die Ergebnisse legen jedoch stark nahe, dass für klinische Wissensressourcen, die sowohl harte Daten als auch menschliche Narrative umfassen, eine einzige Suchstrategie unzureichend ist. Indem man einem Agenten der Künstlichen Intelligenz erlaubt, das richtige Werkzeug für die jeweilige Aufgabe zu wählen, haben die Forscher einen praktischen Weg aufgezeigt, um medizinische Informationen zugänglicher und zuverlässiger zu machen.