Diagnostic Performance of Agentic AI for Rare Disease Diagnosis: A Systematic Review, Meta-analysis, Workflow Development, and Benchmark-based Validation

Für Millionen von Menschen auf der ganzen Welt ist eine Diagnose nicht ein Ausgangspunkt, sondern ein Ziel, das außer Reichweite bleibt. Seltene Krankheiten sind ihrer Natur nach schwer fassbar. Sie präsentieren sich mit Symptomen, die oft vage, überlappend oder einzigartig für ein einzelnes Individuum sind, und das medizinische Wissen, das erforderlich ist, um diese Punkte zu verbinden, ist über spezialisierte Fachgebiete verstreut, mit denen nur wenige Ärzte in ihrem täglichen Praktizieren in Berührung kommen. Dies führt zu einer frustrierenden Reise, die als „diagnostische Odyssee“ bekannt ist, bei der Patienten und Familien Jahre damit verbringen, nach Antworten zu suchen, die möglicherweise in riesigen Mengen medizinischer Daten direkt vor Augen verborgen liegen. In den letzten Jahren hat künstliche Intelligenz neue Hoffnung auf die Lösung dieser Rätsel gemacht. Insbesondere ist eine neue Generation intelligenter Systeme entstanden, die nicht nur Text liest, sondern aktiv über Probleme nachdenkt. Diese Systeme, die oft als „Agenten-Systeme“ bezeichnet werden, sind darauf ausgelegt, die Arbeitsweise eines menschlichen Spezialisten nachzuahmen: Sie zerlegen ein komplexes Problem in kleinere Schritte, suchen Informationen in externen Datenbanken nach und verfeinern ihre Vermutungen, während sie mehr Beweise sammeln, anstatt einfach basierend auf einem einzelnen Prompt zu raten.

Forscher der Zhejiang Chinese Medical University und ihres angeschlossenen Krankenhauses machten sich daran zu verstehen, wie gut diese fortschrittlichen Denkmaschinen bei der spezifischen Herausforderung seltener Krankheiten abschneiden. Sie bauten keine neue Maschine selbst, sondern agierten stattdessen als Ermittler, die die Ergebnisse von sieben verschiedenen Studien sammelten und analysierten, die bereits zwischen 2025 und 2026 veröffentlicht oder als Preprints geteilt worden waren. Diese Studien testeten verschiedene Versionen dieser intelligenten Agenten an tausenden Fällen seltener Krankheiten und stellten eine einfache, aber kritische Frage: Wie oft identifiziert das System die richtige Krankheit als seine allererste Vermutung? Durch die Kombination der Daten aus diesen separaten Untersuchungen erstellten die Forscher ein groß angelegtes Bild des aktuellen Stands der Technologie. Sie fanden heraus, dass diese intelligenten Systeme bei mehr als 33.000 Fällen etwa die Hälfte der Zeit die korrekte Diagnose beim ersten Versuch richtig identifizierten. Während dies eine signifikante Verbesserung gegenüber älteren Methoden darstellt, die auf einzelnen, statischen Modellen beruhten, war das Ergebnis weit entfernt von perfekt. Die Leistung variierte stark je nach dem verwendeten spezifischen System und der Art der getesteten Daten, wobei einige Setups fast 80 % der Zeit Erfolg hatten und andere Schwierigkeiten hatten, 30 % zu erreichen. Diese Inkonsistenz deutet darauf hin, dass die Technologie zwar vielversprechend ist, aber noch keine einheitliche Lösung darstellt.

Um zu verstehen, warum diese Systeme Erfolg haben oder scheitern, betrachtete das Team die internen „Workflows“ oder schrittweisen Prozesse der verschiedenen Agenten genau. Sie entdeckten, dass die erfolgreichsten Systeme ein gemeinsames Set an Verhaltensweisen teilten. Fast jeder effektive Agent nutzte eine Strategie, die diagnostische Aufgabe in kleinere, handhabbare Schritte zu unterteilen und dann durch diese Schritte zu argumentieren, um seine ursprünglichen Ideen zu verfeinern. Sie griffen auch häufig auf externe medizinische Wissensdatenbanken zu, wie etwa Datenbanken für genetische Informationen oder Register für seltene Krankheiten, um ihre Hypothesen zu verifizieren. Die Forscher nahmen diese gemeinsamen, erfolgreichen Muster und bauten eine vereinfachte, leichtgewichtige Version dieses Workflows. Dann testeten sie diesen neuen Workflow gegen einen Standarddatensatz von 50 Fällen seltener Krankheiten, indem sie den „denkenden“ Agenten gegen dasselbe zugrunde liegende Computermodell im „Standalone“-Modus antreten ließen, in dem es ohne die Hilfe des schrittweisen Prozesses oder externer Nachschläge raten musste.

Die Ergebnisse dieses direkten Vergleichs enthüllten eine nuancierte Geschichte. Wenn das Modell allein operierte, identifizierte es in nur 5 von 50 Fällen die Top-Diagnose korrekt. Als dasselbe Modell durch den strukturierten Workflow geleitet wurde, verbesserte es seine Leistung und fand in 11 von 50 Fällen die richtige Antwort als erste. Obwohl dies eine klare Verbesserung darstellt, war der Unterschied statistisch nicht groß genug, um in dieser kleinen Stichprobe als definitiver Sieg gewertet zu werden. Die Forscher bemerkten jedoch etwas noch Ermutigenderes, als sie sich auf die Top-Fünf-Vermutungen konzentrierten, anstatt nur auf die Top-Eins. Das durch den Workflow unterstützte Modell platzierte die korrekte Diagnose in 50 % der Fälle innerhalb seiner Top-Fünf-Auswahl, was einen substanziellen Sprung gegenüber der Baseline darstellt. Dies deutet darauf hin, dass das System zwar nicht immer sofort auf die perfekte Antwort stößt, der strukturierte Denkprozess jedoch hilft, die korrekte Krankheit im Rennen zu halten und das Feld der Möglichkeiten erheblich einzugrenzen.

Die Studie kommt zu dem Schluss, dass diese intelligenten Agenten die Fähliche demonstriert haben, bei der Diagnose seltener Krankheiten zu assistieren, aber sie sind noch kein fertiges Produkt. Die weite Variation der Leistung über verschiedene Systeme hinweg zeigt, dass das spezifische Design des Workflows und die Qualität der Daten, auf die er zugreift, eine tiefe Rolle spielen. Die Forscher betonen, dass ihre Ergebnisse ein Proof of Concept und keine endgültige Lösung sind. Der von ihnen konstruierte Workflow dient als reproduzierbare Methode, um die Art und Weise, wie diese Systeme denken, zu verbessern, erfordert jedoch weitere Tests in einem viel größeren Maßstab und in klinischen Umgebungen der realen Welt, um seine Zuverlässigkeit zu beweisen. Letztendlich besteht das Ziel nicht darin, menschliche Ärzte durch Maschinen zu ersetzen, sondern eine partnerschaftliche Zusammenarbeit zu schaffen, bei der die Fähigkeit der Maschine, riesige Mengen an Informationen zu verarbeiten und einem strengen Argumentationsprozess zu folgen, das Urteilsvermögen des Klinikers unterstützt, um potenziell die lange und schwierige Reise der Patienten, die auf Antworten warten, zu verkürzen.