Agentic systems for breast cancer treatment recommendations
Diese Studie evaluiert agentische Large-Language-Model-Systeme für Empfehlungen zur Brustkrebsbehandlung anhand von 72 realen klinischen Fällen und 1.147 asymmetrischen Rubriken und stellt fest, dass die leistungsfähigste Konfiguration zwar eine globale Punktzahl von 0,594 erreichte, anhaltende klinisch relevante Fehler jedoch darauf hindeuten, dass diese Systeme derzeit für den unüberwachten klinischen Einsatz unzureichend sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, das ultimative „Medizinische Super-Gehirn“ zu bauen, um Ärzten dabei zu helfen, die beste Art der Behandlung von Brustkrebs zu entscheiden. Sie haben eine Bibliothek von 72 realen Patientengeschichten, die von frühen Stadien bis hin zu fortgeschrittenen Fällen reichen, und Sie wollen sehen, ob ein Team von KI-Robotern diese Geschichten lesen und einen perfekten Behandlungsplan schreiben kann. Genau das hat diese Studie getan.
Die Forscher richteten einen großen Test mit 72 realen klinischen Fällen ein und erstellten 1.147 spezifische Checklisten (Rubriken), um die Antworten der KI zu bewerten. Diese Checklisten wurden von einer speziellen KI erstellt, die Zugriff auf die tatsächlichen Entscheidungen der Ärzte und medizinische Fachbücher hatte – Informationen, die die testende KI nicht hatte. Dieser „geheime Vorteil“ stellte sicher, dass die Bewertung fair und in der medizinischen Realität verwurzelt war.
Die wichtigste Entdeckung: Mehr Roboter bedeuten nicht immer ein besseres Gehirn
Das Team probierte sieben verschiedene Wege aus, um die KI zu organisieren. Einige waren einfache Single-Brain-Modelle, während andere komplexe „agentische“ Systeme waren, bei denen ein Hauptroboter als Chef fungierte und kleinere Roboter für spezifische Aufgaben wie Chirurgie, Strahlentherapie oder Medikamententherapie engagierte. Einige dieser Roboter-Teams hatten sogar einen dedizierten „Faktenchecker“-Roboter, um Behauptungen zu verifizieren, und einige konnten sogar neue Roboter „on the fly“ anheuern, wenn sie das Gefühl hatten, zusätzliche Hilfe zu benötigen.
Hier ist die Wendung: Das Hinzufügen von mehr Werkzeugen und mehr Robotern machte die KI nicht automatisch intelligenter.
Tatsächlich wurde es für einige Modelle sogar schlechter, ihnen Zugang zum Internet oder zu PubMed (einer medizinischen Datenbank) zu geben. Es ist so, als würde man einem Studenten einen Bibliotheksausweis und einen Taschenrechner geben, aber wenn er nicht weiß, wie er die richtigen Fragen stellt oder seine Berechnungen überprüft, wird er nur noch verwirrter sein. Die Studie fand heraus, dass das „beste“ Setup eine spezifische Kombination aus einem leistungsstarken Modell (Claude Opus 4.8), einer „Divide and Conquer“-Strategie (Teile und Herrsche) mit einem Faktenchecker und der Fähigkeit, neue Helfer zu erschaffen, war. Selbst dieses leistungsstärkste Team erreichte lediglich einen Wert von 0,594 ± 0,025 von einem perfekten 1,0.
Das „Gut genug“-Problem
Die Arbeit legt nahe, dass diese KI-Systeme zwar Empfehlungen generieren können, die medizinisch relevant aussehen, aber noch nicht gut genug sind, um alleine in einem Krankenhaus zu arbeiten. Selbst das beste KI-System verfehlte einen großen Teil der Kriterien.
Als ein menschlicher Onkologe (ein Krebsarzt) einen genaueren Blick auf die Antworten der besten KI warf, fand er acht spezifische Wege, auf denen die KI immer wieder scheiterte:
- Falsche Begründungen: Die KI lieferte die richtige Antwort, gab aber den falschen Grund an (wie z. B. „nimm diese Pille, weil sie blau ist“, während der wahre Grund ist: „sie tötet Krebszellen“).
- Fehlende oder falsche Ratschläge: Sie vergaß manchmal, eine notwendige Behandlung vorzuschlagen, oder schlug eine vor, die gefährlich war.
- Erfundene Zitate: Sie erfand Referenzen oder behauptete, eine echte Publikation sage etwas aus, das sie nicht sagte.
- Übermäßiges Selbstvertrauen: Die KI klang absolut sicher, selbst wenn die medizinischen Beweise wackelig waren oder wichtige Details in der Patientengeschichte fehlten.
- Veraltete Informationen: Sie schlug Behandlungen vor, die nicht mehr dem aktuellen Standard der Versorgung entsprechen.
Der menschliche Arzt verbrachte etwa 1 Stunde und 35 Minuten mit der Überprüfung von nur einem dieser KI-generierten Pläne. Dies verdeutlicht ein großes Problem: Wenn ein Arzt so viel Zeit damit verbringen muss, jede einzelne KI-Empfehlung doppelt zu prüfen, ist es unter Umständen schneller, die Arbeit einfach selbst zu erledigen.
Die „Stadium“-Überraschung
Die KI schnitt bei Krebs im Frühstadium (Stadium I) besser ab als bei den schwierigeren, komplexeren Fällen (Stadium III). Das ist logisch, da die Behandlung im Frühstadium oft einem strengen, einfachen Regelwerk folgt. Aber wenn der Krebs komplexer wird, verliert sich die KI im Detail und hat Schwierigkeiten, Chirurgie, Bestrahlung und Genetik gleichzeitig unter einen Hut zu bringen.
Was die Arbeit ausschließt
Die Studie argumentiert explizit gegen die Idee, dass „komplexer immer besser ist“. Nur weil man ein Multi-Agenten-System mit Faktencheckern und Websuche-Tools baut, bedeutet das nicht, dass es ein einfaches Modell übertreffen wird. In einigen Fällen führte die zusätzliche Komplexität zu neuen Fehlern. Die Arbeit schließt auch die Vorstellung aus, dass diese Systeme bereit für den unüberwachten klinischen Einsatz sind; sie sind noch keine „Plug-and-Play“-Lösung.
Wie sicher sind wir uns?
Die Autoren gehen sehr vorsichtig mit ihrer Sprache um. Sie schlagen vor, dass agentische Systeme nützlich sein können, bleiben aber unzureichend für den unüberwachten Einsatz. Sie maßen die Ergebnisse mithilfe eines strengen Bewertungssystems und beobachteten spezifische Fehlermodi durch menschliche Überprüfung. Sie behaupteten nicht, den Kampf gegen den Brustkrebs mit KI „gelöst“ zu haben, noch behaupteten sie, die KI sei besser als ein menschlicher Arzt. Stattdessen stellten sie fest, dass die Technologie zwar vielversprechend ist, aber immer noch erhebliche Lücken aufweist, die geschlossen werden müssen, bevor man ihr vertrauen kann, lebenswichtige Entscheidungen zu treffen, ohne dass ein Mensch über ihre Schulter blickt.
Kurz gesagt: Die KI ist wie ein sehr kluger Praktikant, der zwar alle Bücher gelesen hat, aber dennoch einen erfahrenen Arzt braucht, der seine Hausaufgaben kontrolliert, da er manchmal Fakten erfindet, bei komplexen Fällen verwirrt ist und bei seinen Fehlern zu selbstbewusst auftritt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.