Position: Medical AI Neglects Real Treatment Outcomes
Dieses Positionspapier argumentiert, dass die Abhängigkeit der medizinischen KI von menschlichen Meinungen und textuellen Synthesen anstelle von tatsächlichen Behandlungsergebnissen aus Beobachtungs- und Experimentaldaten deren Potenzial erheblich einschränkt, was eine Verschiebung hin zur Einbeziehung von Real-World-Outcome-Daten sowohl in das Training als auch in die Evaluierung erforderlich macht, um das ultimative Ziel der Verbesserung der Gesundheit von Patienten besser zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Medizin war schon immer ein Bereich, in dem der Unterschied zwischen einer guten Vermutung und einer lebensrettenden Entscheidung ein Thema von Daten sein kann. Seit Jahrzehnten bewegen sich Ärzte weg von der bloßen Verlassenschaft auf die Intuition einzelner Experten und bewegen sich stattdessen hin zu einem System, das auf der kollektiven Erfahrung tausender Patienten basiert. Dieser Ansatz, bekannt als evidenzbasierte Medizin, versucht, jede Entscheidung in den tatsächlichen Ergebnissen von Behandlungen zu begründen, statt nur in den Theorien, die dahinterstehen. Es ist ein System, das nicht nur fragt, was ein Medikament tun soll, sondern was es bei den Menschen tatsächlich bewirkt hat, die es eingenommen haben. In den letzten Jahren ist ein neues Werkzeug in diese Landschaft getreten: künstliche Intelligenz. Diese Computersysteme, oft als große Sprachmodelle bezeichnet, haben eine bemerkenswerte Fähigkeit gezeigt, medizinische Texte zu lesen, Krankheiten zu diagnostizieren und zukünftige Gesundheitsrisiken vorherzusagen. Sie werden mit riesigen Bibliotheken aus medizinischen Fachzeitschriften, Lehrbüchern und klinischen Leitlinien trainiert und lernen so, die Sprache und die Argumentation menschlicher Experten nachzuahmen.
Es ist jedoch eine kritische Lücke entstanden, wie diese intelligenten Systeme aufgebaut und getestet werden. Während sie immer besser darin werden, Krankheiten zu identifizieren oder vorherzusagen, wer krank werden könnte, werden sie nicht gelehrt, die wahren Konsequenzen der von ihnen empfohlenen Behandlungen zu verstehen. Die Kernfrage, vor der Forscher heute stehen, ist, ob diese Maschinen aus den Geschichten lernen, die in medizinischen Büchern geschrieben stehen, oder aus der harten, oft chaotischen Realität der Patientenergebnisse. Wenn eine KI nur mit den Meinungen von Experten und den in Leitlinien geschriebenen Regeln trainiert wird, lernt sie vielleicht, wie ein Arzt zu klingen, ohne jedoch jemals wirklich zu verstehen, was passiert, wenn eine Behandlung auf einen echten Menschen angewendet wird. Dieser Unterschied ist nicht nur ein akademisches Detail; es ist der Unterschied zwischen einem System, das Regeln rezitiert, und einem, das die Gesundheit tatsächlich verbessern kann.
Ein neues Positionspapier argumentiert, dass die aktuelle Generation der medizinischen künstlichen Intelligenz versagt, aus realen Behandlungsergebnissen zu lernen. Die Autoren, Forscher des Harvard Pilgrim Health Care Institute und der Harvard Medical School, behaupten, dass diese Modelle zwar mit massiven Mengen an medizinischen Texten gefütert werden, aber größtenteils die wichtigsten Daten überhaupt vermissen lassen: die Aufzeichnungen darüber, was tatsächlich mit den Patienten geschah, nachdem sie eine Versorgung erhalten hatten. Das Papier legt nahe, dass sich das Feld zu sehr auf Zwischenschritte konzentriert hat, wie etwa die Diagnose einer Erkrankung oder die Vorhersage eines Risikos, während es das eigentliche Ziel der Medizin vernachlässigt: die Verbesserung der Gesundheit des Patienten durch Behandlung. Die Forscher weisen daraufない hin, dass die meisten medizinischen KI-Modelle auf statischen Dokumenten trainiert werden, wie klinischen Leitlinien, Arzneimitteletiketten und veröffentlichten Fallberichten. Diese Quellen repräsentieren den Konsens der medizinischen Gemeinschaft zu einem bestimmten Zeitpunkt, erfassen aber nicht die dynamische, longitudinale Realität dessen, wie Behandlungen über einen längeren Zeitraum in diversen Populationen ablaufen.
Um die Gefahr der Abhängigkeit von diesen statischen Quellen zu illustrieren, untersuchten die Forscher, wie aktuelle KI-Modelle komplexe medizinische Szenarien handhaben. Sie betrachteten einen spezifischen Fall eines Patienten mit einer seltenen Form der Pankreatitis, der erfolgreich mit einem Medikament namens Ivacaftor behandelt wurde. In der realen Welt funktionierte diese Behandlung, aber das offizielle Etikett des Medikaments, ein staatlich genehmigtes Dokument, das zur Ausbildung vieler KI-Systeme verwendet wird, führte diese spezifische Anwendung nicht auf. Als die Forscher ein KI-Modell baten, den Nutzen dieses Medikaments für den Patienten zu bewerten, kam das Modell, das sich auf das offizielle Etikett stützte, zu dem falschen Schluss, dass das Medikament unwirksam sein würde. Das Modell folgte im Wesentlichen den Regeln im Buch statt der Realität der Genesung des Patienten. Dieser Fehler trat auf, obwohl die KI Zugriff auf den Fallbericht hatte, der die erfolgreiche Behandlung beschrieb; das Training des Modells auf dem starren Arzneimitteletikett überschrieb den Beweis des tatsächlichen Ergebnisses. Die Forscher fanden heraus, dass dieses Problem weit verbreitet ist. Als sie andere Modelle gegenüber ähnlichen Szenarien testeten, die klinische Leitlinien betrafen, versagten die Systeme oft dabei, komplexe Situationen zu erkennen, in denen ein Arzt von den Standardregeln abweichen müsste, um einem spezifischen Patienten zu helfen.
Das Papier hebt weiter hervor, dass die Art und Weise, wie diese KI-Systeme evaluiert werden, Teil des Problems ist. Viele Benchmarks, oder Tests, die messen, wie gut eine KI abschneidet, verlassen sich darauf, dass menschliche Experten die Antworten bewerten. Die Forscher argumentieren, dass die Frage an eine Gruppe von Ärzten, sich auf eine Antwort zu einigen, nicht dasselbe ist wie das Wissen um die Wahrheit. In einer Analyse stellten sie fest, dass ein erheblicher Teil der Kriterien, die zur Bewertung von KI-Antworten verwendet wurden, schlichtweg direkte Zitate aus Leitlinien waren, anstatt Reflexionen tatsächlichen klinischen Erfolgs zu sein. Dies schafft eine zirkuläre Logik, in der die KI auf Leitlinien trainiert, gegen Leitlinien getestet und dann dafür gelobt wird, Leitlinien zu befolgen, selbst wenn diese Leitlinien veraltet sind oder nicht auf jeden Einzelnen anwendbar sind. Die Forscher schlagen vor, dass dieser Ansatz das Potenzial der künstlichen Intelligenz einschränkt, ein wahrer Partner in der Medizin zu werden, der in der Lage ist, neue Erkenntnisse zu gewinnen, anstatt nur das zu wiederholen, was bereits geschrieben wurde.
Die Autoren schlagen eine grundlegende Änderung in der Art und Weise vor, wie medizinische KI entwickelt wird. Anstatt diese Systeme primär auf Text zu trainieren, empfehlen sie die Verwendung longitudinaler Patientendaten, wie etwa elektronischer Gesundheitsakten und Versicherungsansprüche, die verfolgen, welche Behandlungen verabreicht wurden und was danach mit den Patienten geschah. Diese Aufzeichnungen enthalten das Rohmaterial realer Evidenz und zeigen die Ursache-Wirkungs-Beziehungen zwischen einer Therapie und der Genesung oder Verschlechterung eines Patienten auf. Die Forscher schlagen auch vor, dass die Testung dieser Modelle davon weggehen sollte, sie dazu aufzufordern, Leitlinien zu rezitieren, und stattdessen dazu übergehen sollte, sie zu fragen, die Ergebnisse realer Experimente vorherzusagen oder die Ergebnisse klinischer Studien zu emulieren. Durch die Verankerung des Trainings und der Evaluierung dieser Systeme in tatsächlichen Patientenergebnissen könnte sich das Feld zu einer Zukunft bewegen, in der künstliche Intelligenz Ärzten hilft, Entscheidungen zu treffen, die nicht nur theoretisch fundiert, sondern praktisch effektiv für die Menschen sind, die vor ihnen sitzen.
Das Papier schlägt nicht vor, dass die aktuelle medizinische KI nutzlos sei oder dass die bestehenden Benchmarks gänzlich ohne Wert seien. Die Forscher erkennen an, dass diese Werkzeuge schnelle Fortschritte gemacht haben und wertvolle Fähigkeiten in Bereichen wie Diagnose und Informationsabruf demonstriert haben. Sie argumentieren jedoch, dass das Feld einen Punkt erreicht hat, an dem die Fortsetzung der Abhängigkeit von denselben Trainings- und Evaluierungsmethoden den nächsten großen Sprung verhindern wird. Das Ziel ist nicht, das Wissen in der medizinischen Literatur zu verwerfen, sondern sicherzustellen, dass die künstlichen Intelligenzsysteme, die gebaut werden, um dieses Wissen zu nutzen, auch in der Realität der Patientenversorgung verwurzelt sind. Durch die Einbeziehung tatsächlicher Behandlungsergebnisse in den Kern ihrer Entwicklung glauben die Forscher, dass die medizinische KI von einem System, das die Regeln liest, zu einem System werden kann, das die Konsequenzen versteht, was letztlich hilft, bessere Leitlinien zu schreiben und die Gesundheit von Patienten überall zu verbessern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.