The AI-CDSS Evidence Gap: A Critical Analysis of Outcome Measurement, Human-AI Interaction, and Implementation Validation

Krankenhäuser beginnen damit, eine neue Art von digitalen Assistenten einzusetzen, um Ärzte bei der Entscheidungsfindung zu unterstützen. Diese Werkzeuge, die auf künstlicher Intelligenz basieren, scannen medizinische Bilder oder prüfen Patientenakten, um Krankheiten wie Lungenentzündung oder Sepsis schneller zu erkennen, als es einem Menschen möglich wäre. Das Versprechen ist immens: weniger verpasste Diagnosen, weniger Arbeit für überlastetes Personal und eine bessere Versorgung für alle. Doch es wächst die Sorge, dass wir überstürzt damit beginnen, diese Werkzeuge in die Praxis umzusetzen, bevor wir wirklich wissen, ob sie helfen oder schaden. Die Kernfrage ist nicht, ob der Computer ein Muster in einem Bild finden kann, sondern ob dieses Muster tatsächlich zu einem gesünderen Patienten führt. Um dies zu beantworten, müssen wir über die Punktzahl des Computers hinausblicken und sehen, wie echte Ärzte mit der Maschine interagieren und wie sich das System verhält, wenn es sich nicht mehr in einem kontrollierten Labor, sondern in einer geschäftigen, chaotischen Klinik befindet.

Ein Forschungsteam setzte sich zum Ziel, genau diese Diskrepanz zu untersuchen. Sie führten eine kritische Überprüfung der Belege rund um diese Werkzeuge der künstlichen Intelligenz durch und untersuchten tausende Studien, um zu sehen, was wir wirklich über deren Sicherheit und Wirksamkeit wissen. Ihre Arbeit offenbart eine besorgniserregende Lücke in unserem Verständnis. Das Feld ist derzeit besessen davon, zu messen, wie genau der Computer eine Krankheit in einem Testsetting identifizieren kann. Die Forscher stellten jedoch fest, dass dieser Fokus auf die technische Genauigkeit uns nur sehr wenig darüber aussagt, ob das Werkzeug tatsächlich das Überleben des Patienten verbessert, Krankenhausaufenthalte verkürzt oder Leiden verhindert. Tatsächlich könnten wir, indem wir uns nur auf die Punktzahl des Computers konzentrieren, den gefährlichsten Teil der Geschichte übersehen: wie das Werkzeug die Art und Weise verändert, wie Ärzte denken und handeln.

Die Forscher identifizierten drei spezifische Stadien, in denen die Belege unzureichend sind und eine Kette der Ungewissheit schaffen, die es schwierig macht, diesen Systemen zu vertrauen. Der erste Fehler geschieht ganz am Anfang, bei der Messung des Erfolgs. Die meisten Studien berichten nur über die diagnostische Genauigkeit, etwa wie oft der KI korrekt einen Tumor erkennt. Dies ist so, als würde man ein neues Auto allein danach beurteilen, wie schnell es auf einer Teststrecke geradeaus fahren kann, ohne jemals zu prüfen, ob es sicher bremst oder bei Regen gut lenkt. Die Untersuchung ergab, dass selbst die stärksten Belege, die über zwölftausend Patienten in randomisierten Studien einschlossen, nur eine winzige Verbesserung der diagnostischen Genauigkeit zeigten. Wichtiger noch: Keine dieser großen Studien maß die Ergebnisse, die für Patienten tatsächlich entscheidend sind, wie etwa Sterberaten oder die Dauer eines Krankenhausaufenthalts. Wir wissen, dass der Computer die Krankheit finden kann, aber wir wissen nicht, ob das frühe Finden sie tatsächlich rettet.

Der zweite Fehler tritt auf, wenn der Computer auf den Menschen trifft. Die Forscher entdeckten, dass die Art und Weise, wie Ärzte mit diesen Werkzeugen interagieren, oft unvorhersehbar und manchmal schädlich ist. Wenn ein Computer eine Diagnose vorschlägt, behandeln Ärzte diese nicht immer als neutrale Information. Manchmal vertrauen sie der Maschine zu sehr, selbst wenn sie im Unrecht ist – eine Tendenz, die als Automationsbias bekannt ist. In einem bemerkenswerten Beispiel aus der Literatur, als eine KI bei Mammographie-Screenings falsche Ratschläge gab, sank die diagnostische Genauigkeit erfahrener Radiologen drastisch. Die Anwesenheit der falschen KI-Empfehlung führte dazu, dass die Ärzte schlechter in ihrer Arbeit waren, als wenn sie alleine gearbeitet hätten. Umgekehrt: Wenn Computer zu viele Fehlalarme generieren, werden Ärzte erschöpft und beginnen, die Warnmeldungen gänzlich zu ignorieren – ein Phänomen, das als Alarmmüdigkeit (Alert Fatigue) bezeichnet wird. Wenn das System zu oft den Wolf ruft, wird der echte Wolf unbemerkt bleiben. Die aktuelle Evidenz ignoriert diese menschlichen Verhaltensweisen weitgehend und betrachtet den Arzt als passiven Empfänger von Informationen statt als aktiven Partner, dessen Urteilsvermögen untergraben oder in die Irre geführt werden kann.

Der dritte Fehler liegt in der Art und Weise, wie diese Systeme in der realen Welt eingeführt und überwacht werden. Es gibt viele Leitlinien und Rahmenbedingungen, die Krankenhäusern helfen sollen, diese Werkzeuge sicher zu implementieren, doch die Forscher fanden heraus, dass diese Pläne in der Praxis selten getestet oder befolgt werden. Dies gilt insbesondere für Länder mit niedrigem oder mittlerem Einkommen, wo die Belege fast nicht existent sind. Die Rahmenbedingungen zur Steuerung der Implementierung wurden oft in wohlhabenden Nationen mit fortschrittlicher Technologie und stabiler Infrastruktur entwickelt. Wenn sie in ressourcenarmen Regionen angewendet werden, funktionieren sie möglicherweise überhaupt nicht. Beispielsweise könnte ein System, das mit Daten aus einem Teil der Welt trainiert wurde, völlig versagen, wenn es bei einer anderen Bevölkerungsgruppe mit unterschiedlichen Krankheitsmustern oder Lebensbedingungen eingesetzt wird. Ohne angemessene Überwachung kann ein System, das auf dem Papier gut aussieht, im Laufe der Zeit abdriften und an Genauigkeit verlieren, während sich die Patientenpopulation verändert – doch niemand bemerkt es, weil niemand die richtigen Dinge beobachtet.

Die Forscher argumentieren, dass diese drei Fehler nicht einfach nebeneinander existieren, sondern sich gegenseitig beeinflussen und so ein größeres Risiko erzeugen. Weil wir nur die Genauigkeit messen, übersehen wir die menschlichen Fehler, die die Genauigkeit nicht vorhersagen kann. Weil wir das menschliche Verhalten nicht messen, können wir keine Implementierungspläne erstellen, die tatsächlich funktionieren. Das Ergebnis ist eine Situation, in der Krankenhäuser mächtige Werkzeuge auf Basis unvollständiger Informationen einsetzen. Die Untersuchung hebt ein spezifisches Szenario hervor, in dem ein System in einem wohlhabenden Land gut funktioniert, dann aber in einem Distriktkrankenhaus in Westafrika eingesetzt wird. Dort erzeugt das System aufgrund anderer Patientencharakteristika zu viele Fehlalarme. Das überlastete Personal hört auf, die Warnmeldungen zu beachten. Die Genauigkeitsrate des Systems bleibt auf dem Papier hoch, aber in der Realität verursacht es Schaden, indem es Ärzte dazu trainiert, genau die Warnungen zu ignorieren, die sie eigentlich benötigen.

Diese Analyse bedeutet nicht, dass künstliche Intelligenz keinen Platz in der Medizin hat. Die Forscher weisen auf erfolgreiche Beispiele hin, wie etwa Werkzeuge für das Screening der diabetischen Retinopathie oder die Priorisierung dringender Scans, bei denen die Technologie eindeutig geholfen hat. Diese Erfolge sind jedoch die Ausnahme, nicht die Regel, und sie beziehen sich oft auf sehr spezifische, eng gefasste Aufgaben. Die umfassendere Schlussfolgerung la ist, dass die aktuellen Standards für den Nachweis der Sicherheit und Wirksamkeit eines Werkzeugs unzureichend sind. Wir müssen aufhören, nur zu fragen, ob der Computer intelligent ist, und statfangen zu fragen, ob das Gesamtsystem – Computer und Arzt zusammen – die Patienten besser behandelt.

Um dies zu korrigieren, schlagen die Autoren einen neuen Mindeststandard für die Evidenz vor. Bevor ein Werkzeug breit eingesetzt wird, muss es nicht nur auf seine Fähigkeit getestet werden, eine Krankheit zu finden, sondern auch auf seine Fähigkeit, Patientenergebnisse wie das Überleben oder die Lebensqualität zu verbessern. Es muss zudem untersucht werden, wie Ärzte es tatsächlich nutzen, wobei gemessen werden muss, ob sie ihm zu sehr vertrauen oder es zu oft ignorieren. Schließlich müssen die Werkzeuge nach ihrer Einführung kontinuierlich überwacht werden, um sicherzustellen, dass sie im Laufe der Zeit nicht an Wirksamkeit verlieren. Dieser Ansatz erfordert mehr Arbeit und mehr Zeit, aber er ist der einzige Weg, um sicherzustellen, dass der Drang zur Einführung künstlicher Intelligenz die Patienten nicht zurücklässt. Die Technologie ist bereit, aber die Beweise zur Unterstützung derselben sind es nicht. Bis wir diese Lücke schließen, bleibt der Einsatz dieser Systeme ein massives, unkontrolliertes Experiment an genau den Menschen, denen sie eigentlich helfen sollen.