Selective Prediction Reduces the Negative Effects of Automation Bias Overall but Increases False Negatives
Während die selektive Vorhersage Klinikerinnen und Klinikern hilft, die allgemeine Entscheidungsgenauigkeit durch das Verbergen unzuverlässiger KI-Ausgaben aus den negativen Auswirkungen des Automatisierungsfehlers zurückzugewinnen, erhöht sie unbeabsichtigt die Anzahl falsch-negativer Ergebnisse, indem sie dazu führt, dass Klinikerinnen und Kliniker unterdiagnostizieren und unterbehandeln, wenn die KI auf eine Antwort verzichtet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie wandern durch einen dichten Wald und haben einen hochtechnologischen Führer engagiert, der Ihnen helfen soll, den Weg zu finden. Dieser Führer besitzt eine Superkraft: Er kann Gefahren und Abkürzungen entdecken, die Sie vielleicht übersehen würden. Aber hier ist der Haken – er ist nicht perfekt. Manchmal zeigt er Ihnen voller Selbstvertrauen in Richtung eines Abgrunds, oder er wird so verwirrt, dass er ganz verstummt. In der Welt der Wissenschaft ist dies die Geschichte von Künstlicher Intelligenz (KI), die Menschen bei Entscheidungen hilft. Wir nennen das Problem, einem falschen Führer blind zu vertrauen, „Automation Bias“. Um dies zu beheben, kamen Wissenschaftlern eine clevere Idee namens „selektive Vorhersage“ (selective prediction) in den Sinn. Es ist, als würde man seinem Führer sagen: „Wenn du dir nicht zu 100 % sicher bist, bleib einfach still und lass mich es selbst herausfinden.“ Die Hoffnung war, dass das Verbergen der schlechten Vermutungen des Führers die Menschen sicherer und klüger machen würde. Aber hilft Schweigen tatsächlich, oder führt es nur dazu, dass der Mensch sich verloren und unsicher fühle? Dies ist die große Frage, die Forscher der University of Michigan und der New York University beantworten wollten.
Das Team beschloss, diese Idee in einer Umgebung mit hohem Einsatz zu testen: einem Krankenhaus. Sie versammelten 259 echte Ärzte und medizinische Fachkräfte, um ein Spiel zu spielen. Sie gaben ihnen 45 verschiedene Patientengeschichten (sogenannte Vignetten) über Menschen, die unter Atemnot litten. Die Ärzte mussten herausfinden, ob die Patienten eine Lungenentzündung, eine Herzinsuffizienz oder eine Lungenerkrankung namens COPD hatten, und dann das richtige Medikament entscheiden. Die Forscher gestalteten drei verschiedene Szenarien. Erstens arbeiteten die Ärzte allein. Zweitens arbeiteten sie mit einer KI, die für jede einzelne Frage eine Antwort gab, selbst wenn die KI falsch lag. Drittens arbeiteten sie mit einer KI, die „selektive Vorhersage“ nutzte – was bedeutete, dass die KI manchmal sagte: „Ich bin mir nicht sicher, Sie entscheiden“, und ihre Antwort für bestimmte Krankheiten verbarg.
Die Ergebnisse waren eine kleine Wendung. Wenn die KI einfach falsche Antworten herausbrüllte, machten die Ärzte mehr Fehler, was bewies, dass eine schlechte KI definitiv Dinge durcheinanderbringen kann. Aber als die KI selektive Vorhersage nutzte und bei den schwierigen Teilen schwieg, half dies den Ärzten tatsächlich, einige Fehler zu vermeiden. Es behob jedoch nicht alles. Tatsächlich begingen die Ärzte, wenn die KI sagte: „Ich überlasse es Ihnen“, eine andere Art von Fehler: Sie hörten auf, Patienten zu behandeln, die eigentlich Hilfe benötigten. Sie wurden zu vorsichtig. Es ist, als hätte das Schweigen des Führers die Wanderer dazu gebracht zu denken: „Wenn der Führer keine Gefahr anzeigt, dann gibt es vielleicht auch keine“, sodass sie aufhörten, danach zu suchen.
Die Studie fand heraus, dass dieser „stille KI“-Effekt besonders stark bei Ärzten auftrat, die zuvor noch nie KI-Tools benutzt hatten. Diese Ärzte neigten eher dazu, Patienten unterzubehandeln, wenn die KI sich zurückzog. Die Forscher vermuten, dass das Hören der KI, die sagt „Ich weiß es nicht“, die Ärzte dazu bringen könnte, das Gefühl zu bekommen, die Erkrankung sei nicht wichtig, oder es könnte die gesamte Aufgabe einfach schwieriger und verwirrender erscheinen lassen. Während die selektive Vorhersage ein großartiges Sicherheitsnetz ist, um Ärzte davor zu bewahren, schlechten Ratschlägen zu folgen, legt dieses Paper nahe, dass sie kein Zauberstab ist. Sie verändert die Art und Weise, wie Ärzte denken, und führt dazu, dass sie manchmal genau die Probleme übersehen, die sie lösen müssten. Die Autoren kommen zu dem Schluss, dass wir nicht einfach davon ausgehen können, dass es immer gut ist, wenn die KI schweigt; wir müssen vorsichtig sein, wie es das menschliche Verhalten verändert, denn in der Medizin kann das Übersehen einer Diagnose genauso gefährlich sein wie das Stellen einer falschen Diagnose.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.