How Best to Explain Machine Learning Models to Clinicians: A User Study of Explanation Types
Diese Nutzerstudie mit 39 Klinikern zeigt, dass, während at-tributionsbasierte Erklärungen das Vertrauen und das Verständnis von maschinellen Lernprognen im klinischen Umfeld am signifikantesten verbessern, fast die Hälfte der Teilnehmer es bevorzugt, mehrere Erklärungstypen einzusehen, was darauf hindeutet, dass zukünftige Implementierungen Attributionsmethoden priorisieren, aber gleichzeitig vielfältige, auf spezifische klinische Rollen zugeschnittene Formate anbieten sollten.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Arzt gebaut, der die Daten eines Patienten betrachten und vorhersagen kann, ob dieser kurz davor steht, krank zu werden. Aber hier ist der Haken: Der Roboter ist eine „Black Box“. Er liefert Ihnen zwar eine Antwort, aber er verrät Ihnen nicht, warum. Es ist wie ein Magic 8-Ball, der sagt: „Ja, Gefahr!“, aber sich weigert zu erklären, welche Kristallkugel er benutzt hat, um dies zu sehen.
Um dies zu beheben, beschlossen die Forscher in dieser Arbeit, drei verschiedene Wege zu testen, um die Denkweise des Roboters Ärzten und Pflegepersonal (Pflegekräfte und Ärzte) zu erklären. Sie wollten sehen, welcher Erklärungsstil dazu führt, dass die Mediziner dem Roboter mehr vertrauen, ihn besser verstehen und tatsächlich ihre Meinung darüber ändern, was beim Patienten los war.
Die drei „Taschenlampen“-Stile
Das Team testete drei verschiedene Arten, Licht auf die Entscheidung des Roboters zu werfen:
- Die Attributions-Taschenlampe (Die „Punktetabelle“): Diese Methode vergibt für jedes einzelne Datensegment eine Punktzahl. Es ist wie ein Lehrer, der eine Prüfung bewertet und genau hervorhebt, welche Antworten richtig oder falsch waren und wie viele Punkte jede davon wert war. Sie sagt: „Ihre Herzfrequenz war hoch, und das hat dem Risiko-Score 4,5 Punkte hinzugefügt.“
- Die Kontrafaktische Taschenlampe (Das „Was-wäre-wenn“): Diese spielt ein Spiel nach dem Motto „Was wäre, wenn“. Sie zeigt dem Arzt, wie er die Werte des Patienten verändern müsste, um ein anderes Ergebnis zu erhalten. Es ist wie ein Cheat-Code in einem Videospiel, der sagt: „Wenn du die Herzfrequenz senkst und den Blutdruck erhöhst, wird der Roboter aufhören, ‚Gefahr!‘ zu schreien.“
- Die Regelbasierte Taschenlampe (Das „Rezept“): Diese Methode liefert eine einfache Liste von Regeln, ähnlich wie ein Kochrezept. Sie sagt: „WENN der Laktatwert hoch ist UND die Atmung schnell ist, DANN sagt der Roboter Gefahr voraus.“
Die große Enthüllung: Die Punktetabelle gewinnt
Nachdem diese drei Stile 39 Ärzten und Pflegekräften gezeigt wurden, waren die Ergebnisse eindeutig. Die Attributions-Taschenlampe (die Punktetabelle) war der klare Gewinner.
- Vertrauen: Als die Ärzte die Punktetabelle sahen, vertrauten sie der Vorhersage des Roboters mehr als bei den anderen beiden Stilen.
- Verständnis: Die Punktetabelle war am einfachsten zu verstehen. Die Ärzte hatten das Gefühl, es wirklich „durchschaut“ zu haben.
- Einfluss: Dies ist der wichtigste Teil. Die Punktetabelle änderte tatsächlich die Meinung der Ärzte darüber, was wichtig sei. Wenn sie die Punktetabelle sahen, waren sie eher bereit zu sagen: „Oh, ich lag falsch darüber, was die Ursache für das Risiko war; der Roboter deutet auf etwas anderes hin.“
Die Arbeit legt nahe, dass die anderen beiden Methoden (das „Was-wäre-wenn“ und das „Rezept“) zwar hilfreich waren, aber nicht die gleiche Wirkung entfalteten. Der „Was-wäre-wenn“-Stil war in den Freitext-Kommentaren tatsächlich am wenigsten beliebt; viele Ärzte fanden ihn verwirrend oder weniger nützlich.
Ärzte vs. Pflegekräfte: Ein Bericht über zwei Arbeitsabläufe
Hier ist eine interessante Wendung: Die beiden Arten von medizinischem Fachpersonal reagierten unterschiedlich.
- Die Ärzte: Bevor sie die Erklärungen sahen, waren sie bereits recht interessiert an ihnen. Aber nachdem sie die Punktetabelle genutzt hatten, wuchs ihr Interesse. Es war, als dachten sie: „Ich wusste schon, dass das wichtig ist, aber jetzt sehe ich, wie es mir hilft, meine großen Entscheidungen zu treffen.“
- Die Pflegekräfte: Sie hielten Erklärungen von Anfang an für wichtig, aber das Sehen der Erklärungen änderte ihre Meinung nicht wirklich. Die Arbeit legt nahe, dass dies daran liegen könnte, dass Pflegekräfte oft strengen, schrittweisen Protokollen (wie einer Checkliste) folgen, sodass eine komplexe Erklärung ihren Arbeitsablauf nicht so sehr verändert wie die eines Arztes, der eine Diagnose von Grund auf erstellt.
Was die Ärzte wollten
Die Studie fragte auch die Ärzte, was sie gerne auf ihren Bildschirmen sehen würden.
- Mehr ist besser (Aber nicht zu viel): Fast die Hälfte der Ärzte (46,2 %) gab an, dass sie alle drei Arten von Erklärungen gleichzeitig sehen wollten. Sie wollten sich nicht für nur eine entscheiden; sie wollten die Punktetabelle, das „Was-wäre-wenn“ und das Rezept zusammen, um das vollständige Bild zu erhalten.
- Kurz und knackig: Was die Details betraf, bevorzugten die Ärzte die „kurze und süße“ Version. Etwa 77 % der Befragten wollten nur die obersten, wichtigsten Merkmale auf der Punktetabelle sehen, statt einer langen Liste von allem. Ähnlich verhielt es sich mit den Regeln: 84 % wollten eine kurze Liste von Regeln statt eines romanhaften Rezepts.
Was die Arbeit NICHT aussagt
Es ist wichtig zu wissen, was diese Studie nicht bewiesen hat. Die Forscher haben nicht behauptet, dass diese Erklärungen den Roboter-Arzt perfekt machen oder dass sie in der realen Welt garantiert bessere Patientenergebnisse gewährleisten. Sie haben lediglich gemessen, was die Ärzte während einer Umfrage sagten und dachten. Sie haben diese Methoden auch nicht für jeden mögliche Roboter-Arzt oder jede Art von Krankenhaus getestet. Die Ergebnisse basieren auf einem spezifischen Roboter, der auf Zeitreihendaten (wie Vitalwerten im Zeitverlauf) trainiert wurde, sowie auf einer spezifischen Gruppe von 39 Ärzten und Pflegekräften aus zwei Universitäten.
Das Fazit
Wenn Sie einen Roboter-Arzt für ein Krankenhaus bauen, geben Sie dem Menschen nicht nur eine einzige Erklärung. Die Arbeit legt nahe, dass Sie die Attributions-Punktetabelle priorisieren sollten, da sie das meiste Vertrauen und Verständnis aufbaut. Da viele Ärzte jedoch möchten, alles zu sehen, sollten Sie ihnen wahrscheinlich die Punktetabelle plus die anderen Stile zeigen, aber die Listen kurz und leicht lesbar halten. Und denken Sie daran: Wenn Sie mit einer Pflegekraft sprechen, wird die Erklärung ihren Arbeitsablauf vielleicht nicht so sehr verändern wie den eines Arztes, also passen Sie Ihren Ansatz entsprechend an.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.