Calibrating trust in AI-assisted pituitary surgery
Diese Studie zeigt, dass die Erweiterung eines KI-gestützten Entscheidungsunterstützungssystems für die Hypophysenchirurgie um erklärende Merkmale und Konfidenzlabels die Kalibrierung des klinischen Vertrauens verbessert – wodurch eine Überverlassenschaft bei schlechter KI-Leistung reduziert wird – und im Vergleich zu einer Basisschnittstelle eine größere Konsistenz sowie eine Leistung auf Senior-Niveau fördert.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Chirurg, der eine hochsensible Operation an einer winzigen, komplexen Struktur tief im Inneren des Schädels durchführt, der Hypophyse. Es ist, als würde man versuchen, ein Labyrinth zu durchqueren, während man die Augen verbunden hat, aber man verfügt über ein High-Tech-GPS (Künstliche Intelligenz), das eine leuchtende Linie auf den Bildschirm zeichnet, um den sicheren Pfad anzuzeigen.
Die große Frage dieser Studie war: Wie sehr sollte man diesem GPS vertrauen?
Wenn man ihm zu sehr vertraut, wenn es falsch liegt, könnte man einen Unfall bauen. Wenn man ihm nicht genug vertraut, wenn es richtig liegt, könnte man eine Abkürzung verpassen. Die Forscher wollten herausfinden, ob das Ändern des „Aussehens und Gefühls“ dieses GPS dabei helfen kann, den perfekten Kompromiss beim Vertrauen zu finden.
Das Experiment: Zwei Arten von GPS
Die Forscher versammelten 70 erfahrene Chirurgen und Medizinstudenten und brachten sie in einem Virtual-Reality-ähnlichen Online-Test unter. Sie baten sie, die Umrisse der Hypophyse auf sechs verschiedenen Videoclips echter Operationen nachzuzeichnen.
Die Teilnehmer wurden in zwei Gruppen aufgeteilt, von denen jede eine andere Version des KI-Helfers nutzte:
- Das „Basale“ GPS: Diese Version zeichnete lediglich die Linie. Es war wie ein Standard-GPS, das sagt: „Biegen Sie hier links ab“, aber keine Erklärung liefert, warum oder wie sicher es sich ist.
- Das „Erweiterte“ GPS: Diese Version war wie ein GPS mit einem gesprächigen Co-Piloten. Es zeichnete nicht nur die Linie, sondern zeigte auch eine Konfidenzanzeige (einen Prozentsatz, der angibt, wie sicher sich die KI ist) und gab eine kurze Einweisung darüber, wie die KI trainiert wurde und wie zuverlässig sie normalerweise ist.
Der Clou: Das GPS gerät unter Stress
Um das Vertrauen zu testen, zeigten die Forscher nicht nur perfekte Videos. Sie ordneten die Clips so an, dass die KI erst perfekt war, dann allmählich schlechter und verwirrter wurde, bevor sie am Ende wieder etwas besser wurde. Es war, als würde man durch eine klare Stadt fahren, dann in dichten Nebel geraten und schließlich in eine Baustelle kommen, in der das GPS plötzlich seltsame Wegbeschreibungen gibt.
Was passierte?
1. Wenn die KI perfekt war:
Beide Gruppen vertrauten der KI gleichermaßen. Interessanterweise vertraute die „Erweiterte“ Gruppe (diejenigen mit dem gesprächigen Co-Piloten) ihr nicht mehr als der „Basalen“ Gruppe. Jedoch machten die erfahrenen Chirurgen in der „Erweiterten“ Gruppe tatsächlich etwas bessere Arbeit beim Nachzeichnen der Linien. Es scheint, dass die zusätzlichen Informationen den Experten halfen, sich sicher genug zu fühlen, um das Werkzeug effektiver zu nutzen – fast so, als würden sie die besten Teile des KI-Rats „herauspicken“.
2. Wenn die KI verwirrt war (Der neblige Teil):
Hier wurde die Studie besonders interessant. Als die KI begann, Fehler zu machen, vertraute die „Basale“ Gruppe ihr immer noch ein Stück zu viel. Sie waren wie Autofahrer, die einem GPS weiterhin folgen, selbst wenn es ihnen sagt, sie sollen in einen See fahren.
Die „Erweiterte“ Gruppe hingegen verlor das Vertrauen viel schneller. Da sie sahen, wie die Konfidenzanzeige sank und wussten, dass die KI Schwierigkeiten hatte, senkten sie ihr Vertrauen signifikant. Dies nennt man Vertrauenskalibrierung. Sie erkannten: „Hey, dieses Werkzeug hat heute einen schlechten Tag, ich sollte mich nicht blind darauf verlassen.“
3. Das Ergebnis des geringeren Vertrauens:
Obwohl die „Erweiterte“ Gruppe der KI weniger vertraute, wenn sie im Unrecht war, zeichneten sie nicht zwangsläufig die Linien besser als die „Basale“ Gruppe. Ihre Ergebnisse waren jedoch konsistenter. Sie machten keine wilden, gefährlichen Fehler. Es ist, als hätte die „Erweiterte“ Gruppe entschieden: „Das GPS ist kaputt, also fahre ich vorsichtig und verlasse mich auf meine eigenen Instinkte“, während die „Basale“ Gruppe versuchte, dem defekten GPS zu folgen, und am Ende völlig unkontrolliert agierte.
Das Fazit
Die Studie fand heraus, dass die Bereitstellung von mehr Informationen (wie Konfidenzwerte und Hintergrundinformationen zur KI) Chirurgen hilft, ihr Vertrauen zu kalibrieren.
- Gute KI: Die Zusatzinformationen helfen Experten, das Werkzeug sogar noch besser zu nutzen.
- Schlechte KI: Die Zusatzinformationen dienen als Sicherheitskontrolle, die Chirurgen erkennen lässt: „Das funktioniert gerade nicht“, und verhindert, dass sie einem Fehler blind folgen.
Die Forscher kommen zu dem Schluss, dass diese zusätzlichen Informationen die KI zwar nicht magisch perfekt machen, aber den Chirurgen helfen zu wissen, wann sie ihr vertrauen sollten und wann sie sie ignorieren sollten. Dies ist ein entscheidendes Sicherheitsmerkament, bevor diese Werkzeuge jemals in einem echten Operationssaal eingesetzt werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.