Drivers of Oncologist Preference of AI-Generated Literature Review in a Randomized Mixed-Methods Study
Diese randomisierte Mixed-Methods-Studie zeigt, dass das Vertrauen und die Präferenz von Onkologen für KI-generierte Literaturübersichten stärker von Designmerkmalen der Berichte abhängen – wie etwa Prägnanz, verifizierbare Zitate und explizite Unsicherheit – als allein von der Genauigkeit, was durch signifikant niedrigere Nutzenbewertungen für evidenzbasierte Berichte im Vergleich zu Standardformaten trotz ähnlicher Referenzqualität belegt wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
In der hochriskanten Welt der Krebsversorgung müssen Ärzte ständig durch eine sich verändernde Landschaft aus neuen Behandlungen, sich entwickelnden Leitlinien und komplexen molekularen Daten navigieren. Um die richtige Entscheidung für einen Patienten zu treffen, müssen sie oft schnell die neueste medizinische Forschung finden und verstehen. In jüngster Zeit sind KI-Tools entstanden, um sie bei dieser Aufgabe zu unterstützen, indem sie als digitale Assistenten fungieren, die durch riesige Bibliotheken medizinischer Literatur suchen und die Ergebnisse in einfacher Sprache zusammenfassen können. Eine entscheidende Frage bleibt jedoch: Nur weil eine KI die richtigen Fakten finden kann, präsentiert sie diese auch so, dass ein erschöpfter Arzt ihnen vertrauen und sie nutzen kann? Die Herausforderung besteht nicht bloß darin, ob der Computer korrekt ist, sondern darum, wie die Information aufbereitet und geliefert wird. Wenn ein Bericht schwer lesbar, verwirrend oder so wirkt, als würde er seine Quellen verbergen, könnte ein Arzt eine vollkommen korrekte Antwort ignorieren. Diese Lücke zwischen Rohdaten und menschlichem Vertrauen ist dort, wo die eigentliche Arbeit der klinischen künstlichen Intelligenz liegt.
Ein Team von Forschern der Stanford University und anderer Institutionen unternahm den Versuch, diese Lücke zu untersuchen, indem sie vierunddreißig Onkologen baten, von verschiedenen Systemen der künstlichen Intelligenz generierte Berichte zu begutachten. Sie fragten die Ärzte nicht einfach, welches KI-System das klügste sei; stattdessen testeten sie, wie das Design des Berichts das Vertrauen der Ärzte beeinflusste. Die Studie umfasste fünf verschiedene Patientenszenarien, die von der Radioonkologie bis zur pädiatrischen Hämatologie reichten und eine Mischung aus verschiedenen Ausbildungsstufen von Assistenzärzten bis hin zu erfahrenen Fakultätsmitgliedern abdeckten. Für jedes Szenario überprüften die Ärzte vier verschiedene, von KI generierte Zusammenfassungen derselben medizinischen Fragestellung. Diese Zusammenfassungen stammten aus drei unterschiedlichen Quellen: einem spezialisierten medizinischen KI-Tool namens OpenEvidence, einem allgemeinen Chatbot namens ChatGPT und einer Version von OpenEvidence, die die Forscher manuell angepasst hatten. Die Forscher hatten eine spezifische Hypothese für diese angepasste Version: Sie glaubten, dass es für Ärzte nützlicher und vertrauenswürdiger wäre, wenn sie den Bericht so umstrukturieren würden, dass die Stärke der Evidenz hervorgehoben wird – indem sie die zuverlässigsten, groß angelegten klinischen Studien an den Anfang stellen und schwächere Studien nach unten verlagern.
Die Ergebnisse dieses Experiments überraschten die Forscher. Trotz der Verwendung exakt derselben zugrunde liegenden Fakten und Zitate wurde der von dem Team sorgfältig gestaltete, modifizierte Bericht, der die Stärke der Evidenz betonte, als signifikant weniger nützlich bewertet als der standardmäßige, unveränderte Bericht von OpenEvidence. Tatsächlich war die maßgeschneiderte Version die am wenigsten bevorzugte Option unter den vier. Die Ärzte fanden den neu geordneten Aufbau nicht klarer oder logischer; stattdessen empfanden sie ihn als weniger organisiert und schwerer scannbar. Dieses Ergebnis deutet darauf an, dass das bloße Umstellen der Reihenfolge der Informationen, um die „Evidenzhierarchie“ sichtbarer zu machen, nicht wie beabsichtigt funktionierte. Die Ärzte wollten nicht, dass die KI als Richter darüber agiert, welche Studien die besten seien; sie wollten, dass die KI die Informationen so präsentiert, dass sie diese schnell selbst verifizieren können.
Durch eine Reihe von Interviews und detaillierten Bewertungen deckten die Forscher auf, was die Ärzte tatsächlich benötigten. Die geschätzten Merkmale drehten sich nicht um komplexe Rangsysteme, sondern um Klarheit und Geschwindigkeit. Ärzte bevorzugten Berichte, die prägnant waren und in Sekundenschnelle gescannt werden konnten, mit einer klaren Zusammenfassung ganz oben. Sie wollten spezifische Zahlen aus klinischen Studien sehen, wie etwa Überlebensraten oder Nebenwirkungsprozentsätze, statt vager Beschreibungen. Entscheidend war, dass jede Behauptung direkt mit ihrer Quelle durch eine anklickbare Zitierung verknüpft war, was es ihnen ermöglichte, die Information sofort zu verifizieren. Sie wollten zudem eine klare Trennung zwischen den Rohdaten und den Empfehlungen, die die KI treffen könnte, wobei sie vorzogen, dass die KI die Daten zusammenfasst, ohne dabei übermäßig selbstbewusst oder richtungsweisend zu klingen. Wenn die KI ihre Quellen verbarg, einen plaudernden Tonfall verwendete oder eine Mischung aus qualitativ hochwertigen und qualitativ minderwertigen Studien ohne Unterscheidung präsentierte, schwand das Vertrauen.
Die Studie zeigte auch, dass das Standard-OpenEvidence-Tool in Bezug auf den allgemeinen Nutzen genauso gut abschnitt wie der allgemeine ChatGPT, aber bei der Qualität seiner Zitate höher bewertet wurde. Dies deutet darauf hin, dass für medizinische Fachkräfte die Fähigkeit, eine Behauptung auf die Originalquelle zurückzuführen, ebenso wichtig ist wie die Antwort selbst. Die Forscher fanden heraus, dass die Art und Weise, wie Informationen präsentiert werden, die Wahrnehmung des Wertes durch einen Arzt verändern kann, selbst wenn der Inhalt identisch ist. Ein Bericht, der unordentlich aussieht oder den Anschein erweckt, seine Arbeit zu verbergen, wird abgelehnt, während ein sauberer, gut strukturierter Bericht, der die Zeit des Arztes und dessen Bedürfnis nach Verifizierung respektiert, angenommen wird. Die Studie kommt zu dem Schluss, dass künstliche Intelligenz im Krankenhaus wirklich hilfreich sein kann, wenn sie nicht nur auf Genauigkeit, sondern auf den menschlichen Arbeitsablauf ausgelegt ist. Das beste Werkzeug ist nicht unbedingt dasjenige, das am meisten weiß, sondern dasjenige, das sein Wissen so präsentiert, dass es sich sicher, transparent und einfach anzuwenden anfühlt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.