Evaluating Five Generative AI Chatbots for Myocarditis-Related Public Health Consultation: A Multidimensional Assessment of Safety, Accuracy, Empathy, Reliability, Quality, and Readability
Diese Studie bewertete fünf generative KI-Chatbots zu Myokarditis-bezogenen Fragen des öffentlichen Gesundheitswesens und stellte fest, dass, obwohl die meisten Antworten im Allgemeinen sicher waren, signifikante Variationen in Genauigkeit, Empathie und Qualität bestanden, wobei alle Modelle die Lesbarkeitsziele verfehlten und spezifische Risiken bei der Triage und Behandlungsanleitung aufwiesen, die eine klinische Aufsicht erforderlich machen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten, allwissenden Roboterfreund, der jede Frage beantworten kann, die Sie stellen, von „Warum ist der Himmel blau?“ bis hin zu „Wie repariere ich mein Fahrrad?“. Dieser Roboter wird durch etwas namens Generative KI angetrieben, eine Art Computergehirn, das aus einer riesigen Bibliothek menschlicher Texte lernt, um neue, flüssige Antworten zu erstellen. In der Welt der Gesundheit beginnen Menschen, diese Roboter Fragen zu stellen wie: „Meine Brust schmerzt nach einer Impfung; ist das ernst zu nehmen?“ oder „Kann ich wieder Fußball spielen gehen?“. Aber hier ist der Haken: Obwohl diese Roboter sehr gut darin sind, selbstbewusst und freundlich zu klingen, sind sie keine Ärzte. Sie haben keinen Herzschlag, und sie können manchmal Fakten erfinden oder winzige, aber gefährliche Details übersehen. Dies gilt besonders für eine Erkrankung namens Myokarditis, was ein schickes Wort für eine Entzündung des Herzmuskels ist. Es ist wie ein Feuer, das im Inneren des Herzmotors brennt; manchmal ist es nur ein kleines Flackern, und manchmal ein loderndes Inferno, das das Herz daran hindern kann, zu arbeiten. Da der Einsatz so hoch ist, müssen wir wissen, ob unsere Roboterfreunde sicher sind, wenn wir uns um unser Herz sorgen, oder ob sie uns versehentlich dazu bringen könnten, ein Warnsignal zu ignorieren.
Ein Forscherteam beschloss, fünf dieser populären KI-Chatbots einem Test zu unterziehen, indem es sie wie Schüler behandelte, die eine sehr ernsthafte Prüfung ablegen. Sie stellten nicht einfach nur zufällige Fragen; sie sammelten 52 reale Sorgen, die Menschen tatsächlich in Bezug auf Myokarditis haben, wie etwa Ängste vor Brustschmerzen, was nach einer Infektion passiert, ob Impfungen sicher sind und wann es wieder okay ist, Sport zu treiben. Sie baten jeden der fünf Chatbots (ChatGPT, Gemini, DeepSeek, Doubao und Copilot), diese Fragen genau so zu beantworten, wie es ein Nutzer tun würde, ohne spezielle Anweisungen, um ihr Verhalten zu verbessern. Dann bewertete eine Gruppe von fünf erfahrenen Kardiologen, die nicht wussten, welcher Roboter welche Antwort gegeben hatte, die Antworten auf einer Skala von „sicher“ bis „unsicher“, „genau“ bis „falsch“, „empathisch“ bis „kalt“ und „leicht lesbar“ bis „unverständlich“.
Die Ergebnisse waren eine Mischung aus guten Nachrichten und einigen ernsten Warnungen. Erstens die guten Nachrichten: Meistens waren die Roboter sicher. Etwa 90 % bis 94 % ihrer Antworten enthielten keine gefährlichen Ratschläge. Die Forscher fanden jedoch heraus, dass „meistens sicher“ nicht dasselbe ist wie „perfekt“. Selbst die besten Roboter machten Fehler in schwierigen Situationen. Zum Beispiel waren einige Roboter zu schnell dabei, Menschen zu versichern, dass ein impfstoffbedingtes Herzproblem harmlos sei, oder sie gaben vage Ratschläge dazu, wann man mit dem Sport aufhören sollte, was riskant sein könnte, wenn das Herz noch entzündet ist. Es ist, als würde ein Roboter Ihnen sagen: „Ihr Automotor ist wahrscheinlich in Ordnung“, obwohl er eigentlich sofort abgeschleppt werden müsste.
Was Genauigkeit und Freundlichkeit betraf, waren die Roboter nicht alle gleich. Einige, wie Gemini, Copilot und DeepSeek, waren sehr gut darin, die medizinischen Fakten richtig darzustellen. DeepSeek war der „freundlichste“ der Gruppe und klang unterstützender und verständnisvoller gegenüber der Angst eines Patienten. Aber hier liegt das größte Problem: Keiner der Robote schrieb in einer Weise, die für einen normalen Menschen leicht zu verstehen war. Sie alle verwendeten Wörter, die zu komplex waren, als würde ein Professor ein einfaches Konzept mit einem Wörterbuch voller großer Wörter erklären. Die Forscher wollten, dass die Antworten für einen Sechstklässler lesbar sind, aber jeder einzelne Roboter fiel durch diesen Test durch. Ihre Antworten ähnelten eher einem College-Lehrbuch als einem freundlichen Gespräch.
Die Studie kommt zu dem Schluss, dass diese KI-Tools zwar hilfreich für das Lernen allgemeiner Fakten über die Herzgesundheit sein können, aber nicht bereit sind, einen echten Arzt zu ersetzen. Sie sollten sie nicht fragen, um zu entscheiden, ob Sie einen Herzinfarkt haben, ob Sie mit der Einnahme von Medikamenten aufhören können oder um Ihnen das grüne Licht zum Laufen eines Marathons zu geben. Die Roboter sind wie ein sehr belesener Bibliotheksassistent, der Sie in das richtige Buch weisen kann, aber er kann nicht das Auto für Sie fahren. Wenn Sie sie benutzen, benötigen Sie einen echten menschlichen Arzt, um ihre Antworten zu prüfen, die großen Wörter in einfaches Englisch (bzw. einfache Sprache) zu übersetzen und sicherzustellen, dass Sie keine Warnsignale übersehen. Die Roboter werden besser, aber für etwas so Zartes wie Ihr Herz benötigen sie immer noch einen menschlichen Aufseher.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.