Do No Harm? Hallucination and Actor-Level Abuse in Web-Deployed Medical Large Language Models
Diese Arbeit präsentiert eine groß angelegte Bewertung von über 6.000 im Web eingesetzten medizinischen Large Language Models, die erhebliche Risiken hinsichtlich Halluzinationen, Verstößen gegen Richtlinien und Datenschutzlücken aufzeigt und gleichzeitig neue Evaluierungsrahmen sowie einen Datensatz einführt, um zukünftige Verbesserungen der Sicherheit zu leiten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich den „App Store" des Internets für KI vor, doch statt Spiele oder Produktivitätstools ist er mit Tausenden von digitalen Ärzten gefüllt. Dabei handelt es sich um maßgeschneiderte KI-Chatbots (genannt MedGPTs), die jeder erstellen und veröffentlichen kann, um medizinische Ratschläge zu erteilen, Symptome zu diagnostizieren oder Behandlungen zu erklären.
Das von Ihnen bereitgestellte Papier ist wie eine massive, verdeckte Gesundheitsinspektion dieses digitalen Marktplatzes. Die Forscher haben nicht nur die am besten bewerteten und beliebtesten Ärzte unter die Lupe genommen; sie haben über 6.000 davon geprüft, um festzustellen, ob sie sicher, ehrlich oder tatsächlich gefährlich sind.
Hier ist das Ergebnis, aufgeteilt in einfache Konzepte:
1. Das Problem des „selbstbewussten Lügners" (Halluzinationen)
Stellen Sie sich einen Reiseleiter vor, der mit absoluter Sicherheit spricht, aber Fakten über die Geschichte erfindet. In der medizinischen Welt nennt man dies eine Halluzination.
- Das Ergebnis: Etwa 25 % bis 30 % dieser KI-Ärzte „lügen" oder erfinden medizinische Fakten. Sie könnten Ihnen selbstbewusst raten, ein gefährliches Medikament einzunehmen oder ein ernstes Symptom zu ignorieren.
- Der Twist: Man könnte denken, die beliebtesten Ärzte seien die sichersten. Doch die Studie ergab, dass Beliebtheit ein schlechter Lügendetektor ist. Die „berühmten" KI-Ärzte waren genauso wahrscheinlich dazu geneigt, Dinge zu erfinden wie die obskuren. Tatsächlich waren die weniger beliebten oft noch schlimmer.
- Die Blindheit der Nutzer: Die Forscher stellten fest, dass Nutzer diese Lügen scheinbar nicht bemerken. Wenn eine KI eine glatte, selbstbewusste Antwort gibt, erhalten sie fünf Sterne, selbst wenn der Rat medizinisch falsch ist. Es ist, als würde man einem Koch fünf Sterne geben, der Ihnen eine köstlich aussehende, aber giftige Mahlzeit serviert.
2. Das Problem des „böswilligen Akteurs" (Design-Missbrauch)
Einige dieser KI-Ärzte sind nicht nur versehentlich falsch; sie sind so konzipiert, dass sie riskant sind.
- Das Ergebnis: Fast 50 % der KI-Ärzte wiesen bei ihrer Konstruktion „rote Flaggen" auf.
- Die Metapher: Stellen Sie sich einen Restaurantbesitzer vor, der ein Schild mit der Aufschrift „Wir sind ein Krankenhaus" aufhängt (obwohl sie keines sind), die Speisekarte versteckt und sich weigert zu zeigen, woher das Essen kommt.
- Die Details:
- Einige Ersteller nannten ihre Bots Dinge wie „Sofortige Krebsdiagnose", um Menschen zu täuschen und sie glauben zu lassen, es handele sich um echte Ärzte.
- Viele dieser Bots verfügen über eine Funktion namens „Aktionen" (die es ihnen ermöglicht, sich mit externen Websites zu verbinden), doch 57 % davon hatten keine Datenschutzrichtlinie. Es ist, als würde man in eine Klinik gehen, in der der Arzt Ihre Blutprobe entnimmt, sich aber weigert, Ihnen zu sagen, was er damit vorhat.
- Selbst wenn sie eine Datenschutzrichtlinie hatten, waren bei fast 70 % davon diese gebrochen, vage oder schützten Ihre Daten tatsächlich nicht.
3. Der Showdown zwischen „Open Source" und „Im Laden Gekauft"
Die Forscher verglichen diese im Laden gekauften KI-Ärzte auch mit „Open-Source"-Modellen (Modelle, die Entwickler frei teilen, wie ein Gemeinschaftskochbuch).
- Die im Laden Gekauften (MedGPTs): Diese waren im Allgemeinen besser darin, intelligent und präzise zu klingen (sie trafen die Fakten öfter richtig). Allerdings waren sie weniger stabil – manchmal gaben sie eine großartige Antwort, und beim nächsten Mal, wenn Sie dieselbe Frage stellten, gaben sie eine völlig andere, verwirrende Antwort.
- Die Open-Source: Diese waren konsistenter (sie gaben jedes Mal dieselbe Antwort), aber sie waren bei den Fakten weniger genau.
- Die Lehre: Keine der beiden Arten ist perfekt. Die „schickeren" klingen besser, wackeln aber; die „Gemeinschafts"-Versionen sind beständig, könnten aber die Details falsch haben.
4. Die „Vertrauenssignale" sind defekt
In einem normalen App Store meiden Sie eine App, wenn sie schlechte Bewertungen oder niedrige Sterne hat.
- Das Ergebnis: In diesem medizinischen KI-Store sagen Bewertungen und Rezensionen Ihnen nichts über die Sicherheit aus.
- Die Metapher: Es ist wie bei einem Autohändler, bei dem die Autos mit den meisten Probefahrten und den höchsten „5-Sterne"-Bewertungen tatsächlich diejenigen mit defekten Bremsen sind. Die Forscher stellten fest, dass wie sehr die Menschen mit der KI sprachen, fast keinen Zusammenhang damit hatte, ob die KI tatsächlich die Wahrheit sagte.
Das Fazit
Das Papier kommt zu dem Schluss, dass wir diesen KI-Ärzten nicht einfach vertrauen können, nur weil sie beliebt sind oder selbstbewusst klingen.
- Das System ist defekt: Der aktuelle Weg, diese Bots zu überprüfen (durch das Vertrauen auf Nutzerbewertungen und Sterne), versagt.
- Die Gefahr: Da Patienten oft keine medizinische Ausbildung haben, können sie nicht erkennen, wenn die KI lügt oder wenn der Arzt seine Autorität „fälscht".
- Die Lösung: Wir brauchen eine neue Art von „Gesundheitsinspekteur", der die Fakten der KI, ihr Design und ihre Datenschutzregeln prüft, bevor sie mit Patienten sprechen darf. Die Forscher haben einen neuen Datensatz und eine Reihe von Werkzeugen veröffentlicht, um diese Inspektoren zu entwickeln.
Kurz gesagt: Der digitale medizinische Marktplatz ist voll von selbstbewussten Lügnern und riskanten Designs, und die „Kundenbewertungen" helfen uns nicht, sie zu erkennen. Wir brauchen bessere Sicherheitskontrollen, bevor wir diesen KI-Ärzten erlauben, in unser Leben zu kommen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.