Self-Reported Confidence of Large Language Models in Gastroenterology: Analysis of Commercial, Open-Source, and Quantized Models
Die Studie zeigt, dass große Sprachmodelle bei gastroenterologischen Prüfungsfragen trotz verbesserter Leistung eine konsistente Tendenz zur Überzeugung aufweisen, was die Zuverlässigkeit ihrer Unsicherheitsschätzung für den sicheren Einsatz im Gesundheitswesen in Frage stellt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Titel: Wenn KI zu selbstbewusst ist: Eine Reise durch den Magen-Darm-Test
Stellen Sie sich vor, Sie haben eine Gruppe von sehr schlauen, aber manchmal etwas eingebildeten Robotern. Diese Roboter sind sogenannte „Large Language Models" (LLMs) – also künstliche Intelligenzen, die wie Menschen sprechen und schreiben können. Sie wurden darauf trainiert, medizinisches Wissen zu haben, speziell für den Bereich der Magen- und Darmerkrankungen (Gastroenterologie).
Die Forscher aus dieser Studie wollten herausfinden: Können diese Roboter ehrlich sagen, wenn sie sich nicht sicher sind?
Das große Experiment: Der schwierige Test
Um das zu testen, gaben die Forscher den Robotern einen echten, sehr schweren Prüfungsfragebogen für Ärzte. Es waren 300 Fragen, die normalerweise nur erfahrene Gastroenterologen lösen können. Die Fragen waren so schwer, dass sie wahrscheinlich nicht in den Trainingsdaten der Roboter enthalten waren – ein echter „Neuland"-Test.
Die Roboter mussten nicht nur die richtige Antwort geben, sondern auch eine Selbstbewertung abgeben: „Wie sicher bin ich mir bei dieser Antwort?" (von 0 = „Ich habe keine Ahnung" bis 10 = „Ich bin zu 100 % sicher").
Die Entdeckung: Der „Übermütige Schüler"
Das Ergebnis war überraschend und ein bisschen beunruhigend:
Die Roboter waren fast immer zu selbstbewusst.
Stellen Sie sich einen Schüler vor, der eine Mathearbeit schreibt. Er weiß, dass er bei einer Aufgabe nur eine 50 %ige Chance hat, richtig zu liegen. Aber er schreibt trotzdem mit fester Hand und sagt: „Ich bin mir zu 100 % sicher!"
Genau das machten die KI-Modelle. Selbst wenn sie falsch lagen, gaben sie oft eine hohe Sicherheit an (meist zwischen 8 und 10 von 10). Sie waren wie ein selbstbewusster Tourist, der sich in einer fremden Stadt verirrt hat, aber trotzdem mit großer Geste behauptet, er kenne den Weg perfekt.Bessere Roboter = Immer noch zu selbstbewusst.
Die neuesten und stärksten Modelle (wie GPT-o1 oder Claude 3.5) waren zwar besser im Lösen der Fragen als die alten Modelle, aber sie waren immer noch zu selbstbewusst. Sie machten weniger Fehler, aber wenn sie einen Fehler machten, waren sie sich trotzdem zu 100 % sicher, dass sie recht hatten.Die Schwierigkeit der Fragen spielte keine Rolle.
Man würde erwarten, dass ein Roboter bei sehr schwierigen Fragen sagt: „Hmm, das ist knifflig, ich bin mir nicht sicher." Aber die Roboter blieben bei ihrer hohen Sicherheit, egal ob die Frage leicht oder extrem schwer war. Ihre „Selbstbewusstheits-Kurve" war flach wie eine Autobahn.
Warum ist das ein Problem?
In der Medizin ist es lebenswichtig zu wissen, wann man sich nicht sicher ist.
- Gut: Ein Arzt sagt: „Ich bin mir bei dieser Diagnose nicht sicher, wir machen noch einen zweiten Test."
- Schlecht: Ein Arzt (oder eine KI) sagt: „Ich bin zu 100 % sicher, das ist die Diagnose!" – und liegt dann falsch.
Wenn eine KI in einem Krankenhaus sagt: „Ich bin mir zu 100 % sicher, dass dieser Patient eine bestimmte Behandlung braucht", aber eigentlich nur eine 60 %ige Chance hat, richtig zu liegen, könnte das für den Patienten gefährlich werden. Die KI „halluziniert" also Sicherheit, wo keine ist.
Die Metapher: Der Wetterbericht
Stellen Sie sich vor, diese KI-Modelle sind Wettervorhersagen.
- Ein guter Wetterbericht sagt: „Es gibt eine 60 %ige Chance auf Regen."
- Diese KI-Wetterberichte sagen aber immer: „Es wird zu 100 % regnen!" – selbst wenn die Sonne scheint.
Selbst wenn sie in 80 % der Fälle richtig liegen (was gut ist), trauen wir ihnen nicht mehr, weil sie uns nie warnen, wenn sie sich irren könnten.
Was bedeutet das für die Zukunft?
Die Studie zeigt, dass wir den Robotern noch nicht blind vertrauen können, wenn es um medizinische Entscheidungen geht.
- Die gute Nachricht: Die KI wird mit jeder Generation besser.
- Die schlechte Nachricht: Sie lernt noch nicht, ihre Unsicherheit richtig einzuschätzen. Sie muss lernen, zu sagen: „Ich weiß es nicht" oder „Ich bin mir nicht sicher", statt immer nur „Ich bin mir sicher" zu brüllen.
Fazit: Diese künstlichen Intelligenzen sind wie sehr kluge, aber etwas arrogante Studenten. Sie wissen viel, aber sie müssen noch lernen, bescheidener zu sein und ehrlich zuzugeben, wenn sie unsicher sind. Bis sie das gelernt haben, sollten wir sie in der Medizin nur als Assistenten nutzen, nicht als alleinige Entscheidungsträger.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.