Numerical Consistency and Accuracy of Large Language Models in Risk Communication for Cardiovascular Prevention in Older Adults: A Cross-Sectional Multi-Model Paired Study
Diese querschnittliche Multi-Modell-Studie zeigt, dass, während aktuelle gängige große Sprachmodelle eine nahezu perfekte Genauigkeit bei der Umrechnung kardiovaskulärer Risikokennzahlen für ältere Erwachsene erreicht haben, ihre Leistung primlich durch die Konsistenz zwischen den einzelnen Durchläufen differenziert wird, wobei DeepSeek eine signifikant geringere Stabilität als Doubao und Kimi aufweist und Inkonsistenzen fast ausschließlich aus harmlosen Rundungsfehlern statt aus klinisch signifikanten Fehlern resultieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Herzkrankheiten bleiben weltweit die häufigste Ursache für Krankheiten und Todesfälle, wobei ihre Auswirkungen besonders ältere Erwachsene schwer treffen. Wenn Ärzte versuchen, diese Probleme zu verhindern, bevor sie entstehen, empfehlen sie oft tägliche Medikamente wie Statine. Die Entscheidung, ein solches Medikament einzunehmen, hängt von einem gemeinsamen Verständnis zwischen dem Patienten und dem Arzt ab: Wie viel wird dies helfen, und was sind die Risiken? Dieses Gespräch stützt sich auf Zahlen. Ein Arzt könnte erklären, dass eine Behandlung die Wahrscheinlichkeit eines Herzinfarkts um einen bestimmten Prozentsatz senkt, oder dass von je hundert Personen, die das Medikament einnehmen, eine bestimmte Anzahl ein negatives Ereignis vermeidet. Diese verschiedenen Arten, denselben Fakt darzustellen, sind alle mathematisch äquivalent, können sich aber für den menschlichen Geist sehr unterschiedlich anfühlen. Das Übersetzen einer Zahl in eine andere erfordert eine Fertigkeit, die als Numeracy bezeichnet wird und die selbst einige medizinische Fachkräfte schwierig finden. Da Werkzeuge der künstlichen Intelligenz im Gesundheitswesen immer häufiger werden, wenden sich viele Menschen nun an sie, um solche Erklärungen zu erhalten. Aber wenn ein Computer einem Patienten heute eine Zahl gibt und morgen eine leicht andere Zahl zur exakt gleichen Frage, beginnt das Vertrauen in dieses Werkzeug zu bröckeln.
Ein Forschungsteam setzte sich zum Ziel, zu testen, wie gut drei populäre Systeme der künstlichen Intelligenz diese spezifische Aufgabe bewältigen. Sie wollten sehen, ob diese Modelle in der Lage sind, komplexe medizinische Statistiken konsistent in klare, einfache Zahlen für ältere Erwachsene umzuwandeln. Die Studie konzentrierte sich auf ein Szenario, in dem ein Patient über den Nutzen und den Schaden eines Herzmedikaments informiert werden muss. Die Forscher erstellten achtzig verschiedene, realistische medizinische Geschichten, die ältere Patienten mit unterschiedlichen Risikofaktoren betrafen. In jeder Geschichte musste die KI vier spezifische Werte berechnen: wie stark die Behandlung das Risiko eines Herzereignisses senkte, wie sehr sie das Risiko von Nebenwirkungen erhöhte, wie viele Menschen das Medikament einnehmen müssten, damit eine Person profitiert, und wie viele es einnehmen müssten, damit eine Person geschädigt wird. Um einen fairen Test zu gewährleisten, baten die Forscher jedes der drei KI-Modelle, jede einzelne Frage dreimal hintereinander auf Englisch und Chinesisch zu beantworten. Dies führte zu tausenden Antworten, die gegen einen gesperrten, perfekten Lösungsschlüssel geprüft wurden, der von menschlichen Experten erstellt wurde.
Die Ergebnisse offenbarten eine überraschende Wahrheit darüber, wie diese Systeme arbeiten. Wenn es darum ging, die Mathematik richtig zu machen, waren die Modelle nahezu perfekt. Sie berechneten fast immer die korrekten Zahlen, was darauf hindeutet, dass ihre Fähigkeit zur Berechnung für diese Art von strukturierter Aufgabe bereits auf dem höchstmöglichen Niveau liegt. Die eigentliche Geschichte handelte jedoch von der Konsistenz. Wenn dieselbe Frage dreimal an dasselbe Modell gestellt wurde, waren die Antworten nicht immer identisch. Eines der Modelle, DeepSeek, lieferte in mehr als zehn Prozent der Fälle einen anderen Satz von Zahlen, obwohl es in einem Modus eingestellt war, der eigentlich das exakt gleiche Ergebnis produzieren sollte. Die anderen beiden Modelle, Doubao und Kimi, waren viel stabiler und stimmten fast jedes Mal mit sich selbst überein. Diese Inkonsistenz trat auch auf, wenn die Modelle nicht versuchten, kreativ zu sein; sie folgten lediglich Anweisungen zur Berechnung von Zahlen.
Als die Forscher genauer untersuchten, zu welchen Zeiten die Modelle unterschiedliche Antworten gaben, stellten sie fest, dass die Unterschiede fast immer winzig und harmlos waren. In fast allen Fällen war die Unstimmigkeit lediglich eine Frage der Rundung. Wenn die Berechnung beispielsweise ergab, dass ein Patient das Medikament zweiundzwanzig Mal einnehmen müsste, um einer Person zu helfen, rundte der eine Durchgang das vielleicht auf vierundzwanzig auf, während ein anderer es auf dreiundzwanzig abrundete. Diese kleinen Verschiebungen änderten weder den medizinischen Rat noch die Schlussfolgerung darüber, ob das Medikament die Einnahme wert sei. Die Modelle sagten im Wesentlichen dasselbe, nur mit einer etwas anderen Zahl auf dem Etikett. Nur ein winziger Bruchteil der Antworten, weniger als zwei Zehntel eines Prozents, war wirklich problematisch. Diese seltenen Fälle beinhalteten, dass das Modell einen völlig anderen Wert angab, die Antwort verweigerte oder seine Meinung darüber änderte, ob die Antwort korrekt war.
Die Studie prüfte auch, ob die Sprache eine Rolle spielte. Die Modelle schnitten auf Chinesisch genauso gut ab wie auf Englisch, ohne signifikante Unterschiede in der Genauigkeit zwischen den beiden Sprachen. Dies deutet darauf hin, dass die Fähigkeit, diese Zahlen zu handhaben, nicht an eine bestimmte Sprache gebunden ist. Die Forscher stellten jedoch fest, dass das Modell, das bei der Konsistenz auf Englisch Schwierigkeiten hatte, auch auf Chinesisch Schwierigkeiten hatte, was darauf hindeutet, dass das Problem beim spezifischen Software-Engine und nicht an der Sprache lag. Die Ergebnisse stellen die verbreitete Annahme infrage, dass die Einstellung einer KI auf einen „Zero Temperature“-Modus garantiert, dass sie immer die gleiche Antwort gibt. In dieser Studie lieferte der Dienst selbst mit diesen Einstellungen zeitweise unterschiedliche Zahlen, was wahrscheinlich auf die Art und Weise zurückzuführen ist, wie das System im Hintergrund aufgebaut und betrieben wird.
Letztlich zeigt die Forschung, dass künstliche Intelligenz zwar exzellent darin ist, medizinische Statistiken zu berechnen, ihre Zuverlässigkeit jedoch davon abhängt, wie konsistent sie diese Berechnungen wiederholt. Für einen Patienten, der eine lebenswichtige Frage stellt, kann es unzuverlässig wirken, jedes Mal eine andere Zahl zu hören, selbst wenn alle Zahlen technisch korrekt sind. Die Autoren schlagen vor, dass Experten bei der Bewertung von medizinischer KI über die reine Genauigkeit hinausgehen und besonders genau auf diese Stabilität achten sollten. Sie schlagen eine neue Art vor, Zuverlässigkeit zu messen, indem man zählt, wie oft ein Modell Antworten gibt, die nicht nur anders, sondern gefährlich anders sind. Im Fall dieser Herzkrankheitsszenarien waren die Modelle sicher, aber die Studie unterstreicht, dass diese Werkzeuge für den Einsatz in echten Kliniken nicht nur die richtige Antwort wissen, sondern auch in der Lage sein müssen, sie jedes Mal auf die gleiche Weise zu sagen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.