Quality and Consistency of Four Large Language Models in Answering AAOS Guideline-Based Questions on Knee Osteoarthritis and Total Knee Arthroplasty: A Blinded Multi-Rater Benchmark Study in Chinese
Diese verblindete Multi-Rater-Benchmark-Studie bewertete vier große Sprachmodelle anhand von AAOS-richtlinienbasierten Fragen zu Kniearthrose und totalem Kniegelenkersatz und stellte fest, dass GPT zwar die höchste Gesamtqualität und Konsistenz aufwies, die Leistungsrangfolge jedoch je nach Evaluationsdomäne variierte und sensitiv gegenüber den verwendeten statistischen Methoden war.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wenn ein Mensch mit einem schmerzenden, steifen Knie konfrontiert ist, ist der Weg zur Linderung oft mit komplexen medizinischen Ratschlägen gepflastert. Ärzte verlassen sich auf etablierte Leitlinien, um zu entscheiden, ob ein Patient Physiotherapie ausprobieren, Medikamente einnehmen oder sich einem Gelenkersatz durch eine Operation unterziehen sollte. Diese Regeln basieren auf jahrelanger Forschung und sind darauf ausgelegt, die Patienten sicher zu halten und gleichzeitig die beste Chance auf Genesung zu bieten. In den letzten Jahren haben sich Menschen zunehmend an Künstliche Intelligenz gewandt, um diese Informationen zu verstehen, indem sie Computerprogramme bitten, Behandlungsoptionen, Risiken und Erholungszeiten in einfacher Sprache zu erklären. Doch nur weil ein Computer fließend spricht, bedeutet das nicht, dass er die Wahrheit sagt oder konsistent bleibt. Wenn eine Maschine jedes Mal eine andere Antwort gibt, wenn man ihr dieselbe Frage stellt, oder wenn sie selbstbewusst eine Behandlung vorschlägt, von der Experten wissen, dass sie gefährlich ist, wird das Werkzeug eher zu einer Quelle der Verwirrung als zu einer Hilfe.
Ein Forscherteam aus China unternahm den Versuch zu testen, wie gut vier verschiedene Systeme der Künstlichen Intelligenz mit diesen kritischen medizinischen Fragen umgehen können. Sie konzentrierten sich auf Kniearthrose und den totalen Knieersatz, zwei der am häufigsten behandelten Zustände in der orthopädischen Chirurgie. Das Team stellte den Computern nicht einfach nur ihre Meinung zur Verfügung; sie erstellten einen strengen Test basierend auf den offiziellen Leitlinien der American Academy of Orthopaedic Surgeons. Sie formulierten vierundzwanzig spezifische Fragen, die alles abdeckten, von nicht-chirurgischen Behandlungen wie Gewichtsabnahme und Bewegung bis hin zu chirurgischen Details über das Management von Risiken während einer Operation. Um einen fairen Test zu gewährleisten, baten sie jedes der vier KI-Modelle, jede Frage drei separate Male zu beantworten, wobei jeder Versuch als ein frisches Gespräch ohne Erinnerung an das vorherige behandelt wurde. Dieser Ansatz ermöglichte es ihnen zu sehen, ob die Antworten nicht nur korrekt waren, sondern auch, ob man den Maschinen vertrauen konnte, immer wieder dieselbe zuverlässige Beratung zu geben.
Die von den Computern generierten Antworten wurden anschließend acht menschlichen Experten übergeben, die auf Knieerkrankungen und Gelenchirurgie spezialisiert sind. Diese Ärzte und Spezialisten lasen die Antworten, ohne zu wissen, welcher Computer sie verfasst hatte. Sie bewerteten jede Antwort auf einer Skala von eins bis fünf anhand von vier Schlüsselqualitäten: wie relevant die Antwort auf die Frage war, wie medizinisch korrekt sie war, wie leicht sie zu verstehen war und ob sie sicher war. Die Sicherheit war ein großes Anliegen, was bedeutete, dass die Experten darauf achteten, ob der Computer gefährliche Ratschläge vermied oder wichtige Risiken nicht erwähnte. Die Experten vergaben auch eine separate Punktzahl für die Konsistenz und bewerteten, ob die drei Antworten desselben Computers zur selben Frage im Wesentlichen dieselbe Geschichte erzählten oder ob sie sich widersprachen.
Die Ergebnisse zeigten, dass die vier Systeme der Künstlichen Intelligenz unterschiedlich performten, und kein einzelnes Modell der klare Gewinner in jeder Kategorie war. Ein Modell, bekannt als GPT, erzielte die höchsten Gesamtpunktzahlen. Es war besonders stark darin, korrekte medizinische Informationen bereitzustellen, beim Thema zu bleiben und notwendige Sicherheitswarnungen einzuschließen. Ein anderes Modell, DeepSeek, schnitt bei der Gesamtqualität etwas schlechter ab, wurde aber von den Experten als das verständlichste bewertet, was bedeutete, dass seine Sprache am klarsten und am einfachsten zu folgen war. Die anderen beiden Modelle, ERNIE und Kimi, erhielten über alle Kategorien hinweg niedrigere Punktzahlen, insbesondere in Bezug auf Genauigkeit und Sicherheit. Die Studie ergab, dass die Lücke zwischen dem besten Performer und dem zweitbesten Modell klein war und davon abhing, wie die Daten analysiert wurden, was darauf hindeutet, dass ein Modell zwar einen leichten Vorsprung haben mag, der Unterschied jedoch kein massives, unerschütterliches Faktum ist.
Vielleicht ebenso wichtig wie die Qualität der Antworten war die Konsistenz der Maschinen. Die Forscher fanden heraus, dass die beiden besten Modelle viel besser darin waren, dieselbe Antwort zu geben, wenn man ihnen dreimal hintereinander dieselbe Frage stellte. Das führende Modell war am konsistentesten, dicht gefolgt vom zweitbesten Modell. Die anderen beiden Systeme neigten eher dazu, ihre Meinung zu ändern oder ihren Rat zwischen den Versuchen abzuändern. Dies ist von Bedeutung, da ein Patient, der heute nach Rat fragt, morgen eine andere Antwort erhalten könnte, wenn er ein weniger stabiles System nutzt, was zu Verwirrung oder Fehlentscheidungen führen kann. Die Experten merkten an, dass die Computer zwar im Allgemeinen gut darin waren, die Leitlinien zu erklären, aber nicht perfekt waren, und dass ihre Leistung davon abhing, ob die Frage die nicht-chirurgische Pflege oder die Details einer Operation betraf.
Die Studie kommt zu dem Schluss, dass diese Werkzeuge der Künstlichen Intelligenz zwar vielversprechend sind, um Patienten bei der Erfassung ihrer Kniezustände zu helfen, aber noch nicht bereit sind, das Urteilsvermögen eines Arztes zu ersetzen. Die am besten abschneidenden Modelle boten qualitativ hochwertige, sichere und klare Informationen, aber die Unterschiede zwischen ihnen waren subtil und bezogen sich auf bestimmte Stärken. Eine Maschine könnte besser in Fakten sein, während eine andere besser in klarer Sprache ist. Die Forscher betonten, dass diese Ergebnisse widerspiegeln, wie die Computer bei einem schriftlichen Test abschnitten, und nicht beweisen, dass die Nutzung von ihnen die tatsächliche Gesundheit oder Genesung eines Patienten verbessern wird. Vorerst ist der zuverlässigste Ansatz, diese Werkzeuge als hilfreiche Assistenten zu betrachten, die einen Ausgangspunkt für ein Gespräch bieten können, deren Ratschläge jedoch immer von einem medizinischen Fachpersonal überprüft werden müssen, bevor man Entscheidungen über eine Behandlung trifft.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.