Comparative evaluation of large language models for guideline-based oral cancer management: a standardized assessment of GPT-4o, DeepSeek-R1, and Grok-3

Mundhöhlenkrebs ist eine ernste Erkrankung, die eine präzise, koordinierte Versorgung erfordert. Wenn bei einem Patienten eine Diagnose gestellt wird, müssen Ärzte einen Behandlungspfad festlegen, der je nach genauer Lage des Tumors und dessen Ausbreitung oft Operationen, Bestrahlung oder Medikamente umfasst. Diese Entscheidungen werden durch strenge medizinische Regeln geleitet, die als klinische Leitlinien bekannt sind und von Experten verfasst wurden, um sicherzustellen, dass jeder Patient basierend auf der neuesten Wissenschaft die bestmögliche Versorgung erhält. Kürzlich ist ein neuer Typ von Computerprogrammen, ein sogenanntes Large Language Model, entstanden. Diese Programme können riesige Mengen an Text lesen und flüssige Antworten auf Fragen formulieren, was viele zu der Frage führt, ob sie Ärzten dabei helfen könnten, komplexe Regeln zusammenzufassen oder Behandlungspläne vorzuschlagen. Doch nur weil ein Computer klar spricht, bedeutet das nicht, dass sein medizinischer Rat auch korrekt ist. In der hochsensiblen Welt der Krebsversorgung könnte eine selbstbewusste, aber falsche Antwort gefährlich sein, weshalb es unerlässlich ist zu testen, ob diese digitalen Werkzeuge in der Lage sind, medizinische Leitlinien tatsächlich zu verstehen und anzuwenden.

Ein Forschungsteam der Jilin University in China unternahm den Versuch, diese Idee zu testen, indem es drei der fortschrittlichsten Large Language Models mit Fällen von Mundhöhlenkrebs konfrontierte. Sie wählten drei spezifische Modelle aus: GPT-4o, DeepSeek-R1 und Grok-3. Um zu sehen, wie gut diese Programme abschnitten, erstellten die Forscher einen standardisierten Test, der auf den offiziellen Richtlinien des National Comprehensive Cancer Network für Kopf-Hals-Tumore basierte. Der Test bestand aus zwei Hauptteilen. Erstens wurden die Modelle aufgefordert, die Rolle von Expertenchirurgen einzunehmen und die Regeln zur Behandlung von Mundkrebs einer Person ohne medizinische Ausbildung zu erklären. Sie mussten die Ursachen, die Diagnosefindung sowie die Schritte zur Behandlung und Genesung abdecken. Zweitens wurden den Modellen standardisierte Szenarien und klinische Vignetten zu Mundhöhlenkrebs vorgelegt, und sie wurden aufgefordertt, einen vollständigen Behandlungsplan zu erstellen, einschließlich der Diagnose, des Stadiengestaltungsprozesses (Staging) sowie der genau festzulegenden chirurgischen oder radiologischen Maßnahmen.

Um die Antworten zu bewerten, prüften drei erfahrene Chirurgen für Mund-, Kiefer- und Gesichtschirurgie die Ergebnisse. Sie bewerteten die Antworten auf einer Skala von null bis zehn für die Zusammenfassungsaufgabe und auf einer Skala von null bis einhundert für die Fallmanagementaufgabe, wobei Faktoren wie Genauigkeit, Klarheit und die Frage, ob der Behandlungsplan den offiziellen Regeln entsprach, berücksichtigt wurden. Die Ergebnisse zeigten, dass die Modelle unterschiedlich abschnitten und kein einzelnes Programm in allem perfekt war. Bei der Aufgabe, die Leitlinien für ein allgemeines Publikum zusammenzufassen, erhielt das Modell DeepSeek-R1 die höchste Gesamtpunktzahl von 8,8 von 10, gefolgt von GPT-4o mit 8,3 und Grok-3 mit 7,8. DeepSeek-R1 erzielte auch in spezifischen Bereichen wie Klarheit und logischem Fluss die höchsten Werte.

Als die Modelle zu der schwierigeren Aufgabe übergingen, konkrete Patientenfälle zu managen, waren die Punktzahlen insgesamt höher, doch die Unterschiede zwischen den Modellen wurden deutlicher. DeepSeek-R1 erreichte erneut die höchste Gesamtpunktzahl von 87,44 von 100. Es schnitt besonders gut bei der Vorschlag von korrekten Behandlungsplänen, der Planung des Ausmaßes der Operation und der Beurteilung der Prognose, also des wahrscheinlichen Verlaufs, für den Patienten ab. Grok-3 belegte mit einer Punktzahl von 77,77 den zweiten Platz, und GPT-4o erhielt 68,61 Punkte. Interessanterweise erhielt Grok-3 zwar die höchste Punktzahl für die Empfehlung der korrekten Strahlendosis, während DeepSeek-R1 in den meisten anderen Kategorien führte. Die Forscher stellten zudem fest, dass die Textähnlichkeitswerte, welche messen, wie eng die Worte des Computers mit einer Referenzantwort übereinstimmen, nicht immer mit der medizinischen Genauigkeit korrelierten, die von den menschlichen Experten beurteilt wurde. Dies deutet darauf hin, dass ein Computer Wörter schreiben kann, die der richtigen Antwort sehr ähnlich sehen, aber dennoch die medizinischen Details falsch darstellen.

Trotz der hohen Punktzahlen, die das am besten abschneidende Modell erreichte, fanden die Forscher signifikante Mängel, die verhindern, dass diese Werkzeuge als unabhängige Entscheidungsträger eingesetzt werden können. Alle drei Modelle verwechselten gelegentlich Mundhöhlenkrebs mit Rachenkrebs – ein kritischer Fehler, da diese beiden Krankheiten unterschiedlich behandelt werden. Sie erfanden zudem gelegentlich spezifische Details, wie etwa exakte chirurgische Sicherheitsabstände oder Antibiotika-Zeitpläne, die weder durch den Fall des Patienten noch durch die offiziellen Leitlinien gestützt wurden. Die Forscher beobachteten, dass die Modelle Informationen zwar gut organisieren konnten, ihnen jedoch das tiefe, kontextuelle Verständnis fehlte, das erforderlich ist, um einen Plan individuell auf die einzigartige Situation eines bestimmten Patienten zuzuschneiden. Die Studie kommt zu dem Schluss, dass diese Werkzeuge der Künstlichen Intelligenz eher als Assistenten betrachtet werden sollten, die Ärzten helfen, Pläne zu entwerfen oder Informationen zusammenzufassen, statt als autonome Ärzte, die die endgültige Entscheidung treffen können. Die Autoren betonen, dass menschliche Experten die Ergebnisse stets verifizieren müssen, und fordern größere Studien, um zu verfeinern, wie diese Technologien die Krebsversorgung sicher unterstützen können.