A Systematic Performance Evaluation of Three Large Language Models in Answering Questions on moderate Hyperthermia

Eine systematische Evaluation zeigt, dass drei aktuelle Large Language Models bei Fragen zur moderaten Hyperthermie zwar im Durchschnitt als „akzeptabel" bewertet werden, jedoch ein signifikantes Risiko für schädliche oder qualitativ schlechte Antworten aufweisen, was ihren Einsatz ohne fachliche Expertise derzeit einschränkt.

Das Wesentliche

🌡️ Die große Hitze-Testfahrt: Können KI-Chatbots über Krebs-Wärmebehandlung reden?

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber etwas verwirrten Bibliothekar. Dieser Bibliothekar hat Millionen von Büchern gelesen und kann Ihnen zu fast jedem Thema eine Antwort geben. Aber was passiert, wenn Sie ihn nach einem sehr speziellen, seltenen Fachgebiet fragen, über das nur wenige Bücher existieren und viele davon auch noch widersprüchlich sind?

Genau das haben die Forscher in dieser Studie untersucht. Sie wollten wissen: Können moderne KI-Modelle (wie ChatGPT oder DeepSeek) Ärzte oder Patienten bei der „moderaten Hyperthermie" helfen?

Was ist „moderate Hyperthermie"?
Das ist ein Wort für eine Krebsbehandlung, bei der Tumore gezielt auf 40–43 Grad erhitzt werden (wie ein sehr warmes Bad für den Tumor), um sie empfindlicher für Strahlentherapie oder Chemotherapie zu machen. Es ist ein Nischenthema, bei dem es nicht so viele klare Regeln gibt wie bei anderen Krebstherapien.

---

🧪 Das Experiment: Der „Blind-Test" mit drei KI-Rivalen

Die Forscher stellten sich drei der aktuell besten KI-Modelle vor:

1. DeepSeek (ein sehr effizientes Modell)
2. Llama (ein offenes Modell von Meta)
3. GPT-4o (das bekannte Modell von OpenAI)

Sie gaben diesen drei KIs 40 schwierige Fragen aus dem Bereich der Hyperthermie. Die Fragen kamen von echten Experten (Ärzten und Physiker) und waren offen formuliert – also keine einfachen „Ja/Nein"-Fragen, sondern komplexe Szenarien wie: „Was tun wir, wenn ein Patient keine Chemotherapie verträgt?" oder „Welche Geräte gibt es für tiefe Hitzebehandlungen?"

Dann nahmen sich 19 internationale Experten die Antworten der KIs vor. Sie wussten nicht, welche KI welche Antwort geschrieben hatte (ein „Blind-Test"). Sie bewerteten jede Antwort auf einer Skala von 1 (sehr schlecht) bis 5 (sehr gut) und mussten auch entscheiden: „Könnte diese Antwort einem Patienten schaden, wenn ein Arzt sie ernst nimmt?"

---

📉 Das Ergebnis: Ein „Befriedigend", aber mit gefährlichen Lücken

Das Ergebnis war eine Mischung aus „nicht schlecht" und „eher gefährlich".

1. Die Durchschnittsnote: „Befriedigend"
Im Durchschnitt schnitten alle drei KIs mit einer 3 von 5 ab. Das ist wie eine Schulnote „Befriedigend". Sie sind also nicht komplett dumm, aber sie sind auch keine Experten.

2. Die bösen Überraschungen (Die „Halluzinationen")
Das Problem ist: Eine Durchschnittsnote von 3 verdeckt, dass es viele sehr schlechte Antworten gab.

• Bei ca. 25 % der Antworten bewerteten die Experten die KI-Antworten als „schlecht" oder „sehr schlecht".
• Noch schlimmer: Bei ca. 15 bis 19 % der Antworten sagten die Experten: „Das könnte gefährlich sein!"

Ein Beispiel für eine „schlechte" Antwort:
Eine KI wurde gefragt, welche Geräte es für die Behandlung gibt. Statt eine korrekte Liste zu liefern, erfindete sie Geräte, die es gar nicht gibt, oder verwechselte Dinge. Das ist wie ein Koch, der Ihnen ein Rezept für eine Pizza gibt, aber statt Tomaten und Käse Zutaten wie „Zement" und „Schokolade" vorschlägt. Wenn Sie das glauben, ist das katastrophal.

Ein Beispiel für eine „trickreiche" Antwort:
Bei einer Frage zur Behandlung von Gebärmutterhalskrebs antwortete eine KI mit einer sehr langen, gut formulierten Erklärung. Sie kam am Ende zu einem richtigen Rat, aber auf dem Weg dorthin erfindete sie eine Studie, die es nie gab, und behauptete Dinge, die falsch sind. Ein Laie würde denken: „Wow, wie professionell!", aber ein Experte sieht sofort: „Das ist eine Lüge in einem schönen Gewand."

---

🧠 Warum machen die KIs das?

Stellen Sie sich die KI wie einen Schüler vor, der für eine Prüfung lernt.

• Bei allgemeinen Themen (wie „Was ist Krebs?") hat er Tausende von Büchern gelesen.
• Bei Hyperthermie gibt es aber nur wenige, verstreute Bücher, und viele Informationen im Internet sind veraltet oder nicht wissenschaftlich fundiert.

Die KI versucht, aus den wenigen Informationen, die sie hat, eine plausible Geschichte zu erfinden. Da es keine klaren „Lehrbücher" für dieses Nischenthema gibt, halluziniert sie (erfindet Fakten), um die Lücken zu füllen. Sie klingt sehr selbstbewusst, ist aber oft falsch.

---

💡 Das Fazit: Nicht ohne Aufsicht benutzen!

Die Forscher kommen zu einem klaren Schluss:

Verlassen Sie sich nicht allein auf diese KIs, wenn es um medizinische Entscheidungen geht!

Wenn Sie ein Experte sind, können Sie die Fehler vielleicht erkennen. Aber wenn ein normaler Arzt oder ein Patient die KI fragt, um sich zu informieren, besteht eine hohe Gefahr, dass er auf falsche, potenziell schädliche Informationen hereinfällt.

Die Metapher:
Die KI ist wie ein sehr gut aussehender, aber unerfahrener Reisebegleiter. Er kann Ihnen tolle Geschichten über eine Stadt erzählen (allgemeine Infos), aber wenn Sie ihn nach dem genauen Weg zu einem versteckten, gefährlichen Bergpfad fragen (spezielle medizinische Details), wird er Sie wahrscheinlich in den Abgrund führen, weil er die Landkarte nicht genau kennt.

Was muss passieren?
Damit diese KIs in Zukunft wirklich helfen können, müssen wir die Daten besser strukturieren und klare medizinische Leitlinien für die Hyperthermie schaffen. Erst dann kann die KI lernen, nicht zu erfinden, sondern zu wissen.

Kurz gesagt: Die KI ist ein spannendes Werkzeug, aber im Bereich der Krebs-Wärmebehandlung ist sie noch kein Ersatz für einen echten Arzt.

Technische Zusammenfassung

Titel: Systematische Leistungsbewertung von drei Large Language Models (LLMs) bei der Beantwortung von Fragen zur moderaten Hyperthermie

1. Problemstellung und Hintergrund

Large Language Models (LLMs) haben in vielen medizinischen Domänen Expertenniveau erreicht und werden zunehmend als klinische Entscheidungsunterstützung diskutiert. Allerdings ist ihre Zuverlässigkeit in hochspezialisierten Nischengebieten wie der moderaten Hyperthermie (HT) in der Onkologie unbekannt.

• Herausforderung: Die HT ist ein komplexes Feld, das klinische und physikalische Aspekte vereint. Die verfügbare Literatur ist im Vergleich zu etablierten Therapien (z. B. Strahlentherapie, Chemotherapie) begrenzt und oft mit nicht-wissenschaftlichen Informationen durchsetzt.
• Risiko: Dies erhöht die Gefahr von „Halluzinationen" (faktischen Fehlern) und ungenauen Aussagen in den Antworten der KI-Modelle. Bisher gab es keine systematische Evaluation von LLMs in diesem spezifischen Fachgebiet.

2. Methodik

Die Studie wurde als Evaluationsstudie mit drei Phasen konzipiert, durchgeführt von einem internationalen Expertengremium im Rahmen der International Society for Radiation Oncology Informatics (ISROI) und der European Society of Hyperthermic Oncology (ESHO).

• Phase 1: Fragestellungsentwicklung:

  • Es wurden 40 offene Fragen entwickelt (22 klinisch, 18 physikalisch), die reale klinische Szenarien und technische Herausforderungen abdecken (z. B. Indikationen, Integration in Strahlentherapie/Chemotherapie, Geräte, Qualitätskontrolle).
  • Die Fragen wurden bewusst offen gehalten, um komplexe klinische Entscheidungsfindung zu simulieren, anstatt Multiple-Choice-Fragen zu verwenden.

• Phase 2: Antwortgenerierung:

  • Drei moderne, allgemein zugängliche LLMs wurden befragt (Stand April 2025):
    1. DeepSeek-V3: Ein Mixture-of-Experts (MoE) Modell mit 236 Mrd. Parametern (aktiviert 21 Mrd.).
    2. Llama-3.3-70B-Instruct: Ein 70-Mrd.-Parameter-Modell von Meta, optimiert für komplexe Anweisungen.
    3. GPT-4o: Ein multimodales Modell von OpenAI.
  • Alle Modelle beantworteten alle 40 Fragen ohne Textlängenbeschränkungen.

• Phase 3: Expertenbewertung:

  • Bewerter: 19 internationale Experten (11 klinisch, 8 physikalisch) aus 13 Abteilungen in 6 Ländern.
  • Verfahren: Die Antworten wurden geblindet und randomisiert präsentiert.
  • Metriken:
    • Qualität: Bewertung auf einer 5-Punkte-Likert-Skala (1 = sehr schlecht bis 5 = sehr gut).
    • Schädlichkeit: Binäre Einschätzung, ob die Antwort bei klinischer Anwendung potenziell schädlich wäre (Ja/Nein).
  • Statistik: Berechnung von Interrater-Übereinstimmung (ICC, rWG), Mittelwerten und Vergleich der Modelle mittels Wilcoxon-Vorzeichen-Rang-Test (mit FDR-Korrektur).

3. Wichtige Ergebnisse

• Gesamtqualität:

  • Die durchschnittlichen Qualitätswerte lagen für alle Modelle im Bereich „akzeptabel" (Skala 1–5):
    • DeepSeek: 3,26
    • Llama: 3,18
    • GPT-4o: 3,07
  • Es gab keine statistisch signifikanten Unterschiede zwischen den Modellen in der Gesamtqualität. DeepSeek zeigte bei physikalischen Fragen zwar numerisch höhere Werte, der Unterschied war jedoch nach Korrektur für Mehrfachvergleiche nicht signifikant.

• Qualitätsverteilung:

  • Trotz des „akzeptablen" Durchschnitts wurden ca. 25 % aller Antworten als „schlecht" bis „sehr schlecht" bewertet.
  • Bei klinischen Fragen schnitten die Modelle etwas besser ab als bei physikalischen Fragen.

• Potenzielle Schädlichkeit:

  • Ein erheblicher Anteil der Antworten wurde als potenziell schädlich für klinische Entscheidungen eingestuft:
    • Llama: 19,3 %
    • DeepSeek: 17,8 %
    • GPT-4o: 15,3 %
  • Bei physikalischen Fragen war das Risiko noch höher: Bei Llama wurden 100 % der Antworten zu physikalischen Fragen von mindestens einem Experten als potenziell schädlich eingestuft.

• Fallbeispiele:

  • Gute Antworten: Bei spezifischen klinischen Fragen (z. B. Plasmazytom) erkannten DeepSeek und Llama korrekt, dass keine Evidenz für HT vorliegt, und empfahlen stattdessen höhere Strahlendosen.
  • Schlechte Antworten: Bei der Frage nach verfügbaren HT-Geräten (physikalisch) versagten alle Modelle, lieferten unvollständige oder falsche Listen und wurden als „schlecht" bewertet.
  • Halluzinationen: DeepSeek zitierte bei einer Frage zur Behandlungsfrequenz bei Zervixkarzinom eine erfundene Studie („HYPO-Studie") und eine nicht existierende ESHO-Leitlinie, obwohl die korrekte Empfehlung (wöchentlich) gegeben wurde. Dies führte zu uneinheitlichen Bewertungen.

4. Hauptbeiträge und Signifikanz

• Erstbewertung: Dies ist die erste Studie, die LLMs systematisch im hochspezialisierten Feld der moderaten Hyperthermie evaluiert.
• Warnung vor unkritischem Einsatz: Die Studie zeigt, dass aktuelle LLM-Versionen für den klinischen Einsatz in der HT nicht zuverlässig sind. Die hohe Rate an schlechten Antworten und potenziell schädlichen Ratschlägen stellt ein Risiko für Laien und nicht spezialisierte Ärzte dar.
• Datenmangel als Limitierung: Die Leistung der Modelle wird stark durch die geringe Verfügbarkeit strukturierter, hochwertiger Trainingsdaten in diesem Nischengebiet beeinträchtigt. LLMs neigen hier eher zu Halluzinationen als in etablierteren Onkologiebereichen.
• Interrater-Übereinstimmung: Die moderate Übereinstimmung zwischen den Experten (besonders bei klinischen Fragen) unterstreicht die Schwierigkeit, offene KI-Antworten objektiv zu bewerten, wenn diese korrekte Schlussfolgerungen mit falschen Begründungen oder Halluzinationen mischen.

5. Fazit und Empfehlung

Die Autoren kommen zu dem Schluss, dass der Einsatz von allgemeinen LLMs zur Beantwortung von HT-Fragen derzeit nicht empfohlen werden kann, insbesondere für Nutzer ohne domänenspezifische Expertise. Die Modelle können zwar zur groben Orientierung dienen, sind aber für klinisch konsequente oder technisch spezifische Fragen ohne menschliche Expertenaufsicht unzuverlässig. Eine Verbesserung der Leistung erfordert eine bessere Strukturierung der HT-Wissensdatenbanken, stärkere Leitlinienrepräsentation und weitere Fortschritte in der KI-Entwicklung.