Large Language Models for Pulmonary Embolism Health Education: A Four- Model Comparison of Reliability, Quality, and Readability

Stellen Sie sich das Internet wie eine riesige, belebte Bibliothek vor, in die jeder hineingehen und eine Frage stellen kann. In der Vergangenheit bekamen Sie, wenn Sie nach einer beängstigenden medizinischen Erkrankung fragten, vielleicht einen Stapel alter Bücher, einen verwirrenden Zeitungsartikel oder ein wildes Gerücht von einem Fremden. Doch vor kurzem ist eine neue Art von Bibliothekar eingetroffen: das Large Language Model (LLM). Betrachten Sie diese als superintelligente, unermüdliche Roboter, die fast alles gelesen haben, was im Internet steht, und mit Ihnen in einfachem Englisch chatten können. Sie sind großartig darin, Geschichten zu schreiben, mathematische Probleme zu lösen und sogar Gesundheitsfragen zu beantworten.

Aber hier liegt der Knackpunkt: Wenn es um ernste gesundheitliche Probleme geht, reicht es nicht aus, ein guter Geschichtenerzähler zu sein. Man braucht einen Bibliothekar, der die Fakten kennt, zugibt, wenn er sich unsicher ist, und Dinge einfach genug erklärt, damit eine müde, besorgte Person sie versteht. Eine solche beängstigende Erkrankung ist die Lungenembolie (Pulmonary Embolism, PE). Sie ist wie ein Verkehrsstau in der Lunge, verursacht durch ein Blutgerinnsel, und sie kann sehr gefährlich sein. Da sie so ernst ist, suchen Menschen oft schnell bei Google nach Antworten. Diese Arbeit stellt eine große Frage: Wenn Sie vier verschiedene KI-Bibliothekare nach einer Lungenembolie fragen, geben sie Ihnen dann alle denselben guten Rat? Oder werden einige zwar selbstbewusst klingen, aber falsch liegen, oder Antworten geben, die zu schwer zu lesen sind?

---

Der große KI-Showdown: Wer ist der beste Gesundheits-Bibliothekar?

In dieser Studie beschlossen Forscher des Xinfeng County People's Hospital, vier der populärsten KI-Chatbots einem Test zu unterziehen. Sie wählten ChatGPT, Gemini, Microsoft Copilot und Perplexity AI. Um einen fairen Kampf zu gewährleisten, stellten sie den Robotern keine seltsamen, erfundenen Fragen. Stattdessen untersuchten sie, wonach echte Menschen über einen Zeitraum von fünf Jahren tatsächlich bei Google gesucht haben. Sie fanden die 31 häufigsten Fragen, die Menschen über Lungenembolien stellen – Dinge wie „Was sind die Symptome?“, „Wie wird es behandelt?“ und „Ist es während der Schwangerschaft gefährlich?“.

Dann fütterten sie genau diese 31 Fragen in jedes der vier KI-Modelle. Da es vier Modelle und 31 Fragen gab, endeten die Forscher mit 124 verschiedenen Antworten, die bewertet werden mussten. Sie agierten wie strenge Lehrer und nutzten vier verschiedene „Zeugnisse“, um die Antworten zu prüfen:

1. Zuverlässigkeit: Gab die KI zu, was sie wusste und was sie nicht wusste? Zeigte sie ihre Hausaufgaben (Quellen)?
2. Qualität: War der Rat ausgewogen und nützlich?
3. Lesbarkeit: War die Sprache einfach genug, damit ein Sechstklässler sie verstehen kann? (Ärzte empfehlen meist, dass Gesundheitsinformationen auf diesem Niveau sein sollten, damit jeder sie erfassen kann).
4. Gesamter Fluss: Las es sich flüssig?

Die Ergebnisse: Die „guten“ Nachrichten und die „schlechten“ Nachrichten

Hier kommt die Wendung in der Handlung: Alle vier KI-Modelle beantworteten jede einzelne Frage. Keines von ihnen stürzte ab oder weigerte sich zu sprechen. Sie alle klangen selbstbewusst und schrieben in klaren, fließenden Sätzen. Wenn man nur den ersten Absatz liest, wirkten sie alle wie hilfreiche Experten.

Doch als die Forscher genauer hinsahen, waren die Unterschiede gewaltig.

Der „Quellen“-Score (JAMA Benchmark):
Stellen Sie sich einen Aufsatz vor, bei dem Sie Punkte erhalten, wenn Sie Ihre Quellen angeben. Zwei Modelle, Copilot und Perplexity, waren die einzigen, die sich die Mühe machten, ihren Rechenweg aufzuzeigen. Sie gaben Zitate an (Links zu dem Ort, von dem sie ihre Informationen hatten). Die anderen beiden, ChatGPT und Gemini, lieferten meist nur Antworten, ohne zu zeigen, woher sie kamen. Tatsächlich erhielten ChatGPT und Gemini eine Punktzahl von 0 für das Aufzeigen von Quellen, während Copilot und Perplexity etwas höher punkteten (etwa 1 von 4). Das bedeutet, wenn Sie überprüfen wollten, ob die KI die Wahrheit sagt, konnten Sie dies eigentlich nur bei den ersten beiden tun.

Der „Zuverlässigkeits“-Score (DISCERN):
Dieser Score prüft, ob der Rat ausgewogen und sicher ist.

• Copilot und Perplexity erreichten einen Median von 41.
• ChatGPT erreichte 35.
• Gemini erreichte 33.
  Auf einer Skala, bei der 63 „ausgezeichnet“ und 16 „sehr schlecht“ bedeutet, landeten alle vier Modelle im Bereich „schwach“ bis „mittelmäßig“. Selbst die „Gewinner“ (Copilot und Perplexity) erreichten nicht das „gute“ Niveau. Sie waren okay, aber nicht großartig.

Das Problem der „Lesbarkeit“:
Hier wird die Handlung etwas frustrierend. Die American Medical Association sagt, dass medizinische Ratschläge auf einem Leseniveau der 6. Klasse geschrieben werden sollten, damit jeder, unabhängig von der Bildung, sie verstehen kann.

• Die Forscher überprüften die Antworten mit sechs verschiedenen mathematischen Formeln, um zu messen, wie schwierig der Text zu lesen war.
• Keines der vier Modelle bestand den Test.
• Die einfachsten Antworten waren immer noch auf einem 9. Klasse-Niveau geschrieben (ChatGPT).
• Die schwierigsten Antworten waren auf einem 16. Klasse-Niveau geschrieben (Copilot), was etwa dem Lesen auf College-Niveau entspricht!
• Der „Flesch Reading Ease“-Score (wo ein höherer Wert einfacher ist) lag bei allen zwischen 35 und 48. Um zu bestehen, hätten sie einen Wert von 80 oder höher benötigen müssen.

Im Grunde schrieben die KI-Roboter in einer Sprache, die zu kompliziert ist, um sie ein durchschnittlicher Mensch schnell zu lesen, besonders wenn er sich in einem medizinischen Notfall befindet und Angst hat.

Das Urteil: Lassen Sie den Roboter nicht das Auto steuern

Die Studie ergab, dass diese KI-Modelle zwar gut darin sind, intelligent zu klingen und Informationen zu organisieren, aber nicht bereit sind, einen Arzt zu ersetzen.

• Copilot und Perplexity waren die „besseren“ Schüler, weil sie ihre Quellen angaben und eine etwas bessere Struktur hatten, aber sie schrieben immer noch in zu vielen großen Wörtern.
• ChatGPT und Gemini waren etwas schlechter darin, Quellen anzugeben, obwohl sie genauso flüssig klangen.
• Entscheidend war, dass kein Modell zuverlässige Fakten, klare Quellen UND eine einfache Sprache kombinierte.

Die Autoren kommen zu dem Schluss, dass diese KI-Tools wie ein hilfreicher Co-Pilot sind, aber niemals derjenige sein sollten, der das Auto steuert. Sie können helfen zu erklären, was eine Krankheit ist oder welche Fragen man dem Arzt stellen sollte, aber sie können einen nicht diagnostizieren, nicht entscheiden, ob man sicher ist, oder eine Behandlung festlegen. Wenn Sie eine KI für Gesundheitsinformationen nutzen, müssen Sie bedenken, dass sie zwar selbstbewusst, aber falsch liegen kann und dass sie zu schwer zu lesen sein könnte. Der beste Plan ist es, die KI als Ausgangspunkt zu nutzen, aber dann die Arbeit von einem echten menschlichen Arzt überprüfen zu lassen.

Kurz gesagt: Die KI-Bibliothekare sind höflich und schnell, aber sie lernen noch, wie man „Mensch“ spricht und wie man beweist, dass sie sich nichts ausdenken. Bis sie besser werden, müssen wir den Menschen im Prozess behalten.