Large language models differ in patient education quality across the robot-assisted radical prostatectomy care pathway

Wenn ein Mann die Diagnose Prostatakrebs erhält, beinhaltet der Weg nach vorne oft eine lebensverändernde Entscheidung: ob er die gesamte Prostatadrüse mittels einer robotergestützten chirurgischen Technik entfernen lässt. Dieses Verfahren, bekannt als roboterassistierte radikale Prostatektomie, ist eine Standardbehandlung für lokalisierte Erkrankungen, bringt jedoch ein komplexes Geflecht an Informationen mit sich, die ein Patient verstehen muss. Er muss wissen, wie die Operation funktioniert, wie die Erholung aussieht, wie sie seine Fähigkeit zur Blasenkontrolle oder zur Aufrechterhaltung der Sexualfunktion beeinflussen könnte und wie Ärzte überwachen werden, ob der Krebs zurückkehrt. In der Vergangenheit verließen sich Patienten auf gedruckte Broschüren oder ein einzelnes Gespräch mit ihrem Chirurgen, um diese Fragen zu klären. Heute wenden sich viele an KI-Chatbots für sofortige Antworten. Diese großen Sprachmodelle können Texte generieren, die wie menschlicher Rat aussehen und klingen, aber die entscheidende Frage bleibt: Können sie darauf vertraut werden, einen solch lebensverändernden medizinischen Weg präzise und klar zu erklären?

Ein Team von Forschern des Affiliated Hospital der North Sichuan Medical College ging dieser Frage nach. Sie konzentrierten sich auf drei populäre Systeme der künstlichen Intelligenz: ChatGPT, DeepSeek und Doubao. Das Team bat die Maschinen nicht, eine Operation durchzuführen oder eine bestimmte Person zu diagnostizieren; stattdiet behandelte die Modelle stattdessen als Informationsanbieter. Sie stellten eine Liste von fünfundzwanzig unterschiedlichen Fragen zusammen, die ein Patient in verschiedenen Phasen des Versorgungsprozesses stellen könnte, vom ersten Screening auf Krebs bis hin zur langfristigen Nachsorge nach der Operation. Diese Fragen deckten alles ab, von der Interpretation von Testergebnissen bis hin zum Verständnis der Risiken von Nervenschäden. Die Forscher speisten dann jede dieser fünfundzwanzig Fragen in alle drei Modelle ein, wodurch insgesamt fünfundsiebzig separate Antworten generiert wurden. Um einen fairen Test zu gewährleisten, wurden die Fragen einzeln in separaten Konversationen gestellt, damit die Modelle nicht aus vorherigen Antworten in derselben Chat-Sitzung lernen konnten.

Sobald die Antworten gesammelt worden waren, mussten die Forscher deren Qualität bewerten. Sie rekrutierten drei medizinische Experten, die als blinde Prüfer fungierten, was bedeutete, dass sie nicht wussten, welche künstliche Intelligenz welche Antwort geschrieben hatte. Diese Experten bewerteten den Text unter Verwendung mehrerer etablierter Instrumente, die für die Qualität der Patientenaufklärung entwickelt wurden. Sie prüften, ob die Informationen vollständig waren, ob sie praktischen Rat boten, den ein Patient tatsächlich anwenden konnte, und ob sie so geschrieben waren, dass sie leicht zu verstehen waren. Sie überprüften auch auf spezifische Fehler, wie etwa erfundene Fakten oder veraltete medizinische Empfehlungen, und berechneten, wie schwierig der Text für einen Durchschnittsbürger zu lesen wäre. Das Ziel war zu sehen, ob eine Maschine die anderen konsistent übertraf oder ob alle mit denselben Problemen zu kämpfen hatten.

Die Ergebnisse zeigten, dass alle drei Modelle im Allgemeinen sichere und genaue Informationen lieferten, aber über deutliche Persönlichkeiten und Stärken verfügten. Ein Modell, ChatGPT, lieferte konsequent den handlungsorientiertesten Rat. Wenn ein Patient fragte, was als Nächstes zu tun sei, war dieses Modell eher in der Lage, klare, schrittweise Anweisungen zu geben, denen eine Person folgen konnte. Es erzielte auch höhere Werte bei Maßstäben dafür, wie gut die Informationen strukturiert waren, um die Entscheidungsfindung eines Patienten zu unterstützen. Ein anderes Modell, DeepSeek, produzierte Texte, die merklich leichter zu lesen waren. Seine Sätze waren etwas weniger komplex und sein Wortschatz war etwas zugänglicher als der der anderen. Dennoch war selbst der „leichtere“ Text von DeepSeek auf einem Niveau geschrieben, das für viele Erwachsene schwierig zu lesen wäre und das empfohlene Niveau für Materialien der öffentlichen Gesundheitsvorsorge überstieg. Das dritte Modell, Doubao, schnitt in Bezug auf die Genauigkeit ähnlich wie die anderen ab, hatte jedoch größere Schwierigkeiten mit der Lesbarkeit und ließ gelegentlich wichtige Details aus.

Trotz dieser Unterschiede stellte die Studie fest, dass kein einzelnes Modell perfekt war und keines als Ersatz für den Rat eines Arztes dienen sollte. Die Forscher entdeckten, dass die Maschinen zwar selten Fakten erfanden oder gefährlich veraltete Ratschläge gaben, aber manchmal wichtige Informationen ausließen, insbesondere bei den Antworten von DeepSeek und Doubao. Darüber hinaus waren sich die menschlichen Experten, die die Antworten bewerteten, nicht immer einig. Dieser Mangel an Übereinstimmung deutet darauf hin, dass die Bewertung der Qualität medizinischer Beratung eine schwierige Aufgabe ist, selbst für geschulte Fachkräfte, und dass kleine Unterschiede in den Bewertungen zwischen den Modellen möglicherweise nicht so bedeutsam sind, wie sie scheinen. Die Studie hob auch eine anhaltende Herausforderung hervor: Alle drei Modelle generierten Texte, die zu komplex für den Durchschnittsbürger waren. Die medizinischen Begriffe und Satzstrukturen erforderten einen Schulabschluss oder besser, um sie vollständig erfassen zu können, was eine Barriere für viele Patienten darstellt, die diese Informationen am dringendendsten benötigen.

Die Forscher kamen zu dem Schluss, dass diese Werkzeuge der künstlichen Intelligenz vielversprechend als Helfer für Ärzte sind, indem sie vielleicht als erster Entwurf für Lehrmaterialien dienen können, die ein Urologe dann überprüfen und verfeinern kann. Sie können schnell Erklärungen generieren, die ein breites Spektrum an Themen abdecken, aber sie können die nuancierte, personalisierte Konversation, die zwischen einem Chirurgen und einem Patienten stattfindet, noch nicht ersetzen. Ein Roboter kann die Risiken einer Operation auflisten, aber er kann einem Patienten nicht in die Augen schauen, seine spezifischen Ängste verstehen oder das einzigartige Gleichgewicht zwischen seiner medizinischen Vorgeschichte und seinen persönlichen Werten abwägen. Vorerst ist der beste Einsatz dieser leistungsstarken Maschinen als Unterstützungswerkzeug für Kliniker, nicht als unabhängige Quelle medizinischer Orientierung. Die Studie dient als Erinnerung daran, dass Technologie zwar Informationen verfügbarer machen kann, das menschliche Element der Pflege jedoch essenziell bleibt, um sicherzustellen, dass Informationen nicht nur korrekt, sondern auch wirklich verstanden werden.