Large Language Model Responses to Patient Questions About Return to Activities of Daily Living After Knee Arthroplasty: A Multidimensional Evaluation Before and After Plain-Language Prompting
Diese Studie untersucht, wie sich die Verwendung von leicht verständlicher Sprache beim Prompting auf die türkischen Antworten von ChatGPT, Gemini und Claude bezüglich der Rückkehr zu täglichen Aktivitäten nach einer Knieendoprothetik auswirkt, wobei festgestellt wurde, dass sich zwar die Lesbarkeit und Verständlichkeit verbesserten, die Vollständigkeit und die Qualität der Behandlungsinformationen jedoch häufig abnahmen, was die Notwendigkeit einer professionellen Überprüfung vor der Verwendung solcher KI-generierten Anleitungen hervorhebt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Nach einer großen Knieprothesenoperation ist der Weg zur Genesung nicht nur eine Frage der Heilung des Gelenks; es geht darum, das Leben zurückzugewinnen. Patienten stehen vor einer langen Liste praktischer Fragen: Wann dürfen sie wieder Auto fahren? Wie bald können sie Treppen steigen? Welche täglichen Hausarbeiten sind sicher zu versuchen? Während Ärzte den ersten Fahrplan bereitstellen, ist die Zeit im Krankenhaus oft zu kurz, um jede spezifische Sorge zu beantworten, die auftaucht, sobald eine Person nach Hause zurückkehrt. Infolgedessen wenden sich viele zur Orientierung an das Internet und fragen zunehmend künstliche Intelligenzsysteme um Hilfe. Diese Computerprogramme, bekannt als Large Language Models, sind darauf ausgelegt, die menschliche Sprache zu verstehen und Antworten zu generieren, die wie ein fachkundiges Gespräch zu einem Partner klingen. Sie versprechen, die Lücken in der Patientenaufklärung zu schließen, indem sie sofortige, zugängliche Ratschläge darüber bieten, wann und wie man zu normalen Aktivitäten zurückkehrt.
Eine neue Studie von Forschern aus der Türkei stellt jedoch eine kritische Frage: Ist der Rat, den diese Maschinen geben, tatsächlich gut genug, um ihm zu vertrauen? Die Forscher wollten wissen, ob diese künstlichen Intelligenzen sichere, vollständige und klare Anweisungen für Menschen geben können, die sich nach einer Knieoperation erholen, und ob die Aufforderung an sie, „einfach zu sprechen“, ihre Antworten besser oder schlechter machen würde. Sie konzentrierten sich auf drei populäre Systeme – ChatGPT, Gemini und Claude – und testeten sie anhand echter Fragen, die Patienten in der Türkei tatsächlich in Suchmaschinen eingaben. Das Ziel war zu sehen, ob diese Werkzeuge als zuverlässige Partner in der Genesung dienen können oder ob sie Patienten mit unvollständigen oder verwirrenden Informationen zurücklassen könnten.
Die Forscher richteten ein sorgfältiges Experiment ein, um diese Systeme zu testen. Sie sammelten zwölf häufig gestellte Fragen, die Patienten nach einer Knieoperation stellen, die Themen wie Schmerzmanagement, Ankleiden und die Bewegung im Haus abdecken. Sie stellten diese Fragen an jedes der drei Modelle der künstlichen Intelligenz in ihrer ursprünglichen Form. Dann baten sie dieselben Modelle, die Fragen erneut zu beantworten, fügten diesmal jedoch eine spezifische Anweisung hinzu: „Bitte erklären Sie dies auf eine Weise, die leichter zu verstehen ist.“ Dieser zweite Schritt wurde durchgeführt, um zu sehen, ob der Zwang der Maschinen zur Verwendung einer einfachen Sprache ihre Hilfsbereitschaft verbessert. Zwei Physiotherapeuten, die nicht wussten, welches Modell welche Antwort produziert hatte, lasen daraufhin jede Antwort. Sie bewerteten die Antworten nach mehreren Kriterien: ob die medizinischen Fakten korrekt waren, ob der Rat sicher war, wie vollständig die Informationen waren und wie leicht sie zu lesen und umzusetzen waren.
Die Ergebnisse zeigten ein komplexes Bild von Stärken und Schwächen. Bei den lebenswichtigsten Punkten schnitten die Systeme der künstlichen Intelligenz sehr gut ab. Jede einzelne Antwort, die sie generierten, war medizinisch korrekt und sicher, was bedeutet, dass keine der Maschinen Ratschläge gab, die einem Patienten schaden oder etabliertes medizinisches Wissen widersprechen würden. Dies ist ein bedeutender Befund, der darauf hindeutet, dass diese Werkzeuge für die allgemeine Sicherheit bereits recht zuverlässig sind. Als die Forscher jedoch untersuchten, wie vollständig die Antworten waren, änderte sich das Bild. Wenn die Modelle gebeten wurden, ihre Sprache zu vereinfachen, wurden zwei von ihnen – ChatGPT und Claude – tatsächlich weniger vollständig. Sie ließen wichtige Details weg, wie etwa spezifische Zeitpläne für die Genesung oder notwendige Vorsichtsmaßnahmen, in dem Bestreben, einfacher klingen zu zu wollen. Das dritte Modell, Gemini, schaffte es, seine Antworten auch nach der Vereinfachung der Sprache vollständig zu halten, und schnitt in diesem speziischen Bereich besser als die anderen ab.
Die Studie fand auch heraus, dass während die Sprache leichter zu lesen wurde, die Qualität der Informationen bezüglich der Behandlungsoptionen litt. Die Bewertungen dafür, wie gut die Antworten verschiedene Behandlungsoptionen erklärten und die Entscheidungsfindung unterstützten, sanken bei ChatGPT und Claude nach der Vereinfachungsaufforderung signifikant. Es scheint, dass diese Maschinen, wenn sie versuchen, einfacher zu sprechen, manchmal die Nuancen und die Tiefe wegstreichen, die Patienten benötigen, um informierte Entscheidungen zu treffen. Darüber hinaus, obwohl die Texte leichter zu lesen wurden, wurden sie nicht zwangsläufig handlungsorientierter. Die Forscher fanden heraus, dass die Anweisungen über alle Modelle hinweg nur zu etwa sechzig Prozent handlungsorientiert blieben. Das bedeutet, dass der Text zwar klar war, aber oft an den spezifischen, schrittweisen Details mangelte, die ein Patient benötigt, um eine Aufgabe tatsächlich sicher auszuführen, wie zum Beispiel genau, wie man ein Gliedmaß bewegt oder wie oft man eine Übung durchführt.
Die Forscher kamen zu dem Schluss, dass diese Werkzeuge der künstlichen Intelligenz zwar allgemeine, genaue und sichere Informationen liefern können, aber noch nicht bereit sind, den personalisierten Rat eines Physiotherapeuten zu ersetzen. Die Aufforderung an eine Maschine, in einfacher Sprache zu sprechen, macht den Text zwar leichter lesbar, kann aber auch dazu führen, dass er die entscheidenden Details verliert, die den Rat nützlich und vollständig machen. Die Studie legt nahe, dass diese Werkzeuge eine hilfreiche Ergänzung zur Patientenaufklärung sein können, ihr Output jedoch von einer medizinischen Fachkraft überprüft und angepasst werden muss, bevor ein Patient ihn zur Steuerung seiner eigenen Genesung nutzt. Der beste Ansatz bleibt eine Partnerschaft, bei der die Technologie die anfänglichen Informationen bereitstellt und ein menschlicher Experte sicherstellt, dass diese den spezifischen Bedürfnissen und Sicherheitsanforderungen des einzelnen Patienten entspricht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.