Comparison of ChatGPT and Gemini in Providing Postoperative Information After Tonsillectomy: An Expert-Based Assessment
Eine expertenbasierte Bewertung zum Vergleich von ChatGPT und Gemini für die postoperative Tonsillektomie-Aufklärung auf Türkisch ergab keinen statistisch signifikanten Unterschied in der Gesamtqualität oder Sicherheit zwischen den beiden Modellen, was die Notwendigkeit einer klinischen Überprüfung vor der Verwendung KI-generierter Patienteninformationen unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Jedes Jahr unterziehen sich Millionen von Menschen einer Tonsillektomie, einem häufigen Eingriff zur Entfernung der Mandeln im hinteren Teil des Rachens. Obwohl der Eingriff routinemäßig ist, ist die Erholung oft schwierig. Patienten wachen mit erheblichen Schmerzen, Schluckbeschwerden und der ständigen Sorge vor Blutungen oder Dehydrierung auf. Da der Großteil dieser Genesung zu Hause stattfindet, verlassen sich Familien auf klare Anweisungen, um zu wissen, was normal ist und wann sie einen Arzt aufsuchen müssen. In den letzten Jahren haben viele KI-Tools genutzt, um diese Antworten sofort zu erhalten. Diese Computerprogramme, bekannt als große Sprachmodelle, können Gespräche führen und Texte generieren, die sehr menschlich klingen. Sie versprechen, rund um die Uhr verfügbar zu sein, um medizinische Fachbegriffe zu erklären oder Ratschläge zu geben. Da diese Programme Antworten jedoch basierend auf Mustern in Daten statt auf einem tiefen Verständnis der Medizin generieren, besteht das Risiko, dass sie Ratschläge geben könnten, die verwirrend, veraltet oder sogar gefährlich sind. Die Frage, vor der Ärzte und Patienten stehen, ist einfach: Können wir diesen Maschinen vertrauen, eine Familie durch eine schwierige Genesung zu begleiten, oder benötigen sie einen menschlichen Experten, der ihre Arbeit überprüft?
Um dies zu beantworten, richtete ein Forscherteam in der Türkei einen sorgfältigen Test mit zwei der fortschrittlichsten verfügbaren künstlichen Intelligenzsystemen ein: ChatGPT und Gemini. Sie stellten den Computern keine zufälligen Fragen. Stattdessen begannen sie mit echten Menschen. Die Forscher sammelten Fragen von vierzig Patienten, die vor kurzem ihre Mandeln entfernt bekommen hatten. Diese Patienten schrieben genau auf, was sie über ihre Genesung wissen wollten, einschließlich Themen wie Schmerzmanagement, Ernährung und wann sie medizinische Hilfe suchen sollten. Ein Gremium aus zehn erfahrenen Ärzten verfeinerte diese in fünfzehn klare Fragen auf Türkisch. An einem einzigen Tag baten die Forscher sowohl ChatGPT als auch Gemini, dieselben fünfzehn Fragen zu beantworten. Die Computer generierten ihre Antworten, und die Forscher speicherten sie exakt so, wie sie erschienen, ohne ein einziges Wort zu ändern.
Als Nächstes brachten die Forscher sechzehn verschiedene Spezialisten für Hals-Nasen-Ohren-Erkrankungen ein, die als Richter fungieren sollten. Diese Ärzte wussten nicht, welches Computerprogramm welche Antwort geschrieben hatte. Sie sahen lediglich zwei Sätze von Antworten, die nur als „Antwort A“ und „Antwort B“ gekennzeichnet waren. Jeder Arzt las die Antworten zu allen fünfzehn Fragen und bewertete sie anhand von vier spezifischen Kriterien: wie wissenschaftlich genau die Informationen waren, ob der Rat für einen echten Patienten angemessen war, wie leicht er zu verstehen war und – am wichtigsten – ob die Antwort sicher war oder ob sie etwas enthielt, das einen Patienten in die Irre führen und Schaden zufügen könnte. Die Ärzte vergaben für jede Kategorie eine Punktzahl von eins bis fünf, wobei fünf die bestmögliche Bewertung darstellte. Insgesamt sammelte das Team fast zweitausend Einzelbewertungen, um die beiden Systeme Seite an Seite zu vergleichen.
Die Ergebnisse zeigten, dass beide Programme der künstlichen Intelligenz insgesamt recht gut abschnitten. Sie lieferten Informationen, die im Allgemeinen korrekt und klinisch angemessen waren, und erhielten hohe Punktzahlen dafür, die medizinischen Fakten richtig darzustellen. Als die Forscher die Gesamtergebnisse betrachteten, erhielt ChatGPT eine etwas höhere durchschnittliche Bewertung als Gemini, aber der Unterschied war so gering, dass er leicht durch Zufall entstanden sein konnte. Tatsächlich waren sich die Experten einig, dass die beiden Programme in ihrer Fähigkeit, korrekte medizinische Fakten bereitzustellen, nahezu identisch waren. Keines der Programme erwies sich als eindeutig besser als das andere in einer Weise, die die Daten mit Sicherheit bestätigen könnten. Die Studie fand keine Beweise dafür, dass eines der Modelle für diese spezifische Aufgabe dem anderen überlegen war.
Ein genauerer Blick enthüllte jedoch eine wichtigere Geschichte über die Sicherheit. Beide Programme erhielten ihre niedrigsten Punktzahlen in der Kategorie der Patientensicherheit. Das bedeutet, dass die Antworten zwar oft faktisch korrekt waren, die Experten jedoch dennoch potenzielle Risiken feststellten, wie etwa das Fehlen von Warnungen vor Blutungen oder das Geben vager Ratschläge zur Medikation. Obwohl ChatGPT in der Sicherheit etwas höher bewertet wurde als Gemini, war der Unterschied nicht signifikant genug, um es als die sicherere Wahl zu deklarieren. Die Experten stellten auch fest, dass die Ärzte sich bei der Bewertung der Sicherheit nicht immer einig waren, was darauf hindeutet, dass das Erkennen einer verborgenen Gefahr in einem Textabschnitt selbst für Fachleute schwierig ist. Diese mangelnde perfekte Übereinstimmung unterstreicht, dass Sicherheit ein komplexes Urteil ist und nicht nur eine einfache Überprüfung von Fakten.
Die Studie kommt zu dem Schluss, dass diese Werkzeuge der künstlichen Intelligenz zwar beeindruckend sind und nützliche Informationen generieren können, aber noch nicht bereit sind, den Rat eines Arztes zu ersetzen. Die Tatsache, dass beide Systeme niedrigere Sicherheitsbewertungen erhielten, legt nahe, dass ein menschlicher Experte die Informationen immer überprüfen muss, bevor sie an einen Patienten weitergegeben werden. Die Forschung zeigt nicht, dass ein Programm der klare Gewinner ist, noch beweist sie, dass sie allein sicher zu verwenden sind. Stattdessen deutet sie darauf hin, dass diese Werkzeuge am besten als Helfer funktionieren, die einen Entwurf von Informationen liefern, den ein medizinischer Experte dann prüft und korrigiert. Bis die Technologie so weit verbessert ist, dass sie in der Lage ist, alle potenziellen Risiken konsistent zu identifizieren und zu vermeiden, ohne menschliche Hilfe, bleibt der sicherste Weg für Patienten das Gespräch mit ihrem eigenen Arzt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.