Quality of Olfactory Dysfunction Information Across Digital Health Platforms: A Comparative Study of Google Search and Artificial Intelligence Platforms
Diese Studie zeigt auf, dass Google Search zwar gelegentlich hochwertige Informationen zu olfaktorischen Dysfunktionen bereitstellt, aktuelle KI-Plattformen und digitale Gesundheitsquellen jedoch im Allgemeinen nur Inhalte von mäßiger bis geringer Qualität mit schlechter Lesbarkeit bieten, was eine klinische Anleitung hin zu validierten Fachressourcen erforderlich macht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, deine Nase wäre wie ein hochmodernes Sicherheitssystem für dein Gehirn. Wenn sie funktioniert, sagt sie dir nicht nur, dass die Pizza köstlich riecht; sie warnt dich auch vor Gaslecks, Rauch und verdorbener Milch. Aber bei etwa einem von fünf Menschen ist dieses Alarmsystem defekt oder völlig stumm. Dieser Zustand, genannt olfaktorische Dysfunktion, kann das Leben anfühlen lassen wie das Leben in einer nebligen, geschmacklosen Welt, was beeinflusst, wie du isst, sozial interagierst und dich sogar sicher fühlst.
Wenn Menschen mit diesem Problem verwirrt oder besorgt sind, wenden sie sich oft an das Internet, um Antworten zu finden, so wie du vielleicht nach einer Videospiel-Strategie oder einem Rezept suchen würdest. In der Vergangenheit haben sie eine Frage in eine Suchmaschine wie Google eingegeben und gehofft, den Rat eines vertrauenswürdigen Arztes zwischen den Anzeigen und wahllosen Blogs zu finden. Aber vor kurzem ist eine neue Art von Helfer eingetroffen: KI-Chatbots. Das sind wie superintelligente, sprechende Roboter, die Millionen von Büchern lesen und dann in Sekundenschnelle eine maßgeschneiderte Antwort für dich schreiben können. Die große Frage ist: Wenn du diese Roboter nach deinem verlorenen Geruchssinn fragst, werden sie dir die Wahrheit sagen oder werden sie einfach Dinge erfinden? Diese Studie taucht in genau dieses Geheimnis ein und vergleicht die klassische Suchmaschine mit den neuen KI-Giganten, um zu sehen, wer tatsächlich weiß, wovon er spricht.
Der große Internet-Geruchswettbewerb: Menschen gegen Roboter
Die Forscher, ein Team neugieriger Wissenschaftler der University of Sheffield, beschlossen, fünf verschiedene digitale Plattformen auf die Probe zu stellen. Sie wollten sehen, welche die beste, sicherste und am einfachsten zu verstehende Beratung über den Verlust des Geruchssinns geben könnte. Die Auswahl beinhaltete das klassische Google Search (den König des Findens von Links) und vier KI-Chatbots: ChatGPT, Gemini, Claude und Perplexity.
Um einen fairen Kampf zu gewährleisten, stellten sie allen fünf Plattformen dieselben acht Fragen. Einige Fragen waren ausgeklügelt und medizinisch, wie „Was verursacht Parosmie?“ (ein schicker Begriff dafür, wenn Gerüche verzerrt wahrgenommen werden), während andere ganz einfach und schlicht waren, wie „Ich kann nichts riechen, was ist los?“ Dann agierten sie als strenge Richter und bewerteten die Antworten nach zwei Hauptkriterien: Qualität (Ist der Rat sicher und korrekt?) und Lesbarkeit (Ist es so geschrieben, dass ein normaler Mensch es verstehen kann?).
Das Ergebnis: Die Roboter stolpern, Google gewinnt (sozusagen)
Hier kommt die Wendung: Keiner der KI-Roboter lieferte eine einzige „hochwertige“ Antwort.
Als die Richter die Antworten anhand einer strengen Checkliste namens DISCERN bewerteten, waren die Ergebnisse ein wenig schockierend.
- Perplexity (die KI, die Fakten in Echtzeit recherchiert) kam unter den Robotern mit einem Wert von 50,56 ± 5,74 an die Spitze. Das klingt gut, ist aber nur eine „moderate“ Qualität.
- ChatGPT und Gemini lagen dicht dahinter mit Werten von etwa 43 bzw. 45.
- Claude war mit 38,13 ± 4,57 der schlechteste Punktwert, wobei satte 75 % seiner Antworten als „minderwertig“ eingestuft wurden.
Die einzige Plattform, die es schaffte, ein paar „hochwertige“ Quellen zu finden, war Google Search. Von allen Antworten, die Google lieferte, waren nur 3,75 % (drei winzige Stücke vom Kuchen) als wirklich exzellent anzusehen. Der Rest war überwiegend „moderat“ oder „schwach“. Also, obwohl Google keine Goldmedaille gewann, war es das einzige, das überhaupt das Podium berührte.
Die fehlenden Teile: Was die Roboter vergaßen
Die Studie fand eine riesige, klaffende Lücke in fast jeder Antwort, egal ob sie von einem Roboter oder einer Website stammte. Die Plattformen waren schrecklich darin, die wichtigsten Fragen für einen Patienten zu beantworten:
- Was sind die Risiken der Behandlung? (Score: 1,22 ± 0,61 von 5)
- Was passiert, wenn ich nichts tue? (Score: 1,57 ± 0,79 von 5)
- Wie wird dies mein Leben verändern? (Score: 1,29 ± 0,71 von 5)
Es ist, als würde ein Mechaniker dir erklären, wie man dein Auto repariert, aber sich weigern, dir zu sagen, ob die Reparatur gefährlich ist, was passieren würde, wenn du sie nicht durchführst, oder wie das Auto danach fahren wird. Die Roboter waren gerne bereit, Symptome aufzulisten, aber sie übersprangen völlig den Teil darüber, wie man das Leben besser oder sicherer macht.
Das Problem mit dem Leseniveau: Zu schwer zu lesen
Es gab ein weiteres Problem: Die Antworten waren zu kompliziert. Die Forscher maßen, wie schwer der Text zu lesen war, und nutzten dabei eine Skala, bei der 6–8 das empfohlene Niveau für Patienteninformationen ist (denk an das Leseniveau einer Mittelstufe).
- Das durchschnittliche Leseniveau über alle Plattformen hinweg lag bei 11,01 (Oberstufenniveau).
- Nur 27,7 % der Quellen erfüllten das Ziel der leichten Lesbarkeit.
- Claude und Perplexity waren die schlimmsten Übeltäter mit Leseniveaus von 14,66 bzw. 14,30. Das ist College-Niveau!
Die Studie fand ein lustiges, trauriges Muster: Je besser die Informationen waren (höhere Qualität), desto schwieriger waren sie zu lesen. Es ist, als würden die klügsten Ärzte in einem Geheimcode schreiben, den nur andere Ärzte verstehen können, und die Patienten im Dunkeln lassen.
Das Urteil: Vertraue dem Roboter noch nicht
Was ist also die Lehre daraus? Wenn du deinen Geruchssinn verlierst, kannst du nicht einfach einen KI-Chatbot fragen und eine perfekte, sichere Antwort erwarten. Die Roboter versagen derzeit konsequent darin, die Standards zu erfüllen, die für medizinischen Rat erforderlich sind, insbesondere wenn es darum geht, die Risiken oder die Auswirkungen der Behandlung auf dein tägliches Leben mitzuteilen.
Die Studie legt nahe, dass Ärzte Patienten nicht einfach dazu raten sollten, es „online nachzuschlagen“. Stattdessen sollten sie Patienten auf spezifische, vertrauenswürdige Ressourcen hinweisen, die von echten medizinischen Experten und Patientenorganisationen erstellt wurden. Während KI ein cooler Ausgangspunkt sein kann, um eine allgemeine Vorstellung zu bekommen, ist sie noch nicht bereit für das letzte Wort über deine Gesundheit. Bis diese Roboter lernen, klar zu schreiben und die ganze Geschichte zu erzählen (einschließlich der beängstigenden Teile), ist es am besten, einen menschlichen Arzt als Wegweiser durch den Nebel zu nehmen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.