GPT-4o and DeepSeek-V3 responses to common migraine questions: a cross-sectional comparative study of accuracy, completeness, empathy, readability and safety
Diese querschnittliche Vergleichsstudie ergab, dass sowohl GPT-4o als auch DeepSeek-V3 im Allgemeinen korrekte und sichere Informationen zu Migräne lieferten, wobei DeepSeek-V3 signifikant höhere Werte in den Bereichen Vollständigkeit und Lesbarkeit erzielte, obwohl keines der Modelle bei Empathie oder Sicherheit durchgehend überlegen war.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Millionen von Menschen leben mit Migräne, einer Erkrankung, die weit über einen einfachen Kopfschmerz hinausgeht und zu erheblicher Behinderung führt sowie den Alltag massiv beeinträchtigt. Da die Symptome einer Migräne manchmal denen eines Schlaganfalls oder anderer schwerwiegender Hirnerkrankungen ähneln können, wenden sich Patienten oft an das Internet, um Antworten zu finden. In den letzten Jahren ist ein neuer Typ von Computerprogramm, bekannt als Large Language Model, zu einer beliebten Informationsquelle geworden. Diese Systeme können riesige Mengen an Text lesen und menschenähnliche Antworten auf fast jede Frage generieren, indem sie sofortige Erklärungen zu Diagnose, Auslösern und Behandlungen liefern. Da diese Programme jedoch keine Ärzte sind, besteht die reale Sorge, dass sie unvollständige Ratschläge geben, gefährliche Warnsignale übersehen oder Beruhigung anbieten könnten, wenn eine Person eigentlich dringende medizinische Hilfe benötigt.
Um zu verstehen, wie gut diese digitalen Werkzeuge in einem medizinischen Hochrisiko-Umfeld abschneiden, führten Forscher einen direkten Vergleich zwischen zwei der fortschrittlichsten verfügbaren Systeme durch: GPT-4o und DeepSeek-V3. Die Studie konzentrierte sich spezifisch auf die häufigsten Fragen, die Menschen über Migräne stellen. Die Forscher sammelten einhundert unterschiedliche Fragen aus realen Quellen, darunter Online-Suchtrends und Diskussionen in öffentlichen Foren, in denen Patienten ihre Erfahrungen teilen. Diese Fragen deckten ein breites Spektrum an Themen ab, von der Art der Warnsymptome über Lebensstil-Auslöser bis hin zur Sicherheit von Medikamenten und langfristigen Ergebnissen. Um sicherzustellen, dass die Bewertung fair und unvoreingenommen war, bewerteten zwei Neurologen die von jedem Modell generierten Antworten, ohne zu wissen, welches Computerprogramm die Antwort produziert hatte. Sie bewerteten die Antworten danach, wie genau die medizinischen Fakten waren, wie vollständig die Informationen waren, ob der Ton empathisch und unterstützend war und – am wichtigsten – ob der Rat für einen Patienten sicher zu befolgen war.
Die Ergebnisse zeigten, dass beide Computerprogramme im Allgemeinen korrekte und sichere Informationen lieferten und erfolgreich die Notwendigkeit professioneller medizinischer Hilfe erkannten, wenn schwerwiegende Warnsignale erwähnt wurden. Dennoch schnitt ein System, DeepSeek-V3, in bestimmten Bereichen konsequent besser ab. Es lieferte vollständigere Antworten und stellte sicher, dass Patienten nicht nur die grundlegenden Fakten erhielten, sondern auch den notwendigen Kontext über Alternativen und Unsicherheiten. Darüber hinaus war der von DeepSeek-V3 generierte Text signifikant leichter zu lesen und zu verstehen, da er einfachere Satzstrukturen und eine klarere Sprache verwendete. Während beide Modelle einen ähnlichen Grad an Empathie in ihrem Ton aufwiesen und beide sicher genug waren, um als nützliche Werkzeuge zu gelten, war der Unterschied in Vollständigkeit und Lesbarkeit deutlich und statistisch signifikant.
In einem spezifischen Test, der fünfundzwanzig Fragen beinhaltete, die gefährliche „Red Flag“-Symptome beschrieben – wie etwa einen plötzlichen, schlimmsten jemals erlebten Kopfschmerz oder neue neurologische Probleme –, zeigten beide Modelle eine gute Leistung, indem sie korrekt die Notwendigkeit einer dringenden Behandlung identifizierten. Doch selbst in diesen kritischen Szenarien behielt das System, das den klareren, besser lesbaren Text produzierte, seinen Vorteil bei. Die Forscher kamen zu dem Schluss, dass diese Werkzeuge der Künstlichen Intelligenz zwar zu mächtigen Verbündeten für die Patientenaufklärung werden, sie aber niemals die Beurteilung durch einen Arzt ersetzen sollten. Stattdessen eignen sie sich am besten dazu, Menschen dabei zu helfen, allgemeine Konzepte zu verstehen und zu erkennen, wann sie professionelle Hilfe suchen müssen, sofern ihre Antworten mit Sorgfalt geprüft werden. Die Studie unterstreicht, dass im Zuge der Entwicklung dieser Technologien die Fähigkeit, komplexe medizinische Ideen einfach und vollständig zu kommunizieren, ebenso wichtig ist wie die Richtigkeit der präsentierten Fakten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.