Evaluating Five Generative AI Chatbots for Myocarditis-Related Public Health Consultation: A Multidimensional Assessment of Safety, Accuracy, Empathy, Reliability, Quality, and Readability
قيمت هذه الدراسة خمسة من روبوتات الدردشة القائمة على الذكاء الاصطناعي التوليدي بشأن الاستفسارات المتعلقة بالصحة العامة حول التهاب عضلة القلب، ووجدت أنه بينما كانت معظم الاستجابات آمنة بشكل عام، فقد وجدت اختلافات كبيرة في الدقة والتعاطف والجودة، مع فشل جميع النماذج في تلبية مستهدفات سهولة القراءة وإظهار مخاطر محددة في توجيهات الفرز والعلاج التي تستوجب إشرافاً سريرياً.
تخيل أن لديك صديقاً آلياً (روبوت) فائق الذكاء وكلي المعرفة، يمكنه الإجابة على أي سؤال تطرحه عليه، من "لماذا السماء زرقاء؟" إلى "كيف أصلح دراجتي؟". هذا الروبوت يعمل بواسطة شيء يسمى "الذكاء الاصطناعي التوليدي"، وهو نوع من عقول الكمبيوتر التي تتعلم من مكتبة ضخمة من الكتابات البشرية لإنشاء إجابات جديدة وسلسة. في عالم الصحة، بدأ الناس يسألون هذه الروبوتات أسئلة مثل: "صدري يؤلمني بعد اللقاح؛ هل الأمر خطير؟" أو "هل يمكنني العودة للعب كرة القدم؟". ولكن هنا تكمن المشكلة: رغم أن هذه الروبوتات بارعة في الظهور بمظهر الواثق والودود، إلا أنها ليست أطباء. فهي لا تملك نبض قلب، ويمكنها أحياناً اختلاق حقائق أو تفويت تفاصيل صغيرة ولكنها خطيرة. وهذا ينطبق بشكل خاص على حالة تسمى "التهاب عضلة القلب" (myocarditis)، وهي كلمة معقدة تعني التهاب عضلة القلب. الأمر يشبه حريقاً يشتعل داخل محرك القلب؛ أحياناً يكون مجرد وميض صغير، وفي أحيان أخرى يكون حريقاً هائلاً يمكن أن يوقف القلب عن العمل. ولأن المخاطر عالية جداً، فنحن بحاجة لمعرفة ما إذا كان أصدقاؤنا الآليون آمنين للتحدث معهم عندما نقلق بشأن قلوبنا، أم أنهم قد يخبروننا بالخطأ بتجاهل علامة تحذيرية.
قرر فريق من الباحثين وضع خمسة من هذه الدردشات الآلية الشهيرة تحت الاختبار، ومعاملتها كطلاب يخوضون امتحاناً جاداً للغاية. لم يكتفوا بسؤالها أسئلة عشوائية، بل جمعوا 52 قلقاً من واقع الحياة يواجهها الناس فعلياً بشأن التهاب عضلة القلب، مثل المخاوف بشأن ألم الصدر، وما يحدث بعد العدوى، وما إذا كانت اللقاحات آمنة، ومتى يكون من المناسب ممارسة الرياضة مرة أخرى. سألوا كل روبوت من الروبوتات الخمسة (ChatGPT وGemini وDeepSeek وDoubao وCopilot) للإجابة على هذه الأسئلة تماماً كما يفعل المستخدم، دون تعليمات خاصة لجعل سلوكهم أفضل. ثم قامت مجموعة من خمسة أطباء متخصصين في القلب، لم يعرفوا أي روبوت قدم أي إجابة، بتقييم الردود على مقياس من "آمن" إلى "غير آمن"، ومن "دقيق" إلى "خاطئ"، ومن "متعاطف" إلى "بارد"، ومن "سهل القراءة" إلى "مربك".
كانت النتائج مزيجاً من الأخبار الجيدة وبعض التحذيرات الجدية. أولاً، الأخبار الجيدة: في معظم الأوقات، كانت الروبوتات آمنة. حوالي 90% إلى 94% من إجاباتها لم تتضمن نصائح خطيرة. ومع ذلك، وجد الباحثون أن كون الروبوتات "آمنة غالباً" لا يعني أنها "مثالية". فحتى أفضل الروبوتات ارتكبت أخطاء في المواقف الصعبة. على سبيل المثال، كانت بعض الروبوتات سريعة جداً في طمأنة الناس بأن مشكلة قلبية مرتبطة باللقاح هي أمر غير ضار، أو قدمت نصائح غامضة حول متى يجب التوقف عن ممارسة الرياضة، وهو أمر قد يكون خطيراً إذا كان قلب الشخص لا يزال ملتهباً. الأمر يشبه روبوتاً يقول لك: "محرك سيارتك بخير على الأرج likely"، بينما هي في الواقع تحتاج إلى قطر فوراً.
عندما يتعلق الأمر بالدقة واللطف، لم تكن الروبوتات متساوية جميعها. بعضها، مثل Gemini وCoplot وDeepSeek، كان جيداً جداً في الحصول على الحقائق الطبية الصحيحة. وكان DeepSeek هو "الألطف" بين المجموعة، حيث بدا أكثر دعماً وتفهماً لخوف المريض. ولكن ها هي المشكلة الأكبر: لم تكتب أي من الروبوتات بطريقة يسهل على الشخص العادي فهمها. لقد استخدموا جميعاً كلمات معقدة للغاية، مثل بروفيسور يشرح مفهوماً بسيطاً باستخدام قاموس مليء بالكلمات الكبيرة. أراد الباحثون أن تكون الإجابات قابلة للقراءة من قبل طالب في الصف السادس، لكن كل روبوت فشل في هذا الاختبار. كانت إجاباتهم أشبه بكتاب جامعي منها إلى دردشة ودودة.
خلصت الدراسة إلى أنه بينما يمكن أن تكون أدوات الذكاء الاصطناعي هذه مفيدة لتعلم حقائق عامة عن صحة القلب، إلا أنها ليست جاهزة لتكون بديلاً للطبيب الحقيقي. لا ينبغي لك أن تسألها لتقرر ما إذا كنت تعاني من نوبة قلبية، أو لتخبرك إذا كان بإمكانك التوقف عن تناول الدواء، أو لتعطيك الضوء الأخضر للجري في ماراثون. الروبوتات تشبه مساعد مكتبة مطلع جداً يمكنه توجيهك إلى الكتاب الصحيح، لكنه لا يستطيع قيادة السيارة بدلاً منك. إذا استخدمتها، فأنت بحاجة إلى طبيب بشري حقيقي لفحص إجاباتها، وترجمة كلماتها الكبيرة إلى لغة بسيطة، والتأكد من أنك لم تغفل عن أي علامات خطر. الروبوتات تتحسن، ولكن بالنسبة لشيء حساس مثل قلبك، فهي لا تزال بحاجة إلى مشرف بشري.
ملخص تقني: تقييم خمسة من روبوتات الدردشة التوليدية للذكاء الاصطناعي للاستشارات المتعلقة بالصحة العامة لمرض التهاب عضلة القلب
بيان المشكلة يُعد التهاب عضلة القلب مرضًا التهابيًا متباينًا في عضلة القلب، ذو عرض سريري متنوع يتراوح من الأعراض غير المحددة إلى الموت المفاجئ. وتعتبر الاستشارات العامة المتعلقة بالتهاب عضلة القلب حساسة من حيث السلامة؛ حيث غالبًا ما يبحث المرضى عبر الإنترنت عن معلومات تتعلق بالأعراض العاجلة، أو المخاوف ما بعد العدوى أو ما بعد التطعيم، أو قيود ممارسة الرياضة، أو الإنذار الطبي (التنبؤ بسير المرض). وبينما توفر روبوتات الدردشة القائمة على النماذج اللغوية الكبيرة (LLMs) تفسيرات طبية فورية وحوارية، إلا أن أداءها في المجالات القلبية الوعائية عالية الخطورة لا يزال غير واضح. وتشير الأدبيات الحالية إلى مخاطر الهلوسة، وإغفال المعلومات الحيوية للسلامة، وعدم كفاية شفافية المصادر. وهناك فجوة محددة في الأدلة المتعلقة بالتقييم المتكامل للسلامة، والدقة، والتعاطف، والموثوقية، وجودة المعلومات، والشفافية، وسهولة القراءة فيما يتعلق بالاستفسارات المرتبطة بالتهاب عضلة القلب، وهي حالة لا يكفي فيها التصحيح الواقعي وحده إذا تم إغفال التحذيرات الطارئة أو نصائح الفرز الطبي.
المنهجية اعتمدت هذه الدراسة تصميم تقييم مقارن عارض على مستوى النص، مع الالتزام بقائمة مراجعة CHART الخاصة بدراسات المشورة الصحية لروبوتات الدردشة.
النماذج التي تم تقييمها: تم تقييم خمسة من روبوتات الدردشة التوليدية المتاحة للجمهور: ChatGPT Plus 5.4، وGemini 3.0 Pro، وDeepSeek-V3.1، وDoubao، وCopilot.
تطوير مجموعة الأسئلة: تم بناء مجموعة مكونة من 52 سؤالاً متعلقاً بالتهاب عضلة القلب باستخدام استراتيجية متعددة المصادر:
تحليل Google Trends (نوفمبر 2020 – نوفمبر 2025) لتحديد اتجاهات البحث.
مراجعة منتديات الصحة العامة (HealthUnlocked، وPatient.info، وReddit).
مقابلات شبه منظمة مع 15 مريضاً مؤكداً بالتهاب عضلة القلب في مستشفى بوشو الشعبي (الصين) لاستيعاب الاحتياجات المعلوماتية في العالم الحقيقي. تم فحص الأسئلة لاستبعاد السيناريوهات السريرية شديدة التخصيص، والتركيز بدلاً من ذلك على التثقيف الصحي العام، والأعراض التي تستوجب الحذر (Red-flag symptoms)، ونصائح السلامة الحرجة.
جمع البيانات: تم تقديم كل سؤال من الأسئلة الـ 52 كأمر (Prompt) مباشر في جلسة واحدة لكل روبوت دردشة في جلسة مستقلة وجديدة بين 20 أبريل و26 أبريل 2026. لم تُستخدم أي تعليمات نظام، أو إعدادات أدوار، أو مطالبات متابعة.
المعايير المرجعية: تم تطوير معايير مرجعية قائمة على الأدلة لكل سؤال، مستمدة من الإرشادات المعاصرة لالتهاب عضلة القلب، والبيانات التوافقية، والمراجعات المنهجية. حددت هذه المعايير المحتوى الواقعي المتوقع، والعناصر الحرجة للسلامة، وأمثلة على البيانات غير الآمنة.
إطار التقييم: قام خمسة مقيمين مستقلين ومعميين (أطباء قلب بخبرة تزيد عن 10 سنوات) بتقييم الاستجابات عبر سبعة مجالات:
السلامة: نتيجة ثنائية (آمن/غير آمن) بناءً على وجود نصائح ضارة، أو تأخير في توصيات الفرز الطبي، أو طمأنة مفرطة.
الدقة والتعاطف: تم تسجيلها باستخدام مقاييس ليكرت الخماسية مقابل المعايير المرجعية ومعايير التواصل المتمحور حول المريض.
الموثوقية والجودة: تم التقييم باستخدام DISCERN (موثوقية العلاج)، وEQIP (جودة معلومات المريض)، وGQS (الجودة العالمية)، ومعايير JAMA (الشفافية).
سهولة القراءة: تم التقييم باستخدام ستة مؤشرات (ARI، CL، FKGL، GFI، SMOG، FRES) مع استهداف مستوى قراءة الصف السادس الابتدائي.
التحليل الإحصائي: تم تحليل فروق السلامة باستخدام اختبار Cochran's Q. وتم تحليل النتائج غير الثنائية باستخدام اختبارات Friedman مع معامل Kendall's W لحجم الأثر. تم تقييم موثوقية المقيمين عبر Inter-rater reliability باستخدام Fleiss' kappa ومعاملات الارتباط داخل الفئات (ICC).
النتائج الرئيسية
السلامة: أظهرت جميع النماذج معدلات استجابة آمنة عالية (90.4%–94.2%)، مع عدم وجود فرق ذو دلالة إحصائية بين النماذج (Cochran's Q = 1.077, P = 0.898). ومع ذلك، تم تحديد 21 استجابة غير آمنة أو مضللة محتملة (8.1% من الإجمالي) عبر جميع النماذج. كشف التحليل النوعي عن خمس آليات فشل متكررة: نقص فرز أعراض القلب والرئة الخطيرة، والطمأنة المفرطة بشأن التهاب عضلة القلب المرتبط باللقاحات، وتوجيهات ممارسة الرياضة المبكرة أو غير الفردية بشكل كافٍ، وتأطير العلاج غير المكتمل، ونصائح التصعيد الغامضة.
الدقة والتعاطف: لوحظت فروق ذات دلالة إحصائية في الدقة (P < 0.001; Kendall's W = 0.582) والتعاطف (P < 0.001; Kendall's W = 0.180). حققت نماذج Gemini وCopilot وDeepSeek أعلى درجات متوسطة للدقة (5.00)، بينما كان أداء DeepSeek هو الأفضل في التعاطف (متوسط 4.00).
الموثوقية والجودة: وُجدت فروق جوهرية بين النماذج لدرجات DISCERN وEQIP وJAMA وGQS (جميعها P < 0.001). حقق DeepSeek أعلى درجات DISCERN وEQIP. كما حققت نماذج Gemini وCopilot وDeepSeek أعلى درجات الجودة العالمية (GQS). ظلت الشفافية محدودة في جميع النماذج، حيث حقق Copilot أعلى درجة JAMA (0.80)، بينما سجل ChatGPT وDoubao (0.00).
سهولة القراءة: تجاوزت جميع النماذج بشكل كبير مستوى القراءة الموصى به للصف السادس الابتدائي عبر جميع المؤشرات (جميعها P < 0.001). وبينما أنتج Copilot وDeepSeek نصوصًا أكثر سهولة في القراءة نسبيًا، لم يستوفِ أي نموذج باستمرار هدف اللغة البسيطة الموجهة للمرضى.
الأهمية والادعاءات تزعم الورقة أنه بينما يمكن لروبوتات الدردشة التوليدية المتاحة للجمهور تقديم معلومات عامة آمنة حول التهاب عضلة القلب، إلا أنها ليست مناسبة بعد لاتخاذ القرارات السريرية المستقلة. وتبرز الدراسة أن:
السلامة ضرورية ولكنها غير كافية: معدلات السلامة العالية لا تعني الموثوقية السريرية في السيناريوهات عالية الخطورة. إن وجود مخاطر متبقية (مثل نقص فرز الحالات أو الطمأنة المفرطة) عبر جميع النماذج يشير إلى ضرورة عدم استخدام هذه الأدوات للفرز المستقل، أو استبعاد التشخيص، أو السماح بالعودة لممارسة الرياضة دون مراجعة الطبيب.
تفاوت الأداء متعدد الأبعاد: يؤثر اختيار النموذج بشكل كبير على اكتمال الحقائق، والتعاطف، وشفافية المخرجات. لم يتفوق نموذج واحد في جميع الأبعاد؛ فعلى سبيل المثال، أظهر DeepSeek قوة في التعاطف والموثوقية، بينما أظهر Copilot شفافية أفضل.
سهولة القراءة عائق حاسم: يشير الفشل المستمر لجميع النماذج في تلبية معايير القراءة للصف السادس الابتدائي إلى أن مخرجات الدردشة الخام تتطلب تكييفًا بلغة بسيطة قبل نشرها للجمهور لضمان الوصول إليها من قبل المستخدمين ذوي الثقافة الصحية المحدودة.
سير العمل المقترح: يقترح المؤلفون سير عمل يخضع لمراجعة الطبيب، حيث تعمل مخرجات الدردشة كمسودات للتعليم العام للمرضى بدلاً من مواد نهائية. ويشددون على الحاجة إلى استراتيجيات نشر واعية بالمخاطر، ومصادر موثقة، ودمج التكيف مع اللغة البسيطة.
تخلص الدراسة إلى أن هذه الأدوات قد تدعم التعليم العام للمرضى ولكن يجب نشرها مع ضوابط صارمة، بما في ذلك الإشراف السريري، للتخفيف من الأضرار المحتملة في سياقات القلب والأوعية الدموية الحساسة للسلامة.