GPT-4o and DeepSeek-V3 responses to common migraine questions: a cross-sectional comparative study of accuracy, completeness, empathy, readability and safety
وجدت هذه الدراسة المقطعية المقارنة أنه بينما قدم كل من GPT-4o وDeepSeek-V3 معلومات دقيقة وآمنة بشكل عام حول الصداع النصفي، فقد أظهر DeepSeek-V3 درجات أعلى بكثير في الاكتمال وسهولة القراءة، رغم أن أيًا من النموذجين لم يكن متفوقًا بشكل موحد في التعاطف أو السلامة.
المؤلفون الأصليون:Ahmet Burak Elbeyli, Hasan Hüseyin Kır
يعيش الملايين من الناس مع الصداع النصفي (الشقيقة)، وهي حالة تتجاوز كونها مجرد صداع بسيط لتسبب عجزاً كبيراً وتعطل الحياة اليومية. ولأن أعراض الصداع النصفي قد تشبه أحياناً أعراض السكتة الدماغية أو حالات دماغية خطيرة أخرى، غالباً ما يلجأ المرضى إلى الإنترنت بحثاً عن إجابات. وفي السنوات الأخيرة، أصبح نوع جديد من البرامج الحاسوبية المعروف باسم "نماذج اللغات الكبيرة" مصدراً شائعاً لهذه المعلومات. تستطيع هذه الأنظمة قراءة كميات هائلة من النصوص وتوليد إجابات تشبه الإجابات البشرية لأي سؤال تقريباً، مما يوفر تفسيرات فورية حول التشخيص، والمحفزات، والعلاجات. ومع ذلك، ولأن هذه البرامج ليست أطباء، هناك قلق حقيقي من أنها قد تقدم نصائح غير مكتملة، أو تغفل عن علامات تحذيرية خطيرة، أو تقدم طمأنة في حين يحتاج الشخص فعلياً إلى رعاية طبية عاجلة.
ولفهم مدى جودة أداء هذه الأدوات الرقمية في سياق طبي عالي الخطورة، أجرى الباحثون مقارنة مباشرة بين اثنين من أكثر الأنظمة تقدماً المتاحة: GPT-4o وDeepSeek-V3. ركزت الدراسة تحديداً على الأسئلة الشائعة التي يطرحها الناس حول الصداع النصفي. جمع الباحثون مائة سؤال متميز من مصادر واقعية، بما في ذلك اتجاهات البحث عبر الإنترنت والنقاشات في المنتديات العامة حيث يشارك المرضى تجاربهم. غطت هذه الأسئلة نطاقاً واسعاً من المواضيع، بدءاً من طبيعة الأعراض التحذيرية ومحفزات نمط الحياة، وصولاً إلى سلامة الأدوية والنتائج طويلة الأمد. ولضمان أن يكون التقييم عادلاً وغير منحاز، قام طبيبان متخصصان في أمراض الأعصاب بمراجعة الإجابات التي ولدها كل نموذج دون معرفة أي برنامج حاسوبي هو الذي أنتجها. وقاما بتقييم الردود بناءً على مدى دقة الحقائق الطبية، ومدى اكتمال المعلومات، وما إذا كان الأسلوب متعاطفاً وداعماً، والأهم من ذلك، ما إذا كانت النصيحة آمنة ليتبعها المريض.
أظهرت النتائج أن كلا البرنامجين الحاسوبيين قدما بشكل عام معلومات دقيقة وآمنة، ونجحا في التعرف على الحاجة إلى طلب المساعدة الطبية المهنية عند ذكر علامات تحذيرية خطيرة. ومع ذلك، تفوق أحد النظامين، وهو DeepSeek-V3، باستمرار على الآخر في مجالات محددة؛ فقد قدم إجابات أكثر اكتمالاً، مما يضمن حصول المرضى ليس فقط على الحقائق الأساسية، بل أيضاً على السياق الضروري حول البدائل والشكوك. علاوة على ذلك، كانت النصوص التي ولدها DeepSeek-V3 أسهل بكثير في القراءة والفهم، حيث استخدم تراكيب جمل أبسط ولغة أكثر وضوحاً. وبينما أظهر كلا النموذجين مستويات متشابهة من التعاطف في نبرتهما، وكلاهما كان آمناً بما يكفي لاعتبارهما أدوات مفيدة، إلا أن الفرق في الاكتمال وسهولة القراءة كان واضحاً وذا دلالة إحصائية.
وفي اختبار محدد تضمن خمسة وعشرين سؤالاً تصف أعراض "العلامات الحمراء" الخطيرة، مثل صداع مفاجئ هو الأسوأ على الإطلاق أو مشاكل عصبية جديدة، أدى كلا النموذجين أداءً جيداً من خلال التحديد الصحيح للحاجة إلى رعاية عاجلة. ومع ذلك، حتى في هذه السيناريوهات الحرجة، حافظ النظام الذي أنتج النص الأكثر وضوحاً وسهولة في القراءة على ميزته. وخلص الباحثون إلى أنه بينما أصبحت أدوات الذكاء الاصطنا هذه حليفاً قوياً للتعليم الطبي للمرضى، إلا أنها لا ينبغي أبداً أن تحل محل التقييم الطبي للطبيب. بدلاً من ذلك، فإن أفضل استخدام لها هو مساعدة الناس على فهم المفاهيم العامة والتعرف على متى يحتاجون إلى طلب المساعدة المهنية، بشرط مراجعة إجاباتها بعناية. وتسلط الدراسة الضوء على أنه مع تطور هذه التقنيات، فإن قدرتها على توصيل الأفكار الطبية المعقدة ببساطة واكتمال لا تقل أهمية عن دقة الحقائق التي تقدمها.
بيان المشكلة يعتمد المرضى بشكل متزايد على النماذج اللغوية الكبيرة (LLMs) للحصول على المعلومات الصحية، لا سيما فيما يتعلق بالحالات الشائعة مثل الشقيقة. ومع ذلك، غالبًا ما تتداخل أعراض الشقيقة مع اضطرابات الصداع الثانوية (مثل السكتة الدماغية، أو العدوى، أو اضطرابات الضغط داخل الجمجمة)، مما يخلق خطرًا حيث قد تقدم هذه النماذج نصائح صحيحة واقعيًا ولكنها غير مكتملة سريريًا أو غير آمنة. بينما قيمت الدراسات السابقة دقة النماذج اللغوية الكبيرة، إلا أن هناك فجوة في تقييم هذه النماذح عبر طيف أوسع من مقاييس الجودة السريرية، وتحديدًا من حيث الاكتمال، والتعاطف، وسهولة القراءة، والسلامة فيما يتعلق بأعراض "العلامات التحذيرية" (red-flag). تعالج هذه الدراسة الحاجة إلى مقارنة أداء نموذجين بارزين، GPT-4o وDeepSeek-V3، في سياق تثقيف المرضى باللغة التركية حول موضوع الشقيقة.
المنهجية استخدمت هذه الدراسة المقطعية المقارنة مجموعة بيانات مكونة من 100 سؤال موجه للمرضى مستمدة من "Google Trends"، ومجتمع r/migraine على منصة Reddit، ومصادر المؤسسات الصحية الكبرى (Mayo Clinic، وCleveland Clinic، وNHS). غطت الأسئلة عشر فئات، بما في ذلك التشخيص، والهالة (aura)، والمحفزات، وسلامة العلاج، والإنذار الطبي. ومن الجدير بالذكر أن 25 من هذه الأسئلة تم تحديدها مسبقًا كسيناريوهات "علامات تحذيرية" تتضمن أعراضًا تشير إلى صداع ثانوي (مثل: أسوأ صداع مر على الإنسان بشكل مفاجئ، أو العجز العصبي، أو الصداع المرتبط بالحمل).
اعتمدت الدراسة البروتوكول التالي:
جمع البيانات: تم تقديم الأسئلة دون تغيير إلى الواجهات الويب العامة لـ GPT-4o وDeepSeek-V3 في مايو 2026. ولم يتم تطبيق أي مطالبات متابعة أو تصحيحات.
التقييم الأعمى: قام طبيبان متخصصان في أمراض الأعصاب، لم يعرفا هوية النموذج، بتقييم الاستجابات بشكل مستقل.
المقاييس:
الدقة، والاكتمال، والتعاطف: تم تسجيلها على مقاييس من 1 إلى 5. قيست الدقة بناءً على التوافق مع الممارسة العصبية الحالية؛ وقيم الاكتمال مدى تضمين البدائل، وعدم اليقين، وتوصيات الإحالة الطبية؛ بينما قيم التعاطف نبرة الصوت والإقرار بالمخاوف.
السلامة: تم تسجيلها باستخدام نموذج هيكلي من 0 إلى 5 يركز على التعرف على العلامات التحذيرية، والإحالة العاجلة، وتجنب النصائح الضارة.
سهولة القراءة: تم حسابها باستخدام صيغة "أتيشمان" (Ateşman) (الخاصة باللغة التركية) لتحديد صعوبة النص.
التحليل الإحصائي: تم قياس الاتفاق بين المقيمين باستخدام النسبة المئوية الدقيقة ومعامل "كوهين كابا" ذو الأوزان التربيعية. واستخدمت مقارنات النماذج اختبار "ويلكوكسون" للرتب الموقعة المقترن مع تصحيح "هولم" للمقارنات المتعددة عبر النتائج الأولية الخمسة.
النتائج الرئيسية وجدت الدراسة توافقًا عاليًا بين المقيمين (تراوح معامل كوهين كابا التربيعي بين 0.810 و0.920)، مما يؤكد اتساق التقييمات الخبيرة.
الأداء العام: أظهر DeepSeek-V3 تفوقًا ذا دلالة إحصائية على GPT-4o في الاكتمال (3.98 مقابل 3.46؛ p معدل < 0.001) وسهولة القراءة (درجة أتيشمان 74.75 مقابل 60.70؛ p معدل < 0.001). كما أظهر DeepSeek-V3 دقة أعلى (4.54 مقابل 4.37؛ p معدل = 0.026).
التعاطف والسلامة: لم يكن هناك فرق معنوي في التعاطف بين النموذجين. وبينما سجل DeepSeek-V3 درجة متوسطة أعلى قليلاً في السلامة (4.67 مقابل 4.54)، إلا أن هذا الفرق لم يكن ذا دلالة إحصائية بعد تصحيح هولم (p معدل = 0.075).
مجموعة العلامات التحذيرية الفرعية: في الأسئلة الـ 25 المتعلقة بالعلامات التحذيرية، حقق كلا النموذجين درجات سلامة عالية مع عدم وجود فروق ذات دلالة إحصائية في الدقة أو السلامة أو الاكتمال أو التعاطف بعد التصحيح. وظل الفرق الوحيد المعنوي في هذه المجموعة هو سهولة القراءة، لصالح DeepSeek-V3.
المساهمات الرئيسية
التقييم متعدد الأبعاد: على عكس الدراسات السابقة التي ركزت بشكل أساسي على الدقة الواقعية، يقدم هذا البحث تحليلًا مقارنًا للنماذج اللغوية الكبيرة عبر الدقة، والاكتمال، والتعاطف، والسلامة، وسهولة القراءة في آن واحد.
خصوصية العلامات التحذيرية: تعزل الدراسة وتقيم بوضوح الاستجابات للأسئلة التي تحتوي على علامات تحذيرية محتملة للصداع الثانوي، وهو مقياس سلامة حيوي غالبًا ما يتم إغفاله في الاستفسارات الصحية العامة.
مقارنة النماذج: تُدخل الدراسة نموذج DeepSeek-V3 في المشهد المقارن للنماذج اللغوية الكبيرة الطبية، وتضعه في مقابل GPT-4o في سياق غير إنجليزي (تركي)، مما يوسع فهم أداء النماذج عبر لغات وهياكل مختلفة.
تكميم سهولة القراءة: يوفر تطبيق صيغة "أتيشمان" مقياسًا كميًا لمدى سهولة الوصول إلى المعلومات الطبية للمريض التركي العادي.
الأهمية والادعاءات يخلص المؤلفون إلى أن كلاً من GPT-4o وDeepSeek-V3 يقدمان عمومًا معلومات دقيقة وآمنة فيما يتعلق بالشقيقة. ومع ذلك، فإن DeepSeek-V3 يقدم إجابات أكثر اكتمالًا وأسهل في القراءة للمتحدثين بالتركية. وتؤكد الدراسة أنه بينما تعد هذه النماذج مفيدة للتعليم الأولي والثقافة الصحية، إلا أنها يجب أن تدعم، لا تستبدل، التقييم السريري.
تذكر الورقة صراحةً أنه لا يوجد نموذج يتفوق بشكل مطلق في التعاطف أو السلامة، وأن حتى درجات السلامة العالية في مجموعة بيانات ثابتة لا تضمن السلامة في جميع المواقف السريرية الديناميكية. ويؤكد المؤلفون أن النماذج اللغوية الكبيرة يجب أن تُستخدم لشرح المفاهيم العامة وتشجيع الاستشارة المهنية، خاصة عند وجود أعراض تحذيرية، ولكن يجب أن تخضع للإشراف البشري والمراجعة النقدية. وتقر الدراسة بالقيود، بما في ذلك اللغة المحددة (التركية)، والطبيعة الثابتة لمجموعة الأسئلة، وعدم وجود تحقق رسمي لنماذج التقييم الخاصة بالدراسة.