Large Language Models for Pulmonary Embolism Health Education: A Four- Model Comparison of Reliability, Quality, and Readability
تقارن هذه الدراسة بين أربعة نماذج لغوية كبيرة في مجال التثقيف الصحي حول الانصمام الرئوي، ووجدت أنه بينما أظهر كل من Copilot وPerplexity موثوقية وتوثيقاً للمصادر بشكل متفوق، إلا أن أيًا من النماذج لم يستوفِ معايير سهولة القراءة الموصى بها للتثقيف المرضي، مما يسلط الض الضوء على الحاجة إلى الإشراف المهني.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمكتبة ضخمة وصاخبة حيث يمكن لأي شخص أن يدخل ويسأل سؤالاً. في الماضي، إذا سألت عن حالة طبية مخيفة، فقد تحصل على كومة من الكتب القديمة، أو مقال صحفي مربك، أو إشاعة جامحة من غريب. ولكن مؤخراً، وصل نوع جديد من أمناء المكتبات: "النموذج اللغوي الكبير" (LLM). فكر في هذه النماذج كأنها روبوتات ذكية للغاية ولا تكلّ، قرأت كل شيء تقريباً كُتب على الإنترنت ويمكنها الدردشة معك بلغة إنجليزية بسيطة. إنها بارعة في كتابة القصص، وحل المسائل الرياضية، وحتى الإجابة على الأسئلة الصحية.
لكن الجزء الصعب هو أنه عندما يتعلق الأمر بالقضايا الصحية الخطيرة، فإن كونك بارعاً في سرد القصص ليس كافياً. أنت بحاجة إلى أمين مكتبة يعرف الحقائق، ويعترف عندما لا يكون متأكداً، ويشرح الأمور ببساطة كافية لشخص متعب وقلق. إحدى هذه الحالات المخيفة هي "الانصمام الرئوي" (Pulmonary Embolism - PE). إنه يشبه ازدحاماً مرورياً في الرئتين ناتجاً عن جلطة دموية، ويمكن أن يكون خطيراً جداً. ولأن الأمر خطير للغاية، غالباً ما يهرع الناس إلى "جوجل" للبحث عن إجابات. تسأل هذه الورقة سؤالاً كبيراً: إذا سألت أربعة أمناء مكتبة مختلفين من الذكاء الاصطناعي عن الـ (PE)، هل سيعطونك نفس النصيحة الجيدة؟ أم أن بعضهم سيبدو واثقاً ولكنه مخطئ، أو سيعطي إجابات يصعب فهمها؟
المواجهة الكبرى للذكاء الاصطناعي: من هو أمين المكتبة الصحي الأفضل؟
في هذه الدراسة، قرر باحثون من مستشفى شينفنغ كاونتي الشعبي وضع أربعة من أشهر روبوتات الدردشة للذكاء الاصطناعي تحت الاختبار. اختاروا ChatGPT، وGemini، وMicrosoft Copilot، وPerplexity AI. ولجعل المنافسة عادلة، لم يسألوا الروبوتات أسئلة غريبة أو خيالية، بل بحثوا فيما يبحث عنه الناس فعلياً على "جوجل" على مدار فترة خمس سنوات. وجدوا أن الـ 31 سؤالاً الأكثر شيوعاً التي يطرحها الناس حول الانصمام الرئوي هي أشياء مثل: "ما هي الأعراض؟"، "كيف يتم علاجه؟"، و"هل هو خطير أثناء الحمل؟".
بعد ذلك، قاموا بتغذية هذه الأسئلة الـ 31 المحددة في كل نموذج من نماذج الذكاء الاصطنافي الأربعة. وبما أن هناك أربعة نماذج و31 سؤالاً، انتهى الأمر بالباحثين بـ 124 إجابة مختلفة لتقييمها. لقد تصرفوا كمعلمين صارمين، مستخدمين أربعة "تقارير درجات" مختلفة لفحص الإجابات:
- الموثوقية: هل اعترف الذكاء الاصطناعي بما يعرفه وما لا يعرفه؟ وهل أظهر مصادره (أعماله)؟
- الجودة: هل كانت النصيحة متوازنة ومفيدة؟
- سهولة القراءة: هل كانت اللغة بسيطة بما يكفي ليفهمها طالب في الصف السادس الابتدائي؟ (عادة ما يوصي الأطباء بأن تكون المعلومات الصحية بهذا المستوى من البساطة حتى يتمكن الجميع من استيعابها).
- التدفق العام: هل كانت القراءة سلسة؟
النتائج: "الأخبار الجيدة" و"الأخبار السيئة"
إليك نقطة التحول في القصة: لقد أجابت جميع نماذج الذكاء الاصطناعي الأربعة على كل سؤال. لم يتوقف أي منها عن العمل أو يرفض التحدث. بدت جميعها واثقة وكتبت بجمل واضحة وانسيابية. إذا قرأت الفقرة الأولى فقط، فستبدو جميعها كخبراء متعاونين.
ومع ذلك، عندما نظر الباحثون عن كثب، كانت الاختلافات هائلة.
درجة "المصدر" (معيار JAMA):
تخيل مقالاً تحصل فيه على نقاط مقابل ذكر مصادرك. كان النموذجان Copilot وPerplexity الوحيدان اللذان اهتما بإظهار أعمالهما؛ حيث قدما استشهادات (روابط للمكان الذي حصلوا منه على معلوماتهم). أما النموذجان الآخران، ChatGPT وGemini، فقد قدما الإجابات دون توضيح مصدرها في الغالب. في الواقع، حصل ChatGPT وGemini على درجة صفر في إظهار المصادر، بينما حصل Copilot وPerplexity على درجة أعلى قليلاً (حوالي 1 من 4). هذا يعني أنك إذا أردت التحقق مما إذا كان الذكاء الاصطناعي يقول الحقيقة، فيمكنك القيام بذلك فقط مع النموذجين الأولين.
درجة "الموثوقية" (معيار DISCERN):
يتحقق هذا المعيار مما إذا كانت النصيحة متوازنة وآمنة.
- سجل Copilot وPerplexity وسيطاً قدره 41.
- سجل ChatGPT نحو 35.
- سجل Gemini نحو 33.
على مقياس حيث 63 تعني "ممتاز" و16 تعني "ضعيف جداً"، وقعت جميع النماذج الأربعة في نطاق "ضعيف" إلى "مقبول". حتى "الفائزون" (Copilot وPerplexity) لم يصلوا إلى المستوى "الجيد". كانوا جيدين، لكن ليس رائعين.
مشكلة "سهولة القراءة":
هنا يصبح الأمر محبطاً بعض الشيء. تنص الجمعية الطبية الأمريكية على أن النصائح الصحية يجب أن تُكتب بمستوى قراءة يناسب الصف السادس الابتدائي حتى يتمكن أي شخص، بغض النظر عن تعليمه، من فهمها.
- فحص الباحثون الإجابات باستخدام ست معادلات رياضية مختلفة لقياس مدى صعوبة النص.
- لم ينجح أي من النماذج الأربعة في الاختبار.
- كانت أسهل الإجابات مكتوبة بمستوى الصف التاسع (ChatGPT).
- أما أصعب الإجابات فقد كتبت بمستوى الصف السادس عشر (Copilot)، وهو ما يعادل مستوى جامعي!
- كانت درجة "سهولة القراءة من فليش" (حيث الدرجة الأعلى تعني سهولة أكبر) حوالي 35 إلى 48 لجميعها. ولكي ينجحوا، كان عليهم الحصول على 80 أو أكثر.
بشكل أساسي، كان روبوتات الذكاء الاصطناعي يكتبون بلغة معقدة للغاية بالنسبة للشخص العادي لقراءتها بسرعة، خاصة عندما يكون خائفاً وقلقاً بشأن حالة طبية طارئة.
الحكم النهائي: لا تدع الروبوت يقود السيارة
وجدت الدراسة أنه بينما يجيد هؤلاء المساعدون من الذكاء الاصطناعي الظهور بمظهر الأذكياء وتنظيم المعلومات، إلا أنهم ليسوا جاهزين لاستبدال الطبيب.
- كان Copilots وPerplexity هما "الطالبان الأفضل" لأنهما أظهرا مصادرهما وكان لديهما هيكلية أفضل قليلاً، لكنهما ظلا يكتبان كلمات كبيرة ومعقدة.
- كان ChatGPT وGemini أسوأ قليلاً في إظهار المصادر، رغم أنهما بدوا بسلاسة مماثلة.
- والأهم من ذلك، وجدت الدراسة أنه لا يوجد نموذج واحد يجمع بين الحقائق الموثوقة، والمصادر الواضحة، واللغة البسيطة معاً.
خلص المؤلفون إلى أن أدوات الذكاء الاصطناعي هذه تشبه "مساعد الطيار" المفيد، ولكن لا ينبغي أبداً أن تكون هي من يقود السيارة. يمكنها المساعدة في شرح ماهية المرض أو الأسئلة التي يجب طرحها على الطبيب، لكنها لا تستطيع تشخيصك، أو إخبارك ما إذا كنت في أمان، أو اتخاذ قرار بشأن علاجك. إذا استخدمت الذكاء الاصطناعي للحصول على معلومات صحية، يجب أن تتذكر أنه قد يكون واثقاً ولكنه مخطئ، وقد يكون من الصعب جداً قراءته. الخطة الأفضل هي استخدام الذكاء الاصطناعي كنقطة انطلاق، ثم دع طبيباً بشرياً حقيقياً يراجع العمل.
باخت-اختصار: أمناء مكتبة الذكاء الاصطناعي مهذبون وسريعون، لكنهم لا يزالون يتعلمون كيفية التحدث بلغة "البشر" وكيفية إثبات أنهم لا يختلقون الأمور. وحتى يتحسنوا، نحتاج إلى إبقاء الإنسان في قلب العملية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.