Comparative Performance of Large Language Models in Answering Guideline-Based Questions on Juvenile Idiopathic Arthritis: A Blinded Expert Evaluation

في عالم طب الأطفال، هناك حالة تُعرف باسم التهاب المفاصل اليفعي مجهول السبب. وهي مجموعة من الأمراض حيث تصبح مفاصل الطفل متورمة ومؤلمة دون سبب واضح، ويمكن أن تؤثر على كيفية نموه وحركته. ولأن هذه الحالة تأتي بأشكال مختلفة عديدة، يجب على الأطباء أن يكونوا حذرين للغاية لتحديد أي نوع يعاني منه الطفل بدقة واختيار العلاج المناسب. إن القواعد الخاصة باتخاذ هذه القرارات مكتوبة في أدلة مفصلة وضعها خبراء طبيون؛ حيث تخبر هذه الأدلة الأطباء متى يبدؤون الأدوية، وكيف يراقبون الآثار الجانبية، وكيف يتعاملون مع الحالات المعقدة مثل العدوى أو التهاب العين. لسنوات طويلة، كانت هذه الأدلة هي الخريطة الموثوقة للأطباء، ولكن ظهر في الأفق نوع جديد من الأدوات: النماذج اللغوية الكبيرة. وهي برامج حاسوبية تدربت على كميات هائلة من النصوص ويمكنها كتابة إجابات على الأسئلة بلغة سلسة تشبه لغة البشر. وقد أصبحت هذه النماذج شائة للبحث عن المعلومات الطبية، لكن لم يكن أحد يعرف ما إذا كان يمكن الوثوق بها لاتباع القواعد الصارمة لرعاية التهاب المفاصل لدى الأطفال، أو ما إذا كانت ستخترع حقائق تبدو صحيحة ولكنها خاطئة في الواقع.

قرر فريق من الباحثين في تركيا وضع هذه البرامج الحاسوبية تحت اختبار جدي. أرادوا معرفة ما إذا كانت ثلاثة من أكثر النماذج تقدماً المتاحة يمكنها الإجابة على أسئلة حول التهاب المفاصل اليفعي مجهول السبب ببراعة تضاهي خبيرًا بشريًا. وللقيام بذلك، لم يطلبوا من الحواسيب كتابة قصص أو الدردشة حول المشاعر، بل قدموا لها واحدًا وعشرين سؤالاً محددًا بناءً على الأدلة الطبية الرسمية. سألت بعض الأسئلة عن حقائق بسيطة، مثل كيفية التمييز بين الأنواع المختلفة للمرض. وسألت أسئلة أخرى عن خطط العلاج، مثل نوع الدواء الذي يجب إعطاؤه لطفل لا يتحسن. وكانت الأسئلة الأكثر صعوبة عبارة عن قصص افتراضية عن مرضى، تطلب من الحواسيب تحديد الخطوة التالية الأفضل لطفل معين لديه تاريخ طبي معقد. طلب الباحثون من ثلاثة نماذج حاسوبية مختلفة الإجابة على كل سؤال. ولضمان عدالة الاختبار، استخدموا تسميات محايدة لإخفاء أسماء الحواسيب وخلطوا ترتيب عرض الإجابات.

بعد ذلك، قام خمسة أطباء خبراء، وهم متخصصون في أمراض مفاصل الأطفال، بقراءة هذه الإجابات. لم يكونوا يعرفون أي حاسوب كتب أي إجابة. قاموا بتقييم كل استجابة بناءً على مدى دقتها مقارنة بالأدلة الرسمية، ومدى فائدتها في عيادة طبيب حقيقية، ومدى جودة الإجابة الإجمالية. أظهرت النتائج فرقاً واضحاً بين الآلات؛ فقد قدم أحد النماذج، الذي أطلق عليه الباحثون اسم "GPT-5.6 Sol"، الإجابات الأفضل باستمرار، حيث سجل أعلى الدرجات في الدقة وفي الفائدة للطبيب. أما النموذجان الآخران، "Gemini 3.1 Pro" و"Claude Opus 5"، فقد أديا أداءً جيداً ولكنهما لم يصلا إلى مستوى المتصدر. وفي بعض المجالات، مثل تشخيص المرض، تفوق أحد النماذج الأضعف على الآخر، ولكن في مجالات أخرى، مثل خطط العلاج، انعكس الترتيب. أثبت هذا أنه لا يوجد حاسوب واحد مثالي في كل شيء، وأن أداءهم يتغير اعتماداً على نوع السؤال المطروح.

كما بحثت الدراسة في كيفية كتابة الإجابات. أنتج أحد النماذج استجابات طويلة جداً، حيث كتب آلاف الكلمات عبر الأسئلة الواحد والعشرين. توقع الباحثون أن تكون الإجابات الأطول أفضل، لكن الأطباء لم يوافقوهم الرأي؛ فالنموذج الذي كتب أكبر عدد من الكلمات لم يحصل على أعلى الدرجات. في الواقع، كان النموذج الحاصل على أعلى درجة أكثر مباشرة في كثير من الأحيان. كما لاحظ الأطباء أن اللغة المستخدمة من قبل جميع الحواسيب كانت صعبة القراءة إلى حد ما، ومكتوبة بمستوى يصعب على الشخص البالغ العادي فهمه دون خلفية طبية. وهذا يشير إلى أنه على الرغم من قدرة هذه الأدوات على توليد نصوص سلسة، إلا أنها لا تعرف دائماً كيفية تبسيط القواعد الطبية المعقدة للجمهور العام.

إن أهم نتيجة لهذا البحث هي أن هذه البرامج الحاسوبية لا يمكنها استبدال الطبيب البشري. فبينما يمكنها استرجاع المعلومات وتنظيمها في إجابة متماسكة، إلا أنها أحياناً تخلط بين ما هو قاعدة صارمة وبين ما هو مجرد سمة شائعة للمرض. قد تقترح خياراً علاجياً ممكناً ولكنه ليس الأفضل، أو قد تخلط بين تفاصيل تصنيف المرض. خلص الباحثون إلى أن هذه الأدوات يجب أن تُستخدم فقط تحت إشراف أخصائي يمكنه التحقق من الحقائق. لقد أظهرت الدراسة أنه حتى أفضل نموذج حاسوبي يحتاج إلى خبير بشري للتحقق من عمله، خاصة عندما تكون صحة الطفل على المحك. إن هذه التكنولوجيا قوية، ولكن في المجال الدقيق لأمراض الروماتيزم لدى الأطفال، تظل أداة للمساعدة، وليست صانعة للقرار بمفردها.