Comparative evaluation of large language models for guideline-based oral cancer management: a standardized assessment of GPT-4o, DeepSeek-R1, and Grok-3

يُعد سرطان الفم حالة خطيرة تتطلب رعاية دقيقة ومنسقة. فعندما يتم تشخيص المريض، يجب على الأطباء تحديد مسار علاجي يتضمن غالباً الجراحة، أو الإشعاع، أو الدواء، اعتماداً على موقع الورم بدقة ومدى انتشاره. وتسترشد هذه القرارات بقواعد طبية صارمة تُعرف باسم الإرشادات السريرية، والتي يكتبها الخبراء لضمان حصول كل مريض على أفضل رعاية ممكنة بناءً على أحدث العلوم. ومؤخراً، ظهر نوع جديد من البرامج الحاسوبية يُسمى "النماذج اللغوية الكبيرة"، حيث يمكن لهذه البرامج قراءة كميات هائلة من النصوص وكتابة إجابات فصيحة للأسئلة، مما جعل الكثيرين يتساءلون عما إذا كان بإمكانها مساعدة الأطباء في تلخيص القواعد المعقدة أو اقتراح خطط علاجية. ومع ذلك، فإن مجرد قدرة الحاسوب على التحدث بوضوح لا يعني أن نصيحته الطبية صحيحة. ففي عالم رعاية مرضى السرطان عالي الخطورة، قد تكون الإجابة الواثقة ولكن الخاطئة خطيرة، مما يجعل من الضروري اختبار ما إذا كانت هذه الأدوات الرقمية قادرة حقاً على فهم وتطبيق الإرشادات الطبية.

قام فريق من الباحثين من جامعة جيلين في الصين باختبار هذه الفكرة عبر وضع ثلاثة من أكثر النماذج اللغوية الكبيرة تقدماً في مواجهة حالات سرطان الفم. وقد اختاروا ثلاثة نماذج محددة هي: GPT-4o وDeepSeek-R1 وGrok-3. ولرؤية مدى كفاءة هذه البرامج، صمم الباحثون اختباراً معيارياً يعتمد على الإرشادات الرسمية للشبكة الوطنية الشاملة لمرض السرطان (NCCN) الخاصة بمرضى سرطان الرأس والعنق. تضمن الاختبار جزأين رئيسيين؛ أولاً، طُلب من النماذج تقمص دور جراحين خبراء لشرح قواعد علاج سرطان الفم لشخص ليس لديه خلفية طبية، حيث توجب عليهم تغطية الأسباب، وكيفية اكتشاف المرض، وخطوات العلاج والتعافي. ثانياً، تم تزويد النماذج بسيناريوهات وحالات سريرية معيارية لسرطان الفم، وطُلب منها تقديم خطة إدارة كاملة، تشمل التشخيص الصحيح، وتحديد مرحلة المرض، وما هي الجراحة أو الأشعة المناسبة بدقة.

ولتقييم الإجابات، قام ثلاثة جراحين متخصصين في جراحة الفم والوجه والفكين بمراجعة المخرجات. وقاموا بتسجيل الدرجات على مقياس من صفر إلى عشرة لمهمة التلخيص، وعلى مقياس من صفر إلى مائة لمهمة إدارة الحالة، مع النظر في عوامل مثل الدقة، والوضوح، ومدى اتباع خطة العلاج للقواعد الرسمية. وأظهرت النتائج أن النماذج قدمت أداءً متفاوتًا، ولم يكن أي برنامج منها مثالياً في كل شيء. ففي مهمة تلخيص الإرشادات لجمهور عام، حصل نموذج DeepSeek-R1 على أعلى درجة إجمالية بلغت 8.8 من 10، يليه GPT-4o بنتيجة 8.3 ثم Grok-3 بنتيجة 7.8. كما سجل DeepSeek-R1 أعلى الدرجات في مجالات محددة مثل الوضوح والتسلسل المنطقي.

وعندما انتقلت النماذج إلى المهمة الأكثر صعوبة وهي إدارة حالات مرضية محددة، كانت الدرجات أعلى بشكل عام، لكن الفروق بين النماذج أصبحت أكثر وضوحاً. حقق DeepSeek-R1 مرة أخرى أعلى درجة شاملة بلغت 87.44 من 100، حيث برع بشكل خاص في اقتراح خطط العلاج الصحيحة، وتخطيط مدى الجراحة، وتقييم الإنذار الطبي، أو النتيجة المتوقعة للمريض. وجاء Grok-3 في المرتبة الثانية بدرجة 77.77، بينما حصل GPT-4o على 68.61. ومن المثير للاهتمام أنه بينما تصدر DeepSeek-R1 معظم الفئات، إلا أن Grok-3 حصل بالفعل على أعلى درجة في اقتراح جرعة الإشعاع الصحيحة. كما لاحظ الباحثون أن درجات تشابه النصوص، التي تقيس مدى مطابقة كلمات الحاسوب للإجابة المرجعية، لم تتوافق دائماً مع الدقة الطبية التي حكم عليها الخبراء البشريون؛ وهذا يشير إلى أن الحاسوب يمكنه كتابة كلمات تبدو مشابهة جداً للإجابة الصحيحة، لكنه قد يخطئ في التفاصيل الطبية.

وعلى الرغم من الدرجات العالية التي حققها النموذج الأفضل أداءً، وجدت الدراسة عيوباً جوهرية تمنع استخدام هذه الأدوات كصناع قرار مستقلين. فقد خلطت جميع النماذ الثلاثة أحياناً بين سرطان الفم وسرطان الحلق، وهو خطأ فادح لأن المرضين يُعاملان بطرق مختلفة. كما قامت أحياناً بابتكار تفاصيل محددة، مثل هوامش جراحية دقيقة أو جداول زمنية للمضادات الحيوية، لم تكن مدعومة بحالة المريض أو بالإرشادات الرسمية. ولاحظ الباحثون أنه بينما استطاعت النماذج تنظيم المعلومات جيداً، إلا أنها افتقرت إلى الفهم العميق والسياقي المطلوب لتكييف خطة تتناسب مع الحالة الفريدة لكل مريض. وخلصت الدراسة إلى أن أدوات الذكاء الاصطناعي هذه يجب أن تُعتبر مساعدات تساعد الأطباء في صياغة الخطط أو تلخيص المعلومات، وليس كأطباء مستقلين يمكنهم اتخاذ القرار النهائي. ويؤكد المؤلفون على ضرورة قيام الخبراء البشريين دائماً بالتحقق من المخرجات، كما يدعون إلى إجراء دراسات أكبر لتعزيز كيفية دعم هذه التقنيات لرعاية مرضى السرطان بشكل آمن.