Can Large Language Models Assist Surgeons in Managing Implant-Related Complications? A Guideline-Informed Comparative Evaluation
تقيم هذه الدراسة أربعة نماذج لغوية كبيرة في سيناريوهات مضاعفات الغرسات المستندة إلى الإرشادات، وتجد أنه على الرغم من تفاوتها في الأداء والسلامة — لا سيما في الحالات المعقدة حيث تفوق نموذج Gemini 3.1 على DeepSeek V3.2 — إلا أنها لا يمكنها بعد استبدال التقدير السريري الخبير.
المؤلفون الأصليون:Emrah Bilen¹, Zeynep Soylu², Ali Bulut, Muhammed Kahkeci
تخيل أنك طاهٍ يحاول طهي وجبة مثالية، ولكن بدلاً من كتاب وصفات، لديك روبوت فائق الذكاء قد قرأ كل كتب الطبخ، والمدونات الغذائية، ومراجعات المطاعم في العالم كله. هذا الروبوت، المعروف باسم "النموذج اللغوي الكبير" (LLM)، يمكنه التحدث معك، والإجابة على أسئلتك، واقتراح أطباق معقدة. في عالم الطب، بدأت هذه الروبوتات المدعومة بالذكاء الاصطيعي تصبح مساعدين مشهورين للأطباء، حيث تقدم نصائح سريعة حول كل شيء، من نزلات البرد الشائعة إلى الجراحات المعقدة. لكن هنا تكمن المشكلة: مجرد قدرة الروبوت على التحدث بثقة لا يعني أنه يعرف الحقيقة. فأحياناً، تقوم هذه الأنظمة بالذكاء الاصطناعي بتأليف أشياء من خيالها، وهي ظاهرة يسميها العلماء "الهلوسة"، أو قد تقدم نصيحة تبدو جيدة ولكنها قد تؤذي المريض في الواقع. وهذا أمر مخيف بشكل خاص في طب الأسنان، حيث يشبه وضع غرسة سنية بناء أساس صغير ودائم في عظم فك الشخص. فإذا كان الأساس خاطئاً، أو إذا حدثت مضاعفات مثل إصابة عصب أو نزيف حاد، فإن النتائج ستكون مؤلمة ودائمة. لذا، السؤال الكبير ليس فقط "هل يستطيع الذكاء الاصطناعي التحدث؟" بل "هل يمكن الوثوق به لإنقاذ الموقف عندما تسوء الأمور؟"
قررت هذه الدراسة إخضاع أربعة من أشهر روبوتات الذكاء الاصطناعي للاختبار: Gemini 3.1، وChatGPT 5.4، وClaude 4.6، وDeepSeek V3.2. لم يكتفِ الباحثون بسؤالهم أسئلة بسيطة مثل "ما هي غرسة الأسنان؟"، بل صمموا 24 قصة معقدة ومختلقة (تسمى سيناريوهات سريرية) حول فشل غرسات الأسنان. تراوحت هذه القصص بين المشاكل "المتوسطة" (مثل عدوى صغيرة) وصولاً إلى الكوارث "على مستوى الخبراء" (مثل سحق عصب أو تمزق غشاء الجيب الأنفي). كان على روبوتات الذكاء الاصطناعي أن تتصرف كجراحيين ذوي خبرة، تشخص المشكلة وتقترح خطة علاج بناءً على الإرشادات الطبية الواقعية. ثم قام اثنان من أطباء الأسماك الخبراء في الحياة الواقعية، واللذان لم يعرفا أي ذكاء اصطناعي كتب أي إجابة، بتقييم الروبوتات على مقي de 1 إلى 5. لقد نظروا في مدى دقة التشخيص، ومدى سلامة النصيحة، وما إذا كانت الخطة منطقية. كما لعبوا دور "رصد الخطر"، للتحقق مما إذا كان الذكاء الاصطناعي قد قدم أي نصيحة قد تضر المريض بشكل خطير أو اختلق حقائق طبية مزيفة.
كانت النتائج تشبه سباقاً حيث يمتلك العداؤون مستويات متفاوتة جداً من القدرة على التحمل. وجدت الدراسة أن الروبوتات ليست متساوية في الأداء. فقد كان Gemini 3.1 هو الفائز الواضح، حيث سجل باستمرار أعلى الدرجات من حيث الدقة والسلامة والوضوح. كان يشبه الطالب الذي درس الكتاب المدرسي بالفعل ويعرف تماماً ما يجب فعله. وفي الطرف الآخر من الطيف، كان DeepSeek V3.2 هو الأكثر تعثراً؛ فقد حصل على درجات أقل بشكل عام، والأمر الأكثر إثارة للقلق هو أنه كان الأكثر عرضة لـ "الهلوسة" أو تقديم نصائح خطيرة. في الواقع، قام DeepSeek بتأليف حقائق أو إرشادات طبية مزيفة في ما يقرب من حالة واحدة من كل ثلاث إجابات (29.2%)، واقترح علاجات ضارة في حوالي 17% من الحالات. أما الروبوتان الآخران، ChatGPT 5.4 وClaude 4.6، فقد استقرا في منطقة متوسطة، حيث أديا عملاً جيداً ولكن ليس باستمرار مثل الفائز.
اكتشف الباحثون أيضاً أن صعوبة المشكلة كانت تلعب دوراً كبيراً. فعندما كانت السيناريوهات بسيطة أو "متوسطة"، كان أداء جميع الروبوتات متقارباً، مثل مجموعة من الأصدقاء يعرفون جميعاً كيفية ربط أحذيتهم. ولكن عندما أصبحت المشكلات "صعبة" وتطلبت تفكيراً معقداً، اتسعت الفجوة بين الروبوتات بشكل كبير. ظل Gemini 3.1 قوياً وذكياً، بينما بدأ DeepSeek V3.2 في التعثر. ومن المثير للاهتمام أنه حتى في السيناريوهات "الخبير" الأكثر صعوبة، لم تكن الاختلافات كبيرة من الناحية الإحصائية، ربياً لأن المشكلات كانت صعبة للغاية على أي منهم، أو لأنه لم تكن هناك حالات كافية من هذا النوع الصعب لإثبات وجود فرق.
إن أهم استنتاج من هذه الورقة البحثية هو قول "لا" كبيرة لفكرة أن الذكاء الاصطناعي يمكن أن يحل محل الجراح البشري. تشير الدراسة إلى أنه بينما قد تكون هذه الأدوات مفيدة للتحقق من الحقائق أو التعلم، إلا أنها ليست جاهزة لاتخاذ قرارات حياة أو موت بمفردها. كان "عبء السلامة" مرتفعاً جداً، خاصة في النماذج الأضعف. ويخلص المؤلفون إلى أنه في عالم غرسات الأسنان عالي المخاطر، يمكن للذكاء الاصطناعي أن يكون مساعداً مفيداً، مثل مساعد طيار، لكنه لا يمكن أبداً أن يكون هو الطيار. يجب أن يكون الخبير البشري في مقعد القيادة، يدقق في كل شيء، لأنه عندما يتعلق الأمر بسلامة المرضى، فإن الروبوت الواثق الذي يؤلف أشياءً هو خطر لا يمكن لأحد أن يتحمله.
ملخص تقني: تقييم مقارن قائم على التوجيهات لنماذج اللغات الكبيرة (LLMs) في مضاعفات متعلقة بالزراعات
بيان المشكلة
بينما تطورت التقنيات الجراحية وسير العمل الرقمي في مجال زراعة الأسنان، لا تزال إدارة المضاعفات المرتبطة بالزراعة (مثل إصابات الأعصاب، ثقب الأغشية، والنزيف الشديد) تتطلب مهارة إكلينيكية عالية. ويلجأ الممارسون الإكلينيكيون، وخاصة الممارسين العامين الذين يفتقرون إلى الدعم الفوري من المتخصصين، بشكل متزايد إلى استخدام نماذج اللغات الكبيرة (LLMs) للحصول على توجيهات عند نقطة الرعاية. ومع ذلك، فإن موثوقية هذه النماذج في اتخاذ القرارات السريرية عالية المخاطر لا تزال غير مؤكدة. وقد ركزت الأدبيات الحالية بشكل أساسي على تقييم نماذج اللغات الكبيرة في تعليم المرضى أو توليف المعرفة النظرية، وغالباً ما أخفقت في معالجة:
الإخفاقات الحرجة للسلامة: التمييز بين جودة الاستجابة العامة وبين أحداث سلامة محددة (مثل الهلوسة، أو التوصيات الضارة).
تصنيف التعقيد: كيف يتباين أداء النموذج عبر السيناريوهات السريرية ذات المستوى المتوسط، والصعب، والمستوى الخبير.
المطابقة مع التوجيهات: قدرة النماذج على الالتزام بأطر الإدارة القائمة على التوافق من المنظمات الكبرى (EAO، ITI، AAOMS) في المواقف المعقدة ومتعددة المتغيرات.
تعالج هذه الدراسة الفجوة في الأدلة المتعلقة بما إذا كانت نماذج اللغات الكبيرة يمكن أن تعمل كأدوات دعم موثوقة أو ما إذا كانت تشكل مخاطر كبيرة على سلامة المرضى في إدارة مضاعفات الزراعة ذات المستوى الخبير.
المنهجية
استخدمت هذه الدراسة تصميماً تقييمياً مقارناً وعرضياً (cross-sectional) في بيئة محاكاة (in-silico).
السيناريوهات السريرية: تم تطوير أربعة وعشرين سيناريو سريري، مصنفة حسب الصعوبة (6 متوسطة، 12 صعبة، 6 خبيرة) ومصنفة إلى ستة أنواع من المضاعفات (تعزيز الجيوب الأنفية، مضاعفات أثناء الجراحة، مضاعفات مبكرة/متأخرة بعد الجراحة، تعزيز الأنسجة الصلبة، ومضاعفات الأنسجة الرخوة حول الزرعة). تم بناء هذه السيناريوهات لتتماشى مع الوثائق التوافقية الصادرة عن الجمعية الأوروبية لدمج العظام (EAO)، والفريق الدولي لزراعة الأسنان (ITI)، والجمعية الأمريكية لجراحي الفم والوجه والفكين (AAOMS).
النماذج التي تم تقييمها: تم اختبار أربعة من نماذج اللغات الكبيرة المتطورة:
Gemini 3.1 Pro
ChatGPT 5.4
Claude 4.6
DeepSeek V3.2
البروتوكول: تم الوصول إلى النماذج عبر واجهات الويب بالإعدادات الافتراضية، مع تفعيل أوضاع الاستدلال المتقدمة، ودون استخدام أي إضافات خارجية. تم تقديم كل سيناريو مرة واحدة لكل نموذج باستخدام مقدمة (pre-prompt) معيارية.
إطار التقييم: تم تعمية الاستجابات وتوزيعها عشوائياً، ثم قيمها بشكل مستقل خبيران (جراح فم ووجه وفكين وأخصائي لثة) بنظام التعمية.
نتائج السلامة الثنائية: وجود توصيات ضارة رئيسية، تجاهل العلامات التحذيرية (red flags)، أو محتوى مهلوس/مختلق.
الموثوقية: تم تقييم الموثوقية بين المقيمين (inter-rater) وبين المقيم نفسه (intra-rater) باستخدام معامل "كوهين كابا"، وتم حل الخلافات بواسطة خبير ثالث.
التحليل الإحصائي: استُخدمت اختبارات فريدمان (Friedman tests) مع معامل كيندال (Kendall's W) للمقارنات العامة بين النماذج، تلتها اختبارات ويلكوكسون (Wilcoxon signed-rank tests) مع تصحيح هولم (Holm correction). كما استُخدمت اختبارات كوشران (Cochran's Q) لنتائج السلامة الثنائية.
النتائج الرئيسية
الأداء العام: لوحظت فروق ذات دلالة إحصائية بين النماذج عبر جميع مجالات التقييم الخمسة (p<0.05). حقق Gemini 3.1 باستمرار أعلى الدرجات، بينما سجل DeepSeek V3.2 أدنى الدرجات.
أظهر التحليل البعدي أن Gemini 3.1 تفوق بشكل كبير على DeepSeek V3.2 في جميع المجالات (على سبيل المثال: الدرجة الإجمالية: 4.30 مقابل 3.58؛ p=0.003).
لم تكن أي مقارنات زوجية أخرى ذات دلالة إحصائية بعد تطبيق تصحيح هولم.
تأثير صعوبة السيناريو:
السيناريوهات المتوسطة: لم يتم العثور على فروق ذات دلالة إحصائية بين النماذج.
السيناريوهات الخبيرة: لم يتم العثور على فروق ذات دلالة إحصائية (يُرجح أن ذلك يعود لمحدودية حجم العينة أو الصعوبة العالمية في الاستدلال عالي المخاطر).
السيناريوهات الصعبة: ظهرت فروق ذات دلالة إحصائية (p=0.014). تفوق Gemini 3.1 بشكل كبير على DeepSeek V3.2 (4.25 مقابل 3.60؛ p=0.023)، مما يشير إلى أن تباين النماذج يظهر بوضوح في الحالات متعددة المتغيرات والمعقدة.
نتائج السلامة:
التوصيات الضارة الرئيسية: وُجدت فروق ذات دلالة إحصائية (p=0.041). سجل DeepSeek V3.2 أعلى عبء (4/24 حالة، 16.7%)، بينما سجل Gemini 3.1 وChatGPT 5.4 صفر حالات.
الهلوسة/الاختلاق: وُجدت فروق ذات دلالة إحصائية (p=0.035). أظهر DeepSeek V3.2 أعلى معدل (7/24 حالة، 29.2%)، يليه Claude 4.6 (3/24 حالة، 12.5%)، ثم Gemini 3.1 (2/24 حالة، 8.3%)، وأخيراً ChatGPT 5.4 (1/24 حالة، 4.2%).
تجاهل العلامات التحذيرية (Red Flags): لم تُلاحظ فروق ذات دلالة إحصائية بين النماذج.
المساهمات الرئيسية
التقييم المنفصل للسلامة: تقدم الدراسة إطاراً منهجياً يفصل بين جودة الاستجابة العامة وبين أحداث سلامة المرضى المحددة (التوصيات الضارة والهلوسة)، بحجة أن الدرجة المتوسطة العالية لا تمنع حدوث أخطاء حرجة سريرياً.
المعايرة المصنفة حسب الصعوبة: من خلال تصنيف السيناريوهات إلى مستويات متوسطة، وصعبة، وخبيرة، توضح الدراسة أن التفاوت في أداء نماذج اللغات الكبيرة ليس موحداً؛ بل يظهر بوضوح في السيناريوهات "الصعبة" التي تتطلب دمج متغيرات سريرية متعددة.
المعيار القائم على التوجيهات: استخدم التقييم معياراً مرجعياً يعتمد على مبادئ التوافق من EAO وITI وAAOMS بدلاً من مجرد استرجاع المعلومات، مما سمح بتقييم قدرة النماذج على تطبيق التوجيهات على سياقات سريرية محددة ومعقدة.
بيانات السلامة التجريبية: توفر الدراسة بيانات كمية حول وتيرة الادعاءات "المهلوسة" أو "المختلقة" للتوجيهات والتوصيات الضارة عبر أربعة إصدارات محددة من النماذج، مما يسلط الضوء على ملف المخاطر المرتفع لنموذج DeepSeek V3.2 في هذا المجال المحدد.
الأهمية والادعاءات
يخلص المؤلفون إلى أنه بينما تُظهر نماذج اللغات الكبيرة إمكانات واعدة كأدوات دعم للتعليم السريري والتحقق من القرارات، إلا أنها لا يمكن أن تحل محل الحكم السريري الخبير في إدارة مضاعفات متعلقة بالزراعة.
حساسية السياق: أداء نماذج اللغات الكبيرة يعتمد بشكل كبير على السياق. فهي تؤدي بشكل متقارب في الحالات البسيطة (المتوسطة)، لكنها تتباين بشكل كبير في السيناريوهات المعقدة (الصعبة)، حيث تزداد مخاطر الخطأ.
تباين ملف السلامة: تؤكد الدراسة أن ملفات السلامة تختلف اختلافاً جذرياً بين النماذج. إن ارتفاع نسبة التوصيات الضارة والهلوسة في DeepSeek V3.2 مقارنة بنسبة الصفر تقريباً في Gemini 3.1 وChatGPT 5.4 يشير إلى أن اختيار النموذج أمر بالغ الأهمية لسلامة المرضى.
دور الذكاء الاصطناعي: تدعم النتائج الرؤية التي تعتبر نماذج اللغات الكبيرة "أدوات دعم" تتطلب إشرافاً وتحققاً من الخبراء، بدلاً من كونها أنظمة اتخاذ قرار مستقلة. ويؤكد المؤلفون أن دمج هذه النماذج في سير العمل السريري يجب أن يكون مصحوباً بتقييم صارم وفهم واضح لحدودها في التعامل مع الاستدلال السريري متعدد المتغيرات والحرج لسلامة المرضى.