Inconsistent and divergent large language model safety guidance during intraoperative crises: a guideline- anchored benchmark
تكشف هذه الدراسة أن النماذج اللغوية الكبيرة الرائدة تظهر عدم اتساق وتبايناً كبيراً في تقديم التوجيهات المتعلقة بالسلامة والمرتكزة على الإرشادات أثناء الأزمات المحاكية داخل العمليات الجراحية، لا سيما فيما يتعلق بالتواصل والتصعيد، مما يسلط الضوء على الحاجة الماسة لتقييم موثوقيتها وقابليتها للتكرار بدلاً من الاكتفاء بالدقة الإجمالية وحدها لدعم القرار السريري.
المؤلفون الأصليون:Brian H. Park, Claire S. Soria, Preetham Suresh, Ryan Broderick, Bryan Sandler
في بيئة غرفة العمليات عالية المخاطر، الثواني لها قيمتها. فعندما تتدهور حالة المريض فجأة أثناء الجراحة، يجب على الفريق الطبي التحرك فوراً، متبعاً قوائم مراجعة صارمة لإنقاذ الحياة تم صقلها على مدى عقود. هذه البروتوكولات مصممة لاكتشاف الأخطاء قبل أن تسبب ضرراً، مما يضمن تواصل الفريق بوضوح، وتصعيد المشكلة إلى الأشخاص المناسبين، والقيام بمناورات محددة وحرجة. ومع بدء دخول أدوات الذكاء الاصطناعي المعروفة بنماذج اللغات الكبيرة إلى المجال الطبي، هناك أمل متزايد في أنها قد تعمل كمساعد رقمي، يقدم توجيهاً في الوقت الفعلي خلال هذه اللحظات الفوضوية. ومع ذلك، وعلى عكس الطبيب البشري الذي يعتمد على التدريب والخبرة، فإن هذه البرامج الحاسوبية تولد إجابات بناءً على أنماط في البيانات، ويمكنها أحياناً إنتاج استجابات مختلفة لنفس السؤال تماماً. إن السؤال الحاسم لسلامة المرضى ليس فقط ما إذا كان بإمكان الذكاء الاصطناعي تحديد المشكلة، بل ما إذا كان بإمكانه التوصية بالإجراءات الصحيحة والآمنة باستمرار في كل مرة تحدث فيها أزمة، وما إذا كان يمكن الوثوق به للقيام بذلك دون تردد أو تناقض.
لقد وضع فريق من الباحثين من جامعة كاليفورنيا سان دييجو نصب أعينهم اختبار هذه الموثوقية تحديداً. فقد أنشأوا محاكاة دقيقة تتضمن عشرة أنواع مختلفة من الطوارئ الجراحية، تتراوح من النزيف الشديد إلى انسداد الممرات الهوائية ومضاعفات القلب. وبدلاً من مطالبة الذكاء الاصطناعي بمجرد تشخيص المشكلة، قدم الباحثون للنماذج أزمة تتكشف خطواتها تدريجياً، وسألوا بعد كل مرحلة عما يجب على الفريق الجراحي فعله تالياً. تم اختبار النماذج مقابل قائمة صارمة مكونة من 150 إجراءً سلامياً محدداً مستمدة من الإرشادات الطبية وكتيبات الطوارئ المعتمدة. وشملت هذه الإجراءات أموراً مثل إعلان حالة الطوارئ، أو طلب المساعدة، أو إيقاف إجراء ضار، أو القيام بمناورة لإنقاذ الحياة. قام الباحثون بتشغيل كل سيناريو ثلاث مرات باستخدام ثلاثة نماذج مختلفة من نماذج الذكاء الاصطناعي الرائدة، مع معاملة البرامج الحاسوبية كما لو كانت أعضاء جدد ينضمون إلى غرفة العمليات. وكان الهدف هو معرفة ما إذا كانت النماذج ستعطي نفس النصيحة الآمنة في كل مرة، أم أن توجيهاتها ستنحرف وتتغير بشكل غير متوقع.
كشفت النتائج عن عدم اتساق كبير ومثير للقلق. فعند تقديم نفس سيناريو الأزمة إلى نفس النموذج عدة مرات، لم يعطِ الحاسوب الإجابة نفسها. وفي 29 من أصل 30 مزيجاً من النموذج والسيناريو، تغيرت نسبة إجراءات السلامة الصحيحة التي حددها النموذج من تشغيل إلى آخر. وفي المتوسط، كان الفرق في الأداء بين تشغيلين لنفس النموذج كبيراً، حيث تباين بنحو 15 إلى 18 نقطة مئوية. وهذا يعني أنه إذا سأل جراح نفس السؤال مرتين خلال حالة طوارئ حقيقية، فقد يقترح الحاسوب مجموعة مختلفة تماماً من الإجراءات في المرة الثانية، مما قد يؤدي إلى تفويت خطوة حرجة في المرة الأولى. وبينما حدد أحد النماذج، وهو Claude Opus 4.6، إجراءات صحيحة أكثر بشكل عام من غيره، إلا أنه لا يزال يعاني من عدم الاستقرار نفسه، ولم تكن الاختلافات في الدقة الإجمالية بين النماذج كبيرة بما يكفي لإعلان فائز واضح. وكانت أكثر التباينات خطورة في مجال التواصل والتصعيد؛ حيث فشلت النماذج تكراراً في اقتراح ضرورة إعلان حالة الطوارئ أو طلب مساعدة إضافية، وكان معدل تفويتها لهذه الخطوات الحاسمة يتفاوت بشكل هائل، حيث أخطأ أحد النماذح في هذه الخطوات بمعدل يقارب ثلاثة أضعاف نموذج آخر تحت ظروف متطابقة.
كما بحثت الدراسة فيما إذا كانت النماذج ستكتفي باقتراح إجراءات قد تضر المريض بالفعل. ولحسن الحظ، كانت هذه التوصيات غير الآمنة نادرة عبر جميع النماذج المختبرة. ومع ذلك، فإن حقيقة كون النماذج غير متسقة في توصياتها الآمنة تعد مصدر قلق كبير. وجد الباحثون أن النماذج كانت أفضل عموماً في اقتراح إجراءات طبية محددة، مثل إعطاء دواء أو إجراء عملية جراحية، لكنها واجهت صعوبة كبيرة في الجوانب "الناعمة" القائمة على العمل الجماعي في إدارة الأزمات، مثل تنظيم الفريق أو التواصل بشأن شدة الموقف. يشير هذا إلى أنه بينما قد يعرف الذكاء الاصطناği الحقائق الطبية، فإنه لا يفهم بشكل موثوق الديناميكيات البشرية المطلوبة لإدارة الأزمة بأمان. وخلص الباحثون إلى أنه لكي تكون هذه الأدوات مفيدة في غرفة العمليات، يجب تقييمها ليس فقط بناءً على ما إذا كانت صحيحة في الغالب، بل على ما إذا كانت قابلة للتكرار باستمرار. فالأداة التي تقدم نصيحة سلامة مختلفة لنفس المشكلة لا يمكن الوثوق بها لدعم الفريق الطبي عندما تكون حياة المريض على المحك. وتعمل هذه الدراسة كمعيار، ومقياس للذكاء الاصطناعي المستقبلي، مما يثبت أن الموثوقية لا تقل أهمية عن الدقة عندما تُستخدم هذه الأنظمة في المواقف الطبية عالية الضغط.
ملخص تقني: عدم الاتساق والتباين في توجيهات سلامة النماذج اللغوية الكبيرة أثناء الأزمات داخل العمليات الجراحية
بيان المشكلة
بينما يُقترح استخدام النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لدعم القرار السريري، تركز أطر التقييم الحالية بشكل أساسي على الاستشارات في العيادات الخارجية، أو الاستنتاج التشخيصي، أو السلامة السريرية العامة. وتفشل هذه المعايير في معاليز المتطلبات الفريدة للأزمات داخل العمليات الجراحية، حيث تملي التدهورات الفسيولوجية، وضغط الوقت، والترابط بين الإدارة الجراحية والتخديرية النتائج النهائية. وفي هذه البيئات عالية المخاطر، يمكن لخطأ واحد في الإغفال أو توصية واحدة تتعارض مع الضوابط أن تسبب ضرراً فورياً. غالباً ما تقيم المعايير الحالية جودة استجابات النماذج بشكل عام، لكنها لا تختبر بصرامة ما إذا كانت النماذج تنفذ إجراءات سلامة محددة مرتكزة إلى الإرشادات، أو تتجنب المناورات غير الآمنة، أو تحافظ على الاتساق عبر عمليات التشغيل المتكررة لنفس السيناريو.
المنهجية
قام المؤلفون بتطوير معيار قائم على المراحل لتقييم سلوك النماذج اللغوية الكبيرة عبر عشرة نماذج نمطية لأزمات داخل العمليات الجراحية (مثل النزيف الحاد، أو صعوبة مجرى الهواء، أو الحساسية المفرطة). تضمن تصميم الدراسة وتنفيذها المكونات التالية:
بناء السيناريوهات: تمت صياغة عشرة سيناريوهات من قبل طبيب تخدير استشاري، تعكس التطور السريري لحالات الطوارئ من عدم الاستقرار المبكر إلى التدهور ونقاط التحول الاستراتيجية. قدم كل سيناريو بيانات ديموغرافية للمريض ومساراً فسيولوجياً دون تسمية التشخيص صراحةً، مما يتطلب من النموذج استنتاج الأزمة.
إطار العمل الرقابي (Sentinel Framework): تم تسجيل الأداء مقابل 150 "إجراءً رقابياً" ثنائياً (نعم/لا) مرتكزاً إلى إرشادات الممارسة السريرية، ومعايير الإنعاش، وقوائم مراجعة الأزمات المنشورة. تم تصنيف هذه الإجراءات إلى ستة محاور سلامة عابرة للأزمات:
إيقاف الضرر المستمر.
تفعيل الخوارزمية الصحيحة.
المناورات الحاسمة لإنقاذ الحياة.
الاستراتيجية العامة والقرار النهائي.
الإجراءات الخطرة (المناورات التي تتعارض مع الضوابب).
التواصل والتصعيد.
النماذج التي تم تقييمها: تم اختبار ثلاثة نماذج لغوية كبيرة عامة ورائدة عبر واجهات الويب الاستهلاكية (لالتقاط التباين في أخذ العينات في العالم الحقيقي): ChatGPT 5.2 (OpenAI)، وClaude Opus 4.6 (Anthropic)، وGemini 3.1 Pro (Google).
بروتوكول التجربة: أكمل كل نموذج ثلاث عمليات تشغيل مستقلة لكل سيناريو بين فبراير ومارس 2026. تم توحيد المطالبات (Prompts)، مع توجيه النماذج لإعطاء الأولوية لإجراءات الإدارة الحاسمة على المراقبة أو قوائم المراجعة المستفيضة.
التسجيل (Scoring): تم تسجيل المخرات بشكل مستقل من قبل أطباء مجهولي الهوية (أطباء تخدير وجراحين). كان التسجيل ثنائياً (موجود/غير موجود للإجراءات الإيجابية؛ تم تفعيله/لم يتم تفعيله للإجراءات غير الآمنة). تم تقييم الموثوقية باستخدام معامل كوهين كابا (Cohen's kappa).
النتائج الرئيسية
أسفرت الدراسة عن ثلاث نتائج رئيسية فيما يتعلق بأداء النماذج، والاتساق، وأنماط الفشل:
عدم الاستقرار بين عمليات التشغيل (Run-to-Run Instability): كانت النتيجة الأكثر أهمية هي غياب القابلية للتكرار. في 29 من أصل 30 مزيجاً (نموذج-سيناريو)، تباينت نسبة إجراءات السلامة المطلوبة المكتملة عبر عمليات التشغيل المتكررة لنفس السيناريو.
حجم التباين: بين عمليتي تشغيل لنفس النموذج، اختلفت معدلات الإكمال بمعدل متوسط قدره 14.7 إلى 18.1 نقطة مئوية.
ترتيب الاستقرار: تداخلت فترات الثقة للتقلب بشكل كبير، مما يعني أن النماذج لم يكن من الممكن ترتيبها بشكل موثوق من حيث الاستقرار. قدم نموذج معين توجيهات سلامة مختلفة جوهرياً عند إدخال نفس المدخلات.
الإكمال الإجمالي والتباين: بينما اختلفت معدلات الإكمال الإجمالية، كان الترتيب ثانوياً لنتائج الاستقرار.
الأداء: حقق Claude Opus 4.6 أعلى نسبة إكمال للإجراءات الرقابية الإيجابية (83.7%)، يليه ChatGPT 5.2 (69.0%)، ثم Gemini 3.1 Pro (61.2%).
الدلالة الإحصائية: تفوق Claude بشكل كبير على منافسيه في المقارنات المزدوجة. أما ChatGPT وGemini فلم يكن هناك فرق ملموس بينهما إحصائياً في هذه العينة.
الإجراءات غير الآمنة: كانت الإجراءات غير الآمنة نادرة عبر جميع النماذج (تراوحت بين 3.8% و10.3%)، لكن تداخل فترات الثقة حال دون تحديد ترتيب نهائي فيما يتعلق بالسلامة.
تصنيف الفشل (Failure Taxonomy): لم تكن حالات الإغفال موزعة بالتساوي عبر محاور السلامة.
التواصل والتصعيد: أظهر هذا المحور أعلى معدلات الإغفال وأكبر تباين بين النماذج. تحت مطالبة متطابقة، تباينت معدلات الإغفال بمقدار ثلاثة أضعاف تقريباً: Claude (24.6%)، وChatGPT (36.1%)، وGemini (72.6%).
حساسية المرحلة: تجمعت حالات الفشل في المرحلة الأولى (التعرف على الأزمة) والمرحلة الثالثة (قرارات التصعيد)، حيث وصلت معدلات الإغفال إلى 57.6% لنموذج Gemini في المرحلة الأولى.
مستوى الارتكاز: أدت النماذج بشكل أفضل في الإجراءات المرتكزة على الإجماع (92.9%) وأسوأ في الإجراءات المرتكزة على قوائم مراجعة الأزمات ومعايير إدارة موارد الطاقم (57.2% إجمالاً)، حيث كانت الفجوة بين Claude (77.1%) وGemini (35.3%) هي الأوسع.
المساهمات الرئيسية
المساهمة الأساسية للورقة هي تطوير أداة معيارية قابلة لإعادة الاستخدام، بدلاً من الدرجات المحددة للنماذج التي تم تقييمها وقت النشر.
تصميم المعيار: تقدم الدراسة إطاراً يقيس إجراءات سلامة محددة وعدم الاستقرار بين عمليات التشغيل، متجاوزةً درجات الجودة الإجمالية أو الدقة التشخيصية.
التركيز على القابلية للتكرار: تؤسس الدراسة لواقع أن القابلية للتكرار والاتساق هما معايير اختيار حاسمة جنباً إلى جنب مع الدقة بالنسبة لأدوار الأزمات داخل العمليات الجراحية.
الأصول المفتوحة: تم تصميم تعريفات السيناريوهات، وقوائم الإجراءات الرقابية، ومحاور السلامة، وقواعد التسجيل، ونماذج المطالبات ليتم إصدارها بشكل محكم للمقيمين المستقلين لتسهيل الاختبار المعياري لإصدارات النماذج المستقبلية.
الأهمية والادعاءات
يزعم المؤلفون أن الدراسة تثبت قصوراً حرجاً في نشر النماذج اللغوية الكبيرة الرائدة لدعم القرار في العمليات الجراحية: وهو عدم الاتساق.
الموثوقية فوق الترتيب: تجادل الورقة بأن النماذج يجب أن تُحكم بناءً على مدى موثوقيتها وقابليتها للتكرار في التصرف، وليس فقط بناءً على الدقة الإجمالية. فالأداة التي تقدم توجيهات سلامة مختلفة عند عرض نفس الأزمة بشكل متكرر لا يمكن أن تعمل كدعم قرار ثابت.
التباين في المجالات الحرجة: يشير التباين الحاد في إجراءات التواصل والتصعيد — وهي مجالات توجد فيها بالفعل قوائم مراجعة للأزمات — إلى أن قيمة النموذج تعتمد على كيفية اقترانه بأدوات السلامة الموجودة بدلاً من درجته الإجمالية المستقلة.
معيار التقييم: يفترض المؤلفون أنه يجب قياس التكرار والإبلاغ عنه جنباً إلى جنب مع الدقة كلما تم تقييم النماذج اللغية الكبيرة لأدوار العمليات الجراحية. لا تدعي الدراسة أن النماذج الحالية جاهزة للنشر، بل توفر الأداة اللازمة لتحديد ما إذا كانت الإصدارات المستقبلية تلبي متطلبات الاستقرار اللازمة للسلامة داخل العمليات الجراحية.