Deployment protocol and base model jointly determine residual risk in rule-based clinical LLM supervision

تخيل أنك قمت للتو ببناء مساعد روبوت فائق الذكاء، يمكنه قراءة المخططات الطبية واقتراح العلاجات. أنت متحمس، لكنك تعلم أيضًا أن حتى الروبوتات الأكثر ذكاءً قد تخطئ أحيانًا في الحقائق، أو تقدم نصائح خطيرة، أو ترتبك بسبب الأسئلة الملتوية. هذا هو عالم "النماذج اللغوية الكبيرة السريرية" (Clinical LLMs): أدوات ذكاء اصطناعي قوية مصممة لمساعدة الأطباء، ولكنها تحمل خطر ارتكاب أخطاء قد تؤذي المرضى. وللحفاظ على السلامة، يعمل العلماء على بناء "حواجز حماية" — شبكات أمان رقمية تتحقق من إجابات الروبوت قبل أن يراها أي شخص. ولكن هنا يبرز السؤال الكبير: هل تعمل شبكة الأمان بنفس الطريقة مع كل روبوت؟ وماذا يحدث إذا سحبت خطة النسخ الاحتياطي البشري؟ تغوص هذه الورقة البحثية في هذا الأمر تمامًا، حيث تختبر ما إذا كانت مجموعة محددة من ضوابط السلامة القائمة على القواعد يمكنها الحفاظ على سلامة نماذج الذكاء الاصطناعي المختلفة، ومدى المخاطر المتبقية إذا حاولنا تركها تعمل بمفردها تمامًا.

قام الباحثون بإعداد "حارس" رقمي — وهو حكم صارم يتبع القواعد ويتكون من خمس بوابات مختلفة — لمراقبة خمسة نماذج مختلفة من الذكاء الاصطناعي (تتراوح من النماذج مفتوحة المصدر الأصغر إلى النماذج التجارية الضخمة والرائدة). اختبروا هذه النماذج على نوعين من السيناريوهات الطبية: حالات وهمية مصممة لخداع الذكاء الاصطناعي، وحالات واقعية مستخرجة من سجلات المستشفيات. أجروا الاختبارات في وضعين مختلفين تمامًا. الوضع الأول، "وضع تسليم المهام مفعّل" (Handoff-On)، يشبه وجود مشرف بشري يقف بجانب الروبوت مباشرة. إذا رصد الحارس إجابة سيئة، فإنه يحجبها ويرسلها إلى طبيب بشري لتصحيحها أو مراجعتها. أما الوضع الثاني، "وضع تسليم المهام غير مفعّل" (Handoff-Off)، فهو الوضع "المستقل": حيث يتعين على الروبوت القيام بالمهمة بمفرده تمامًا. وفي هذه الحالة، إذا رصد الحارس إجابة سيئة، فلا يوجد بشر لإنقاذ الموقف؛ فقد تمر الإجابة الأصلية، التي قد تكون خطيرة، أو يتعين على النظام التعامل مع الفوضى الناتجة.

كانت النتائج مزيجًا من "الأخبار الرائعة" و"الحذر، المضي قدمًا بحذر". عندما كان المشرف البشري حاضرًا (Handoft-On)، عملت شبكة الأمان بشكل ممتاز لجميع النماذج. وبغض النظر عن أي نموذج تم اختباره، ظل معدل الإجابات الخطيرة التي تصل إلى المستخدم أقل من 6%. كان الأمر أشبه بوجود حارس عند مدخل ملهى يمسك بكل المثيرين للمشاكل تقريبًا. ومع ذلك، تفاوتت تكلفة هذا الأمان بشكل كبير. فالنماذج الأضعف (مثل Qwen 7B و Llama 8B) احتاجت إلى إيقافها وإرسالها إلى إنسان لطلب المساعدة في نصف الحالات تقريبًا. أما النماذج الأقوى (مثل Sonnet 4.5 و Gemma 4)، فبالكاد احتاجت إلى أي مساعدة، حيث سمحت لأكثر من 99% من إجاباتها بالمرور مباشرة.

ولكن عندما أوقفوا المشرف البشري (Handoff-Off)، تغيرت القصة تمامًا. أصبح أمان النظام يعتمد فجأة على نوع الروبوت الذي تستخدمه. ظلت النماذج الأقوى آمنة، حيث بقيت الإجابات الخطيرة منخفضة جدًا (حوالي 0% إلى 2%). لكن النماذج الأضعف؟ انهار أمانها. فبدون تدخل بشري لإنقاذ الموقف، قفز معدل الإجابات الخطيرة إلى ما بين 13% ونحو 50%. وجدت الورقة أن مفتاح هذا الاختلاف كان مدى قدرة الذكاء الاصطناعي على "التصحيح الذاتي". فعندما يقول الحارس لنموذج قوي: "مهل، لقد ارتكبت خطأً، حاول مرة أخرى"، فإن النموذج القوي عادة ما يصلح خطأه. أما النماذج الأضعف، فلم تكن قادرة غالبًا على إصلاح أخطائها، خاصة إذا أخطأت في التنسيق الأساسي لإجابتها.

اختبر الباحثون أيضًا ما يحدث إذا حاولت "ضبط النموذج" (Fine-tuning) (أي إعادة تدريبه) لجعله أفضل في مهام محددة. ومن المثير للدهشة، أن هذا أدى أحيانًا إلى جعل النموذج أسوأ في اتباع قواعد السلامة، مما تسبب في كسر قواعد التنسيق الخاصة به. ومع ذلك، حتى في هذه الحالات، كان الحارس القائم على القواعد قويًا بما يكفي لالتقاط الأخطاء والحفاظ على سلامة المخرج النهائي. كما اختبروا نموذجًا ضخمًا يحتوي على 70 مليار معلمة (parameter) على ما يقرب من 3,000 سيناريو من العالم الحقيقي من ثلاثة مستشفيات مختلفة، وأكد ذلك الاتجاه: مع وجود نسخة احتياطية بشرية، كان النموذج آمنًا تمامًا؛ وبدونها، كان لا يزال آمنًا جدًا، ولكنه لم يكن مثاليًا مثل النماذج التجارية الرائدة.

تضمنت تجربة أخيرة وحاسمة قيام طبيب بشري بمراجعة إجابات الذكاء الاصطناعي النهائية. وجد الطبيب أنه بينما التقطت قواعد السلامة الأخطاء الواضحة، إلا أنها أغفلت بعض الأخطاء الدقيقة والخطيرة في الاستنتاج الطبي. على سبيل المثال، قد يتبع الذكاء الاصطناعي جميع قواعد السلامة بدقة، ومع ذلك يقترح جرعة دواء خاطئة لأنه أساء فهم نتيجة مخبرية. وهذا يثبت أنه بينما يعد الحارس القائم على القواعد شبكة أمان رائعة لالتقاط الأخطاء الهيكلية، إلا أنه ليس بديلًا لعقل الطبيب. تخلص الورقة إلى أنه إذا أردنا استخدام أدوات الذكاء الاصطناعي هذه في المستشفيات، فنحن بحاجة إلى اختيار النموذج المناسب للمهمة وأن نكون صادقين بشأن ما إذا كان لدينا بشر مستعدون للتدخل. لا يمكنك افتراض أن شبكة الأمان تعمل بنفس الطريقة مع كل روبوت، وبالتأكيد لا يمكنك ترك أضعف الروبوتات تدير المشهد بمفردها.