A live agent benchmark of independent action authorization for healthcare AI agents

في عالم الذكاء الاصطناعي الناشئ، ثمة تحول كبير يجري حالياً. فلم تعد الحواسيب تكتفي بمجرد الإجابة على الأسئلة، بل بدأت في التصرف والعمل؛ إذ يمكنها استرجاع السجلات الطبية، وتخطيط تسلسلات عمل معقدة، واستخدام الأدوات الرقمية لإنجاز المهام. وقد أثارت هذه القدرة الجديدة سباقاً لبناء معايير قياسية، وهي اختبارات موحدة مصممة لقياس مدى جودة أداء هؤلاء الوكلاء الرقميين. ومع ذلك، لا تزال هناك فجوة حرجة في كيفية تقييمهم؛ فمعظم الاختبارات الحالية تركز بالكامل على القدرة: هل يستطيع الوكيل الوصول إلى الإجابة الصحيحة أو إتمام المهمة؟ لكنها نادراً ما تقيس التفويض: هل يمتلك الوكيل الإذن لاتخاذ ذلك الإجراء، وتحت أي ظروف؟ وفي مجال الرعاية الصحية، حيث يمكن أن يكون للخطأ عواقب وخيمة، فإن معرفة ما "يمكن" للوكيل فعله ليست كافية؛ بل يجب أن نعرف ما "يُسمح" له بفعله. والسؤال المطروح هو ما إذا كان إضافة طبقة أمان خارجية، أي حارس رقمي يتحقق من كل حركة قبل حدوثها، سيجعل النظام أكثر أماناً بالفعل، أم أنه سيعيق العمل فحسب ويخلق مشكلات جديدة.

لقد وضعت دراسة حديثة هدفها للإجابة على ذلك من خلال إجراء تجربة حية لوكلاء الذكاء الاصطناعي في بيئة رعاية صحية محاكية. أنشأ الباحثون سيناريو محكماً حيث أبقوا كل شيء ثابتاً: المهام المحددة، ونموذج الذكاء الاصطناعي، والتعليمات المعطاة للحاسوب، والأدوات الرقمية المتاحة. الشيء الوحيد الذي قاموا بتغييره هو وجود طبقة أمان مستقلة من عدمه للموافقة على إجراءات الوكيل أو حظرها. وقد أجروا مئات من حلقات تنسيق الرعاية المحاكية هذه، مما خلق وضعاً توجب فيه على طبقة الأمان اتخاذ قرارات بناءً على معلومات ناقصة، تماماً كما يفعل المشرف البشري. وكان الهدف هو معرفة ما إذا كانت هذه الطبقة الإضافية من الرقابة ستمنع الأخطاء الخطيرة بالفعل، أم أنها ستؤدي إلى أخطاء وتأخيرات جديدة.

تضمنت التجربة أربعة إعدادات مختلفة. اتبع أحد مجموعات الوكلاء قواعد صارمة وغير قابلة للتغيير، حيث عملوا مثل الآلة الحاسبة البسيطة. ومجموعة أخرى كانت عبارة عن وكيل غير مقيد، حر في استخدام أي أداة يريدها دون أي ضوابط خارجية. أما المجموعة الثالثة، فقد استخدمت نفس الوكيل غير المقيد ولكن وُضع خلف "بوابة سلامة"، وهو نظام يراجع كل إجراء مقترح مقابل مجموعة من القواعد قبل السماح له بالمضي قدماً. والمجموعة الرابعة أضافت متحكماً ديناميكياً فوق تلك البوابة، يمكنه تعديل مستوى حرية الوكيل بناءً على أدائه الأخير. وقد أجرى الباحثون 576 حلقة متميزة عبر هذه الإعدادات، لضمان اختبار كل سيناريو تحت ظروف متطابقة لإجراء مقارنة عادلة.

قدمت النت\ال صورة مفاجئة ودقيقة. كان المقياس الأساسي هو معدل الإجراءات غير الآمنة، والتي عُرّفت بأنها أي خطوة اتخذها الوكيل تنتهك سياسات السلامة، مثل محاولة تغيير دواء محظور صراحةً أو الاتصال بمريض دون تصريح مناسب. في المجموعة التي كانت تمتلك نظام السلامة الكامل، وقعت الإجراءات غير الآمنة في 0.7 بالمائة من الحلقات. وفي المجموعة التي لم تكن تحتوي على أي ضوابط سلامة على الإطلاق، كان المعدل أقل قليلاً، حيث بلغ 0.4 بالمائة. كان الفرق ضئيلاً جداً بحيث يمكن عزوه بسهولة إلى الصدفة، مما يعني أن طبقة الأمان لم تقلل عدد الأخطاء من الناحية الإحصائية. في الواقع، لم يحاول الوكيل غير المقيد حتى القيام بالإجراء المحظور المحدد الذي كان مخفياً في سيناريوهات الاختبار، مما يشير إلى أن الذكاء الاصطناعي كان يتصرف بحذر شديد من تلقاء نفسه بالفعل.

وبينما لم تؤدِ طبقة الأمان إلى تحسين السلامة، إلا أنها فرضت تكلفة واضحة. فقد استغرق الوكلاء الذين يعملون تحت نظام الحوكمة الكامل وقتاً أطول لإكمال مهامهم وتطلب الأمر جهداً بشرياً أكبر لإدارتهم. وانخفض معدل نجاحهم في المهام الروتينية بشكل ملحو-ظ، كما كانوا أقل دقة عند اتخاذ القرار بشأن تصعيد حالة ما إلى طبيب بشري. كما أصبح النظام أكثر تكلفة في التشغيل. ووجد الباحثون أن بوابة السلامة والمتحكم الديناميكي أضافا تأخيرات وضغط عمل ملموسين دون تقديم أي فائدة ملموسة في السلامة في هذا السياق المحدد. ويشير هذا إلى أنه بالنسبة لنموذج ذكاء اصطناعي متوافق جيداً بالفعل ومن غير المرجح أن يرتكب أخطاء خطيرة، فإن إضافة طبقة خارجية للتحقق من الأذونات قد يكون عبئاً غير ضروري يبطئ الأداء دون الإمساك بأخطاء جديدة.

كما سلطت الدراسة الضوء على قيود مثل هذه الاختبارات. فقد كانت الحلقات اصطناعية، بمعنى أنها سيناريوهات تم إنشاؤها بواسطة الكمبيوتر وليست سجلات مرضى حقيقية، وكانت قواعد السلامة مبنية على مجموعة ثابتة من الإرشادات بدلاً من التقدير المعقد للطبيب البشري. وأشار الباحثون إلى أن نموذج الذكاء الاصطناعي الذي اختبروه كان يتمتع بمعدل خطأ أساسي منخفض جداً، مما ترك مجالاً ضيقاً لطبقة السلامة لإظهار أي تحسن. وحذروا من أن هذه النتيجة قد لا تنطبق على نماذج ذكاء اصطناعي مختلفة أكثر عرضة للأخطاء أو أنواع مختلفة من مهام الرعاية الصحية. إن النتائج لا تثبت أن طبقات السلامة عديمة الفائدة، لكنها تظهر أنها ليست حلاً مجانياً أو تلقائياً. وقبل أن تقرر أي مؤسسة إضافة نظام سلامة معقد لوكيل ذكاء اصطناعي، ينبغي لها أولاً قياس عدد المرات التي يرتكب فيها ذلك الوكيل تحديداً أخطاءً بمفرده. فإذا كان الوكيل آمناً بالفعل، فقد تكون طبقة السلامة مجرد عبء يضيف وقتاً وجهداً دون تغيير النتيجة.

في نهاية المطاف، تقدم هذه الأبحاث نظرة مضبوطة ونادرة على مقايضات الاستقلالية في الذكاء الاصطناعي في مجال الرعاية الصحية. فهي تتحدى الافتراض القائل بأن المزيد من الرقابة تعني دائماً مزيداً من السلامة. وبدلاً من ذلك، تشير إلى أن قيمة بوابة سلامة خارجية تعتمد كلياً على سلوك الوكيل الذي تحرسه. فإذا كان الوكيل حذراً بالفعل، فقد تكون البوابة مجرد عائق. وإذا كان الوكيل عرضة للأخطاء، فقد تكون البوابة ضرورية. وتخلص الدراسة إلى أن المؤسسات لا ينبغي لها افتراض أن طبقة السلامة هي وثيقة تأمين خالية من التكاليف؛ بل يجب عليها اختبار وكلائها الخاصين لمعرفة ما إذا كانت الطبقة تلحق الأخطاء بالفعل أم أنها مجرد تبطئ نظاماً كان يعمل بشكل جيد بالفعل.