AI Risk-Management Control in Human-in-the-Loop Systems: Governing the Operating Confidence Threshold as a Delegation Boundary
تقترح هذه الورقة التعامل مع عتبة الثقة التشغيلية في أنظمة الذكاء الاصطناعي التي تتضمن تدخلاً بشرياً كضابط رسمي وقابل للتدقيق لقبول المخاطر مشتق من تحليل صريح للتكلفة والعائد بدلاً من كونها مجرد معلمة ضبط، مما يثبت فعاليتها في استقرار التفويض الآلي وتقليل المراجعة البشرية في البيئات المهنية المنظمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في مكان العمل الحديث، يُطلب من الذكاء الاصطناعي بشكل متزايد اتخاذ قرارات مهمة؛ فهو يقوم بفرز المستندات، ومطابقة الأسماء في قواعد البيانات، وتحديد المعلومات الهامة. ولكن يظل هناك سؤال جوهري لم تجب عليه معظم البرمجيات: متى ينبغي للكمبيوتر أن يقرر من تلقاء نفسه، ومتى ينبغي له أن يتوقف ويطلب المساعدة من إنسان؟ هذا ليس مجرد إعداد تقني، بل هو مسألة ثقة ومسؤولية. فإذا تصرف الجهاز بثقة مفرطة عندما يكون مخطئاً، فقد يتسبب في ضرر جسيم لا يلاحظه أحد إلا بعد فوات الأوان. وإذا تصرف بحذر شديد، فإنه يهدر وقت الخبراء البشريين ذوي التكلفة العالية الذين كان بإمكانهم القيام بأعمال أكثر أهمية. تُسمى النقطة التي يسلم فيها الجهاز القرار إلى شخص آخر بـ "عتبة الثقة". فكر في الأمر كعلامة تحديد السرعة على الطريق السريع: فهي تخبر السائق بالضبط متى يبطئ ويستعيد السيطرة. وحتى الآن، كانت العديد من المؤسسات تضع هذا الحد عن طريق التخمين أو اختيار رقم صحيح مثل تسعين بالمائة، دون سبب واضح لاختيار ذلك الرقم تحديداً.
تجادل دراسة جديدة أجراها موسارات كببر-تشيستي بأن هذا الحد لا ينبغي أن يكون مجرد تخمين، بل يجب أن يكون قراراً محسوباً بدقة، ويُعامل بنفس الجدية التي تُعامل بها أي قاعدة سلامة أخرى في المهن المنظمة. وقد طور المؤلف، الذي يعمل في مجال التكنولوجيا القانونية، طريقة لإيجاد "نقطة التسليم" المثالية من خلال موازنة تكاليف نوعين مختلفين من الأخطاء. الخطأ الأول يحدث عندما يتصرف الكمبيوتر بناءً على إجابة خاطئة دون أن يراجعها إنسان أولاً. أما الخطأ الثاني فيحدث عندما يتوقف الكمبيوتر ليطلب المساعدة من إنسان، رغم أنه كان يملك الإجابة الصحيحة بالفعل. في مجالات مثل القانون أو الهجرة، يكون الخطأ الأول أخطر بكثير من الثاني؛ فإرسال ملف خاطئ إلى المحكمة يمكن أن يدمر قضية، بينما مراجعة إنسان لملف صحيح لا تستغرق سوى بضع دقائق إضافية. وتقترح الدراسة أن على المؤسسات تحديد عتبة الثقة الخاصة بها بناءً على مقدار ما هي مستعدة لدفعه من وقت بشري لتجنب خطر وقوع خطأ غير مراجع.
ولاختبار هذه الفكرة، طبق الباحث منهجيته على نظامين من الواقع العملي يُستخدمان في مكتب محاماة في لندن. النظام الأول يساعد محامي الهجرة في إدارة آلاف وثائق الموكلين؛ ففي كل مرة يصل فيها ملف جديد، يحاول الكمبيوتر فرزه في المجلد الصحيح. إذا كان النظام متأكداً جداً، فإنه يقوم بفرز المستند تلقائياً، وإذا كان غير متأكد، فإنه يرسل الملف إلى محامٍ بشري للتحقق منه. أما النظام الثاني فيتعامل مع سجلات الموكلين، حيث يحاول مطابقة الأسماء من قائمة العملاء الجدد مع قاعدة بيانات الحالات القائمة. ومرة أخرى، إذا كانت المطابقة واضحة، يربط النظام السجلات، وإذا كانت غامضة، يجب على الإنسان اتخاذ القرار. وفي كلتا الحالتين، نظر الفريق إلى الدرجات الفعلية التي أعطاها الكمبيوتر لآلاف المستندات والسجلات لمعرفة كيفية أداء النظام عند مستويات ثقة مختلفة.
وكشفت النتائج عن شيء مفاجئ حول كيفية سلوك هذه الأنظمة في الواقع. ففي مهمة فرز المستندات، لم تكن درجات ثقة الكمبيوتر موزعة بشكل متساوٍ، بل كانت منقسمة بحدة إلى مجموعتين: كان النظام إما واثقاً للغاية بدرجات قريبة من الحد الأعلى، أو كان غير متأكد تماماً. كانت هناك حالات قليلة جداً يكون فيها الكمبيوتر "متأكداً نوعاً ما". وبسبب هذه الفجوة، وجد الباحثون أن الرقم المحدد المختار للعتبة لا يهم كثيراً، طالما تم وضعه في تلك المساحة الفارغة بين الواثق وغير المتأكد. وسواء وضعوا الحد عند اثنين وتسعين بالمائة أو خمسة وتسعين بالمائة، فإن النظام سيرسل نفس المستندات تماماً إلى المراجعين البشريين، مما جعل القرار قوياً وآمناً. وفي المهمة الثانية المتعلقة بسجلات الموكلين، كان النمط أكثر وضوية؛ حيث كانت درجات المطابقة إما عالية جداً أو منخفضة جداً، مع وجود القليل جداً في المنتصف. وهذا يعني أن النظام يمكنه التعامل تلقائياً مع نصف الحالات تقريباً، مع ترك عدد ضئيل جداً من الحالات الصعبة حقاً للخبراء البشريين.
كما أظهرت الدراسة أن هذا النهج يغير من تحديد المسؤولية عن العمل. فمن خلال معاملة العتبة كقاعدة رسمية وليس كمجرد إعداد برمجي، يمكن للمؤسسة توثيق سبب اختيارها للسمامح للجهاز بالعمل في حالات معينة دون غيرها. وإذا وقع خطأ ما، يمكنهم الرجوع لرؤية أن القرار اتخذ بناءً على مقايضة محسوبة بين تكلفة الوقت البشري وخطر وقوع الخطأ، مما يجعل النظام قابلاً للتدقيق. ووجد الباحثون أنه عندما استخدموا منهجيتهم، كان عدد الأخطاء التي ارتكبها الكمبيوتر دون مساعدة بشرية منخفضاً للغاية، بينما ظل عدد المرات التي طلب فيها المساعدة دون داعٍ في حده الأدنى أيضاً. لقد عمل النظام بكفاءة لأنه صُمم ليتناسب مع المخاطر المحددة للوظيفة، وليس لمجرد اتباع قاعدة عامة.
ويشير هذا العمل إلى أن مستقبل الذكاء الاصطناعي في المجالات ذات المخاطر العالية يعتمد على مدى جودة إدارتنا لنقاط التسليم هذه. فلا يكفي بناء كمبيوتر ذكي، بل يجب علينا أيضاً بناء عملية ذكية لتقرير متى نثق به. وتثبت الدراسة أنه من خلال النظر في البيانات الفعلية وفهم التكاليف الواقعية للأخطاء، يمكن للمؤسسات تحديد هذه الحدود بثقة. ويمكنها ضمان عدم إرهاق الخبراء البشريين بالمهام السهلة التي لا يحتاجون للقيام بها، وعدم تركهم عاجزين أمام اللحظات النادرة التي قد يخطئ فيها الجهاز. وفي النهاية، لا يهدف الأمر إلى استبدال الحكم البشري، بل إلى تحديد أين يبدأ وأين ينتهي بالضبط، لخلق شراكة يلعب فيها كل من الآلة والإنسان وفقاً لنقاط قوتهما.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.