Preserving Human Oversight Through Bounded Explanation Deferral in Intelligent Systems

تخيل غرفة تحكم حيث يعمل مشغل بشري جنباً إلى جنب مع نظام حاسوبي ذكي. الحاسوب سريع وقوي، لكنه قد يكون مربكاً أيضاً. فعندما يطرأ خطأ ما، قد يغمر الجهاز الإنسان بفيض من البيانات: إنذارات، ودرجات ثقة، وسجلات تشخيصية، وتفسيرات مفصلة، وكل ذلك في آن واحد. يصبح الإنسان، الذي هو بالفعل مشغول بإدارة الأزمة، أمام كم هائل من المعلومات للقراءة ووقت ضيق جداً للتفكير. هذه هي المشكلة الكلاسيكية في التكنولوجيا الحديثة: غالباً ما تحول الأتمتة الصعوبة من "القيام بالعمل" إلى "فهم العمل"، بدلاً من إزالة الصعوبة تماماً. فإذا كانت الشاشة مزدحمة للغاية، قد يفوت الإنسان تحذيراً حاسماً، وإذا كانت بسيطة للغاية، فقد يفتقر إلى الأدلة اللازمة لاكتشاف الخطأ. السؤال المركزي للباحثين ليس مجرد كيفية عرض معلومات أقل، بل كيف نقرر ما يمكن أن ينتظر وما يجب رؤيته فوراً، دون فقدان القدرة على مراجعة عمل الآلة لاحقاً.

لقد طور فريق من الباحثين من جامعات عبر المملكة المتحدة طريقة جديدة للتفكير في هذه المشكلة. فهم يقترحون نظاماً يمكن للحاسوب من خلاله إخفاء بعض تفسيراته المفصلة مؤقتاً للحفاظ على عبء العمل البشري ضمن حدود المعقول، ولكن فقط إذا تعامل مع هذه المعلومات المخفية كـ "دين" محدد يجب سداده. أطلقوا عليه اسم "دين التفسير" (explanation debt). الفكرة ليست في حذف المعلومات أو التظاهر بعدم وجودها، بل في جدولة وقت للإنسان لمراجعتها قبل اتخاذ قرار حاسم. لم يختبر الباحثون هذه الفكرة على أشخاص حقيقيين في مختبر، بل بنوا نموذجاً رياضياً صارماً لمعرفة ما إذا كان مثل هذا النظام يمكن أن ينجح من الناحية النظرية. وتظهر أعمالهم أنه بينما يمكن لإخفاء المعلومات أن يساعد في المدى القصير، إلا أنه لا يمكنه إصلاح حالة يكون فيها حجم العمل المطلوب ببساطة أكبر مما يمكن القيام به. النظام يعمل فقط إذا كان هناك متسع من الوقت لاحقاً لتعويض ما فات، وإذا لم يتم إخفاء التحذيرات الأكثر خطورة في المقام الأول.

بدأ الباحثون بتقسيم المعلومات إلى فئتين متميزتين. الأولى هي طبقة محمية من الحقائق الضرورية للسلامة الفورية؛ وتشمل هذا الخطر الحالي، والإجراء الذي تتخذه الآلة، وأي دليل يتعارض مع خطة الآلة، والمهلة الزمنية لاتخاذ القرار. هذه المعلومات يجب أن تظل مرئية دائماً. أما الفئة الثانية فهي المواد الداعمة، مثل السجلات التاريخية الطويلة أو مسارات الاستدلال المعقدة، والتي يمكن تأجيلها إذا كان الإجراء الفوري لا يعتمد عليها. عندما يقرر النظام إخفاء هذا النوع الثاني من المعلومات، فإنه ينشئ سجلاً لهذا الدين. هذا السجل ليس مجرد قائمة برسائل غير مقروءة، بل هو التزام رسمي يحدد من يحتاج لقراءتها، وكم ستستغرق من الوقت، والموعد النهائي المطلق الذي يجب قراءتها بحلول ذلك الوقت.

ولاختبار مدى صمود هذه الفكرة، أنشأ الباحثون محاكاة تفصيلية باستخدام جدول زمني مكون من ست خطوات، مثل ست دقائق من نوبة عمل. وقد خصصوا كميات محددة من الوقت للاهتمام في كل خطوة، تتراوح بين خمس إلى تسع ثوانٍ. كما خصصوا مقداراً ثابتاً من العمل "الإلزامي" الذي يجب القيام به فوراً، ودفعة من العمل الاختياري الذي يمكن تأجيله. في سيناريوهم الأول، تركوا النظام يعرض كل شيء فوراً. وكانت النتيجة فشلاً: ففي الدقيقتين الثانية والثالثة، كان إجمالي العمل المطلوب ثماني ثوانٍ، بينما كان لدى الإنسان خمس ثوانٍ فقط متاحة. لقد تعرض النظام لحمل زائد. وفي السيناريو الثاني، تركوا النظام يخفي كل العمل الاختياري دون التخطيط لإظهاره مرة أخرى. حافظ هذا على انخفاض عبء العمل الفوري، لكنه ترك ست ثوانٍ من المعلومات غير المقروءة التي لم تتم مراجعتها أبداً. وهذا يعني أن الإنسان كان يتخذ القرارات دون رؤية الصورة الكاملة، مما يبطل الغرض من وجود إنسان في الحلقة.

أما السيناريو الثالث، الذي أطلق عليه الباحثون اسم "التأجيل المحدود" (bounded deferral)، فقد عمل بشكل مختلف. قام النظام بإخفاء العمل الاختياري خلال الدقائق المزدحمة، لكنه وضع جدولاً زمنياً لعرض هذا العمل لاحقاً خلال الدقائق الأكثر هدوءاً. في محاكاتهم، أجل النظام ثلاث ثوانٍ من العمل في الدقيقة الثانية وثلاث ثوانٍ أخرى في الدقيقة الثالثة. ثم في الدقيقتين الرابعة والخامسة، عندما كان لدى الإنسان المزيد من الوقت، قدم النظام ذلك العمل المؤجل. وبحلول نهاية الدقيقة السادسة، تمت مراجعة جميع المعلومات، ولم يتعرض الإنسان لحمل زائد في أي لحظة بمفرده. أظهر هذا أن النظام يمكنه موازنة الحمل بنجاح، ولكن فقط لأنه كان هناك وقت إضافي لاحقاً للتعويض.

ومع ذلك، كان الباحثون حذرين في توضيح أين يمكن أن يفشل هذا النظام. فقد أجروا نفس المحاكاة وغيروا الأرقام قليلاً. في إحدى الحالات، قللوا الوقت المتاح في الدقيقة الرابعة. وفجأة، لم يستطع الإنسان إنهاء العمل المؤجل قبل الموعد النهائي، وانهار النظام. وفي حالة أخرى، زادوا وقت قراءة المعلومات المخفية بنسبة خمسين بالمائة. ورغم أن إجمالي الوقت المتاح لاحقاً بدا كافياً، إلا أن الارتفاع المفاجئ في وقت القراءة تسبب في تجاوز "الدين" للحد الآمن، واضطر النظام للإعلان عن عدم قدرته على الاستمرار. هذه الإخفاقات ليست مجرد أعطال تقنية، بل هي دليل على أنه لا يمكنك ببساطة إخفاء المعلومات لحل مشكلة كثرة العمل. إذا تجاوز إجمالي العمل إجمالي الوقت المتاح، فإن إخفاء العمل يكتفي بنقل المشكلة إلى وقت لاحق، حيث قد يتسبب في كارثة.

سلطت الدراسة الضوء أيضاً على قاعدة حاسمة بشأن ما يمكن إخفاؤه. وجد الباحثون أنه إذا أخفى النظام الأدلة المتعارضة — وهي المعلومات التي تشير إلى أن خطة الآلة قد تكون خاطئة — فإن الإنسان يفقد القدرة على تحدي الآلة. وحتى لو شعر الإنسان بضغط أقل لأن الشاشة هادئة، فإنه لم يعد في وضع يسمح له بالإشراف على النظام بفعالية. يصر النموذج على أن أي معلومات يمكن أن تغير قراراً يجب أن تظل مرئية. لا يُسمح للنظام بإخفاء الحقيقة لجعل الإنسان يشعر براحة أكبر. هذا التمييز حيوي: الهدف ليس تقليل عبء العمل بأي ثمن، بل إدارة تدفق المعلومات بحيث يظل الإنسان مسيطراً.

خلص الباحثون إلى أن نموذجهم يوفر مجموعة واضحة من القواعد لتصميم هذه الأنظمة الذكية، لكنه ليس حلاً سحرياً. إنه وسيلة للتحقق مما إذا كانت الخطة ممكنة قبل بنائها. يثبت النموذج أن تأجيل المعلومات هو عملية مقايضة، وليس وجبة مجانية. يمكنه تخفيف حدة اللحظات المزدحمة، ولكن فقط إذا كان هناك فرصة مضمونة لمراجعة التفاصيل المخفية قبل اتخاذ قرار نهائي. إذا كان الجدول الزمني ضيقاً للغاية، أو إذا تم تقدير وقت القراءة بأقل من حقيقته، يجب على النظام الاعتراف بأنه لا يستطيع المواجهة وطلب المساعدة. هذا النهج ينقل التركيز من جعل الآلة أكثر ذكاءً إلى جعل الشراكة بين الإنسان والآلة أكثر صدقاً بشأن حدودها. إنه يضمن أنه عندما يقوم النظام بتبسيط العرض، فإنه لا يمحو الأدلة اللازمة للحفاظ على سلامة الإنسان.