Prediction certification cannot replace explanation certification: a competence envelope for trustworthy AI under compound stress

انتقل الذكاء الاصطناعي من عالم الخيال العلمي إلى الآليات الهادئة والحيوية للحياة المعاصرة. فنحن نعتمد على هذه الأنظمة لتقرير أي المرضى تتدهور حالتهم، وأي المباني آمنة للدخول إليها بعد وقوع كارثة، وما إذا كانت الصورة حقيقية أم مفبركة. ولسنوات طويلة، كانت الطريقة القياسية للثقة في هذه الآلات هي مراقبة ما تقوله؛ فإذا تنبأ النظام بالنتائج بشكل صحيح في كثير من الأحيان، وإذا كانت ثقته تتوافق مع معدل نجاحه، وإذا غطى نطاقاً صحيحاً من الإجابات، فقد اعتبرناه آمناً. هذا النهج يعامل الآلة كصندوق أسود: لا نحتاج لمعرفة كيف تفكر، بل فقط أن تكون إجاباتها موثوقة إحصائياً. لكن هذا الأسلوب يفترض أن العالم الذي تعمل فيه الآلة سيكون مطابقاً تماماً للعالم الذي تدربت عليه، وأنه لم يقم أحد بالتلاعب بمدخلاتها. وفي اللحظات عالية المخاطر حيث تكون الأرواح والموارد على المحك، غالباً ما تنهار هذه الافتراضات دفعة واحدة. فعندما تواجه أداة تشخيصية نوعاً جديداً من المرضى، أو يواجه نظام تقييم الأضرار كارثة لم يسبق له رؤيتها، قد تستمر الآلة في تقديم إجابات واثقة ومفسرة جيداً ولكنها خاطئة تماماً. الخطر ليس في فشل الآلة، بل في أنها تفشل بصمت، مقدمةً سبباً مقنعاً لخطأ لا يشك فيه أحد حتى فوات الأوان.

تتحدى دراسة جديدة الاعتقاد السائد منذ زمن طويل بأن التحقق من إجابات النموذج وحده كافٍ لضمان سلامته. فقد أثبت الباحثون أنه يمكن للآلة أن تكون مثالية في التنبؤ بالنتائج بينما تعتمد سراً على طريقة تفكير معطلة أو متلاعب بها. لقد أظهروا أنه من الممكن إنشاء نسختين من النموذج: نسخة جديرة بالثقة وأخرى تم اختراقها. وعند اختبار هاتين النسختين بناءً على إجاباتهما، تبدوان متطابقتين؛ لديهما نفس الدقة، ونفس مستويات الثقة، ونفس التغطية الإحصائية. ومع ذلك، فقد تم تعديل النموذج المخترق سراً ليعتمد على دليل مخفي وغير مفيد لا يظهر إلا في ظروف محددة وضاغطة. ولأن الفحوصات القياسية تنظر فقط إلى الإجابات النهائية، فإنها لا تستطيع رؤية الفرق. فالنموذج المخترق يجتاز كل الاختبارات، ومع ذلك سيفشل فشلاً كارثياً بمجرد ظهور الدليل المخفي في العالم الحقيقي. وقد أظهر الباحثون أنه لاكتشاف هذا النوع من الفشل، لا يمكنك مجرد الاستماع إلى ما تقوله الآلة، بل يجب عليك النظر في كيفية اتخاذها للقرار؛ يجب عليك فحص المنطق الداخلي، والميزات المحددة التي تعتمد عليها، والأسباب التي تقدمها لخياراتها.

ولحل هذه المشكلة، قدم الفريق إطار عمل جديداً يسمى "غلاف الكفاءة" (competence envelope). تخيل خريطة تحدد بدقة أين يكون استخدام الآلة آمناً. هذه الخريطة لا تُرسَم فقط من خلال النظر في عدد المرات التي تعطي فيها الآلة الإجابة الصحيحة، بل تُرسَم من خلال التحقق من شيئين في آن واحد: موثوقية التنبؤ وإخلاص التفسير. وقد وجد البحث أن هذين الفحصين يفشلان بطرق مختلفة؛ فعندما تتغير البيانات بمرور الوقت، مثل تغير نبرة موجز إخباري، تفشل فحوصات التنبؤ أولاً. أما عندما تصبح البيانات شحيحة أو عندما تُجبر الآلة على العمل بقدرات حوسبية محدودة، فتفشل فحوصات التفسير أولاً. قد تستمر الآلة في تقديم إجابات صحيحة حتى عندما يصبح منطقها الداخلي غير مستقر، أو قد تقدم أسباباً مستقرة لإجابات لم تعد موثوقة. ومن خلال اشتراط اجتياز كلا الفحصين، يخلق "غلاف الكفاءة" منطقة آمنة؛ فإذا خرجت الآلة عن هذه المنطقة، يعرف النظام أنه يجب عليه التوقف وقول "أنا لا أعرف"، بدلاً من تقديم تخمين واثق ولكنه خطير.

اختبر الباحثون هذه الفكرة عبر أنواع مختلفة من البيانات والنماذج، بدءاً من مصنفات النصوص البسيطة وصولاً إلى النماذج اللغوية المعقدة. في إحدى التجارب، حاكوا سيناريو قام فيه مهاجم بزرع عبارة نادرة ومخفية في بيانات التدريب، فتعلمت الآلة استخدام هذه العبارة كطريق مختصر لتخمين الإجابة الصحيحة. وعندما تم اختبار الآلة على بيانات نظيفة، بدت مثالية؛ كانت دقتها عالية وتفسيراتها تبدو منطقية. ولكن عندما أدخل الباحثون العبارة المخفية أثناء الاستخدام في العالم الحقيقي، تغير سلوك الآلة تماماً؛ إذ بدأت في ارتكاب أخطاء كانت غير مرئية للفحوصات القياسية. ومع ذلك، رصد فحص التفسير الجديد ذلك على الفور، حيث لاحظ أن التركيز الداخلي للآلة قد انتقل إلى العبارة المخفية، وهو ما يعد علامة على أن عملية صنع القرار قد تم اختطافها، وذلك رغم أن إجابات الآلة بدت طبيعية إحصائياً. وقد أكدت الدراسة أن الاعتماد على فحوصات التنبؤ وحدها يشبه فحص جسر فقط عبر عدّ السيارات التي تعبره بأمان، مع تجاهل ما إذا كانت العوارض الفولاذية قد أصابها الصدأ.

تكمن قوة هذا النهج في قدرته على اكتشاف "الفشل الصامت" قبل أن يتسبب في الضرر. وفي اختبار تضمن بيانات من العالم الحقيقي من مناطق الحروب ومناقشات المناخ، تنبأ النظام الجديد متى سيبدأ النموذج في ارتكاب الأخطاء قبل أشهر من ظهور تلك الأخطاء فعلياً، وذلك من خلال مراقبة استقرار منطق الآلة. فعندما أصبحت البيانات شحيحة أو تغيرت البيئة، بدأ المنطق الداخلي للآلة يتذبذب، حتى لو ظلت إجاباتها صحيحة لفترة من الوقت. استخدم النظام هذا الإنذار المبكر لمنع الآلة من اتخاذ قرارات لا يمكنها دعمها. وفي الأنظمة متعددة الوسائط، حيث تستخدم الآلة النصوص والصور معاً، سمحت هذه الطريقة للنظام بتجاهل مستشعر متعطل والاعتماد على المستشعر الذي لا يزال يعمل، مما منع الآلة من أن تُخدع بمدخل واحد معطل، وهو نمط فشل شائع في البيئات المعقدة.

تمتد آثار هذا العمل إلى ما هو أبعد من النظرية الأكاديمية. فقد طبق الباحثون إطار عملهم على سيناريو واقعي يتعلق بتقييم الجسور المتضررة في أوكرانيا. وفي هذه البيئة عالية المخاطر، تحمل كل عملية اتخاذ قرار بشأن ما إذا كان الجسر آمناً للعبور أو يحتاج إلى إصلاح تكلفة باهظة. قد تعلن الطرق القياسية أن جسراً ما متضرر بناءً على قراءة مستشعر واحدة، حتى لو كانت تلك القراءة من مصدر غير موثوق أو مخترق. يعمل نهج "غلاف الكفاءة" الجديد كحارس بوابة؛ فهو لا يفحص إشارة الضرر فحسب، بل يفحص أيضاً موثوقية البيانات واستقرار المنطق الكامن وراء الحكم. وفي تحليلهم لسبعة عشر جسراً، حدد النظام بشكل صحيح الحالات التي كانت فيها البيانات غير موثوقة للغاية لاتخاذ قرار، مفوضاً القرار إلى المهندسين البشريين بدلاً من المخاطرة بقرار خاطئ. إن القدرة على قول "أنا لا أعرف" عندما تكون الظروف غير مؤكدة هي السمة المميزة للنظام المرن حقاً.

في نهاية المطاف، تؤسس هذه الأبحاث لفكرة أن الثقة في الذكاء الاصطناعي لا يمكن بناؤها على الإجابات وحدها. يمكن للآلة أن تكون مصيبة لأسباب خاطئة، وتلك الأسباب الخاطئة يمكن أن تؤدي إلى حالات فشل صامتة وكارثية. تثبت الدراسة أنه لضمان السلامة، يجب أن نصادق على الأسباب التي تقدمها الآلة، وليس فقط النتائج التي تنتجها. ومن خلال الجمع بين الفحص لما يتنبأ به النموذج والفحص لكيفية تفكيره، يمكننا تحديد حدود واضحة للكفاءة. داخل هذه الحدود، يكون النظام آمناً للاستخدام، وخارجه، يعرف النظام أنه يجب عليه التراجع. إن هذا التحول من الثقة العمياء إلى الفهم الموثق يقدم مساراً للمضي قدماً في نشر الذكاء الاصطناعي في أكثر زوايا عالمنا حرجاً، مما يضمن أنه عندما تكون المخاطر في أعلى مستوياتها، فإن الآلات التي نثق بها ليست واثقة فحسب، بل كفؤة حقاً.