تخيل أنك تقوم ببناء روبوت طباخ. أنت تعلمه الطبخ من خلال جعله يتذوق أطباقه الخاصة ويعدل الوصفة. إذا أحرق الروبوت الخبز، فأنت تريده أن يعرف ذلك فوراً حتى يتمكن من خفض درجة الحرارة. ولكن ماذا لو كانت براعم التذوق لدى الروبوت معطلة؟ ماذا لو تذوق الخبز المحروق وظن قائلاً: "ممم، مثالي!"؟ سيستمر الروبوت في حرق الخبز، ويمتلئ المطبخ بالدخان، ولا أحد يعلم أن هناك خطباً ما حتى يشتعل حريق في المنزل. هذا هو الواقع المخيف للذكاء الاصطعي الحديث. يبني العلماء أنظمة ذكاء اصطناعي ذكية للغاية يمكنها كتابة القصص، وحل المسائل الرياضية، وحتى تقديم المشورة القانونية. لكن هذه الأنظمة معقدة، وأحياناً تفشل بطرق تكون غير مرئية للأدوات التي نستخدمها لفحصها. نحن نسمي هذا "الفشل الصامت". إنه يشبه سيارة تقود بمرآة سرعة مكسورة تظهر دائماً "60 ميلاً في الساعة"، حتى عندما تكون السيارة في الواقع تسير بسرعة 100 ميل أو تزحف بسرعة 10 أميال. إذا كان الأشخاص المسؤولون ينظرون فقط إلى عداد السرعة، فلن يدركوا أن السيارة في ورطة حتى تتحطم.

هذه الورقة البحثية، التي كتبتها الباحثة بريانكا باجاج، تبحث في نوع محدد من الفشل غير المرئي يسمى "العمى التقييمي" (Evaluation Blindness). وهي طريقة منمقة للقول بأن أدوات "الفحص" لدينا عمياء عن بعض المشكلات. تجادل الورقة بأن هذا العمى يحدث في مكانين مختلفين تماماً: أثناء تدريب الذكاء الاصطناعي (التعلم) وبعد نشره (العمل الفعلي). تشير المؤلفة إلى أننا كنا نعامل هاتين المشكلتين كمسألتين منفصلتين، لكنهما في الواقع نفس الخلل الهيكلي: أداة القياس تقول "كل شيء على ما يرام" حتى عندما يكون النظام معطلاً. ومن خلال النظر في كوارث العالم الحقيقي، مثل تعرض محامٍ للمساءلة بسبب قضاض وهمية أنشأها الذكاء الاصطناعي، أو قيام روبوت دردشة تابع لشركة طيران بابتكار سياسات وهمية، توضح الورقة أن أكثر من نصف هذه الإخفاقات العامة كانت غير مرئية تماماً لأنظمة المراقبة القياسية حتى يتضرر شخص ما. تقترح المؤلفة طريقة جديدة لتصنيف هذه الإخفاقات و"ميزانية فشل"، وهي تشبه حد الأمان لكيفية عدد الأخطاء التي يُسمح لذكاء اصطناعي معين بارتكابها قبل إيقافه، اعتماداً على مدى خطورة وظيفته.

الخلل الخفي العظيم

دعونا نغوص في قلب اللغز. تقدم الورقة مفهوماً يسمى العمى التقييمي. تخيل أنك معلم تصحح مقال طالب. إذا كتب الطالب مقالاً سيئاً مليئاً بالأكاذيب، ولكن نموذج التصحيح الخاص بك معطل ويعطيه درجة "امتياز" على أي حال، فأنت تعاني من "العمى التقييمي". الطالب يفشل، لكن قياسك يقول إنه ناجح.

في عالم الذكاء الاصطناعي، يحدث هذا عندما تظهر برامج الكمبيوتر التي نستخدمها للتحقق مما إذا كان الذكاء الاصطناعي يعمل بشكل صحيح (وظيفة القياس) نتيجة تبدو طبيعية، رغم أن الذكاء الاصطناعي يقوم بشيء خاطئ بالفعل. تعرف الورقة هذا رسمياً: إذا كان الذكاء الاصطناعي يفشل، ولكن أدواتنا لا تستطيع التمييز بين هذا الفشل والحالة السليمة، ولم يطلق أي إنذار آخر، فنحن أمام عمى تقييمي.

تشير المؤلفة إلى أن هذا ليس مجرد خلل عارض؛ بل هو مشكلة هيكلية يمكن أن تحدث في مرحلتين متميزتين من حياة الذكاء الاصطناعي:

1. وقت التدريب: هذا هو الوقت الذي يتعلم فيه الذكاء الاصطناعي. تخيل طالباً يذاكر لاختبار ما. إذا كان المعلم (نظام المكافأة الخاص بالذكاء الاصطناعي) يعطي الطالب بالخطأ نجمة ذهبية لأنه حفظ مفتاح الإجابة بدلاً من فهم الرياضيات، فسيحصل الطالب على درجة كاملة في الاختبار التجريبي ولكنه سيفشل في الامتحان الحقيقي. تقدم الورقة مثالاً ملموساً على ذلك: خطأ في مكتبة شهيرة مفتوحة المصدر (TRL) حيث كانت عملية حسابية خاطئة قليلاً. بدا تدريب الذكاء الاصطناعي مثالياً - فقد انخفضت "الخسارة" (درجة توضح مدى الخطأ) وارتفعت المكافآت. لكن الذكاء الاصطناعي كان في الواقع يتعلم الشيء الخاطئ لأن الرياضيات الكامنة وراء الكواليس كانت معطلة. لم يلاحظ أحد ذلك حتى قارنوا الكود بالتعليمات الأصلية.

2. وقت النشر: هذا هو الوقت الذي يكون فيه الذكاء الاصطناعي في العالم الحقيقي، يساعد الناس. هنا، يحدث "العمى" عندما تفشل أدوات المراقبة في رصد انحراف الذكاء الاصطناعي عن مساره. على سبيل المثال، إذا بدأ الذكاء الاصطناعي في تقديم إجابات مختلفة قليلاً بمرور الوقت (الانحراف/Drift) أو إذا كانت قاعدة البيانات التي يسحب منها المعلومات قديمة، فقد يقدم الذكاء الاصطناعي نصيحة خاطئة. ولكن إذا كان نظام المراقبة يتحقق فقط مما إذا كان الذكاء الاصطناعي "متصلاً" وليس "يتعطل"، فلن يرى الخطأ. تشير الورقة إلى أنه في 53% من الحوادث الواقعية التي درستها، كان الفشل صامتاً تماماً. لم تطلق أي إنذارات، ولم تظهر أي رسائل خطأ. لم يتم اكتشاف الفشل إلا عندما تضرر إنسان أو تعرض محامٍ لعقوبة.

الطرق الستة التي يمكن أن يخطئ بها الذكاء الاصطناعي (بصمت)

لمساعدتنا على فهم هذه الإخفاقات غير المرئية، أنشأت المؤلفة "تصنيفاً" (Taxonomy)، وهو مجرد كلمة منمقة لنظام تصنيف. لقد قامت بفرز 50 فشلاً واقعياً للذكاء الاصطناعي إلى ست مجموعات. فكر في هذه المجموعات كست طرق مختلفة يمكن لروبوت الطباخ أن يفسد بها الأمور دون أن تلاحظ مستشعرات المطبخ:

• C1: انحراف النموذج (التلاشي البطيء): يتغير سلوك الذكاء الاصطناعي ببطء بمرور الوقت، مثل محطة راديو تغير ترددها ببطء حتى يصبح الصوت غريباً. الذكاء الاصطناعي لم يحصل على تحديث للبرامج، بل انحرف فحسب. هذا غالباً ما يكون صامتاً لأن الذكاء الاصطناعي لا يزال "يعمل"، لكنه يعمل بشكل مختلف.
• C2: البنية التحتية (الفرن المعطل): الذكما الاصطناعي نفسه بخير، لكن الكمبيوتر أو الخادم الذي يعمل عليه يواجه مشاكل. ربما الفرن ساخن جداً، أو أن التيار الكهربائي يرتعش. عادة ما يكون من السهل رصد هذه الحالات لأن النظام يتعطل أو يصبح بطيئاً، لذا فهي ليست "عمياء" عادةً.
• C3: التكامل (المترجم السيئ): يتحدث الذكاء الاصطناعي مع أجزاء أخرى من النظام (مثل قاعدة بيانات أو أداة)، وهما لا يفهمان بعضهما البعض. ربما يطلب الذكاء الاصطناعي وصفة، لكن قاعدة البيانات ترسل قائمة مكونات من العام الماضي. ثم يطبخ الذكاء الاصطناعي بمكونات قديمة. هذا غالباً ما يكون صامتاً لأن الذكاء الاصطناعي يعتقد أنه يفعل بالضبط ما طُلب منه.
• C4: التقييم (المسطرة المكسورة): هذا هو النوع الأكثر تعقيداً وخطورة. الأداة المستخدمة لفحص الذكاء الاصطناعي معطلة. إنه يشبه استخدام مسطرة تم تمديدها لقياس طاولة؛ ستبدو الطاولة أقصر مما هي عليه في الواقع. إذا كان "فحص الجودة" لديك معطلاً، فقد تظن أن الذكاء الاصطناعي مثالي بينما هو في الواقع سيء للغاية. وجدت الورقة أن 100% من الإخفاقات في هذه الفئة هي صامتة بحكم التعريف لأن الشيء الذي من المفترض أن يكتشف الخطأ هو الشيء المعطل.
• C5: السلامة والامتثال (الوصفة غير القانونية): يكسر الذكاء الاصطناعي القواعد، مثل تقديم نصيحة طبية غير مسموح له بتقديمها أو اختلاق قضايا قانونية وهمية. تسلط الورقة الضوء على حالة شهيرة حيث استخدم محامٍ الذكاء الاصطناعي لكتابة مذكرة قضائية تتضمن ست قضايا وهمية. قام الذكاء الاصطناعي بما أُمر به، لكن الإنسان لم يتحقق من الحقائق. كان الفشل صامتاً حتى كشفه القاضي.
• C6: التشغيل (الكتيب المفقود): الذكاء الاصطناعي وأجهزة الكمبيوتر بخير، لكن الأشخاص الذين يديرونه ليس لديهم خطة لما يجب فعله عندما تسوء الأمور. لا يوجد قائمة مهام، لا يوجد إنذار، ولا أحد يعرف بمن يتصل. هذا فشل في العملية، وليس في الآلة.

الأغلبية الصامتة

أحد أكبر النتائج التي توصلت إليها الورقة مخيف نوعاً ما: 53% من إخفاقات الذكاء الاصطناعي في العالم الحقيقي التي درستها كانت صامتة. هذا يعني أن أكثر من نصف الوقت، لم تصرخ الأنظمة "أنا معطلة!". بل استمرت في العمل، وفعلت الشيء الخاطئ، حتى لاحظ شخص ما الضرر.

تجادل الورقة بأننا كنا ننظر إلى إخفاقات الذكاء الاصطناعي بالطريقة الخاطئة. نحن نميل إلى التفكير: "هل النموذج ذكي بما يكفي؟" لكن السؤال الحقيقي يجب أن يكون: "هل نظام القياس لدينا ذكي بما يكفي لضبط النموذج عندما يخطئ؟" تقترح المؤلفة أننا بحاجة إلى معاملة أدوات المراقبة لدينا كجزء حيوي من النظام، تماماً مثل المحرك في السيارة. إذا كان المحرك رائعاً ولكن عداد السرعة معطل، فستظل في خطر.

"ميزانية الفشل"

لإصلاح ذلك، تقترح المؤلفة فكرة جديدة تسمى "ميزانية الفشل". تخيل أنه يُسمح لك بعدد معين من الأخطاء في اليوم، اعتماداً على ما تفعله.

• إذا كنت تقوم بشيء خطير، مثل اتخاذ قرار بشأن منح قرض أو تقديم نصيحة طبية (يسمى قراراً حرجاً - Decision-Critical)، فإن ميزانيتك ضئيلة جداً. قد يُسمح لك بخطأ واحد فقط لكل 1,000 طلب. إذا وصلت إلى هذا الحد، تتوقف وتصلح الأمور.
• إذا كنت تقوم بشيء أقل خطورة، مثل أداة بحث داخلية لشركة (تسمى إنتاجية داخلية - Internal Productivity)، يمكنك تحمل المزيد من الأخطاء، ربما 20 خطأ لكل 1,000.
• إذا كنت تقوم بالتجربة في مختبر (تسمى تجريبية - Experimental)، يمكنك ارتكاب الكثير من الأخطاء، ربما 100 خطأ لكل 1,000، لأن لا أحد سيتضرر.

هذا الإطار يجبر الفرق على اتخاذ قرار قبل بناء الذكاء الاصطناعي: "ما هو مقدار المخاطرة التي نحن مستعدون لتحملها؟" و "هل لدينا الأدوات المناسبة لاكتشاف الأخطاء عند هذا المستوى؟" الأمر لا يتعلق فقط بجعل الذكال الاصطناعي أكثر ذكاءً؛ بل يتعلق ببناء شبكة أمان تناسب خطورة المهمة.

لماذا هذا مهم

تخلص الورقة إلى أن "العمى التقييمي" هو العدو الخفي لسلامة الذكاء الاصطناعي. سواء كان ذلك خطأ في كود التدريب يجعل الذكاء الاصطناعي يتعلم دروساً خاطئة، أو نظام مراقبة معطلاً يغفل عن انتهاك السلامة، فإن النتيجة واحدة: النظام يفشل بصمت.

المؤلفة لا تقول إن الذكاء الاصطناعي محكوم عليه بالفشل. بدلاً من ذلك، هي تقول إننا بحاجة إلى تغيير عقليتنا. لا يمكننا التركيز فقط على جعل الذكاء الاصطناعي أكثر ذكاءً، بل يجب أن نركز على جعل أدوات "الفحص" لدينا أكثر ذكاءً. نحن بحاجة إلى بناء أنظمة يمكنها اكتشاف متى ينحرف الذكاء الاصطناعي، ومتى تصبح البيانات قديمة، أو متى يتم كسر القواعد. ونحن بحاجة إلى القيام بذلك في كل مرحلة من مراحل حياة الذكاء الاصطناعي، من يومه الأول في التدريب إلى آخر يوم له في العمل.

باستخدام "ميزانية الفشل" وفهم أنواع الفشل الستة، يمكننا التوقف عن انتظار وقوع كارثة قبل أن ندرك أن ذكاءنا الاصطناعي كان أعمى طوال الوقت. إنها دعوة للعمل للمهندسين، والمحامين، وكل من يبني الذكاء الاصطناعي: افحصوا مساطركم، أصلحوا نقاط عمائكم، وتأكدوا من أن شبكات الأمان لديكم قوية بما يكفي للإمساك بالسقطات غير المرئية.