An Explainable Artificial Intelligence Framework for Decision-Making in Critical Information Technology Systems

تخيل أنك تلعب لعبة فيديو عالية المخاطر حيث يساعدك حاسوب فائق الذكاء في محاربة الوحوش الرقمية. هذا الحاسوب بارع جدًا في التنبؤ بمكان ضربات الوحوش لدرجة أنه أصبح اللاعب الأكثر قيمة في الفريق. لكن هناك عقبة: هذا الحاسوب عبارة عن "صندوق أسود". فهو يتخذ تحركاته، لكنه لا يخبرك لماذا يعتقد أن ظلاً معينًا هو وحش وليس مجرد خدعة من الضوء. في العالم الحقيقي، تعمل هذه الحواسيب "الصندوق الأسود" في أماكن حرجة مثل أمن الإنترنت، واتخاذ القرارات في المستشفيات، وشبكات السحابة. وإذا ارتكب الحاسوب خطأً، فقد يؤدي ذلك إلى تعطل شبكة كاملة أو تفويت هجوم سيبراني حقيقي.

هنا يأتي دور الذكاء الاصطناعي القابل للتفسير (XAI). فكر في (XAI) كأنه مترجم أو محقق يقف بجانب الحاسوب ويقول: "مهلًا، أعلم أنك عبقري، ولكن هل يمكنك شرح منطقك للبشر؟". تتناول الورقة التي نطلع عليها مشكلة كبيرة: بينما نمتلك أدوات رائعة لجعل هذه الحواسيب تتحدث، إلا أنها غالبًا ما تتحدث بلغة تقنية مربكة أو تعطي إجابات تتغير في كل مرة تسأل فيها. يريد المؤلف بناء نظام أفضل حيث يكون تفسير الحاسوب واضحًا، وموثوقًا، ويساعد المشغل البشري فعليًا في اتخاذ القرار الصحيح، بدلاً من مجرد إرباكه أو جعله يثق بالآلة ثقة عمياء.

---

مهمة الورقة: بناء فريق موثوق

نظر مؤلف هذه الورقة، ساي دوندي كوثابالي، في 32 ورقة بحثية مختلفة نُشرت بين عامي 2019 و2025 (بالإضافة إلى بعض الأعمال التأسيسية الأقدم) لمعرفة كيف يمكننا جعل هذه الأنظمة الحاسوبية الحرجة أكثر شفافية. لم يكتفوا بالنظر في الرياضيات فحسب؛ بل نظروا في كيفية استخدام خبراء الأمن والأطباء ومشغلي تكنولوجيا المعلومات لهذه التفسيرات في العالم الحقيقي.

إليك ما وجدوه، مقسمًا إلى قصص بسيطة:

1. "المجيب السحري" مقابل "المحقق الصادق"

وجدت الورقة أن معظم الناس يستخدمون حاليًا أداتين محددتين للحصول على تفسيرات من هذه الصناديق السوداء: SHAP و LIME.

• LIME يشبه محققًا سريعًا ونشيطًا يركض حول مسرح الجريمة، يلمس الأشياء ليرى ماذا سيحدث. إنه سريع ورائع للفحص السريع، ولكنه أحيانًا يكون مهتزًا قليلاً. إذا سألته نفس السؤال مرتين، فقد يعطيك إجابتين مختلفتين قليلاً. في موقف أمني عالي المخاطر، هذا التباين يعد أمرًا خطيرًا.
• SHAP يشبه محققًا دقيقًا وبطيء الحركة يستخدم كتاب قواعد رياضية معقد (يعتمد على نظرية الألعاب) ليعرف بالضبط مقدار مساهمة كل دليل في الحكم النهائي. إنه أكثر اتساقًا وموثوقية، ولكنه يستغرق وقتًا أطول بكثير في الحساب. إذا كان لديك كمية هائلة من البيانات، فقد يتعثر (SHAP)، مثل محقق يحاول قراءة مليون كتاب قبل تقديم إجابة.

تشير الورقة إلى أنه بينما يعد SHAP المفضل حاليًا لأنه أكثر موثوقية، لا يمكننا الاعتماد على أداة واحدة فقط. نحن بحاجة إلى اختيار "المحقق" المناسب للمهمة. فإذا كنت بحاجة إلى قرار في جزء من الثانية أثناء هجوم سيبراني، فإن التفسير المثالي البطيء قد يكون بلا فائدة.

2. فخ "أفضل مما ينبغي أن يكون"

أحد أكثر النتائج إثارة للاهتمام هو أن امتلاك تفسير لا يجعل البشر أذكى دائمًا. في الواقع، تشير الورقة إلى أن التفسيرات يمكن أن تجعل الناس يثقون أكثر من اللازم.
تخيل حارس أمن يرى الحاسوب يقول: "هذا مخترق!" ويضيف الحاسوب: "أنا متأكد بنسبة 99% بسبب هذه الأرقام الثلاثة". قد يتوقف الحارس عن التفكير بنفسه ويضغط ببساطة على زر "الحظر". تحذر الورقة من أنه إذا تم تصميم التفسير بشكل سيئ، فقد يجعل المشغل البشري أقل تفاعلاً أو مفرط الثقة، مما يؤدي إلى وقوع أخطاء. الهدف ليس مجرد عرض الأرقام؛ بل هو مساعدة الإنسان على التفكير بشكل نقدي في الموقف.

3. "ساندوتش الثقة" ذو الطبقات الخمس

لإصلاح هذه المشكلات، يقترح المؤلف طريقة جديدة لبناء هذه الأنظمة، والتي يسميها إطار العمل ذو الطبقات الخمس. فكر في الأمر كبناء ساندوتش حيث لكل طبقة وظيفة محددة:

1. طبقة البيانات: هذا هو الخبز السفلي، الذي يجمع كل المعلومات الخام (مثل سجلات الشبكة أو بيانات الاستشعار).
2. طبقة الذكاء الاصطناعي: هذا هو اللحم، حيث يقوم الحاسوب الذكي بتوقعه (على سبيل المثال: "هذا هجوم").
3. طبقة التفسير: هذه هي الصلصة الخاصة. تأخذ توقع الذكاء الاصطناعي وتترجمه إلى سبب (على سبيل المثال: "إنه هجوم بسبب هذه الأنماط الغريبة المحددة").
4. الطبقة البشرية: هذا هو الخبز العلوي. إنها الواجهة حيث يرى المشغل البشري التفسير ويتخذ القرار النهائي. ومن الضروري تصميم هذه الطبقة بحيث يشعر الإنسان بالقدرة على قول: "أنا لا أصدق هذا"، وتجاوز قرار الحاسوب.
5. طبقة الحوكمة: هذا هو الغلاف الذي يحافظ على تماسك كل شيء. إنه يسجل كل قرار، وكل تفسير، وكل مرة قام فيها الإنسان بتجاوز قرار الذكاء الاصطناعي. هذا يخلق مسارًا ورقيًا بحيث يمكننا لاحقًا، إذا حدث خطأ ما، أن نرى بالضبط ما حدث.

4. ما الذي ينقصنا؟

تعترف الورقة بأننا لم نصل إلى هناك بعد. لا تزال هناك عقبات كبيرة:

• الاستقرار: نحتاج إلى تفسيرات لا تتغير في كل مرة تقوم فيها بتحديث الصفحة.
• السرعة: نحتاج إلى تفسيرات سريعة بما يكفي لحالات الطوارئ في الوقت الفعلي.
• التقنين: لا يوجد بعد "كتاب قواعد" واحد لما يعتبر تفسيرًا "جيدًا". لدى الدول والشركات المختلفة أفكاف مختلفة حول ما هو كافٍ.
• التقنيات الجديدة: تشير الورقة إلى أن أدوات أحدث، مثل النماذج اللغوية الكبيرة (LLMs) التي يمكنها كتابة تفسيرات بلغة إنجليزية بسيطة، بدأت للتو في الظهور. ورغم أنها تبدو رائعة، إلا أننا لا نعرف بعد ما إذا كانت دقيقة بما يكفي ليتم الوثوق بها في القرارات المصيرية.

الخلاصة

تخلص الورقة إلى أنه لا يمكننا مجرد وضع ملصق "الذكاء الاصطناعي القابل للتفسير" على حاسوب معقد والقول بأن المهمة انتهت. وتقترح أنه لجعل هذه الأنظمة آمنة وموثوقة، نحتاج إلى التوقف عن معاملة التفسيرات كأمر ثانوي. بدلاً من ذلك، نحتاج إلى بنائها داخل النظام منذ البداية، وربط الرياضيات، والمشغل البشري، وقواعد اللعبة في حلقة واحدة متماسكة.

تقترح المؤلف أن المستقبل لا يتعلق بإيجاد أداة سحرية مثالية واحدة، بل بخلق نظام منسق حيث يتم تقديم التفسير المناسب للشخص المناسب في الوقت المناسب، مع سجل واضح لمن اتخذ القرار النهائي. إنها دعوة للانتقال من سحر "الصندوق الأسود" إلى شراكة شفافة ومسؤولة بين البشر والآلات.