Challenges in Evaluating Explanation Methods for Static and Evolving Data

تخيل أنك بنيت روبوتًا فائق الذكاء يمكنه النظر إلى صورة وإخبارك بدقة بما تحتويه. إنه أمر مذهل، ولكن هناك عقبة: الروبوت عبارة عن "صندوق أسود". فهو يعطيك الإجابة، لكنه لا يخبرك كيف توصل إليها. إنه يشبه الساحر الذي يخرج أرنبًا من القبعة ولكنه يرفض أن يريك الخدعة. في عالم الذكاء الاصطناعي (AI)، يمثل هذا مشكلة كبيرة. فإذا كان الروبوت يتخذ قرارات تتعلق بحياة أو موت — مثل تشخيص مرض أو رصد مشكلة في سفينة فضائية — فنحن بحاجة لمعرفة لماذا اتخذ هذا الخيار. هذا المجال، المسمى بالذكاء الاصطناعي القابل للتفسير (XAI)، يحاول فتح هذا الصندوق الأسود وإظهار عملية التفكير لدى الروبوت. ولكن هنا تكمن الحبكة: بينما نمتلك أطنانًا من الطرق الجديدة لاستراق النظر داخل الصندوق، إلا أننا سيئون جدًا في التحقق مما إذا كانت هذه النظرات مفيدة حقًا أم أنها مجرد تخيلات. الأمر يشبه امتلاك مئات المصابيح اليدوية المختلفة للنظر في الظلام، ولكن لا أحد قد اختبر ما إذا كانت تضيء المسار بالفعل أم أنها تعمي أبصارك فقط.

هذه الورقة البحثية هي بمثابة جرس إنذار من الباحث جيرزي ستيفانوفسكي، الذي يجادل بأننا نتسرع في اختراع أدوات تفسير جديدة دون اختبارها بشكل صحيح. هو يقترح أن العديد من الأساليب الحالية تشبه "أوهام التقدم"؛ فهي تبدو رائعة ولكنها قد لا تكون مفيدة في العالم الحقيقي. تستكشف الورقة طريقتين رئيسيتين لإصلاح ذلك. أولاً، تنظر في كيفية استخدام هذه الأدوات لرصد متى يكون الروبوت غير عادل أو متحيزًا (مثل الاعتقاد بأن الشخص الذي يرتدي ربطة عنق هو رجل، حتى لو لم يكن كذلك). ثانيًا، تتناول المشكلة المعقدة للروبوتات التي يتعين عليها التعلم بينما يتغير العالم من حولها. تخيل روبوتًا يتعلم التعرف على الحيوانات، ثم تبدأ الحيوانات في ارتداء القبعات أو يتغير الإضاءة؛ قد تصبح تفسيرات الروبوت القديمة عديمة الفائدة. يوضح المؤلف أننا بحاجة للتوقف عن مجرد عد مدى "دقة" التفسير على الورق والبدء في سؤال البشر الحقيقيين عما إذا كانوا يفهمونه بالفعل. كما يقترح أنه بدلًا من اختيار "أفضل" تفسير واحد فقط، يجب تقديم عدة خيارات مختلفة حتى يتمكن الناس من اختيار التفسير الذي يبدو منطقيًا بالنسبة لهم.

خدعة الروبوت السحرية والمصباح اليدوي المكسور

فكر في أنظمة الذكاء الاصطناعي الحديثة كساحرين موهوبين للغاية ولكن غامضين. يمكنهم النظر إلى صورة قطة وقول: "هذه قطة!" بثقة تبلغ 99%. ولكن إذا سألتهم: "لماذا؟" يكتفون بالنظر إليك بصمت. هذه هي مشكلة "الصندوق الأسود". في مجالات مثل الطب أو الطيران، حيث يمكن أن تكون الأخطاء خطيرة، لا يمكننا مجرد الثقة بالساحر؛ نحن بحما رؤية الخدعة. هنا يأتي دور الذكاء الاصطناعي القابل للتفسير (XAI). إنه علم بناء مصباح يدوي لتسليط الضوء داخل الصندوق الأسود حتى يتمكن البشر من رؤية لماذا اتخذ الذكاء الاصطناعي قرارًا ما.

ومع ذلك، تشير الورقة إلى خلل كبير في نهجنا الحالي. لقد اخترعنا عشرات المصابيح اليدوية المختلفة (أساليب مثل خرائط البروز، والسيناريوهات المقابلة، والنماذج الأولية)، لكننا لم نقم بعمل جيد في اختبار ما إذا كانت تعمل بالفعل. الأمر يشبه متجر ألعاب يبيع آلاف المصابيح اليدوية المختلفة، ولكن لم يتم اختبار أي منها لمعرفة ما إذا كانت تضيء غرفة مظلمة بالفعل أم أنها تصنع فقط أشكالًا غريبة على الجدار. يجادل المؤلف بأننا عالقون في حلقة مفرغة من إنشاء أدوات جديدة دون التحقق مما إذا كانت مفيدة حقًا، مما يؤدي إلى "وهم التقدم".

حالة الروبوت المتحيز وربطة العنق

لتوضيح أهمية الاختبار، تنظر الورقة في مشروع محدد يسمى DetoxAI. تخيل روبوتًا تم تدريبه على التعرف على الوجوه. قد تعتقد أنه ينظر فقط إلى العينين والأنف، لكن الورقة تكشف أن الروبوت يمكنه الاعتماد على طرق مختصرة. على سبيل المثال، في مجموعة بيانات لأشخاص مشهورين، لاحظ الروبوت أن الأشخاص الذين يرتدون ربطات عنق كانوا دائمًا تقريبًا رجالًا. لذا، بدلًا من النظر إلى ملامح الوجه، بدأ باستخدام "ربطة العنق" كطريق مختصر لتخمين الجنس. هذا هو التحيز — خطأ في منطق الروبوت يؤدي إلى نتائج غير عادلة.

استخدم الباحثون أدوات XAI لتسليط الضوء على عقل الروبوت. وجدوا أن الروبوت كان يركز بالفعل بشكل كبير على ربطة العنق. وبمجرد رؤية ذلك، تمكنوا من جعل الروبوت "يتعلم عدم فعل ذلك"، وتدريبه على تجاهل ربطة العق وتوجيه نظره إلى الوجه بدلاً من ذلك. توضح الورقة أنه باستخدام أدوات التفسير هذه، استطاعوا قياس مدى تحسن الروبوت بدقة. لم يكن الأمر مجرد تخمين؛ بل كانت هناك أرقام تظهر أن الروبوت أصبح أكثر عدلًا. هذا يثبت أن التفسيرات ليست للعرض فقط؛ بل هي ضرورية لإصلاح الذكاء الاصطناعي المعطل.

الاختبار البشري: هل نفهم حقًا؟

يطرح الجزء الثاني من الورقة سؤالًا بسيطًا ولكنه صعب: "هل يفهم البشر هذه التفسيرات حقًا؟" يلاحظ المؤلف أن معظم الدراسات تكتفي بسؤال "هل أعجبك هذا التفسير؟" ثم تنتقل لما بعده. لكن الورقة تجادل بأننا بحاجة للقيام بالأفضل من ذلك.

لاختبار ذلك، أجرى الباحثون استطلاعًا مع 148 شخصًا (طلاب وموظفين) ممن ليسوا خبراء في الذكاء الاصطناعي. عرضوا عليهم صورًا لحيوانات (مثل الزيبرا، والنمور، والباندا) وثلاثة أنواع مختلفة من "المصابيح اليدوية" (أساليب التفسير) التي سلطت الضوء على سبب اعتقاد الروبوت أنها زيبرا.

• النتيجة: لم يكتفِ الناس بالاختيار العشوائي؛ بل فضلوا طريقة تسمى ProtoPNet على غيرها.
• المفاجأة: الطريقة التي أحبها الناس لم تكن بالضرورة هي الطريقة "المثالية" رياضيًا في اختبار حاسوبي. بل كانت الطريقة التي تتوافق مع ما اعتبره البشر مهمًا. على سبيل‌ سبيل المثال، عند النظر إلى نمر، أراد الناس رؤية الخطوط مسلطًا عليها الضوء. وقد قامت طريقة ProtoPNet بذلك بأفضل شكل.
• الدرس المستفاد: تقترح الورقة أنه إذا أردنا أن تكون التفسيرات مفيدة، فعلينا تصميمها للبشر، وليس للحواسيب فقط. نحن بحاجة لاختبارها مع بشر حقيقيين، تمامًا كما يختبر المعلم خطة دراسية مع طلاب حقيقيين، وليس فقط من خلال قراءة الكتاب المدرسي.

الهدف المتحرك: عندما يتغير العالم

التحدي الأخير الذي تتناوله الورقة هو "الهدف المتحرك". معظم تفسيرات الذكاء الاصطناعي مصممة لعالم يبقى ثابتًا. ولكن في الحياة الواقعية، تتغير الأشياء. وهذا ما يسمى بـ انزياح المفاهيم (concept drift). تخيل روبوتًا يتعلم التعرف على السيارات. إذا تم تدريب الروبوت على صور سيارات من عام 2010، ثم انتقل العالم فجأة إلى السيارات الكهربائية التي لا تحتوي على أنابيب عادم، فقد تصبح تفسيرات الروبوت القديمة خاطئة ومربكة، مثل قوله: "أعرف أنها سيارة بسبب أنبوب العادم". هذا التفسير الآن خاطئ ومربك.

تستكشف الورقة كيفية تحديث هذه التفسيرات عندما تتغير البيانات. بدلًا من مجرد إعادة تدريب الروبوت، حاول الباحثون تتبع كيف تتغير "الأسباب" وراء القرارات بمرور الوقت. استخدموا طريقة تتضمن السيناريوهات المقابلة (counterfactuals) (التي تطرح أسئلة "ماذا لو؟"، مثل "ماذا لو كان لهذه السيارة أنبوب عادم؟"). وجدوا أنه من خلال مراقبة كيفية تغير إجابات "ماذا لو" هذه، يمكنهم رصد متى ولماذا يتغير منطق الروبوت بالضبط. الأمر يشبه مراقبة إبرة البوصلة وهي تتأرجح؛ إذا تأرجحت كثيرًا، فأنت تعلم أن المجال المغناطيسي (البيانات) قد تغير.

الخلاصة الكبرى

تخلص الورقة إلى أننا عالقون حاليًا في مرحلة نمتلك فيها الكثير من الأدوات والقليل من الاختبارات.

• ما نحتاجه: يجب أن نتوقف عن مجرد قياس مدى "دقة" التفسير على الحاسوب ونبدأ في قياس ما إذا كان يساعد الإنسان على اتخاذ قرار أفضل.
• المستقبل: نحن بحاجة إلى المزيد من التجارب مع أشخاص حقيقيين، وأدوات أفضل للتعامل مع البيانات المتغيرة، وطريقة لتقديم تفسيرات متعددة حتى يتمكن الناس من اختيار التفسير الذي يبدو منطقيًا لهم.

لا يقول المؤلف إننا قد حللنا المشكلة. في الواقع، هو يقترح أننا لا نزال في البداية فقط. ولكن من خلال التعامل مع التفسيرات كأدوات للبشر وليس مجرد مسائل رياضية، يمكننا بناء أنظمة ذكاء اصطناعي ليست ذكية فحسب، بل جديرة بالثقة وعادلة أيضًا. الهدف ليس مجرد جعل الروبوت يشرح نفسه؛ بل هو التأكد من أن التفسير يساعدنا حقًا في فهم العالم.