Measuring Explainer Stability via Attribution Separability
تقترح هذه الورقة إطار عمل قائماً على التوزيع لتقييم استقرار طرق الإسناد من خلال قياس قابلية الفصل لدرجات الإسناد المرتبة وتحديد موثوقية ترتيب الميزات، مما يقدم معياراً تكميلياً لمقارنة متانة المفسرات المختلفة.
المؤلفون الأصليون:Eddie Conti, Álvaro Parafita, Axel Brando
تخيل أنك تحاول فهم صندوق أسود غامض يتخذ القرارات، مثل روبوت يقرر ما إذا كان سيوافق على قرض أو يشخص مرضاً. في عالم الذكاء الاصطناعي، يُسمى هذا "الذكاء الاصطناعي القابل للتفسير". وللكشف عما بداخل الصندوق، يستخدم العلماء أدوات خاصة تسمى "طرق الإسناد" (Attribution Methods). فكر في هذه الأدوات كأنها كشاف ضوئي يسلط الضوء على الأدلة (أو الميزات) المحددة التي استخدمها الروبوت لاتخاذ قراره. إذا قال الروبوت "لا" بشأن قرض ما، فقد يسلط الكشاف الضوء على "الدخل المنخفض" و"الديون المرتفعة" كأسباب لذلك.
ومع ذلك، هناك عقبة؛ فبعض أدوات الكشاف الضوئي هذه متقلبة قليلاً. ولأنها تستخدم خطوات عشوائية لمعرفة الإجابة، فقد تشير إلى أدلة مختلفة قليلاً أو ترتبها بترتيب مختلف إذا سألتها نفس السؤال مرتين. الأمر يشبه سؤال مجموعة من الأصدان لترتيب نكهات الآيس كريم المفضلة لديهم؛ فإذا كانوا مترددين أو كانت الرياح تهب، قد يقول أحد الأصدقاء اليوم "الشوكولاتة هي رقم 1" ويقول غداً "الفراولة هي رقم 1". هذا "التقلب" يمثل مشكلة، لأنه إذا تغير التفسير في كل مرة ننظر فيها، فهل يمكننا حقاً الوثوق به؟ تتناول هذه الورقة البحثية هذا القلق تحديداً: كيف نعرف ما إذا كانت قائمة الأسباب التي يقدمها لنا الروبوت مستقرة، أم أنها مجرد ضربة حظ ناتجة عن العشوائية؟
يقترح إيدي كونتي وفريقه، مؤلفو هذه الورقة، طريقة جديدة ذكية لقياس هذا الاستقرار. فبدلاً من مجرد السؤال، "هل تغيرت الإجابة؟"، هم يسألون، "ما مدى وضوح التباعد بين الإجابات؟". إنهم يعاملون أهمية كل دليل ليس كرقم واحد ثابت، بل كسحابة من الاحتمالات. فإذا كانت السحابة الخاصة بـ "الدخل المنخفض" بعيدة عن سحابة "الديون المرتفعة"، فإن الترتيب يكون مستقراً وموثوقاً. ولكن إذا تداخلت السحب مثل بقع ضبابية ممتزجة معاً، فإن الترتيب يكون مهتزاً.
ولتصور ذلك، تخيل سباقاً حيث المتسابقون هم الأدلة. إذا كان المتسابق الأول يركض بسرعة كبيرة بعيداً عن الثاني، والثاني بعيد جداً عن الثالث، فإن الترتيب يكون واضحاً. ولكن إذا كان الجميع يركضون في حشد متقارب، فمن الصعب معرفة من هو الأول حقاً. لقد طور الباحثون "مسطرة" رياضية لقياس المسافة بين هؤلاء المتسابقين، ويسمونها "قابلية الفصل في الإسناد" (attribution separability). وقد وجدوا أنهم يستطيعون حساب رقم محدد، يسمونه k-stability. هذا الرقم يخبرك بالضبط عدد الأدلة الأولى في القائمة التي يمكنك الوثوق بها قبل أن يبدأ الترتيب في يصبح غير واضح. على سبيل المثال، إذا كانت قيمة k-stability لديك هي 3، فيمكنك أن تثق في أن الأسباب الثلاثة الأولى في الترتيب الصحيح، ولكن بعد ذلك، قد تصبح القائمة فوضوية.
عندما اختبروا هذه المسطرة على أدوات شهيرة مثل SHAP وLIME وDiCE، وجدوا بعض الأنماط المثيرة للاهتمام. اكتشفوا أن SHAP كان بشكل عام المتسابق الأكثر ثباتاً، حيث يحافظ غالباً على أدلته الأولى في خط واضح وغير متداخل، خاصة في مجموعات البيانات البسيطة. أما LIME فكان جيداً ولكنه أحياناً يصبح متذبذباً، بينما DiCE غالباً ما يركض في حشد متقارب جداً لدرجة يصعب معها معرفة من يقود. كما تحققوا مما إذا كان تشغيل الأدوات لمرات أكثر يساعد. ووجدوا أنه بالنسبة لمعظم الأدوات، كان تشغيلها 50 مرة كافياً للحصول على صورة واضحة، وأن تشغيلها لمرات أكثر لم يغير النتائج كثيراً، وهو أمر جيد لتوف توفير قدرة الحاسوب.
لا تدعي هذه الورقة أن أداة واحدة هي "الأفضل" لكل مهمة في الكون. في الواقع، يحرص المؤلفون على القول بأنه لا يوجد أداة واحدة تفوز في كل مرة؛ فالأمر يعتمد على البيانات المحددة والنموذج المستخدم. بدلاً من ذلك، هم يقدمون هذه المسطرة الجديدة كوسيلة لتمكين العلماء من مقارنة الأدوات بشكل عادل. إنهم يجادلون بأن الاستقرار هو شرط مسبق للثقة؛ فإذا لم تستطع الأداة الاتفاق باستمرار على أسبابها الأولى، فمن الصعب الاعتماد عليها في القرارات الهامة. وباستخدام طريقتهم، يمكن للباحثين الآن القول: "هذه الأداة موثوقة لأول 5 أسباب، ولكن كن حذراً مع بقية القائمة"، مما يمنحنا رؤية أكثر وضوحاً وأمانة حول كيفية تفكير هذه الصناديق السوداء للذكاء الاصطناعي حقاً.
ملخص تقني: قياس استقرار المفسر عبر قابلية الفصل في العزو
تعريف المشكلة تُستخدم طرق العزو (AMs)، أو المفسرات، على نطاق واسع لتفسير النماذج الصندوقية السوداء من خلال تعيين درجات الأهمية لميزات المدخلات. ومع ذلك، فإن العديد من طرق العزو الشائعة (مثل SHAP وLIME وDiCE) تتضمن مكونات عشوائية، مثل أخذ عينات مونت كارلو أو الاضطرابات العشوائية. تؤدي هذه العشوائية إلى تباين في درجات العزو عبر عمليات التنفيذ المختلفة، مما يثير مخاوف بشأن قابلية التكرار وموثوقية ترتيب الميزات الناتج. وبينما تناولت أعمال سابقة الاستقرار من خلال اضطرابات مستوى المدخلات (اختبار كيفية تغير التفسيرات عند تعديل المدخلات قليلاً)، يتناول هذا البحث تحدياً مختلفاً: قياس استقرار الترتيب نفسه المستمد من مثيل واحد عبر عدة عمليات تشغيل لنفس المفسر. السؤال البحثي الجوهري هو: بالنظر إلى متجه مرتب من أهمية الميزات الناتج عن طريقة عزو ما، إلى أي مدى يمكننا الوثوق في أن الميزات ذات التصنيف الأعلى هي حقاً أكثر أهمية من الميزات اللاحقة لها؟
المنهجية يقترح المؤلفون إطار عمل قائماً على التوزيع لقياس استقرار ترتيب الميزات من خلال تحليل قابلية الفصل في توزيعات درجات العزو.
النمذجة التوزيعية: بدلاً من معاملة درجات العزو كقيم حتمية، يقوم الأسلوب بنمذجة درجة كل ميزة i كتوزيع احتمالي pi، يتم تقديره من عمليات تشغيل متعددة لطريقة العزو على مثيل محدد x.
مقياس قابلية فصل العزو: لقياس مدى التمايز بين ميزتين في القائمة المرتبة، يستخدم المؤلفون مقياس مسافة d(p,q) يعتمد على التعميم المستمر لمسافة جاكارد. يحسب هذا المقياس التداخل بين توزيعين p و q: d(p,q)=1−∫supp(p)∪supp(q)max(p(x),q(x))dx∫supp(p)∩supp(q)min(p(x),q(x))dx تشير القيمة القريبة من 1 إلى قابلية فصل عالية (تداخل منخفض)، بينما تشير القيمة القريبة من 0 إلى تداخل كبير.
تعريف k-الاستقرار (k-Stability): يحدد إطار العمل k-الاستقرار باعتباره أطول طول بادئة k لقائمة الميزات المرتبة بحيث تكون جميع الأزواج المتتالية من الميزات في أعلى-k تمتلك مسافة توزيع d(pi,pj) تتجاوز عتبة محددة من قبل المستخدم. يحدد هذا النقطة في الترتيب التي يصبح عندها الترتيب غير موثوق بسبب التوزيعات المتداخلة.
إطار المقارنة: يسمح المنهج بمقارنة طرق عزو مختلفة عن طريق حساب نسبة المثيلات في مجموعة بيانات حيث تحقق إحدى الطرق k-استقرار أعلى من طريقة أخرى.
المساهمات الرئيسية
مقياس استقرار مبتكر: يقدم البحث نهجاً مستنداً إلى أسس رياضية لقياس استقرار ترتيبات طرق العزو بناءً على التحليل التوزيعي بدلاً من اضطرابات المدخلات.
التحقق الرسمي: يثبت المؤلفون أنه في الحالة المثالية حيث تكون طريقة العزو وفية تماماً وتتلاشى العشوائية، يتقارب مقياس المسافة المقترح إلى 1 (أقصى قابلية فصل). كما يوضحون تجريبياً أن المقياس حساس لدرجة الفصل بين قيم أهمية الميزات.
أداة تقييم مقارنة: يوفر إطار العمل آلية لمقارنة متانة المفسرات المختلفة (LIME، SHAP، DiCE) عبر نماذج ومجموعات بيانات متنوعة دون ادعاء التفوق المطلق لأي طريقة بمفردها.
النتائج التجريبية قيم المؤلفون الإطار على أربع مجموعات بيانات مرجعية (Diabetes، Heart Disease، Mobile، Churn) باستخدام نماذج Random Forest وSVM وLogistic Regression وDecision Tree.
تحليل قابلية الفصل: أظهرت التجارب أن SHAP أنتجت عموماً عزواً شبه حتمي (قيمة قابلية فصل تساوي 1) في مجموعات البيانات الأبسط، بينما أظهرت LIME وDiCE تبايناً أكبر. في مجموعات البيانات المعقدة، تميل قابلية الفصل إلى الانخفاض نحو "الذيل" (الميزات الأقل صلة).
مقارنات k-الاستقرار: أظهرت SHAP باستمرار قيم k-استقرار أعلى مقارنة بـ LIME وDiCE والأساس العشوائي (RAND) عبر معظم مجموعات البيانات والنماذج. وأظهرت DiCE مستويات استقرار قريبة من الأساس العشوائي في عدة حالات.
حساسية التشغيل: وجدت الدراسة أن المقياس يظهر حساسية محدودة لعدد مرات التشغيل لكل من LIME وSHAP وDiCE، مما يشير إلى إمكانية الحصول على تقديرات موثوقة بعدد معتدل من التنفيذات (على سبيل المثال، 15-30 تشغيلاً)، في حين تطلب الأساس العشوائي عدداً أكبر من التشغيلات للاستقرار.
الأهمية والادعاءات يضع هذا البحث عمله كمعيار تكميلي لتقييم طرق العزو، مع التركيز تحديداً على موثوقية ترتيب الميزات المستحث. يصرح المؤلفون صراحةً بأن هدفهم ليس إعلان تفوق طريقة عزو واحدة بشكل عالمي، إدراكاً منهم لـ "نظرية عدم وجود غداء مجاني" (No Free Lunch Theorem) في مجال التفسيرية. بدلاً من ذلك، يجادلون بأن الاستقرار هو شرط مسبق لثقة المستخدم وقابلية تعميم الرؤى.
يوفر المنهج المقترح طريقة مبدئية لتحديد "نقطة تناقص العوائد" في ترتيب الميزات—أي تحديد عدد الميزات العليا التي يمكن الوثوق بها قبل أن يصبح الترتيب غامضاً بسبب الضجيج العشوائي. يشير المؤلفون إلى القيود، بما في ذلك التركيز على البيانات الجدولية وضرورة اختيار معلمات تقدير الكثافة والعتبات. ويؤكدون أن انخفاض k-الاستقرار لا يعني بالضرورة عدم الوفاء لعملية اتخاذ القرار في النموذج، بل يشير إلى أن الطبيعة العشوائية للمفسر تجعل الترتيب المحدد للميزات غير موثوق. وبالتالي، يجب استخدام هذا المقياس جنباً إلى جنب مع أبعاد التقييم الأخرى مثل الوفاء (Faithfulness) والبساطة (Simplicity).