Evaluation Cards for XAI Metrics

ملخص تقني: بطاقات التقييم لمقاييس الذكاء الاصطناعي القابل للتفسير (XAI)

بيان المشكلة
يعاني مجال تقييم الذكاء الاصطناعي القابل للتفسير (XAI) حالياً من التجزؤ والافتقار إلى المعايير الموحدة. ورغم وجود مجموعة متنامية من الأدبيات التي تحاول تنظيم مقاييس تقييم الـ XAI، لا تزال ثلاث مشكلات رئيسية قائمة:

1. عدم الاتساق المصطلحي: تُستخدم أسماء مقاييس متطابقة لتعريفات تشغيلية مختلفة، بينما تُسمى الخصائص الجوهرية نفسها بأسماء مختلفة عبر المجموعات البحثية.
2. إغفال السياق: غالباً ما تُقدم المقاييس دون التصريح بالخصائص المحددة التي تستهدفها، أو مستوى التأسيس (تأسيس وظيفي، بشري، أو تطبيقي)، أو سياق التقييم (بنية النموذج، نمط البيانات). يؤدي هذا إلى تقديم نتائج دون المعلومات الضرورية لإعادة الإنتاج أو المقارنة الهادفة.
3. فجوات التحقق والتنفيذ: تظل العديد من المقاييس المقترحة مجرد تعريفات نظرية دون كود برمجي مرافق. علاوة على ذلك، نادراً ما يتم تقديم أدلة التحقق (مثل تحليل الحساسية أو الاستقرار)، كما نادراً ما يتم الإقرار بمخاطر "التلاعب" بالمقياس (تحقيق درجات عالية دون تحسين الخاصية المستهدفة).

تؤدي هذه المشكلات إلى مجال تنحاز فيه ممارسات التقييم نحو المهام الوكيلة ذات التأسيس الوظيفي، بينما تظل الأساليب ذات التأسيس البشري والتطبيقي ممثلة تمثيلاً ناقصاً. إن غياب التقارير المهيكلة يمنع إجراء التحليل التلوي (meta-analysis) ويحجب مدى صحة الادعاءات المتعلقة بجودة التفسير.

المنهجية
تعتمد هذه الورقة نهج المراجعة الشاملة (meta-review)، حيث قامت بتحليل أحد عشر استطلاعاً حول مقاييس تقييم XAI نُشرت بين عامي 2021 و2025. يقوم المؤلفون بتوليف الفجوات المتكررة التي تم تحديدها عبر هذه الاستطلاعات لتوصيف الحالة الراهنة للمجال. وبدلاً من اقتراح مقياس تقييم جديد أو تصنيف جديد، يقترح المؤلفون إطار عمل للتوثيق.

المنهجية الجوهرية هي تصميم "بطاقة تقييم XAI" (XAI Evaluation Card)، وهي قالب توثيق مهيكل يشبه "بطاقات النماذج" (Model Cards) و"أوراق بيانات مجموعات البيانات" (Datasheets for Datasets). تم تصميم البطاقة لترافق أي دراسة تقدم مقياس تقييم جديد لـ XAI، مما يجبر المؤلفين على التصريح صراحةً بالمعلومات الحرجة التي غالباً ما تُغفل حالياً.

المساهمات الرئيسية
المساهمة الرئيسية هي بطاقة تقييم XAI، وهي قالب مكون من أربعة أقسام مصمم لتوحيد تقارير مقاييس تقييم XAI:

1. الهوية (Identity): تتطلب اسم المقياس، وقائمة بجميع خصائص التفسير التي يجسدها (مع مراجع للتعريفات)، وإعلان مستوى تأسيسه (تأسيس وظيفي، بشري، أو تطبيقي).
2. النطاق والسياق (Scope and Context): تفرض وصف سياق التقييم (بنية النموذج، نمط البيانات، النطاق المحلي مقابل العالمي) وحصر صريح لجميع افتراضات المقياس (مثل استقلالية الميزات، الخطية، وتوافر المراجع الأساسية).
3. التنفيذ والتحقق (Implementation and Validation): تتطلب من المؤلفين ذكر توافر التنفيذ البرمجي (مع الروابط)، وتلخيص أدلة التحقق (الحساسية، الاستقرار، الارتباط)، ووصف مخاطر التلاعب، وتوثيق حالات الفشل المعروفة.
4. العلاقات والقيود (Relationships and Limitations): تطلب من المؤلفين إدراج العلاقات مع المقاييس الأخرى التي تستهدف نفس الخاصية، وتدوين نقاط الاتفاق أو الاختلاف، وتحديد أولويات الخصائص لسيناريوهات نشر محددة في حال حدوث تعارض، والتصريح صراحةً بالقيود والسياقات التي لا ينبغي استخدام المقياس فيها.

كما توضح الورقة استراتيجية للتبني، تقترح التكامل مع قوائم التحقق من إعادة الإنتاج الموجودة في المحافل العلمية الكبرى، واستخدام قوالب خفيفة (Markdown، LaTeX، JSON)، واستخدام المسودات المدعومة بالنماذج اللغوية الكبيرة (LLM) لتقليل تكاليف التأليف.

النتائج
باعتبارها ورقة اقتراح، لا تقدم هذه الدراسة نتائج تجريبية أو تحققاً تجريبياً لمقياس جديد. بدلاً من ذلك، تتمثل "النتائج" في تحديد أنماط فشل محددة ومتكررة في الأدبيات صُممت بطاقة التقييم لمعالجتها:

• خلط الخصائص بالمقاييس.
• تقديم درجات المقياس بمعزل عن السياق.
• غياب تحليل الحساسية والاستقرار في المقترحات الأصلية.
• عدم الاتساق في الإبلاغ عن توافر التنفيذ البرمجي.
• الفشل في الإقرار باختلافات المقاييس أو مخاطر التلاعب.

تجادل الورقة بأن القالب يعالج مباشرة هذه المشكلات الخمس المحددة.

الأهمية والادعاءات
تدعي الورقة أن بطاقة تقييم XAI تعالج مشكلة مركزية لم تحظَ بالاهتمام الكافي، وهي: نقص الشفافية في تقارير التقييم. ومن خلال اعتماد هذا القالب كعرف مجتمعي، يرى المؤلفون أن المجال يمكنه تحقيق ما يلي:

• تقليل التجزؤ: توحيد التوثيق لجعل المقاييس قابلة للمقارنة.
• تحسين المساءلة: جعل الافتراضات والقيود وشروط الصحة صريحة وواضحة.
• تعزيز التحليل التلوي (Meta-Analysis): إنشاء سجلات مهيكلة وقابلة للقراءة آلياً تسم تسمح بتجميع ومقارنة نتائج التقييم عبر الدراسات المختلفة.
• الصلاحية السياقية: ضمان عدم تقديم قيم المقاييس بمعزل عن السياق، بل أن تكون دائماً مصحوبة بالسياق اللازم للتفسير.

يؤكد المؤلفون أن البطاقة غير إلزامية؛ فهي لا تفرض مقاييس أو مستويات تأسيس محددة، بل تتطلب فقط التصريح الصريح بأي خيارات يتخذها المؤلفون. الهدف النهائي هو نقل معايير التقييم نحو مزيد من الدقة وإعادة الإنتاج دون فرض نموذج تقييم واحد.