Benchmarking Individual and Ensemble XAI Methods for Arabic Transformer-Based Text Classification
تقدم هذه الورقة بحثاً مرجعياً شاملاً لطرق الذكاء الاصطناعي القابل للتفسير، الفردية منها والجماعية، لتصنيف النصوص العربية القائمة على نماذج المحولات (Transformer)، كاشفةً أنه في حين يوفر التجميع الانتقائي تحسينات طفيفة في الموثوقية المتمحورة حول النموذج، فإنه لا يعزز بشكل كبير المعقولية المتمحورة حول الإنسان، إلى جانب تقديم طريقة مؤتمتة ومنخفضة التكلفة لاختيار المبررات.
في عالم الذكاء الاصطناعي المعاصر، أصبحت الحواسيب بارعة بشكل ملحوظ في قراءة وفهم اللغة البشرية. يمكنها فرز آلاف التغريدات للعثور على الأصوات الغاضبة، أو مسح المراجات لتحديد ما إذا كان العميل سعيداً أم محبطاً. هذه الأنظمة، المبنية على هياكل معقدة تسمى "المحولات" (transformers)، تعمل مثل محركات قوية تعالج النصوص من خلال النظر في كيفية ارتباط الكلمات ببعضها البعض داخل الجملة. ومع ذلك، هناك عقبة: فبينما تبرع هذه المحركات في اتخاذ القرارات، إلا أنها غالباً ما تكون "صناديق سوداء" غامضة. فعندما يقرر الكمبيوتر أن جملة معينة هي خطاب كراهية أو إيجابية، فإنه لا يشرح بطبيعة الحال أي الكلمات أدت به إلى هذا الاستنتاج. وهذا النقص في الشفافية يمثل مشكلة، خاصة في المواقف الحرجة حيث يكون فهم "السبب" وراء القرار لا يقل أهمية عن القرار نفسه. وقد طور العلماء أدوات لتسليط الضക്ക് الضوء داخل هذه الصناديق السوداء، وهو مجال يُعرف بالذكاء الاصطناعي القابل للتفسير. تحاول هذه الأدوات تسليط الضوء على كلمات أو عبارات محددة اعتبرها نموذج الكمبيوتر الأكثر أهمية عندما اتخذ تنبؤاً ما. ومع ذلك، بالنسبة للغات مثل العربية، الغنية باللهجات والبنى اللغوية المعقدة، لا يزال من غير الواضح أي من أدوات التفسير هذه تعمل بشكل أفضل، أو ما إذا كان دمجها معاً يخلق صورة أوضح من استخدامها بمفردها.
لقد وضع فريق من الباحثين في جامعة الحسن الثاني بالدار البيضاء نصب أعينهم حل حالة عدم اليقين هذه من خلال وضع أشهر أدوات التفسير تحت الاختبار. وقد ركزوا على مهمتين مختلفتين تماماً: تحديد المشاعر في النص، مثل ما إذا كانت المراجعة إيجابية أم سلبية، وكشف خطاب الكراهية. وللقيام بذلك، قاموا بتدريب ثلاثة نماذج كمبيوتر مختلفة مصممة خصيصاً للغة العربية، ثم طلبوا من أربع طرق تفسير متميزة تبرير قرارات النماذج. هذه الطرق، والتي تشمل تقنيات تختبر كيف تتغير التنبؤات عند حذف الكلمات أو تغييرها، لم تُقيّم فقط بناءً على ما إذا كانت تبدو منطقية للبشر، بل أيضاً على مدى دقة عكسها للمنطق الداخلي لنموذج الكمبيوتر نفسه. كما اختبر الباحثون طريقة مؤتمتة جديدة لتحديد عدد الكلمات التي يجب تسليط الضوء عليها بالضبط في التفسير، بهدف إيجاد توازن بين أن يكون التفسير غامضاً للغاية أو محدداً للغاية.
كشفت الدراسة أنه بينما لم تكن أي أداة واحدة مثالية، فإن دمج طريقتين محددتين — إحداهما تتعلم من التغييرات الصغيرة في النص، والأخرى تحسب المساهمة الرياضية لكل كلمة — قد أنتج النتائج الأكثر موثوقية. فعندما زاوج الباحثون بين هذين النهجين، كان التفسير الناتج أكثر دقة قليلاً في عكس منطق النموذج الحقيقي مقارنة باستخدام كل أداة بمفردها. وكان هذا التحسن ثابتاً عبر كل من تحليل المشاعر وكشف خطاب الكراهية، مما يشير إلى أن الفائدة حقيقية وليست مجرد صدفة ناتجة عن مجموعة بيانات محددة. ومع ذلك، كان هذا التحسن متواضعاً؛ إذ لم يؤدِ النهج المدمج إلى إحداث ثورة في جودة التفسير، بل قدم فقط دفعة صغيرة ذات دلالة إحصائية في الموثوقية. ووجد الباحثون أن مجرد إضافة المزيد من الأدوات إلى المزيج لم يساعد؛ بل في الواقع، أدى إدراج طريقة ثالثة أو رابعة أحياناً إلى جعل التفسير أسوأ. وهذا يشير إلى أن جودة التفسير تعتمد على اختيار الشركاء المناسبين أكثر من امتلاك حشد كبير منهم.
ولعل الاكتشاف الأكثر إثارة للدهشة هو أن الالتزام بمنطق الكمبيوتر لا يعني دائماً أن يكون مقنعاً للإنسان. فقد قارن الباحثون التفسيرات المولدة حاسوبياً بمجموعة من النصوص التي قام فيها البشر بتحديد الكلمات التي يعتقدون أنها مهمة يدوياً. ووجدوا أن الطريقة التي أدت أفضل أداء في محاكاة المنطق الداخلي للكمبيوتر لم تكن بالضريد هي تلك التي تطابقت بشكل أفضل مع التدوينات البشرية. وفي بعض الحالات، كانت الأداة الأكثر دقة في محاكاة رياضيات الآلة أفضل بفارق ضئيل فقط في التوافق مع الحدس البشري من أداة كانت أقل دقة بالنسبة للآلة. وهذا التمييز أمر بالغ الأهمية: فهو يعني أن النظام يمكن أن يكون صحيحاً تقنياً بشأن كيفية عمله دون أن يكون بالضرورة مفهوماً للشخص الذي يقرأ التفسير. وتخلص الدراسة إلى أنه لفهم هذه الأنظمة حقاً، يجب علينا تقييمها من كلا المنظورين — منظور الآلة ومنظور الإنسان — بدلاً من افتراض أن أحدهما يضمن الآخر.
ولجعل هذه التفسيرات عملية، قدم الفريق أيضاً طريقة مؤتمتة جديدة لتحديد عدد الكلمات التي يجب تسليط الضوء عليها. تقليدياً، كان على الباحثين تخمين رقم أو وضع قاعدة ثابتة، مما أدى غالباً إلى تفسيرات إما طويلة جداً أو قصيرة جداً. أما الطريقة الجديدة فتنظر إلى نمط درجات الأهمية وتجد تلقائياً النقطة التي تنخفض عندها أهمية الكلمات بشكل حاد، تماماً كما قد يلاحظ المتنزه تغيراً مفاجئاً في التضاريس ليقرر أين ينتهي المسار. هذا النهج لا يتطلب أي إعدادات يدوية ويعمل بسرعة أكبر بكثير من التقنيات المؤتمتة الحالية، حيث يستغرق جزءاً من الثانية فقط لمعالجة الجملة. وبينما لم يتفوق على كل الطرق الأخرى في كل فئة، فقد قدم وسيلة فعالة للغاية لتوليد تفسيرات موجزة وذات صلة دون الحاجة إلى تدخل بشري لتعديل الإعدادات. إن هذا العمل يوفر خارطة طريق واضحة للمطورين الذين يعملون مع النصوص العربية، موضحاً أنه بينما يمكن أن يساعد دمج الأدوات، فإن الاستراتيجية الأكثر فعالية تتضمن الاختيار الدقيق والفهم الواضح بأن ما هو صحيح رياضياً بالنسبة للنموذج ليس بالضرورة ما يبدو منطقياً للقارئ البشري.
ملخص تقني: تقييم أداء طرق التفسير الذكاء الاصطناعي القابلة للتفسير (XAI) الفردية والجماعية لنماذج المحولات (Transformer) المخصصة لتصنيف النصوص باللغة العربية
بيان المشكلة
بينما حققت النماذج القائمة على المحولات (Transformers) أداءً فائقاً في معالجة اللغات الطبيعية (NLP)، إلا أن بنيتها المعقدة غالباً ما تجعل تنبؤاتها صعبة التفسير. يهدف الذكاء الاصطناعي القابل للتفسير (XAI) إلى معالجة ذلك من خلال تقديم مسوغات يمكن للبشر فهمها. ومع ذلك، لا يزال تطبيق XAI على معالجة اللغات الطبيعية العربية غير مستكشف بشكل كافٍ مقارنة باللغة الإنجليزية. ركزت الدراسات الحالية حول XAI للغة العربية بشكل كبير على طرق التفسير الفردية، مما ترك فجوة في الأدلة المنهجية المتعلقة بـ طرق التفسير الجماعية (Ensemble methods). علاوة على ذلك، فإن جودة التفسير متعددة الأبعاد؛ حيث إن التحسينات في الأمانة (Faithfulness) (مدى عكس التفسير لسلوك النموذج الداخلي) لا ترتبط بالضرورة بـ المعقولية (Plausibility) (الاتفاق مع المسوغات الموضحة بشرياً). هناك حاجة إلى معايير مرجعية مضبوطة تقارن بين طرق الإسناد الفردية والجماعية عبر نماذج محولات عربية ومهام متعددة، مع تقييم كل من الأمانة والمعقولية.
المنهجية
تضع الدراسة إطار عمل شامل لتقييم طرق XAI الفردية والجماعية لتصنيف النصوص العربية.
1. الإعداد التجريبي
مجموعات البيانات: تم استخدام ثلاث مجموعات بيانات عربية:
D1 (Tweet Sentiment Multilingual): استُخدمت للتقييم الأساسي للأمانة (3,033 حالة).
D2 (HateDay): استُخدمت للتقييم عبر المهام في كشف خطاب الكراهية (2,000 حالة).
النماذج: تم تقييم ثلاثة نماذج محولات عربية مدربة مسبقاً ومعدلة بدقة:
CAMeLBERT-MSA: تم تعديله بدقة على مجموعات بيانات تحليل المشاعر.
AraBERT-Arabic-SA: تم تعديله بدقة على تغريدات عربية (بما في ذلك اللهجة السعودية).
MarBERT-HateSpeech: تم تعديله بدقة للكشف الثنائي عن خطاب الكراهية.
طرق XAI: تم اختبار أربع طرق إسناد فردية: LIME، وSHAP، والتدرجات المتكاملة (IG)، وDeepLIFT.
استراتيجية التجميع (Ensemble Strategy): تم تنفيذ إطار عمل تجميعي حيث يتم تطبيع متجهات الإسناد على مستوى الرمز (token-level) بشكل مستقل باستخدام (min-max normalization) إلى النطاق [−1,1] وتجميعها باستخدام المتوسط الحسابي أو الوسيط.
2. إطار التقييم
تستخدم الدراسة نهج تقييم متعدد الأبعاد:
مقاييس الأمانة (Faithfulness Metrics): استُخدمت خمسة مقاييس متكاملة:
الشمولية (Comprehensiveness): انخفاض ثقة النموذج بعد إزالة رموز المسوغات.
الكفاية (Sufficiency): ثقة النموذج باستخدام رموز المسوغات فقط.
الارتباط مع طريقة "الاستبعاد الواحد" (LOO): الاتفاق بين درجات الإسناد وتأثير إزالة الرموز التجريبي.
مساحة تحت المنحنى للإدراج والحذف (Insertion & Deletion AUC): أداء إضافة/إزالة الرموز تدريجياً.
الدرجة المركبة (Combined Score): مقياس موحد يجمع المقاييس الخمسة (مع عكس الكفاية ودرجة حذف AUC حيث يكون الرقم الأقل أفضل).
تصويت بوردا (Borda Count): تجميع قائم على الرتب لتقييم الترتدي النسبي بشكل مستقل عن مقاييس النطاق.
مقاييس المعقولية (Plausibility Metrics): تم قياس الاتفاق مع المسوغات الموضحة بشرياً باستخدام الدقة (Precision)، والاستدعاء (Recall)، ومقياس F1، وتشابه جاكارد (Jaccard similarity).
اختيار المسوغات (Rationale Selection): لتحويل درجات الإسناد المستمرة إلى مسوغات "صلبة" منفصلة، قارنت الدراسة بين الاستراتيجيات الثابتة (Top-n، العتبات الثابتة) مقابل الطرق الآلية. اقترح المؤلفون طريقة كشف "الكوع" (elbow detection) القائمة على البواقي والخالية من المعلمات، والتي تناسب اتجاهاً خطياً عالمياً واحداً (المربعات الصغرى العادية - OLS) وتحدد "الكوع" كنقطة لأقصى انحراف في البواقي.
المساهمات الرئيسية
معيار مرجعي شامل: معيار صارم وقابل لإعادة الإنتاج يقارن بين طرق XAI الفردية والجماعية عبر ثلاثة نماذج محولات عربية ومهمتين مختلفتين للتصنيف (تحليل المشاعر وكشف خطاب الكراهية).
تقييم متعدد الأبعاد: إطار عمل يدمج خمسة مقاييس للأمانة، والتجميع القائم على الرتب (Borda count)، وتقييم المعقولية مقابل المسوغات البشرية، مما يسلط الضوء على التباين بين التقييم المتمحور حول النموذج والتقييم المتمحور حول الإنسان.
اختيار المسوغات الآلي: تقديم طريقة كشف "الكوع" القائمة على البواقي والخالية من المعلمات. تحقق هذه الطريقة أمانة تنافسية بتكلفة حوسبية أقل بكثير مقارنة بالتقنيات الآلية الموجودة (مثل Kneedle وDFDT وL-Method).
النتائج
1. أداء التجميع (Ensemble Performance)
مكاسب طفيفة في الأمانة: يحقق التجميع الانتقائي تحسينات ذات دلالة إحصائية ولكنها طفيفة في الأمانة. حقق تجميع LIME+SHAP باستمرار أعلى الدرجات المركبة.
في تحليل المشاعر، أدى تجميع LIME+SHAP إلى تحسين الدرجة المركبة الأساسية بمتوسط فرق زوجي قدره حوالي 0.012 مقارنة بـ LIME وحده.
استمر هذا الاتجاه في تقييم كشف خطاب الكراهية عبر المهام.
تناقص العوائد: لم يضمن زيادة حجم التجميع تحسين الأداء. إذ أدت إضافة DeepLIFT إلى مزيج LIME+SHAP+IG إلى خفض الدرجة المركبة، مما يشير إلى أن فعالية التجميع تعتمد على جودة وتكامل المفسرات المكونة له وليس على العدد الهائل من الطرق.
الاتفاق بين الطرق: كشف تحليل ارتباط بيرسون أن LIME وSHAP يتشاركان في أعلى درجة اتفاق (0.43)، بينما أظهرت الطرق القائمة على التدرج (IG, DeepLIFT) ارتباطاً أقل مع الطرق القائمة على الاضطراب (perturbation-based).
2. الأمانة مقابل المعقولية
اتجاهات متباينة: لم تترجم التحسينات في أمانة النموذج (المتمحورة حول النموذج) إلى توافق أقوى مع المسوغات البشرية.
بينما حقق LIME+SHAP أفضل درجات الأمانة، فإن تفوقه في المعقولية (مقياس F1 وتشابه جاكارد) على أفضل طريقة فردية (SHAP) كان ضئيلاً.
حقق SHAP أعلى دقة (0.299)، بينما حقق DeepLIFT أعلى استدعاء (0.903)، مما يشير إلى سلوكيات متميزة في التوافق مع المسوغات البشرية.
المقايضات: أظهرت استراتيجيات Top-n الثابتة أن المسوغات الأكبر (مثل Top-20) تضخم درجات الأمانة (الشمولية/الكفاية) بشكل مصطنع ولكنها تقلل من الإيجاز.
الطريقة المقترحة: اختارت طريقة "الكوع" القائمة على البواقي متوسط 51.9% من الرموز، محققة درجة مركبة قدرها 0.673.
كانت أسرع بنحو 4.6 مرة من Kneedle، وحوالي 10 مرات أسرع من DFDT، وحوالي 30 مرة أسرع من طريقة L-Method الكلاسيكية.
بينما حققت DFDT أمانة أعلى قليلاً، إلا أن الطريقة المقترحة قدمت مقايضة متفوقة بين الأداء والكفاءة الحوسبية.
الأهمية والادعاءات
تدعي الورقة تقديم توجيه صارم وقائم على الأدلة لاختيار طرق XAI في معالجة اللغات الطبيعية العربية. وتكمن أهميتها في:
إثبات أن التجميع الانتقائي (تحديداً LIME+SHAP) يوفر دفعة موثوقة، وإن كانت طفيفة، في قوة التفسير عبر المهام.
التأكيد على أن حجم التجميع ليس مؤشراً على الجودة؛ فالاختيار الدقيق للمفسرات المتكاملة هو الأكثر أهمية.
تسليط الضوء على الفجوة بين الأمانة والمعقولية، وتحذير الباحثين من أن تحسين سلوك النموذج لا يضمن التوافق مع المنطق البشري.
تقديم بديل فعال حوسبياً وخالٍ من المعلمات لتوليد المسوغات الصلبة، مما يعالج عقبة عملية في تقييم XAI الآلي.
يخلص المؤلفون إلى أنه لا توجد طريقة XAI واحدة أو استراتيجية اختيار مسوغات واحدة تهيمن عالمياً على جميع المقاييس، مشددين على ضرية الحاجة إلى أطر عمل متعددة المقاييس، وعبر المهام، ومركزة على الإنسان لضمان قابلية تفسير موثوقة في معالجة اللغات الطبيعية العربية.