💬 NLP

Beyond Accuracy: An Explainability-Driven Analysis of Harmful Content Detection

تحلل هذه الورقة نموذجاً للكشف عن المحتوى الضار قائماً على نموذج RoBERTa باستخدام تفسيرات شابل (Shapley Additive Explanations) والتدرجات المتكاملة (Integrated Gradients) لتكشف أنه في حين يحقق النظام دقة عالية، فإن طرق التفسير تُعد ضرورية لتشخيص الإخفاقات المنهجية في السيناريوهات السياقية والسياسية، مما يجعلها تعمل كأداة للشفافية لعمليات الإشراف التي تتضمن العنصر البشري بدلاً من كونها مجرد مقياس للأداء.

المؤلفون الأصليون: Trishita Dhara, Siddhesh Sheth

نُشر 2026-03-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Trishita Dhara, Siddhesh Sheth

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة آلياً ذكياً وسريعاً للغاية يدعى روبو-موديريتور (Robo-Moderator). مهمته هي مسح ملايين الكتب (أو في هذه الحالة، التعليقات عبر الإنترنت) وتحديد التعليقات المسيئة أو الكريهة أو الضارة فوراً.

لفترة طويلة، كان الناس يهتمون فقط بـ عدد الكتب التي نجح "روبو-موديريتور" في تحديدها بشكل صحيح. إذا حدد 94 كتاباً سيئاً من أصل 100، كان الجميع يهتفون له. لكن هذه الورقة البحثية تطرح سؤالاً مختلفاً: "لماذا اعتقد الروبوت أن هذا الكتاب سيء؟" والأهم من ذلك، "لماذا ارتبك؟"

إليك قصة الورقة البحثية، مقسمة باستخدام تشبيهات من الحياة اليومية.

1. المشكلة: أمين المكتبة "الصندوق الأسود"

بنى المؤلفون روبوتاً باستخدام عقل قوي يسمى RoBERT (وهو نوع من الذكاء الاصطناعي الذي يقرأ مثل البشر). لقد علموه باستخدام مكتبة ضخمة من تعليقات الإنترنت الحقيقية (مجموعة بيانات Civil Comments).

كان الروبوت بارعاً في مهمته بشكل عام؛ فقد أعطى الإجابة الصحيحة بنسبة 94% من الوقت. ولكن، مثل عبقري يرفض شرح واجب الرياضيات الخاص به، كان الروبوت يكتفي بقول "ضار!" أو "آمن!" دون توضيح لماذا.

المشكلة هي أنه في العالم الحقيقي، السياق هو كل شيء.

الخطأ السلبي (False Negative): الروبوت يغفل عن إهانة مبطنة مغلفة في شكل مزاح.
الخطأ الإيجابي (False Positive): الروبوت يصنف نقاشاً سياسياً جاداً على أنه "خطاب كراهية" لمجرد أن شخصاً ما استخدم كلمة قوية.

إذا كان على المنسق البشري إصلاح أخطاء الروبوت، فعليه أن يعرف ما الذي كان ينظر إليه الروبوت. هل كانت كلمة "حرب"؟ هل كانت النبرة؟ أم أنها كانت مجرد مصادفة؟

2. الحل: كشافان مختلفان

لرؤية ما بداخل عقل الروبوت، استخدم المؤلفون اثنين من "الكشافات" (أدوات التفسير) لتسليط الضوء على قرارات الروبوت.

الكشاف (أ): "الضوء المركز" (تفسيرات شابلي المضافة / SHAP)

تخيل ضوءاً مركزاً يسلط الضوء فقط على الكلمة الأكثر أهمية في الجملة.

كيف يعمل: إذا كان التعليق يقول "أنت شخص سيء"، فإن الضوء المركز يسلط ضوءاً ساطعاً على كلمتي "سيء" و"شخص".
الميزة: إنه واضح جداً. ستعرف فوراً لما reason قام الروبوت بتصنيفه.
العيب: إنه شديد التركيز. إذا كان التعليق ساخراً أو يستخدم مصطلحات سياسية (مثل "حرب" أو "عدو" في سياق ألعاب الفيديو)، فقد يرى "الضوء المركز" كلمة "حرب" فقط ويصرخ "خطاب كراهية!" حتى لو كانت الجملة بأكملها غير ضارة. إنه يفتقد الصورة الكبيرة.

الكشاف (ب): "الضوء الغامر" (التدرجات المتكاملة / Integrated Gradients)

تخيل ضوءاً غامراً يغمر الجملة بأكملها، ويوضح كيف ترتبط كل كلمة بالأخرى.

كيف يعمل: يدرك أنه بينما توجد كلمة "حرب"، فإن الكلمات المحيطة بها مثل "استراتيجية" و"لعبة" تغير المعنى تماماً.
الميزة: إنه يفهم السياق والفروق الدقيقة. وهو أفضل في رصد الإهانات المبطنة وغير المباشرة التي لا تستخدم كلمات سيئة واضحة.
العيب: إنه فوضوي. بدلاً من بقعة واحدة ساطعة، تحصل على وهج يمتد فوق 20 كلمة. ومن الصعب على الإنسان النظر إلى الضوء الغامر والقول: "آه، تلك الكلمة المحددة هي التي سببت المشكلة".

3. الاكتشاف: أين يتعثر الروبوت

اختبر المؤلفون هذه الكشافات على أخطاء الروبوت ووجدوا بعض الأنماط المضحكة (والمخيفة في آن واحد):

فخ "الكلمة المفتاحية": غالباً ما يقع الروبوت في فخ "كلمات التحفيز". إذا احتوى التعليق على كلمة نابية، يفترض الروبوت أنه سام، حتى لو كان السياق ودوداً. أظهرت طريقة "الضوء المركز" هذا بوضوح: كان الروبوت يتفاعل فقط مع الكلمة النابية، متجاهلاً بقية الجملة.
الإهانة "الصامتة": أحياناً، يكون الناس لئيمين دون استخدام كلمات سيئة؛ يستخدمون السخرية أو التلميحات المبطنة. كان "الضوء الغامر" أفضل في رصد هذه الحالات، ولكن لأن التفسير كان منتشراً للغاية، كان من الصعب على الإنسان تحديد ما الذي جعل الكلام ساماً بالضبط.
حقل الألغام السياسي: واجه الروبوت صعوبة في النقاشات السياسية. فغالباً ما كان يصنف النقاشات الجادة على أنها "سامة" لمجرد أنها كانت حامية الوطيس. كشفت الكشافات أن الروبوت كان يبالغ في رد فعله تجاه الكلمات العاطفية بدلاً من فهم الحجة.

4. الدرس الكبير: الدقة ليست كافية

تخلص الورقة البحثية إلى أن الدقة هي مقياس للتباهي فقط. مجرد كون الروبوت صحيحاً بنسبة 94% لا يعني أنه آمن للاستخدام في العالم الحقيقي.

الثقة: نحن بحاجة للثقة في الروبوت. ولكي نثق به، نحتاج لفهم منطقه.
الإنسان في الحلقة (Human-in-the-Loop): أفضل نظام ليس روبوتاً يستبدل البشر، بل روبوتاً يساعد البشر. إذا قال الروبوت: "لقد صنفت هذا بسبب كلمة 'حرب'، ولكن إليك السياق"، يمكن للمنسق البشري اتخاذ قرار أفضل.
الشفافية: التفسير ليس مجرد ميزة إضافية فاخرة؛ إنه أداة تشخيصية. إنه يشبه ضوء "فحص المحرك" لدى الميكانيكي؛ فهو يخبرنا أين تعطل المحرك حتى نتمكن من إصلاحه، بدلاً من مجرد إخبارنا أن السيارة توقفت.

ملخص التشبيه

فكر في الذكاء الاصطناعي كأنه رجل أمن في ملهى ليلي.

الطريقة القديمة: كنا نتحقق فقط من عدد الأشخاص الذين سمح بدخولهم أو طردهم. إذا أصاب في 94% من الحالات، كنا نبقيه.
الطريقة الجديدة (هذه الورقة): أدركنا أن رجل الأمن كان يطرد الناس لمجرد أنهم يرتدون قمصاناً حمراء (أخطاء إيجابية) ويسمح بدخول أشخاص يحملون سكاكين لأنهم يرتدون قمصاناً زرقاء (أخطاء سلبية).
الحل: أعطينا رجل الأمن نظارات مختلفة (الكشافات). إحدى النظارات تساعده على رؤية القميص الأحمر بوضوح (الضوء المركز)، والأخرى تساعده على رؤية الزي الكامل ووجه الشخص (الضوء الغامر). الآن، عندما يرتكب خطأً، يمكننا رؤية ما الذي رآه بالضبط، ونقوم بتعديل تدريبه، مما يجعل الملهى أكثر أماناً للجميع.

الخلاصة: في عالم الذكاء الاصطناعي، معرفة لماذا اتُخذ القرار لا تقل أهمية عن معرفة ما هو القرار.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ما وراء الدقة: تحليل مدفوع بالقابلية للتفسير لكشف المحتوى الضار".

1. بيان المشكلة

بينما تُنشر الأنظمة الآلية للكشف عن المحتوى الضار (خطاب الكراهية، المضايقات، السمية) على نطاق واسع، إلا أنها تعاني من مشكلة "الصندوق الأسود".

الفجوة: يركز البحث الحالي بشكل كبير على تعظيم دقة التصنيف. ومع ذلك، فإن المقاييس الإجمالية (مثل الدقة أو مقياس F1) تفشل في الكشف عن سبب اتخاذ النماذج لتنبؤات معينة، لا سيما في الحالات الحدية، أو السياقية، أو الحساسة سياسياً.
المخاطر: بدون فهم المنطق الكامن، لا يمكن للمراقبين البشريين تقييم المساءلة، أو الاتساق، أو العدالة. فالنتائج السلبية الكاذبة (False Negatives) تسمح باستمرار السلوك الضار، بينما النتائج الإيجابية الكاذبة (False Positives) تقيد التعبير المشروع.
الحاجة: هناك نقص في التحليل المنهجي الذي يقارن كيفية سلوك طرق الذكاء الاصطناعي القابل للتفسير (XAI) المختلفة عبر التنبؤات الصحيحة مقابل الإخفاقات المنهجية (الإيجابيات الكاذبة والسلبيات الكاذبة) في مجال محدد مثل الإشراف على المحتوى.

2. المنهجية

أجرى المؤلفون تحليلاً تفسيرياً بعدي (post-hoc) على مصنف عصبي تم تدريبه للكشف الثنائي عن المحتوى السام.

مجموعة البيانات: مجموعة بيانات Civil Comments (تعليقات عامة من 50 موقعاً إخبارياً).
- العينة: 20,000 للتدريب، 4,000 للتحقق، و4,000 للاختبار.
- التصنيف: تصنيف ثنائي (سام مقابل غير سام) بناءً على عتبة 0.5 مطبقة على درجات السمية المستمرة.
بنية النموذج: مصنف RoBERTa-base تم ضبطه بدقة (fine-tuned) للتصنيف الثنائي.
- التدريب: مُحسن AdamW، حجم الدفعة 32، معدل تعلم $2 \times 10^{-5}$ ، تم التدريب لمدة دورة واحدة (one epoch) لمنع الإفراط في التخصيص (overfitting) مع إنشاء خط أساس قوي.
تقنيات القابلية للتفسير: تم تطبيق طريقتين شائعتين للتفسير البعدي لتوليد درجات الإسناد على مستوى الرموز (token-level attribution):
1. تفسيرات شابلي الإضافية (SHAP): نهج مستقل عن النموذج يعتمد على نظرية الألعاب التعاونية لتقدير مساهمة كل رمز مدخل.
2. التدرجات المتكاملة (IG): نهج خاص بالنموذج يقوم بدمج التدرجات على طول مسار من خط الأساس إلى المدخلات، مما يلتقط المساهمات التراكمية والتفاعلات السياقية.
بروتوكول التقييم:
- كمي: المقاييس القياسية (الدقة، الدقة المحددة، الاستدعاء، F1، AUC).
- نوعي: تحليل قائم على الحالات يركز على الإيجابيات الحقيقية (TP)، الإيجابيات الكاذبة (FP)، والسلبيات الكاذبة (FN) لتحديد أنماط الفشل المتكررة وأنماط الإسناد.

3. المساهمات الرئيسية

التحليل المقارن لطرق XAI: توفر الورقة مقارنة مباشرة بين SHAP وIntegrated Gradients في سياق كشف المحتوى الضار، مع تسليط الضوء على كيفية اختلاف ملفات التعريف التفسيرية نتيجة لاختلاف أسسهما الرياضية.
تشخيص أنماط الفشل: بدلاً من مجرد قياس الدقة، تحدد الدراسة أنماط فشل محددة:
- الإفراط في الإسناد المعجمي: اعتماد النماذج المفرط على الكلمات السلبية الصريحة (مما يؤدي إلى إيجابيات كاذبة).
- السمية غير المباشرة: الفشل في كشف السمية الخطابية أو المعتمدة على السياق (مما يؤدي إلى سلبيات كاذبة).
مقايضة الوضوح مقابل السياق: تضع الورقة مقايضة أساسية في XAI: الطرق التي تقدم حساسية سياقية عالية (IG) غالباً ما تضحي بالوضح/الإيجاز المطلوب للتفسير البشري، بينما الطرق التي تقدم نقاط تركيز واضحة (SHAP) قد تغفل السياق الدقيق.
تغيير المنظور: تجادل الورقة بأن XAI يجب أن يُنظر إليه في المقام الأول كـ مورد للشفافية والتشخيص لتدقيق الأنظمة، وليس كأداة لتحسين مقاييس الأداء بشكل مباشر.

4. النتائج

أداء التصنيف

حقق نموذج RoBERT الأساسي مقاييس إجمالية قوية، مما يؤكد كونه نموذجاً تنافسياً:

الدقة (Accuracy): 0.94
المساحة تحت المنحنى (AUC): 0.937
مقياس F1 (للفئة السامة): 0.62 (أقل بسبب عدم توازن الفئات والسمية الدقيقة).
توزيع الأخطاء: أظهر النموذج معدل خطأ متوازن (118 إيجابية كاذبة مقابل 120 سلبية كاذبة)، مما يشير إلى عدم وجود انحياز نحو الإفراط في التصنيف أو نقص الكشف.

نتائج القابلية للتفسير

كشف تحليل أنماط الإسناد عن تباينات كبيرة بين الطريقتين:

الميزة	تفسيرات شابلي الإضافية (SHAP)	التدرجات المتكاملة (IG)
أسلوب الإسناد	مركز/متفرق: يسلط الضوء على إشارات معجمية صريحة ومحددة (مثل الكلمات النابية، المصطلحات السياسية).	منتشر/موزع: يوزع الإسناد عبر العديد من الرموز، ملتقطاً التبعيات طويلة المدى والميزات الهيكلية.
الإيجابيات الحقيقية	بديهي: يسلط الضوء بقوة على مصطلحات الإهانة الصريحة.	سياقي: يدعم التصنيف عبر الإشارات الجماعية.
الإيجابيات الكاذبة	نمط الفشل: الاعتماد المفرط على محفزات سلبية مفردة (مثل مصطلح سياسي) حتى عندما يكون السياق غير سام.	أفضل في وزن السياق، لكنه قد يظل مشتتاً.
السلبيات الكاذبة	يفتقد السمية الدقيقة لأنه يبحث عن المحفزات الصريحة.	نمط الفشل: الإسناد ضعيف/مشتت جداً بحيث يصعب عليه الإشارة بوضوح لوجود سمية غير مباشرة للبشر.
القابلية للتفسير	وضوح عالٍ للبشر (سهولة رؤية ما الذي أدى لإطلاق التنبيه).	وضوح أقل (صعوبة في تحديد "محرك" واحد للقرار).

ملاحظة رئيسية: يميل SHAP إلى "توحيد" التنبؤات بناءً على المفردات الصريحة، مما يؤدي إلى إيجابيات كاذبة في الخطاب السياسي. أما IG فيلتقط المزيد من السياق، لكن نتائجه تكون أصعب في الفهم البشري لأنه لا يوجد رمز واحد يهيمن على الدرجة.

5. الأهمية والخاتمة

الإشراف البشري في الحلقة (Human-in-the-Loop): تظهر الدراسة أن القابلية للتفسير ضرورية للمراقبين البشريين لفهم لماذا صنف النموذج محتوىً ما، مما يسمح لهم بتجاوز الأخطاء المنهجية (مثل تصنيف النقاش السياسي كسمي بسبب كلمات مفتاحية معينة).
القيمة التشخيصية: يعمل XAI كأداة تشخيصية للكشف عن "أنماط الفشل المتكررة" مثل الإفراط في الإسناد المعجمي وعدم القدرة على كشف المضايقات الضمنية.
الاتجاهات المستقبلية: يقترح المؤلفون ضرورة انتقال العمل المستقبلي لما وراء تحسين الدقة وحدها. بدلاً من ذلك، يجب أن يدمج تصميم الأنظمة القابلية للتفسير لتعزيز الثقة، والشفافية، والنشر المسؤول.
القيود: تقتصر الدراسة على مجموعة بيانات واحدة وتصنيف ثنائي. بالإضافة إلى ذلك، فإن الطرق البعدية حساسة لتقطيع النصوص (tokenization) والاضطرابات في المدخلات، كما اعتمد التقييم على الجوانب النوعية بدلاً من مقايسات الأمانة (faithfulness) الكمية.

باختصار، تفترض هذه الورقة أن الدقة وحدها غير كافية للإشراف الآمن على المحتوى. ومن خلال استخدام القابلية للتفسير لتشخيص كيفية وسبب فشل النماذج، يمكن للمطورين بناء أنظمة أكثر قوة وشفافية وموثوقية للأمان عبر الإنترنت.