Towards Inclusive Toxic Content Moderation: Addressing Vulnerabilities to Adversarial Attacks in Toxicity Classifiers Tackling LLM-generated Content
تقترح هذه الورقة استراتيجية دفاع استباقي مبتكرة لمصنفات السمية تستفيد من التفسير الآلي لتحديد وتثبيط مكونات الدوائر العصبية الضعيفة، مما يعزز المتانة ضد الهجمات العدائية ويعالج فجوات العدالة عبر المجموعات الديموغرافية المتنوعة في سياق المحتوى الذي تولده النماذج اللغوية الكبيرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك حارس أمن ذكي جداً عند باب ملهى ليلي. مهمة هذا الحارس هي رصد الأشخاص "السامين" (أولئك الذين يتصرفون بوقاحة، أو كراهية، أو إساءة) والسماح لهم بالدخول فقط إذا كانوا غير مؤذين.
لفترة طويلة، اعتقدنا أن هؤلاء الحراس جيدون تماماً. لكن هذه الورقة البحثية تكشف عن سر مخيف: هؤلاء الحراس لديهم نقطة عمياء صغيرة ومحددة. إذا عرف الفاعل السيئ مكان هذه النقطة العمياء بالضبط، يمكنه الهمس بشفرة سرية تجعل الحارس يتجاهل السلوك السام تماماً. الأمر يشبه أن يصاب الحارس فجأة بالصمم تجاه تردد صوتي معين.
الباحثون في هذه الورقة لم يحاولوا فقط بناء حارس أقوى (وهي الطريقة المعتادة)، بل استخدموا أداة "رؤية بالأشعة السينية" خاصة تسمى التفسير الآلي (mechanistic interpretability) للنظر داخل دماغ الحارس ورؤية أي التروس الصغيرة معطلة بالضبط.
إليك قصة ما وجدوه، مشروحة ببساطة:
1. "المفتاح السحري" في الدماغ
داخل عقول هؤلاء الحراس الاصطناعيين (النماذج مثل BERT وRoBERTa وLlama Guard)، هناك آلاف العمال الصغار الذين يُطلق عليهم "رؤوس الانتباه" (attention heads). فكر فيهم كتروس أو خلايا عصبية صغيرة.
وجد الباحثون أنه بالنسبة لنوع معين من المحتوى السام (تحديداً النوع الموجود في تعليقات ويكيبيديا، والذي يسمى Jigsaw)، يعتمد النظام بأك inteiro على ترس واحد فقط للقيام بالعمل الشاق.
- المشكلة: اكتشف المهاجمون كيفية تعطيل هذا الترس المحدد. وعندما يتعطل، يفشل الحارس تماماً، ويمر المحتوى السام.
- الحل: جرب الباحثون حلاً غريباً: لقد قاموا ببساطة بإيقاف تشغيل ذلك الترس المعطل.
- النتيجة: للمفاجأة، جعل إيقاف تشغيل الترس الحارس أكثر ذكاءً ضد المهاجمين! توقف الحارس عن الانخداع بالشفرات السرية. في الواقع، بالنسبة لأحد النماذج، استعاد إيقاف تشغيل ترس واحد فقط 70% من قدرة الحارس على ضبط الأشرار، دون أن يؤثر ذلك تقريباً على قدرته على ضبط الأشرار الحقيقيين.
2. ليست كل الحراس مبنية بنفس الطريقة
اختبر الباحثون نوعين مختلفين من "النوادي" (مجموعات البيانات):
- نادي Jigsaw (تعليقات كتبها بشر): هذا النادي لديه نقطة فشل واحدة. إنه يشبه قلعة لها بوابة رئيسية واحدة؛ إذا أغلقت تلك البوابة، ينهار الدفاع بأكمله. وجد الباحثون أنه بالنسبة لهذا النادي، كان إيقاف تشغيل الترس السيئ هو أفضل دفاع.
- نادي ToxiGen (خطاب كراهية تم إنشاؤه بواسطة الذكاء الاصطناعي): هذا النادي مختلف. فهو لا يعتمد على بوابة واحدة، بل لديه شبكة موزعة من أبواب صغيرة كثيرة. لا يوجد فيه "مفتاح سحري" واحد.
- النتيجة: إيقاف تشغيل ترس هنا لم يساعد كثيراً. بدلاً من ذلك، كان أفضل دفاع لهذا النادي هو تدريب الحارس بمزيد من الأمثلة على الأشياء السيئة (تعزيز البيانات). الأمر يشبه تعليم الحارس التعرف على مجموعة متنوعة من التنكرات بدلاً من محاولة إصلاح ترس واحد مكسور.
3. اختبار "من يتضرر؟"
سأل الباحثون أيضاً: هل هذا الترس المكسور يؤثر على الجميع بالتساوي؟
لقد نظروا في كيفية معاملة الحارس لمجموعات مختلفة من الناس (بناءً على العرق، الدين، الإعاقة، إلخ).
- النتيجة: لم يؤثر الترس المكسور على الجميع بنفس الطريقة. كانت بعض المجموعات أكثر عرضة للسماح بدخولهم عندما يتم "اختراق" الحارس من قبل آخرين.
- التشبيه: تخيل أن لدى الحارس نقطة عمياء محددة تؤثر فقط على الأشخاص الذين يرتدون قبعات حمراء. إذا أصلحت النقطة العمياء، فجأة سيتم التعامل مع أصحاب القبعات الحمراء بإنصاف، بينما كان أصحاب القبعات الزرقاء بخير بالفعل. وجدت الورقة أن مجموعات الإعاقة والمجموعات الدينية كانت لها تجارب مختلفة تماماً اعتماداً على ما إذا كان النص مكتوباً بواسطة إنسان أو ذكاء اصطناعي. وهذا يثبت أن عدم الإنصاف ليس عشوائياً؛ بل هو مبني داخل تروس الآلة المحددة.
4. العملاق "Llama"
اختبروا أيضاً حارساً أكبر وأحدث بكثير وهو Llama Guard 2.
- المفاجأة: في الحراس الأصغر، كان "الترس السيئ" في منتصف الدماغ. أما في هذا الحارس العملاق، فقد كان "الترس السيئ" عند الباب الأمامي مباشرة (الطبقة الأولى).
- الدرس المستفاد: مع زيادة حجم ونموذج الذكاء الاصطناعي وعمقه، يبدو أن المكان الذي يكون فيه الأكثر عرضة للخطر ينتقل ليصبح أقرب إلى المدخل.
الخلاصة الكبرى
تجادل الورقة البحثية بأنه لا ينبغي لنا فقط الاستمرار في ضخ المزيد من الأموال لتدريب هذه النماذج لتكون "أقوى" (وهو ما يشبه توظيف المزيد من الحراس). بد instead، يجب أن نستخدم الرؤية بالأشعة السينية للعثور على التروس المكسورة المحددة داخل الآلة.
- إذا كانت الآلة تحتوي على ترس واحد مكسور، فما عليك سوى إيقاف تشغيله.
- إذا كانت الآلة تحتوي على العديد من نقاط الضعف الصغيرة، فقم بتعليمها المزيد من الأمثلة.
- وتحقق دائماً مما إذا كان الترس المكسور يؤذي مجموعات معينة من الناس أكثر من غيرهم.
من خلال فهم كيف تفكر الآلة، بدلاً من مجرد معاملتها كصندوق أسود، يمكننا جعلها أكثر أماناً، وعدلاً، وموثوقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.