Not All Pretraining are Created Equal: Threshold Tuning and Class Weighting for Imbalanced Polarization Tasks in Low-Resource Settings
تقدم هذه الورقة بحثاً مقدمًا لمهمة SemEval-2025 المشتركة حول الاستقطاب، والذي يستخدم نماذج قائمة على المحولات (Transformer-based models)، ودوال فقدان موزونة للفئات (class-weighted loss functions)، وضبط العتبة (threshold tuning) لمعالجة عدم التوازن الشديد في الفئات بفعالية في مهام كشف وتصنيف الاستقطاب للنصوص باللغتين الإنجليزية والسواحيلية على وسائل التواصل الاجتماعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل وسائل التواصل الاجتماعي كساحة مدينة ضخمة وصاخبة حيث يصرخ الناس بآرائهم. أحياناً، تكون هذه الصرخات مجرد خلافات عادية. ولكن في أحيان أخرى، يتحول الصراخ إلى عقلية قطيع سامة تكره "الغرباء" وتدعم "قبيلتها" بشكل أعمى. هذا هو الاستقطاب.
هذه الورقة البحثية تشبه تقرير درجات طالب (عباس) حاول بناء حارس أمن ذكي (ذكاء اصطناعي) ليقوم بدوريات في ساحة المدينة هذه. مهمة الحارس هي رصد الصراخ السام، ومعرفة من الذي يتم مهاجمته (سياسيون، دين معين، جنس، إلخ)، وتحديد كيفية الهجوم (باستخدام الإهانات، أو الكلمات التي تجرد من الإنسانية، أو اللغة المتطرفة).
إليك قصة كيف بنى الطالب هذا الحارس، باستخدام تشبيهات بسيطة:
١. التحدي: مشكلة "الحدث النادر"
أكبر مشكلة واجهت الطالب هي أن ساحة المدينة هادئة في الغالب. فمقابل كل ١٠٠ منشور، ربما يكون ٣٠ فقط ساماً بالفعل، أما البقية فهي مجرد حديث عادي.
- التشبيه: تخيل محاولة تدريب كلب للعثور على زهرة نادرة محددة في حقل واسع من العشب. إذا عرضت الحقل بالكامل على الكلب، فسيصبح كسولاً ويقول "أنا أرى عشباً" في كل مرة لأن هذا هو الشيء الأكثر شيوعاً.
- الحل: كان على الطالب تعليم الذكاء الاصطناعي الانتباه بشكل خاص للزهور النادرة (المنشورات السامة). فعل ذلك من خلال إعطاء الذكاء الاصطناعي "درجة خاصة" (توزين الفئات - Class Weighting) جعلت الأخطاء في المنشورات السامة النادرة تؤلم أكثر من الأخطاء في المنشورات العادية الشائعة.
٢. الأدوات: اختيار "الدماغ" المناسب
كان على الطالب اختيار أي "دماغ" (نموذج ذكاء اصطناعي) يعطي للحارس. كان لديهم نوعان من المرشحين:
- الخبراء المحليون: نماذج تم تدريبها خصيصاً على اللغة السواحيلية (اللغة المحلية للمنطقة).
- المسافرون حول العالم: نماذج مدربة على لغات عديدة (الإنجليزية، السواحيلية، الفرنسية، إلخ) ولكن ليس خصيصاً على السواحيلية.
المفاجأة: توقع الطالب أن يفوز "الخبراء المحليون" لأنهم يعرفون العامية المحلية بشكل أفضل. لكن "المسافرين حول العالم" (وتحديداً نموذج يسمى mDeBERTa) فازوا باكتساح!
- التشبيه: الأمر يشبه توظيف دليل محلي يعرف كل الاختصارات ولكنه يرتبك من قواعد هذه اللعبة الجديدة، مقابل توظيف رياضي عالمي لعب كل الرياضات في العالم. لقد تكيّف الرياضي مع اللعبة الجديدة بشكل أسر أسرع من الدليل المحلي. وجدت الورقة أن امتلاك "دماغ كبير" يفهم لغات عديدة كان أكثر أهمية من امتلاك "دماغ صغير" يعرف لغة واحدة فقط بشكل مثالي.
٣. السر الخفي: "ضبط العتبة" (Threshold Tuning)
هذه هي الحيلة الأكثر أهمية التي استخدمها الطالب.
- التشبيه: تخيل أن الذكاء الاصطناعي هو حارس أمن عند ملهى ليلي. عليه أن يقرر: "هل هذا الشخص سام؟ نعم أم لا؟"
- عادةً، يستخدم الحارس قاعدة صارمة: "إذا كنت ساماً بنسبة ٥٠٪، فأنت خارج".
- ولكن لأن المنشورات السامة نادرة جداً، كان الحارس شديد الصرامة ويسمح بمرور الأشخاص السيئين.
- الحل: قام الطالب بتعديل حساسية الحارس. قال له: "مهلاً، إذا كنت تعتقد أن شخصاً ما سام بنسبة ٣٠٪ حتى، فلنقم بوضع علامة عليه". فعل ذلك لكل نوع من أنواع السمية بشكل منفصل.
- النتيجة: كانت هذه التعديلات البسيطة بمثابة السحر. لقد عززت أداء الذكاء الاصطناعي بهامش ضخم (أكثر من ٢٠ نقطة!). إنه يشبه رفع صوت المذياع لتتمكن أخيراً من سماع الموسيقى الهادئة التي كنت تفتقدها.
٤. النتائج: ما مدى جودة الحارس؟
- الكشف الثنائي (سام مقابل غير سام): أصبح الحارس جيداً جداً في هذا، حيث سجل حوالي ٨٠٪ من الدقة. كان بإمكانه التمييز بين الجدال السياسي الحاد وبين خطاب الكراهية الفعلي.
- الجزء الصعب (تعدد التصنيفات - Multi-Label): عندما طُلب منه تحديد نوع الكراهية بالضبط (مثلاً: "هل هذا عنصر عنصري؟ هل هو متحيز جنسياً؟")، عانى الحارس قليلاً. وذلك لأن بعض المنشورات تكون مخادعة.
- مثال: منشور يقول "أولئك الناس لا يفهمون طريقتنا في الحياة" يبدو مهذباً ولكنه في الواقع إهانة مستترة (نداء خفي - dog whistle). أخطأ الذكاء الاصطناعي في هذه الحالات أحياناً.
- مثال: خلط الناس بين الإنجليزية والسواحيلية في جملة واحدة أربك "المجزئ" (tokenizer) الخاص بالذكاء الاصطناعي (الجزء الذي يفكك الكلمات إلى قطع)، مما جعل القراءة صعبة.
٥. ما الذي لم ينجح؟
حاول الطالب تدريب الحارس على بيانات بالإنجليزية والسواحيلية في نفس الوقت، آملًا أن يتعلم بشكل أسرع.
- التشبيه: كان الأمر يشبه محاولة تعليم طالب اللغة الفرنسية واليابانية في آن واحد عن طريق خلط الكتب المدرسية. ارتبك الطالب، وتراجع أداؤه في الواقع.
- الدرس: أحياناً، يكون من الأفضل التدريب على لغة واحدة في كل مرة ثم دمج المعرفة لاحقاً، بدلاً من خلط كل شيء من البداية.
الملخص
تعلمنا هذه الورقة أنه عند بناء ذكاء اصطناعي للكشف عن خطاب الكراهية في اللغات ذات الموارد المحدودة (مثل السواحيلية):
١. لا تكتفِ بالنماذج المحلية فقط: غالباً ما يعمل النموذج متعدد اللغات العام بشكل أفضل من النموذج المتخصص.
٢. اضبط الحساسية: لا يمكنك مجرد استخدام قاعدة "نعم/لا" قياسية. يجب عليك ضبط "عتبة الإنذار" لكل نوع محدد من خطاب الكراهية.
٣. احذر من خلط اللغات مبكراً: التدريب على لغات متعددة في وقت واحد يمكن أن يربك الذكاء الاصطناعي أحياناً.
نظام الطالب هو الآن أداة قوية لرصد السمية عبر الإنترنت، لكنه لا يزال بحاجة إلى التحسن في فهم الإهانات المستترة واللغات المختلطة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.