PSK at SemEval-2026 Task 9: Multilingual Polarization Detection Using Ensemble Gemma Models with Synthetic Data Augmentation
حقق فريق PSK المركز الثاني إجمالاً في المهمة التاسعة من مسابقة SemEval-2026 بمتوسط F1 كلي (mean macro-F1) بلغ 0.811، وذلك عبر توظيف نموذج تجميعي من نماذج Gemma 3 التي تم ضبطها باستخدام تقنية LoRA، مع تعزيزها ببيانات اصطناعية مُولدة بواسطة GPT-4o-mini وضبط العتبات لكل لغة، بينما أظهر الفريق الأهمية البالغة للتعميم على حساب البنيات التي حققت أداءً جيداً في مجموعات التطوير لكنها أخفقت في مجموعة الاختبار.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم مجموعة من 22 طالباً مختلفاً (يمثلون 22 لغة مختلفة) كيفية رصد "الجدال الحاد" مقابل "المحادثة الهادئة" في منشورات وسائل التواصل الاجتماعي. كان هذا هو التحدي الذي طرحته مهمة SemEval-2026 Task 9، وقد قام فريق PSK (بقيادة الباحث المستقل سريكار كاشياب بوليباكا) ببناء نظام لحل هذه المشكلة.
إليك كيف فعلوا ذلك، مشروحاً ببساطة:
1. الهدف: رصد "الحرارة"
كانت المهمة هي قراءة منشورات وسائل التواصل الاجتماعي بـ 22 لغة (من الإنجليزية إلى الأمهرية) وتحديد: هل هذا المنشور مستقطب (مليء بالصور النمطية، أو الكراهية، أو عدم التسامح)؟ أم أنه محايد؟
- التحدي: كانت بعض اللغات تمتلك أمثلة قليلة جداً للتعلم منها، كما أن "الاستقطاب" يبدو مختلفاً في كل ثقافة. الأمر يشبه محاولة تعليم شخص ما التعرف على "العاصفة" بينما لم يرَ سوى المطر في بلد واحد.
2. المعلمون: نماذج "Gemma"
بدلاً من استخدام معلم واحد ضخم للجميع، استأجر الفريق "مدرّسين" محددين لكل لغة:
- المدرّس 12B: نموذج ذكي وفعال (12 مليار بارامتر).
- المدرّس 27B: نموذج أكثر ذكاءً وقوة (27 مليار بارامتر).
استخدموا تقنية تسمى LoRA، وهي تشبه إعطاء هؤلاء المدرّسين "ورقة غش" متخصصة وصغيرة لتعلم اللغة المحددة دون الحاجة إلى إعادة كتابة أدمغتهم بالكامل.
3. زميل الدراسة: البيانات الاصطناعية
أدرك الفريق أن بعض الطلاب لم يكن لديهم ما يكفي من مسائل التدريب. لذا، استخدموا ذكاءً اصطناعياً (GPT-4o-mini) لـ كتابة مسائل تدريب وهمية (بيانات اصطناعية).
- التوليد المباشر: قام الذكاء الاصطناي بتأليف جدالات جديدة وهمية من الصفر.
- إعادة الصياغة: أخذ الذكاء الاصطناعي أمثلة حقيقية وأعاد كتابتها بكلمات مختلفة (مثل طالب يعيد صياغة سؤال واجب منزلي).
- الأزواج المتضادة: أنشأ الذكاء الاصطناعي أمثلة "توأم" — أحدها مستقطب والآخر هادئ — حتى يتمكن النموذج من رؤية الفرق الدقيق.
- الفلتر (المصفاة): لم يكتفوا بصب هذه البيانات الوهمية فحسب؛ بل مرروها عبر فلتر "ضبط جودة" صارم لإزالة التكرار والهراء، لضمان أن يدرس الطلاب مواد عالية الجودة فقط.
4. الاستراتيجية: ضبط "مقبض الصوت"
بعد التدريب، كان على النماذج اتخاذ قرار نهائي. عادةً، يقول الذكاء الاصطناعي "نعم" إذا كان متأكداً بنسبة تزيد عن 50%. لكن الفريق وجد أنه بالنسبة لبعض اللغات، كانت نسبة 50% مرتفعة جداً أو منخفضة جداً.
- الحل: تعاملوا مع عتبة القرار مثل مقبض التحكم في الصوت. فبالنسبة لبعض اللغات، خفضوا المقبض إلى 30% (لرصد المزيد من الجدالات)، ولغات أخرى، رفعوا المقبض إلى 70% (لتجنب الإنذارات الخاطئة). هذا التعديل البسيط حسن درجاتهم بنسبة 2-4% دون أي تدريب إضافي.
5. "الإنسمبل" (المجموعة): لجنة من القضاة
لاتخاذ القرار النهائي، لم يستمعوا لمدرّس واحد فقط. بل استخدموا إنسمبل (Ensemble):
- تركوا كلا المدرّسين (12B و 27B) يصوتون.
- في بعض الأحيان، قاموا بمتوسط الأصوات؛ وفي أحيان أخرى، أعطوا وزناً أكبر للمدرّس الأكثر ذكاءً.
- لكل لغة، اختاروا استراتيجية التصويت التي تعمل بشكل أفضل في اختبارات التدريب.
6. النتائج: من الفائز؟
- الفائز: أنهى الفريق المركز الثاني إجمالاً من بين 60 فريقاً.
- الدرجة: حققوا درجة قدرها 0.811 (مقياس للدقة). حصلوا على المركز الأول في 3 لغات وضمن المراكز الثلاثة الأولى في 8 لغات أخرى.
- المفاجأة: جربوا استخدام نماذج ذكاء اصطناي شهيرة أخرى (XLM-RoBERTa و Qwen3). حققت هذه النماذج أداءً جيداً في اختبارات التدريب ولكنها انهارت في الاختبار الحقيقي، حيث فقدت 30-50% من دقتها.
- الدرس المستفاد: من الأفضل امتلاك نموذج يمكنه "التعميم" جيداً (يتعلم مفهوم الاستقطاب) بدلاً من نموذج يحفظ الإجابات التدريبية فقط. كانت نماذج Gemma هي الوحيدة التي لم "تنسَ" عندما بدأ الاختبار الفعلي.
7. نقطة الضعف الوحيدة: "الفصل المفقود" في الإيطالية
واجه النظام صعوبة أكبر مع اللغة الإيطالية. لماذا؟
- كانت بيانات التدريب للإيطالية تفتقر إلى فئات كاملة من المواضيع (مثل "السياسة" أو قضايا "أخرى").
- ومع ذلك، تضمن الاختبار النهائي العديد من الأسئلة حول تلك المواضيع المفقودة.
- الأمر يشبه المذاكرة لاختبار رياضيات يعتمد فقط على الجمع، بينما يتضمن الامتحان النهائي قسماً ضخماً عن القسمة. لم يكن النموذج قد رأى أبداً تلك الأنواع المحددة من الجدالات من قبل، لذا لم يستطع التخمين بشكل صحيح.
الملخص
بنى الفريق نظاماً يستخدم مدرّسين يعملون بالذكاء الاصطناعي متخصصين، ومسائل تدريب مولدة بالذكاء الاصطناعي، وقواعد قرار مضبوطة خصيصاً لرصد الجدالات عبر الإنترنت في 22 لغة. لم يكن سر نجاحهم هو استخدام أكبر ذكاء اصطناعي متاح، بل استخدام النموذج الذي يمكنه فعلياً تعلم مفهوم الاستقطاب دون حفظ الإجابات، ثم ضبط القواعد لكل لغة على حدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.