mdok-style at SemEval-2026 Task 10: Finetuning LLMs for Conspiracy Detection
تقدم الورقة نظام mdok-style، الذي حقق نتائج تنافسية (المركز الثامن من أصل 52) في تحدي كشف المؤامرة ضمن المهمة 10 لـ SemEval-2026 عبر ضبط نموذج Qwen3-32B بدقة باستخدام تعزيز البيانات والتدريب الذاتي لمعالجة محدودية بيانات التدريب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول رصد نوع معين من الشائعات وسط حشد هائل وصاخب من الناس يتجاذبون أطراف الحديث على منصة تواصل اجتماعي (ريديت - Reddit). البعض يشارك مجرد حقائق، بينما ينشر آخرون نظريات مؤامرة جامحة. مهمتك هي بناء "روبوت محقق" يمكنه الاستماع إلى تعليق واحد ليصرخ قائلاً: "نعم، هذه نظرية مؤامرة!" أو "لا، هذا مجرد كلام طبيعي".
تصف هذه الورقة كيف قام فريق mdok-style ببناء روبوت المحقق الخاص بهم للمشاركة في مسابقة تسمى SemEval-2026 Task 10. إليكم كيف فعلوا ذلك، مشروحاً بأسلوب مبسط:
1. المشكلة: مكتبة صغيرة لعقل عملاق
واجه الفريق مشكلة كبيرة: كان لديهم روبوت ذكي جداً (نموذج لغوي كبير يسمى Qwen3-32B، وهو يشبه عقلًا خارقًا يحتوي على 32 مليار "عصبون")، لكن لم يكن لديهم سوى مكتبة صغيرة جداً من كتب التدريب (حوالي 4,000 مثال من التعليقات).
عادةً، يتطلب تعليم عقل خارق مكتبة ضخمة. ومع وجود أمثلة قليلة كهذه، قد يصاب الروبوت بالارتباك أو "الإفراط في التفكير". الأمر يشبه محاولة تعليم طاهٍ ماهر طبخ طبق معقد باستخدام ثلاث وصفات فقط.
2. الحل: "آلة النسخ السحرية" وحلقة "الطالب والمعلم"
لحل مشكلة المكتبة الصغيرة، استخدم الفريق حيلتين ذكيتين مستوحات من عملهم السابق في رصد النصوص التي أنشأها الذكاء الاصطناعي.
الحيلة (أ): آلة النسخ السحرية (تعزيز البيانات)
بدلاً من مجرد نسخ التعليقات الموجودة، استخدموا "آلة نسخ سحرية" لإنشاء نسخ مختلفة قليلاً من نفس القصص. لم يكتفوا بالنسخ واللصق؛ بل قاموا بـ:
- تغيير حالة الأحرف: كتبوا بعض التعليقات بأحرف كبيرة (ALL CAPS) وبعضها بأحرف صغيرة بالكامل. فقد أدركوا أن نظرية المؤامرة تظل نظرية مؤامرة سواء صُرِخ بها أو هُمست.
- إخفاء الهويات: استبدلوا أسماءً وبريداً إلكترونياً وأرقام هواتف محددة بعلامات عامة مثل
[USER]أو[PHONE]. هذا علم الروبوت التركيز على فكرة المؤامرة، وليس على أشخاص محددين. - تبديل الحروف: استبدلوا بعض الحروف بحروف تشبهها من أبجديات أخرى (مثل استبدال حرف 'a' بحرف 'alpha' اليوناني). هذا يشبه ارتداء تنكر. ومن خلال تدريب الروبوت على كشف هذه التنكرات، أصبح من الصعب جداً خداع الروبوت بالخدع البصرية لاحقاً.
لم يستخدموا كل هذه النسخ، بل استخدموا جزءاً صغيراً منها فقط (10%) للحفاظ على توازن عملية التدريب.
الحيلة (ب): حلقة الطالب والمعلم (التدريب الذاتي)
هذا هو الجزء الأكثر إبداعاً. بما أنهم لم يمتلكوا تسميات (Labels) لبيانات الاختبار (أسئلة الامتحان النهائي)، فقد تركوا الروبوت يعلم نفسه بنفسه.
- المعلم: أولاً، قاموا بتدريب الروبوت على المكتبة الصغيرة المعروفة.
- الامتحان: طلبوا من الروبوت تخمين الإجابات للتعليقات غير المعروفة.
- الفلتر (المرشح): كان الروبوت واثقاً جداً من بعض الإجابات (على سبيل المثال: "أنا متأكد بنسبة 99% أن هذا مؤامرة"). أخذ الفريق تلك التخمينات الواثقة جداً وعاملوا كأنها بيانات تدريب جديدة "معيارية ذهبية".
- إعادة الدرس: أعادوا تغذية الروبوت بهذه الأمثلة "الذهبية" وعلموه مرة أخرى. هذا يشبه طالباً يجري اختباراً تجريبياً، ويحتفظ فقط بالأسئلة التي أجاب عليها بشكل صحيح بنسبة 100%، ثم يدرس تلك الأسئلة مجدداً ليصبح أكثر ذكاءً.
3. النتيجة: محقق من الطراز الرفيع
أدخل الفريق الروبوت الخاص بهم في المسابقة.
- الدرجة: حقق روبوتهم درجة 0.78 (على مقيء حيث 1.0 هي الدرجة الكاملة).
- الترتيب: من بين 52 فريقاً، حلوا في المركز الثامن. وهذا يضعهم في أفضل 20% (المئوية 85).
ومن المثير للاهتمام، وجدوا أنه حتى روبوت أصغر وأبسط بكثير (نموذج يسمى DeBERTa) قدم أداءً يقارب أداء عقلهم الخارق الضخم. وهذا يشير إلى أنه بينما نجحت حيل "آلة النسخ السحرية" و"التعليم الذاتي" الفاخرة، إلا أنه في بعض الأحيان، يمكن لأداة أصغر وأرخص أن تؤدي المهمة بفعالية مماثلة تقريباً.
ملخص
أخذ الفريق نموذج ذكاء اصطناعي ضخماً وقوياً وعلموه كيفية رصد نظريات المؤامرة في تعليقات وسائل التواصل الاجتماعي. ولأنهم لم يمتلكوا بيانات كافية، استخدموا التنكر (تغيير تنسيقات النص) لإنشاء مواد تدريبية أكثر، وتركوا الذكاء الاصطناعي يعلم نفسه باستخدام تخميناته الواثقة. كانت النتيجة نظاماً تنافسياً للغاية احتل المركز الثامن من بين 52 فريقاً، مما يثبت أن التقنيات المصممة أصلاً لرصد النصوص التي أنشأها الذكاء الاصطناعي يمكن استخدامها أيضاً لرصد نظريات المؤامرة التي صنعها البشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.