PSK@EEUCA 2026: Fine-Tuning Large Language Models with Synthetic Data Augmentation for Multi-Class Toxicity Detection in Gaming Chat
حقق فريق PSK@EEUCA 2026 المركز الرابع في تحدي كشف السمية في لعبة World of Tanks عبر دمج نموذج Llama 3.1 8B مع ضبط دقيق باستخدام تقنية LoRA وتعزيز البيانات الاصطناعية بنسبة 5% للوصول إلى درجة F1-macro بلغت 0.6234، بينما حدد أيضاً "فخ التحقق" الحرج حيث يفشل الأداء العالي في مجموعة التحقق في التعميم على مجموعة الاختبار.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل غرفة دردشة ضخمة وفوضوية في لعبة عبر الإنترنت (تحديداً للعبة World of Tanks) حيث يتحدث آلاف اللاعبين في كل ثانية. معظم الوقت، يتحدث الناس بشكل طبيعي، ولكن أحياناً يغضبون، أو يشتمون بعضهم البعض، أو يقولون أشياء كراهية.
كان الهدف من هذا البحث هو بناء "حكم رقمي" (ذكاء اصطناعي) يمكنه قراءة رسائل الدردشة هذه وتصنيفها إلى ست فئات مختلفة:
- الدردشة العادية (الأغلبية العظمى)
- الإهانات (وصف شخص ما بأنه لاعب سيء)
- إساءات أخرى (وقاحة ولكن ليست هجوماً مباشراً)
- الكراهية/المضايقة (الهجوم على هوية الشخص)
- التهديدات (الوعد بالعنف)
- التطرف (أيديولوجيا الكراهية)
شارك الفريق، PSK@EEUCA، في مسابقة لمعرفة من يمكنه بناء أفضل حكم. وقد جاءوا في المركز الرابع من بين 35 فريقاً. وإليكم كيف فعلوا ذلك، مشروحاً ببساطة.
المشكلة الكبرى: "الغرفة الفارغة" مقابل "الحشد الصغير"
كان التحدي الرئيسي هو أن بيانات الدردة كانت غير متوازنة للغاية.
- 81% من الرسائل كانت طبيعية تماماً.
- الرسائل "السيئة" (مثل التهديدات أو التطرف) كانت نادرة جداً لدرجة أنها لم تشكل أقل من 1% من الإجمالي.
التشبيه: تخيل محاولة تعليم كلب العثور على نوع نادر من الزهور في حقل. لكن 81% من الحقل عبارة عن عشب فقط، والزهور النادرة مخبأة في زاوية صغيرة جداً. إذا عرضت الحقل على الكلب كما هو، سيتعلم الكلب ببساطة أن يقول "عشب!" في كل مرة لأن هذا هو الخيار الأكثر أماناً. سيحصل على درجة عالية في الاختبارات التجريبية (لأن معظم الحقل هو بالفعل عشب)، ولكنه سيفشل عندما يحتاج فعلياً للعثور على الزهور النادرة.
"فخ التحقق" (الدرجة المزيفة)
اكتشف الباحثون مشكلة مخادعة يسمونها "فخ التحقق" (Validation Trap).
عندما قاموا بتدريب الذكاء الاصطناعي الخاص بهم، اختبروه على "مجموعة تجريبية" (بيانات التحقق). حققت بعض نماذج الذكاء الاصطناعي الأكبر والأقوى درجات عالية جداً في هذه المجموعة التجريبية. لماذا؟ لأنها كانت محافظة للغاية. لقد كانوا يقولون أساساً: "أنا أرى 81% عشب، لذا سأفترض أنها 'طبيعية' لكل شيء تقريباً".
- الفخ: بدت هذه النماذج رائعة في الاختبار التجريبي لأنها طابقت نمط الـ "81% عشب" بشكل مثالي.
- الواقع: عندما واجهوا الاختبار النهائي (الذي كان يحتوي على مزيج مختلف قليلاً من الرسائل)، فشلت هذه النماذج "الآمنة" فشلاً ذريعاً. لقد كانت خائفة جداً من تصنيف الرسائل السامة النادرة.
الحل: رشة من البيانات "المزيفة" الاصطناعية
لحل هذه المشكلة، لم يقم الفريق بمجرد تغذية الذكاء الاصطناعي بمزيد من سجلات الدردشة الحقيقية. بل استخدموا حيلة ذكية: تعزيز البيانات الاصطناعية (Synthetic Data Augmentation).
فكر في هذا الأمر كأنه وصفة طبخ.
- كان الذكاء الاصطناعي يتضور جوعاً لأمثلة على المكونات النادرة "السامة" (مثل التهديدات أو خطاب الكراهية).
- استخدم الفريق ذكاءً اصطناعياً قوياً لكتابة رسائل دردشة جديدة ومزيفة تبدو تماماً مثل الرسائل السامة الحقيقية، ولكن تم إنشاؤها بواسطة الكمبيوتر.
- أضافوا هذه الرسائل المزيفة إلى بيانات التدريب لمساعدة الذكاء الاصطناعي على تعلم شكل الرسائل "السيئة" النادرة.
نقطة التوازن المثالية:
لقد جربوا إضافة كميات مختلفة من هذه البيانات "المزيفة"، وكان الأمر يشبه العثور على الكمية المثالية من الملح في الحساء:
- كمية قليلة جداً (2-3%): لم يتعلم الذكاء الاصطناعي ما يكفي عن الرسائل النادرة.
- كمية كبيرة جداً (10-15%): أصيب الذكاء الاصطناعي بالارتباك وبدأ يعتقد أن كل شيء سام، أو بدأ يحفظ الأنماط المزيفة بدلاً من الحقيقية.
- الكمية المناسبة (5%): كانت هذه هي الرقم السحري. إضافة 5% بالضبط من البيانات المزيفة جعلت الذكاء الاصطناعي "أكثر شجاعة". توقف عن التخمين بأن كل شيء "طبيعي" وبدأ فعلياً في رصد الرسائل السامة النادرة.
استراتيجية الفوز
استخدم نظامهم الفائز نموذج ذكاء اصطناعي محدد يسمى Llama 3.1 8B.
- النموذج: نموذج لغوي ذكي ومدرب مسبقاً.
- التدريب: قاموا بتعليمه باستخدام مزيج من سجلات الدردشة الحقيقية وتلك الـ 5% الدقيقة من الرسائل السامة الاصطناعية (المزيفة).
- النتيجة: سمح هذا المزيج للذكاء الاصطناعي بالخروج من "فخ التحقق". أصبح مستعداً لتصنيف الرسائل النادرة والصعبة، مما أدى إلى نتيجة أفضل بكثير في الاختبار النهائي.
ماذا تعلموا؟
- الأكبر ليس دائماً الأفضل: نموذج ضخم يحتوي على 12 مليار معلمة (parameter) أدى أداءً أسوأ من النموذج الأصغر الذي يحتوي على 8 مليارات معلمة، لأن النموذج الأكبر وقع في "فخ التحقق" بشكل أقوى.
- النماذج المتعددة (Ensembles) لم تساعد: حاولوا دمج العديد من النماذج المختلفة معاً (مثل لجنة)، لكن ذلك لم ينجح لأن نموذجهم الوحيد الأفضل كان يقوم بالفعل بالعمل الشاق.
- "فخ التحقق" حقيقي: يمكن أن تكون الدرجات العالية في الاختبارات التجريبية مضللة إذا كان الذكاء الاصطناعي يلعب دور "الأمان" فقط.
النتيجة النهائية
من خلال العثور على ذلك التوازن المثالي بنسبة 5% من البيانات الاصطناعية، حقق نظامهم درجة 0.6234، مما وضعهم في المركز الرابع من بين 35 فريقاً. لقد أثبتوا أنه أحياناً، يمكن للقليل من البيانات "المزيفة" المصاغة بعناية أن يساعد الذكاء الاصطناعي على فهم العالم الحقيقي بشكل أفضل بكثير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.