mcdok at SemEval-2026 Task 13: Finetuning LLMs for Detection of Machine-Generated Code
يعمل نظام mcdok الخاص بالمهمة 13 من مسابقة SemEval-2026 على تكييف نهج mdok لكشف النصوص عبر ضبط النماذج اللغوية الكبيرة المتخصصة في الأكواد برمجياً لمعالجة كشف الأكواد المولدة آلياً، ونسبها، وتحديد الأكواد الهجينة بشكل تنافسي، رغم استمرار وجود فجوات كبيرة في الأداء مقارنة بالأنظمة المتصدرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز ما: من الذي كتب هذه القطعة من الكود البرمجي؟ هل كان مبرمجاً بشرياً، أم تم إنشاؤه بواسطة ذكاء اصطناعي (AI)؟
في الماضي، كان من السهل التمييز بينهما. ولكن اليوم، أصبحت نماذج الذكاء الاصطناعي بارعة جداً في كتابة الكود لدرجة أنها يمكن أن تبدو مطابقة تماماً للبشر. ولمواجهة ذلك، أنشأت مسابقة عالمية تسمى Semil-2026 تحدياً (المهمة 13) للباحثين لبناء "كواشف ذكاء اصطناعي" مخصصة للأكواد البرمجية.
دخل فريق من سلوفاكيا والجمهورية التشيكية، أطلقوا على نظامهم اسم "mcdok"، هذه المسابقة. وإليك كيف فعلوا ذلك، مشروحاً ببساة.
التحديات الثلاثة (المهام الفرعية)
لم تكن المسابقة مجرد اختبار واحد كبير؛ بل تم تقسيمها إلى ثلاثة مستويات مختلفة من الصعوبة، مثل مستويات ألعاب الفيديو:
المستوى 1 (المهمة الفرعية أ): اختبار "هل هو ذكاء اصطناعي؟"
- الهدف: النظر في قطعة من الكود والقول: "نعم، هذا ذكاء اصطناعي" أو "لا، هذا بشري".
- التشبيه: تخيل معلماً يصحح مقالات؛ يحتاج فقط إلى معرفة ما إذا كان المقال قد كُتب بواسطة طالب أو نُسخ من روبوت.
- اللغات: جاء الكود بثلاث لغات: ++C، وPython، وJava.
المستوى 2 (المهمة الفرعية ب): اختبار "من هو الروبوت؟"
- الهدف: إذا كان الكود نتاج ذكاء اصطناعي، فإلى أي عائلة محددة من الذكاء الاصطناعي ينتمي؟ كانت هناك 10 عائلات مختلفة (مثل "OpenAI"، "Google"، "Meta") بالإضافة إلى فئة "البشر".
- التشبيه: هذا يشبه خبيراً جنائياً ينظر إلى بصمة إصبع ويقول: "لم يكن هذا مجرد روبوت؛ بل كان روبوتاً محدداً باسم 'Qwen' أو 'Gemma'".
المستوى 3 (المهمة الفرعية ج): اختبار "المزيج المخادع"
- الهدف: التمييز بين أربعة أنواع: بشري، ذكاء اصطناعي خالص، هجين (بدأ الإنسان الكتابة وأكملها الذكاء الاصطناعي)، وعدائي (ذكاء اصطناعي يحاول خداع الكاشف عبر التظاهر بأنه بشري).
- التشبيه: هذا هو المستوى الأصعب. إنه مثل طباخ يحاول تذوق حساء ليعرف: "هل طبخه بشر؟ هل طبخه روبوت؟ هل طبخاها معاً؟ أم أن الروبوت حاول إخفاء نكهته ليبدو كطبق بشري؟"
كيف حلّ mcdok المشكلة
لم يخترع الفريق أداة سوبر كمبيوتر جديدة كلياً من الصفر. بد instead، أخذوا أداة موجودة لديهم كانت مخصصة لكشف النصوص المولدة بالذكاء الاصطناعي (تسمى mdok) ومنحوها "تحولاً جذرياً للكود".
- التحول الجذري: أدركوا أن نموذجاً تدرب على قراءة الروايات قد لا يفهم لغات Python أو ++C. لذا، قاموا باستبدال "دماغ" نظامهم بنماذج مصممة خصيصاً لفهم الكود (مثل Gemma، وCodeGemma، وQwen).
- التدريب: علموا هذه الأدمغة الجديدة باستخدام تقنية تسمى "الضبط الدقيق" (Fine-tuning). فكر في الأمر كأخذ خبير ذو معرفة عامة وإعطائه دورة مكثفة خصيصاً حول "كيفية رصد كود الذكاء الاصطناعي".
- الاستراتيجية: لم يستخدموا فريقاً معقداً من الكواشف المختلفة (نظام تجميعي/Ensemble). بل حافظوا على البساطة: دماغ واحد قوي لكل مهمة.
النتائج
لقد حقق الفريق أداءً جيداً للغاية، لكنهم لم يكونوا مثاليين.
- المستوى 1: كانوا جيدين جداً في رصد كود الذكاء الاصطناعي، خاصة عندما قاموا بتعديل "إعدادات الثقة" الخاصة بهم. ومن المثير للاهتمام أن نموذجاً عام الأغراض (Gemma-3) كان يعمل بشكل أفضل من نماذج الكود المتخصصة!
- المستوى 2: كان هذا صعباً. تحديد العائلة المحددة للذكاء الاصطناعي التي كتبت الكود كان أمراً شاقاً. كان نظامهم أفضل من التخمين العشوائي، لكنه كان يخلط أحياناً بين عائلة ذكاء اصطناعي وأخرى.
- المستوى 3: حققوا نجاحاً مفاجئاً هنا، حيث صنفوا ضمن أفضل 20% من جميع المشاركين. استطاعوا التمييز بين الكود الناتج عن ذكاء اصطناعي خالص وبين الكود "الهجين"، رغم أنهم ارتبكوا أحياناً بين "الآلة" و"الهجين" (وهو أمر منطقي لأن الفوارق بينهما ضئيلة جداً).
الخلاصة الكبرى
تخلص الورقة البحثية إلى أن كواشف الذكاء الاصطناعي المبنية للنصوص يمكن تكييفها بنجاح للكود، ولكن يجب توخي الحذر. لا يمكنك استخدام أي نموذج فحسب؛ بل تحتاج إلى نموذج يفهم المنطق البرمجي.
ومع ذلك، كانت "الهوامش" (الفجوة بين الفائزين والبقية) لا تزال كبيرة. يعترف الفريق بأنه بينما يعد نظامهم تنافسياً، إلا أنه لا تزال هناك مساحة للتحسين. إن لعبة "القط والفأر" بين كاتبي الذكاء الاصطناعي وكواشف الذكاء الاصطناعي لم تنتهِ بعد.
باختصار: بنى فريق mcdok "محقق كود" متخصصاً يصبح أفضل في كشف المنتحلين من الذكاء الاصطناعي، ولكن المنتحلين يصبحون أكثر ذكاءً أيضاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.