FMI_SU_Yotkova_Kastreva at SemEval-2026 Task 13: Lightweight Detection of LLM-Generated Code via Stylometric Signals

ملخص تقني: الكشف خفيف الوزن عن الكود المولد بواسطة النماذج اللغوية الكبيرة عبر الإشارات الأسلوبية

بيان المشكلة
تتناول الورقة تحدي الكشف عن الكود المولد آلياً (المولد بواسطة النماذج اللغوية الكبيرة - LLM) مقابل الكود المكتوب بشرياً، وتحديداً في سياق مهمة SemEval-2026 Task 13 Subtask A. تتطلب المهمة تصنيفاً ثنائياً يمكنه التعميم عبر لغات برمجة غير مرئية (مثل Go، وPHP، وC#، وC، وJavaScript) ومجالات تطبيقية مختلفة (الأبحاث والكود الإنتاجي). يسلط المؤلفون الضوء على أنه بينما أحدثت النماذج اللغوية الكبيرة تحولاً في تطوير البرمجيات، فإن استخدامها يثير مخاوف تتعلق بالنزاهة التعليمية، والتوظيف التقني، وأمن البرمجيات (مثل المنطق غير الآمن أو الأبواب الخلفية المخفية). وبخلاف اللغات الطبيعية، فإن كود المصدر مقيد بقواعد نحوية ودلالية صارمة، مما قد يحجب الاختلافات الأسلوبية التي تُستخدم عادةً للكشف عن النصوص المولدة آلياً. علاوة على ذلك، فإن النهج الحالية التي تعتمد على النماذج الضخمة مسبقة التدريب غالباً ما يتدهور أداؤها عند حدوث تحول في التوزيع، مثل مواجهة لغات أو مجالات غير مرئية.

المنهجية
يقترح المؤلفون خط معالجة (pipeline) خفيف الوزن وقابل للتفسير، يعطي الأولوية للميزات الأسلوبية القائمة على النسب والقواعد الاستدلالية على التمثيلات العصبية عالية السعة. تتكون بنية النظام من المكونات التالية:

1. استخراج الميزات وهندستها:

   • الموصِّفات القائمة على النسب: يتضمن جوهر هذا النهج ميزات قائمة على النسب ومطبعة بطول النص، صُممت لتكون أقل حساسية لطول مقتطف الكود. وتشمل الميزات الرئيسية: نسبة التعليقات (أسطر التعليقات إلى إجمالي الأسطر)، نسبة الأفعال في التعليقات (الكلمات الفعلية إلى الكلمات الكلية في التعليقات)، نسبة التشابه مع النص الطبيعي (الأسطر المصنفة كلغة طبيعية إلى إجمالي أسطر الكود)، ونسبة أفعال المعرفات.
   • الميزات النحوية والهيكلية: باستخدام المحلل المتزايد Tree-Sitter، يستخرج النظام ميزات مثل درجة الاكتمال (الاكتمال النحوي)، عقد الخطأ بالقرب من نهاية الملف (أخطاء التحليل بالقرب من نهاية الملف)، التعقيد الدوري (Cyclomatic Complexity)، ونسب العبارات إلى عدد أسطر الكود (Statements-to-LOC).
   • تحديد اللغة: يقوم مصنف "نايف بايز متعدد الحدود" (Multinomial Naïvee Bayes) مخصص، تم تدريبه على مجموعة بيانات Rosetta Code باستخدام ميزات n-gram للرموز (character n-gram TF-IDF)، بتحديد لغة البرمجة لتمكين التحليل الخاص بكل لغة.

2. المصنفات المساعدة:

   • مصنف (الكود مقابل النص) على مستوى السطر: للتعامل مع العينات التي تحتوي على لغة طبيعية خام مختلطة بالكود، تم تدريب مصنف ثنائي على مجموعة بيانات مخصصة تجمع بين مقتطفات كود Stack Overflow وبيانات Twitch chat. يستخدم المصنف نظام TF-IDF مع n-grams للرموز للتمييز بين أسطر الكود وأسطر النص على مستوى السطر الواحد.

3. التصنيف ومنطق اتخاذ القرار:

   • المصنفات الضحلة: يستخدم النظام الانحدار اللوجستي (logistic regression) وأشجار القرار الضحلة (بعمق 2) المدربة على الميزات المستخرجة.
   • القواعد الاستدلالية: تدمج التنبؤات النهائية مخرجات المصنف مع قواعد استدلالية مستمدة من تحليل البيانات:
     • علامات اللغة: يتم وضع علامة (Flag) على الحالات التي يظهر فيها اسم لغة البرمجة كسطر مستقل يسبق الكود (وهي سمة شائعة في مخرجات النماذج اللغوية الكبيرة).
     • عتبة نسبة التشابه مع النص الطبيعي: يتم تطبيق عتبة قدرها 0.3 على نسبة التشابه مع النص الطبيعي. العينات التي تتجاوز هذه العتبة تُصنف مباشرة ككود مولد بواسطة LLM، مع إعطاء الأولوية للدقة (specificity) على الحساسية (sensitivity).
   • التحجيم بنظام المجموعات (Bucketed Scaling): لمراعاة الاختلافات في الطول، يتم تقسيم عينات الكود إلى مجموعات صغيرة، ومتوسطة، وكبيرة بناءً على عدد الأسطر، مع تطبيق تحجيم ميزات وعتبات قرار منفصلة لكل منها.

المساهمات الرئيسية
تحدد الورقة أربع مساهمات رئيسية:

1. تحليل المشفرات مسبقة التدريب: دراسة لقيود مشفرات الكود مسبقة التدريب (مثل GraphCodeBERT وCodeT5+) تحت تأثير تحول التوزيع، مما يثبت ضعف تعميمها على اللغات غير المرئية مقارنة بالطرق القائمة على الميزات.
2. الميزات القائمة على النسب القابلة للتفسير: تقديم واصفات محددة قائمة على النسب تلتقط الوصفية والتسرب الأسلوبي (مثل التعليقات المطولة، والنصوص التفسيرية) الشائعة في الكود المولد بواسطة LLM.
3. مجموعة بيانات (الكود مقابل النص): بناء مجموعة بيانات للتصنيف على مستوى السطر بين اللغة الطبيعية وكود المصدر، مما يتيح الكشف عن آثار اللغة الطبيعية المضمنة داخل عينات الكود.
4. خط معالجة خفيف الوزن: نظام كشف فعال حاسوبياً يحقق أداءً تنافسياً باستخدام موارد وحدة المعالجة المركزية (CPU) فقط، ويوفر زمن استدلال فوري تقريباً، مما يتناقض مع التكاليف الحسابية العالية للنماذج العصبية الكبيرة.

النتائج
تم تقييم النظام على مجموعة الاختبار الرسمية لـ SemEval-2026 Task 13، والتي تتضمن سبع لغات برمجة ومجالات متنوعة.

• المشفرات مسبقة التدريب: حققت نماذج مثل GraphCodeBERT وCodeT5+ درجات تحقق عالية (على سبيل المثال، 98.21% و97.46% لـ macro-F1)، لكنها فشلت في التعميم على مجموعة الاختبار، حيث انخفضت إلى 25.11% و49.39% على التوالي. يعزو المؤلفون ذلك إلى الإفراط في التخصيص (overfitting) على الإشارات الخاصة باللغة (مثل المسافات البادئة في Python) التي لا تنتقل إلى اللغات الأخرى.
• النهج القائم على الميزات: حقق النظام النهائي، الذي يجمع بين شجرة القرار (بعمق 2) والقواعد الاستدلالية، درجة macro-F1 بلغت 67.35.
  • حققت شجرة القرار وحدها 65.62.
  • حقق الانحدار اللوجستي مع ضبط العتبة 63.16.
  • وفرت إضافة القواعد الاستدلالية تحسناً مطلقاً بنحو 2%.
• المكونات المساعدة: حقق مصنف (الكود مقابل النص) درجة macro-F1 بلغت 96.07% في مجموعة التحقق، بينما وصلت دقة مصنف تحديد اللغة إلى 95.10%.
• التصنيف: جاء النهج ضمن أفضل 15% من جميع المشاركات في لوحة الصدارة الرسمية.

الأهمية والادعاءات
يضع المؤلفون عملهم كبديل قوي وقابل للتفسير للنماذج العصبية المعقدة لكشف تأليف الكود. ويدعون أن نهجهم يعالج بفعالية تحدي التعميم عبر اللغات والمجالات دون الحاجة إلى موارد وحدة معالجة رسومية (GPU) أو تدريب واسع النطى. من خلال التركيز على الإشارات الأسلوبية — وتحديداً وجود التعليقات المطولة، والنصوص التفسيرية، والآثار الهيكلية مثل علامات اللغة المستقلة — يلتقط النظام "الوصفية" المتأصلة غالباً في مخرجات LLM. تؤكد الورقة أنه بينما توفر نماذج التعلم العميق تمثيلات دلالية قوية، إلا أنها تعاني من تحولات التوزيع وتفتقر إلى القابلية للتفسير. في المقابل، يوفر خط المعالجة الخفيف المقترح حلاً عملياً للسيناريوهات التي تكون فيها الكفاءة الحسابية، والقابلية للتفسير، والمتانة عبر اللغات أمراً بالغ الأهمية، محققاً أوقات استدلال فورية تقريباً على أجهزة CPU القياسية.