LLMSniffer: Detecting LLM-Generated Code via GraphCodeBERT and Supervised Contrastive Learning

إليك ملخص تقني مفصل لورقة البحث بعنوان "LLMSniffer: اكتشاف الكود المولد بواسطة النماذج اللغوية الكبيرة عبر GraphCodeBERT والتعلم التبايني الخاضع للإشراف."

1. بيان المشكلة

أدى الاعتماد السريع للنماذج اللغوية الكبيرة (LLMs) مثل GitHub Copilot وChatGPT وCode Llama إلى إحداث تحول في تطوير البرمجيات. ومع ذلك، فإن هذا التحول يخلق تحديات حرجة:

• النزاهة الأكاديمية: صعوبة التمييز بين التكليفات المقدمة من الطلاب وبين ما هو نتاج الذكاء الاصطوي.
• جودة الكود وأمنه: الحاجة إلى تحديد مصدر الكود لعمليات مراجعة الكود وتدقيق الأمن لاكتشاف الثغرات المحتملة أو الأساليب غير البشرية.
• قصور الأدوات الحالية: تفشل أدوات كشف النصوص العامة (مثل GPTZero وDetectGPT) في التعامل مع الكود بسبب الخصائص التركيبية والهيكلية الفريدة. كما أن أدوات اكتشاف الكود الحالية تعتمد غالباً على دالة خسارة بسيطة (Binary Cross-Entropy) أو سمات مصممة يدوياً، والتي قد لا تستوعب الفروق الهيكلية الدقيقة للكود المولد بواسطة النماذج اللغوية الكبيرة.

تُعرف المهمة الجوهرية هنا كمسألة تصنيف ثنائي: بالنظر إلى مقتطف كود $x$، حدد ما إذا كان مكتوباً بواسطة بشر ($0$) أو مولداً بواسطة نموذج لغوي كبير ($1$).

2. المنهجية: LLMSniffer

يقترح المؤلفون إطار عمل LLMSniffer، الذي يدمج ثلاثة مكونات رئيسية: GraphCodeBERT، والتعلم التبايني الخاضع للإشراف (Supervised Contrastive Learning)، والمعالجة المسبقة بإزالة التعليقات. يتبع الهيكل المعماري مسار تدريب يتكون من مرحلتين.

أ. المعالجة المسبقة: إزالة التعليقات

خيار تصميمي حاسم هو إزالة تعليقات الكود قبل عملية الترميز.

• المسوغ: غالباً ما تولد النماذج اللغوية الكبيرة تعليقات تفسيرية مسهبة تعكس أسلوب كتابتها الخاص بدلاً من المنطق الخوارزمي نفسه.
• الهدف: من خلال تجريد الكود من التعليقات، يُجبر النموذج على تعلم التمايزات بناءً على الخصائص التركيبية والهيكلية للكود بدلاً من الإشارات الأسلوبية السطحية، مما يحسن القدرة على التعميم.

ب. بنية النموذج

1. المُشفّر (GraphCodeBERT):
   • بخلاف CodeBERT القياسي، يدمج GraphCodeBERT رسوم تدفق البيانات (Data-flow graphs) جنباً إلى جنب مع تسلسلات الرموز (Tokens).
   • يلتقط التبعيات الدلالية على مستوى المتغيرات (على سبيل المثال، أين يتم حساب المتغير مقابل أين يتم استخدامه) عبر أهداف التنبؤ بالحواف ومحاذاة العقد.
   • المخرج هو تضمين رمز [CLS] (أي $h \in \mathbb{R}^{768}$).
2. رأس الإسقاط (المرحلة 1):
   • يعمل MLP مكون من طبقتين مع تفعيل ReLU على رسم خريطة للتضمين $h$ إلى فضاء ذي أبعاد أقل ($z \in \mathbb{R}^{128}$) خصيصاً للتعلم التبايني.
   • يتم التخلص من هذا الرأس أثناء مرحلة الاستدلال.
3. رأس التصنيف (المرحلة 2):
   • يعمل MLP مع دالة تفعيل Sigmoid على رسم خريطة للتضمين الأصلي $h$ إلى احتمالية ثنائية.
   • وجد المؤلفون أن هذا الـ MLP يتفوق على المصنفات الخطية المستخدمة في النماذج المرجعية السابقة.

ج. إجراء التدريب (مرحلتان)

• المرحلة 1: التدريب المسبق التبايني:
  • يتم ضبط المُشفّر ورأس الإسقاط باستخدام خسارة التباين الخاضعة للإشراف ($L_{SupCon}$).
  • الهدف: تقريب التمثيلات التي تنتمي لنفس الفئة (بشر-بشر أو ذكاء اصطناعي-ذكاء اصطناعي) من بعضها البعض، ودفع الفئات المختلفة بعيداً في فضاء التضمين.
  • يتم موازنة الدفعات (Batches) لتعظيم عدد الأزواج الإيجابية لكل مرساة (Anchor).
• المرحلة 2: الضبط الدقيق للتصنيف:
  • يتم إزالة رأس الإسقاط، ويتم إلحاق رأس تصنيف MLP.
  • يتم ضبط النموذج بالكامل (End-to-end) باستخدام خسارة التقاطع الثنائي المستعرض (BCE).
  • تعمل المرحلة التباينية كعملية "إحماء" لإنشاء تمثيلات تمييزية قبل تدريب المصنف النهائي.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: تقديم LLMSniffer، وهو أول إطار عمل يجمع بين GraphCodeBERT والتعلم التبايني الخاضع للإشراف المخصص لاكتشاف الكود المولد بواسطة الذكاء الاصطناعي.
2. رؤى دراسة الاستئصال (Ablation Insights): أثبتت الدراسة أن التعلم التبايني وحده غير كافٍ؛ بل إن الجمع بين إزالة التعليقات، وGraphCodeBERT، ورأس تصنيف MLP ضروري لتحقيق الأداء المتفوق (State-of-the-art).
3. إتاحة الموارد: إصدار نقاط فحص النموذج (Checkpoints)، والبيانات (GPTSniffer وWhodunit)، والكود، وعرض تجريبي تفاعلي حي عبر Streamlit لضمان إمكانية إعادة الإنتاج.

4. النتائج التجريبية

تم تقييم النموذج على مجموعتي بيانات مرجعيتين: GPTSniffer (متعدد اللغات، ChatGPT) وWhodunit (لغة Python، GPT-4).

الأداء على GPTSniffer

• النموذج المرجعي (GPTSniffer/CodeBERT): دقة 70%، F1 بنسبة 68%.
• LLMSniffer (رأس خطي): دقة 70% (لا يوجد تحسن).
• LLMSniffer (النموذج الكامل): دقة 78%، F1 بنسبة 78%.
  • التحسن: زيادة قدرها 8 نقاط مئوية في الدقة و10 نقاط مئوية في F1.
  • ملاحظة: حقق النموذج الكامل توازناً بين الدقة (Precision) والاستدعاء (Recall)، بينما عانى النموذج المرجعي من دقة عالية ولكن استدعاء منخفض للكود المكتوب بواسطة البشر.

الأداء على Whodunit

• النموذج المرجعي (Whodite/XGBoost): دقة 91%، F1 بنسبة 91%.
• LLMSniffer (النموذج الكامل): دقة 94.65%، F1 بنسبة 94.64%.
  • التحسن: مكاسب ثابتة بنحو 3.6 نقطة مئوية عبر جميع المقاييس.

تصور التضمين (t-SNE)

• النموذج المرجعي: أظهر تداخلاً شديداً في المجموعات (Clusters) بين كود البشر وكود الذكاء الاصطوي، مما يشير إلى ضعف القدرة على الفصل.
• LLMSniffer: أنتج مجموعة مدمجة ومعزولة جيداً للكود المولد بواسطة الذكاء الاصطناعي، وهي قابلة للفصل بوضوح عن الكود المكتوب بواسطة البشر. يؤكد هذا الفصل الهندسي أن التعلم التبايني الخاضع للإشراف هو المحرك الرئيسي لتحسين القدرة التمييزية.

5. الأهمية والعمل المستقبلي

• الأهمية: يضع LLMSniffer معياراً جديداً للأداء العالي في اكتشاف الكود المولد بواسطة LLM من خلال الانتقال من مجرد التصنيف القائم على الرموز إلى تعلم التمثيل الهيكلي القائم على الرسوم البيانية والمعزز بالأهداف التباينية. لقد أثبت أن إزالة الضجيج الأسلوبي (التعليقات) وتحسين هندسة فضاء التضمين أمران حاسمان لتحقيق اكتشاف قوي.
• القيود:
  • يقتصر على مقتطفات بطول 512 رمزاً (الملفات الأطول تتطلب الاقتطاع).
  • قد يتدهور الأداء مع تطور النماذج اللغوية الكبيرة لإنتاج كود أكثر شبهاً بالبشر دون إعادة تدريب دورية.
  • تظل القدرة على مواجهة الهجمات العدائية (التعتيم/Obfuscation) سؤالاً مفتوحاً.
• الاتجاهات المستقبلية:
  • الإسناد متعدد الفئات (التمييز بين نماذج محددة مثل GPT-4 مقابل Claude).
  • اختبار المتانة ضد الهجمات العدائية.
  • دمج سمات شجرة الإعراب المجردة (AST) جنباً إلى جنب مع رسوم تدفق البيانات.
  • التوسع ليشمل لغات البرمجة ذات الموارد المحدودة.

الخاتمة

يعالج LLMSniffer بفعالية تحدي اكتشاف كود الذكاء الاصطناعي من خلال الاستفيد من الفهم الهيكلي لـ GraphCodeBERT وقدرات فصل المجموعات للتعلم التبايني الخاضع للإشراف. توضح دراسة الاستئصال أن التآزر بين إزالة التعليقات، والتدريب المسبق التبايني، ورأس تصنيف MLP غير الخطي ضروري لتحقيق أداء يتفوق على النماذج المرجعية الحالية.