🤖 machine learning

Detecting Contaminated Code-Generation Prompt Batches via Influence Functions

تقدم الورقة البحثية CodeSIFT، وهي طريقة كشف غير معتمدة على نموذج التهديد تستفيد من دالات التأثير لتحديد دفعات مطالبات توليد الكود الخبيثة من خلال قياس تأثيرها الشاذ على معاملات النموذج، محققةً دقة كشف عالية عبر مختلف الثغرات الأمنية دون الاعتماد على أنماط هجوم محددة مسبقاً.

المؤلفون الأصليون: Francesco Quinzan, Noor Munir, Yishun Lu, Stephen Roberts

نُشر 2026-08-17

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Francesco Quinzan, Noor Munir, Yishun Lu, Stephen Roberts

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ استأجرت للتو مساعد طاهٍ موهوباً جداً، ولكنه متمرد قليلاً؛ هذا المساعد هو ذكاء اصطناعي (AI) يمكنه كتابة الوصفات (الأكواد البرمجية) لك. عادةً ما يكون رائعاً، ولكن في بعض الأحيان، إذا سألته بالطريقة الخاطئة، فقد يمرر لك وصفة تبدو لذيذة ولكنها تحتوي في الواقع على سمّ خفي، مثل صمام أمان مفقود في قدر ضغط، أو باب تُرِك مفتوحاً. المشكلة هي أن الذكاء الاصطناعي لا يعرف أنه يفعل شيئاً خاطئاً؛ إنه فقط ينفذ تعليماتك.

لفترة طويلة، حاول خبراء الأمن الإمساك بهذه الوصفات السيئة عن طريق الاحتفاظ بملصق "مطلوب" ضخم لكل سم معروف سبق رؤيته. إذا بدت الوصفة كأنها سم معروف، يتم وضع علامة عليها. ولكن ماذا لو اخترع الشرير سماً جديداً تماماً ليس موجوداً على الملصق بعد؟ الطرق القديمة ستكون عمياء تجاهه. هذه الورقة البحثية، التي كتبها باحثون من جامعة أكسفورد، تعالج هذه المشكلة تحديداً. إنهم يقترحون طريقة جديدة للإمساك بتعليمات الذكاء الاصطناعي السيئة، ليس من خلال النظر إلى الوصفة نفسها، بل من خلال الاستماع إلى كيفية تفاعل "دماغ" الذكاء الاصطناعي عندما يسمع الطلب. إنهم يستخدمون أداة رياضية تسمى "دوال التأثير" (influence functions)، وهي تشبه جهاز قياس الزلازل فائق الحساسية الذي يقيس مدى اهتزاز الإعدادات الداخلية للذكاء الاصطناعي استجابة لطلب معين. إذا تسبب طلب ما في هزة ضخمة وغريبة مقارنة بالطلبات العادية، فمن المرجح أنه فخ.

المشكلة: فخ "الطلب السيئ"

نماذج اللغات الكبيرة (LLMs) هي العقول الكامنة وراء الأدوات التي تكتب لنا أكواد الحاسوب. إنها مفيدة للغاية، حيث تساعد المطورين في بناء كل شيء من شاشات تسجيل الدخول إلى اتصالات قواعد البيانات. لكن هناك مشكلة: إذا سألت الذكاء الاصطناعي بالطريقة الصحيحة (أو الخاطئة)، يمكنه إنشاء كود يبدو مثالياً ولكنه يحتوي على ثغرات أمنية خفية. هذه الثغرات تشبه الشقوق غير المرئية في السد؛ يبدو الماء (البيانات) جيداً حتى ينفجر فجأة من خلالها.

الطريقة المعتادة لإيقاف ذلك هي استخدام "المحللات الساكنة" (static analyzers). فكر فيها كأنها أدوات تدقيق إملائي للأمن. تقوم هذه الأدوات بفحص الكود الذي يكتبه الذكاء الاصطناعي وتبحث عن قائمة بالأخطاء المعروفة، مثل "استخدام كلمة مرور ضعيفة" أو "نسيان إغلاق الباب". لكن هذا النهج يعيبه عيب كبير: فهو يعمل فقط إذا كان الخطأ موجوداً بالفعل في القائمة. إذا اخترع مخترق طريقة جديدة تماماً للاختراق، أو خدع الذكاء الاصطناعي لجعله يرتكب خطأً دقيقاً لم يصنفه أحد بعد، فإن مدقق الإملاء سيفشل تماماً في رصده. يرى الباحثون أن الاعتماد على قائمة بالأشياء السيئة المعروفة يشبه محاولة إيقاف فيروس جديد من خلال البحث عن الإنفلونزا فقط.

الفكرة الجديدة: الاستماع إلى "نبض قلب" الذكاء الاصطناعي

بدلاً من النظر إلى الكود الذي ينتجه الذكاء الاصطناعي، قرر مؤلفو هذه الورقة، فرانسيسكو كوينزان وفريقه، النظر إلى ما يحدث داخل دماغ الذكاء الاصطناعي أثناء تفكيره. إنهم يستخدمون مفهوماً يسمى دوال التأثير (influence functions).

لفهم هذا، تخيل أن الذكاء الاصطناعي قد تم تدريبه على الملايين من مهام البرمجة العادية والآمنة. دماغه يشبه بيانو مضبوطاً بدقة. عندما تعزف نوتة عادية (طلباً آمناً)، يهتز البيانو بطريقة مألوفة ومتوقعة. ولكن إذا عزفت نوتة خارجة عن النغمة تماماً أو تطلب شيئاً لم يتم تدريب البيانو عليه (طلباً خبيثاً)، فإن أوتار البيانو تهتز بشكل غريب. "دالة التأثير" هي طريقة لقياس مدى تغير التوتر الداخلي للبيانو بالضبط عند عزف نوتة معينة.

يطلق الباحثون على أداة جديدة اسم CodeSIFT. وإليك كيف تعمل في خطوات بسيطة:

الأساس (Baseline): أولاً، يقومون بتغذية الذكاء الاصطناعي بمجموعة من طلبات البرمجة العادية والآمنة. ويقيسون مدى "تذبذب" الإعدادات الداخلية للذكاء الاصطناعي استجابة لذلك. وهذا يخلق "نبض قلب طبيعي" للذكاء الاصطناعي.
الاختبار: بعد ذلك، يقومون بتغذية الذكاء الاصطناعي بدفعة من الطلبات الجديدة. قد يكون بعضها آمناً، ولكن بعضها قد يكون "مسموماً" ومصمماً لخداع الذكاء الاصطناعي لكتابة كود سيئ.
القياس: لكل طلب جديد، تحسب أداة CodeSIFT مدى التغيير الذي يجب أن يحدث في الإعدادات الداخلية للذكاء الاصطناعي لاستيعاب هذا الطلب. إذا كان الطلب غريباً أو خبيثاً، يضطر الذكاء الاصطناعي إلى القيام بقفزة غير طبيعية وضخمة في منطقه الداخلي لتلبيته. وهذا يخلق "درجة تأثير" كبيرة.
الحكم: إذا كان متوسط "التذبذب" لدفعة كاملة من الطلبات أكبر بكثير من نبض القلب الطبيعي، فإن CodeSIFT يطلق إنذاراً. لا يهم ما هو الخطأ المحدد؛ هو فقط يعرف أن الطلب يسبب رد فعل غير طبيعي.

ما وجدوه

اختبر الفريق أداة CodeSIFT على ثلاثة نماذج مختلفة من الذكاء الاصطناعي (تتراوح بين 3 مليارات إلى 7 مليارات معلمة/parameter) ونوعين من السيناريوهات الماكرة: أحدهما يتعلق بكلمات المرور وأمن تسجيل الدخول (AuthSec)، والآخر يتعلق بالخوادم السحابية وحيل الشبكات (InfraCloud). كما أنشأوا مجموعة بيانات خاصة تحتوي على 400 طلب خبيث و400 طلب آمن للاختبار.

كانت النتائج واعدة للغاية. عندما خلطوا دفعة من الطلبات السيئة، أثبتت CodeSIFT قدرة أفضل على رصدها مع زيادة عدد الطلبات السيئة.

في اختبارات أمن كلمات المرور، كانت دقتها مذهلة، حيث وصلت إلى درجة 0.98 (حيث 1.0 هي الدرجة الكاملة) عندما كانت الدفعة ملوثة بكثافة.
في اختبارات أمن السحابة، كان الأمر أصعب قليلاً ولكنها ظلت قوية جداً، حيث وصلت أيضاً إلى 0.98.
والأهم من ذلك، أنها لم تطلق إنذارات كاذبة كثيراً. فعندما قاموا بتغذيتها بطلبات آمنة فقط، حددت أنها آمنة في كل مرة تقريباً، مما حافظ على معدل "الإنذار الخاطئ" منخفضاً جداً.

في المقابل، كانت طرق "مدقق الإملاء" القديمة (مثل Bandit و Semgrep) غير متسقة. أحياناً كانت تعمل، ولكنها غالباً ما كانت تغفل الطلبات السيئة تماماً، أو الأسوأ من ذلك، بدأت في تصنيف الكود الآمن على أنه خطير عندما تتغير نماذج الذكاء الاصطناعي. وجد الباحثون أن هذه الأدوات القديمة كانت تركز أكثر من اللازم على الأنماط السطحية التي لا تنتقل بشكل جيد بين نماذج الذكاء الاصطناعي المختلفة، بينما نجحت طريقة CodeSIFT المعتمدة على الاستماع إلى رد الفعل الداخلي للذكاء الاصطناعي عبر جميع تلك النماذج.

لماذا هذا مهم

الجزء الأكثر إثارة في هذا الاكتشاف هو أن CodeSIFT لا تحتاج إلى معرفة شكل الهجوم مسبقاً. هي لا تحتاج إلى قائمة بالفيروسات المعروفة. هي فقط تحتاج إلى معرفة ما يبدو عليه الشيء "الطبيعي". وهذا يشير إلى أنه في المستقبل، قد نتمكن من حماية مساعدي البرمجة المدعومين بالذكاء الاصطناعي من هجمات جديدة لم يسبق لها مثيل، فقط من خلال مراقبة ردود أفعالهم تجاه أسئلتنا.

يشير المؤلفون إلى أن هذا النهج يعد اتجاهاً واعداً للغاية. ورغم أنهم اختبروه على نماذج تصل إلى 7 مليارات معلمة، إلا أنهم يعتقدون أن الرياضيات يمكن أن تعمل على نماذج أكبر بكثير. ومع ذلك، يلاحظون أيضاً أن هذا حالياً هو اختبار لـ "دفعات" من الطلبات، وليس للإمساك بطلب سيئ واحد وسط مليون طلب آمن. ولكن في الوقت الحالي، يوفر هذا طريقة جديدة وذكية للاستماع إلى نبض قلب الذكاء الاصطناعي والإمساك بالمخربين قبل أن يكتبوا سطراً واحداً من الكود الخطير.

ملخص تقني: كشف دفعات مطالبات توليد الكود الملوثة عبر دالات التأثير

بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لتوليد الأكواد البرمجية، ومع ذلك تظل عرضة للمطالبات التي تستحث تنفيذات غير آمنة. تعتمد آليات الدفاع الحالية، مثل أدوات التحليل الساكن (مثل Bandit وSemgrep) وتتبُّع تدفق البيانات (taint trackers)، على نماذج تهديد أو فهارس محددة مسبقًا لأنماط الثغرات المعروفة. هذه النهج تكون عمياء تجاه ناقلات الهجوم الجديدة أو المتغيرات الخارجة عن فهارسها المحددة. علاوة على ذلك، بينما توجد أدوات كشف لعمليات كسر الحماية (jailbreaks) أو حقن المطالبات التي تستهدف سلوك اتباع التعليمات، لا توجد حاليًا طريقة موثوقة للكشف عن المطالبات التي تستهدف تحديدًا إحداث "عدم توافق" (misalignment) في توليد الكود — والمُعرَّف بإدخال نقاط ضعف ذات صلة بالأمن (وفقًا لمعايير CWE/OWASP) لم يكن ليحدثها استكمال سليم لنفس المهمة. التحدي الجوهري يكمن في كشف دفعات المطالبات الخبيثة دون معرفة مسبقة بفئة الثغرة الأمنية أو طريقة الهجوم المحددة.

المنهجية: CodeSIFT

يقترح المؤلفون CodeSIFT، وهو منهج كشف مستقل عن نموذج التهديد يستفيد من دالات التأثير (influence functions) لتحديد دفعات المطالبات التي تُحدث سلوكًا شاذًا في النموذج. بدلاً من تحليل الكود المولد بحثًا عن ثغرات محددة، يقيس CodeSIFT "تأثير مساحة المعلمات" (parameter-space influence) للكود المولد لتحديد ما إذا كانت مجموعة المطالبات المرشحة تنحرف عن التوزيع المرجعي السليم.

الآلية الجوهرية

دالات التأثير (IFs): تقيس هذه الطريقة كمية تأثير مثال تدريبي محدد (في هذه الحالة، الاستجابة المولدة) على معلمات النموذج. وهي تقدّر مدى مقدار تغير معلمات النموذج إذا تم زيادة وزن مثال معين أثناء التدريب.
- صوريًا، بالنسبة لمطالبة $z$ واستجابة $\hat{z}$ ، يقيس مقياس التأثير مقدار تحديث المعلمات $\|\hat{\theta} - \hat{r}_{\hat{z}, \text{lin}}(\varepsilon)\|_p$ ، حيث $\hat{\theta}$ هي المعلمات المتقاربة و $\hat{r}$ هي دالة الاستجابة الخطية التي تقرب دالة استجابة بروكسيمال بريغمان (PBRF).
- الفرضية هي أن الاستجابات التي تستحثها المطالبات الخبيثة (عدم التوافق) ستتطلب إزاحة أكبر في المعلمات لاستيعابها مقارنة بالاستجابات الناتجة عن المطالبات السليمة، لأنها غير متوافقة مع توزيع التدريب السليم للنموذج.
الاختبار الإحصائي:
- تقوم الخوارزمية بحساب مقياس التأثير ( $IF_{p,\varepsilon}(z)$ ) لكل مطالبة في دفعة مرشحة ( $D$ ) ودفعة مرجعية سليمة معروفة ( $D^*$ ).
- تقوم بتجميع هذه المقاييس وتجري اختبار t لعينتين مستقلتين من جانب واحد (Welch's one-sided two-sample t-test) لمقارنة متوسط تأثير الدفعة المرشحة مقابل المرجع السليم.
- الفرضية: $H_0$ (سليم): الدفعة المرشحة تمارس نفس متوسط تأثير مساحة المعلمات مثل المرجع السليم. $H_1$ (خبيث): الدفعة المرشحة تُحدث إزاحة أكبر بكثير في المعلمات.
- إذا كانت القيمة الاحتمالية (p-value) أقل من مستوى المعنوية $\alpha$ ، يتم وسم الدفعة بأنها ملوثة.
الكفاءة الحسابية:
- للتعامل مع عدم القدرة على حساب مصفوفة هسيان (Hessian) المعكوسة بدقة للنماذج الكبيرة، يستخدم المؤلفون تقريب Kronecker-Factored Approximate Curvature (K-FAC).
- يستخدمون "تبسيطًا من جانب واحد"، حيث يحتفظون فقط بعامل كرونيكر المقابل لبعد النموذج المخفي (hidden dimension) ويتخلصون من عامل الطبقة المتوسطة (MLP intermediate dimension) الأكبر.
- يتم حساب عوامل الانحناء الكثيفة مسبقًا على مجموعة بيانات انحناء منفصلة ( $D_c$ ، وهي مجموعة فرعية من The Stack v2) والتي تقرب توزيع ما قبل تدريب النموذج، مما يجنبهم الحاجة إلى الوصول إلى بيانات التدريب الأصلية.

المساهمات الرئيسية

إطار كشف مبتكر: اقتراح CodeSIFT، وهو اختبار إحصائي للكشف عن مطالبات توليد الكود الخبيثة بناءً على دالات التأثير. بخلاف الأعمال السابقة التي استخدمت IFs لأغراض التفسير أو دراسات التعميم، يستخدم هذا العمل التأثير كإحصائية كشف تجميعية لا تتطلب افتراضًا حول نموذج التهديد.
مجموعات بيانات مرجعية جديدة: بناء مجموعتي بيانات جديدتين، AuthSec (الأمان المتعلق بالمصادقة، والتفويض، وأمن الجلسات) و InfraCloud (البنية التحتية، والسحابة، واستغلال البروتوكولات)، حيث تحتوي كل منهما على 200 مطالبة خبيثة ومجموعة مرجعية سليمة مقابلة. تم تصميم هذه المجموعات خصيصًا للتمييز على مستوى الدفعة وليس لتقييم كل عينة على حدٍ حد.
تقييم شامل: تقييم CodeSIFT مقابل ثلاثة من النماذج المرجعية للتحليل الساكن (Bandit وSemgrep ومتبع تدفق البيانات القائم على AST المخصص) عبر ثلاثة نماذج لغوية مفتوحة الأوزان لتوليد الكود (بأحجام تتراوح من 3B إلى 7B بارامتر).

النتائج التجريبية

قيم المؤلفون CodeSIFT على ثلاثة نماذج: Granite-3B و DeepSeek-Coder-6.7B و Qwen2.5-Coder-7B.

دقة الكشف (AUROC):
- أظهر CodeSIFT تحسنًا رتيبًا في دقة الكشف مع زيادة معدل الحقن (نسبة المطالبات الخبيثة في الدفعة).
- في مجموعة بيانات AuthSec، وصلت قيمة AUROC إلى درجات تقارب الكمال (تقترب من 1.0) مع تلوث متوسط (40-50%).
- في مجموعة بيانات InfraCloud الأكثر تباينًا، بلغت قيمة AUROC ذروتها بين 0.88 و 0.98 اعتمادًا على النموذج.
- في المقابل، أظهرت النماذج المرجعية الساكنة أداءً غير متسق عبر النماذج. فبينما قدم Bandit أداءً جيدًا على DeepSeek-Coder، إلا أن أداءه كان قريبًا من مستوى الصدفة في النماذج الأخرى. أما Semgrep ومتبع تدفق البيانات القائم على AST فقد سجلت قيمًا تحت 0.5 AUROC (ارتباط عكسي مع التسميات الحقيقية) مع زيادة معدلات الحقن.
التحكم في الإيجابيات الكاذبة:
- حافظ CodeSIF على معدلات إيجابية كاذبة (FPR) مُعايرة جيدًا عبر جميع النماذج والمجموعات، حيث تتبعت بدقة مستوى المعنوية الاسمي $\alpha$ (يتراوح بين 0.01 و 0.09).
- أظهرت النماذج المرجعية الساكنة معايرة غير متسقة، حيث أظهرت غالبًا أنماطًا تشبه الخطوات بسبب طبيعتها الثنائية في وسم كل عينة على حدٍ حد.

الأهمية والادعاءات

يدعي البحث أن الكشف القائم على دالة التأثير يوفر اتجاهًا واعدًا لتحديد مطالبات توليد الكود الخبيثة دون الحاجة إلى معرفة مسبقة بفئة الهجوم.

الاستقلالية عن نموذج التهديد: نجحت الطريقة في كشف عدم التوافق دون الحاجة إلى فهرسة الثغرات مسبقًا، مما يعالج قصور المحللات الساكنة التي تكون عمياء تجاه الهجمات الجديدة.
القابلية للنقل: تنتقل إشارة الكشف (تأثير مساحة المعلمات) عبر بنيات نماذج مختلفة (من 3B إلى 7B بارامتر) وعائلات نماذج متنوعة، بينما يفشل مطابقة الأنماط السطحية (التحليل الساكن) في التعميم بشكل متسق.
الفعالية على مستوى الدفعة: هذه الطريقة فعالة بشكل خاص في تحديد الدفعات الملوثة من المطالبات، وهي قدرة حاسمة لسير عمل المطورين المؤتمت حيث تتم معالجة المطالبات في مجموعات.

يظل المؤلفون متواضعين بشأن نطاق العمل، مشيرين إلى أن التقييم الحالي محدود بلغة Python وعائلات معينة من الثغرات، وأن الطريقة مصممة حاليًا كاختبار على مستوى الدفعة وليس كأداة لتحديد المطالبات الخبيثة الفردية داخل الدفعة. ويقترحون إمكانية توسيع هذا النهج ليشمل نماذج أكبر (بالإشارة إلى أعمال سابقة وصلت إلى 52B بارامتر) وإلى لغات سطح هجوم أخرى.