Do Machine Learning Security Detectors Survive New Attacks? A Leakage Free Evaluation of Hidden Prompt Injection Detection in AI Coding Agents, Malicious npm and PyPI Package Detection, and Network Intrusion Detection
تُثبت هذه الورقة أن كواشف أمن تعلم الآلة، التي تحقق عادةً أداءً يقارب المثالية في عمليات التقسيم العشوائي القياسية، تعاني من معدلات فشل كارثية عند تقييمها ضد تقنيات هجوم غير مرئية وتحولات زمنية باستخدام بروتوكول صارم وخالٍ من التسريب عبر سيناريوهات حقن الأوامر البرمجية للذكاء الاصطناعي، والحزم البرمجية الخبيثة، وكشف التسلل إلى الشبكات.
في العالم الرقمي الحديث، تعتمد الأنظمة الأمنية غالباً على تعلم الآلة، وهو نوع من البرامج الحاسوبية التي تتعلم كيفية رصد المشكلات عبر دراسة آلاف الأمثلة من الهجمات السابقة. تعمل هذه البرامج كحراس رقميين، حيث تقوم بفحص حركة مرور الشبكة، والتحقق من ملفات البرمجيات قبل تثبيتها، وحتى قراءة التعليمات التي تستخدمها مساعدات البرمجة القائمة على الذكاء الاصطناعي لمساعدة المبرمجين. لسنوات طويلة، كانت الطريقة القياسية لاختبار هؤلاء الحراس هي خلط كومة من الهجمات المعروفة وتقسيمها إلى مجموعتين: واحدة للتدريب وأخرى للاختبار. تفترض هذه الطريقة أن الهجمات التي سيواجهها الحارس في المستقبل ستشبه إلى حد كبير تلك التي درسها بالفعل. ومع ذلك، فإن المهاجمين في العالم الحقيقي لا يظلون ثابتين؛ فهم يبتكرون حِيلاً جديدة باستمرار، ويخفون أدواتهم بطرق مختلفة، ويشنون هجمات في أوقات وأماكن لم يسبق للمدافعين رؤيتها. السؤال الجوهري هو ما إذا كان هؤلاء الحراس الرقميون قادرين حقاً على التعرف على نوع جديد من التهديدات، أم أنهم ببساطة يحفظون القديم ويفشلون عندما تتغير قواعد اللعبة.
وضع فريق من الباحثين من جامعة بورت هاركورتت (University of Port Harcourt) هدفاً للإجابة على هذا السؤال من خلال اختبار كاشفات الأمن ضد ثلاثة أنواع مختلفة تماماً من التهديدات الرقمية باستخدام منهجية واحدة صارمة مصممة لمنع تسرب البيانات. لقد فحصوا مدى قدرة الكاشفات على رصد التعليمات المخفية المزروعة في الملفات الموجهة لوكلاء البرمجة بالذكاء الاصطناعي، وكيف صمدت أمام حزم البرمجيات الخبيثة في المكتبات عبر الإنترنت، وكيف كان أداؤها في تحديد اختراقات الشبكة. وبدلاً من خلط البيانات عشوائياً، أجبر الباحثون الكاشفات على مواجهة مواقف لم يسبق لها التعامل معها من قبل: هجمات تستخدم تقنيات إخفاء جديدة، وهجمات تظهر في عام لاحق، أو هجمات من مجموعات بيانات مختلفة تماماً. كما تحققوا أيضاً من وجود "اختصارات"، حيث قد يعتمد الكاشف على دليل بسيط وواضح — مثل حجم الملف — بدلاً من فهم الخطر فعلياً.
ركز الجزء الأول من دراستهم على وكلاء البرمجة بالذكاء الاصطناعي، وهي أدوات تساعد المبرمجين على كتابة الأكواد من خلال قراءة ملفات مثل أدلة الإعدادات. بدأ المهاجمون في إخفاء تعليمات سرية داخل هذه الملفات باستخدام رموز غير مرئية أو رموز غريبة قد يغفل عنها العين البشرية لكن الكمبيوتر يقرأها كأمر. أنشأ الباحثون مجموعة تضم ما يقرب من خمسة آلاف ملف حقيقي من المستودعات العامة، ثم زرعوا تعليمات مخفية غير ضارة في هذه الملفات باستخدام تسع تقنيات إخفاء مختلفة. واختبروا خمسة كاشفات مختلفة لمعرفة مدى قدرتها على إيجاد هذه الفخاخ. عندما تم اختبار الكاشفات على نفس تقنيات الإخفاء التي تعلمتها أثناء التدريب، كان أداؤها شبه مثالي، حيث رصدت كل التعليمات المخفية تقريباً. ومع ذلك، عندما اختبر الباحثون الكاشفات على تقنية إخفاء لم يسبق لها رؤيتها، انهار الأداء لبعض النماذج. فالكاشف الذي اعتمد على عدّ سمات محددة، مثل عدد الرموز غير المرئية، فشل في رصد 96% من الهجمات الجديدة. وفي المقابل، فإن الكاشف الذي قرأ النص الفعلي للملف، بعد تحويل الرموز المخفية أولاً إلى نص عادي قابل للقراءة، حافظ على أدائه العالي. كما وجدت الدراسة أن نماذج الذكاء الاصطناعي الصغيرة والمفتوحة المصدر غالباً ما اتبعت هذه التعليمات المخفية، حيث استجابت للأوامر السرية في ما يصل إلى ثلثي الحالات، بينما أدى مجرد حذف الرموز غير المرئية أحياناً إلى جعل الهجوم أسهل للفهم بالنسبة للذكاء الاصطناعي.
تناولت الدراسة الثانية حزم البرمجيات الخبيثة في مكتبات npm وPyPI، وهي متاجر ضخمة عبر الإنترنت حيث يقوم المطورون بتحميل الأكواد. جمع الباحثون أكثر من ثلاثة عشر ألف حزمة، بما في ذلك آلاف الحزم الخبيثة المعروفة من أعوام 2024 و2025 و2026. قاموا بتدريب الكاشفات على حزم قديمة ثم اختبروها على الموجات الجديدة من الهجمات من عام 2026. أحد الكاشفات، الذي نظر في الكود نفسه، ظل قوياً، حيث رصد أكثر من 90% من الحزم الخبيثة الجديدة. أما الكاشف الآخر، الذي اعتمد على سمات ثابتة مثل الحجم الإجمالي للحزمة وعدد الملفات بداخلها، فقد قدم أداءً جيداً في البداية ولكنه فشل بشكل ذريع عندما أزال الباحثون الأدلة القائمة على الحجم. فبدون الاعتماد على حقيقة أن الحزم الخبيثة غالباً ما تكون صغيرة، انخفضت قدرة هذا الكاشف على رصد الهجمات الجديدة بشكل كبير، مما كشف أنه كان يعتمد على "اختصار" بدلاً من تحديد البرمجيات الخبيثة فعلياً. كما أظهرت الدراسة أن الكاشفات واجهت صعوبة في العثور على الأكواد الخبيثة التي تم تمريرها داخل مكتبات مشهورة ومشروعة، وهي تقنية أصبحت أكثر شيوعاً في عام 2026.
أعادت الدراسة الثالثة مراجعة كشف اختراق الشبكات، والذي يتضمن مسح البيانات المتدفقة عبر شبكة الكمبيوتر لرصد المخترقين. استخدم الباحثون ثلاث مجموعات بيانات واسعة الاستخدام والتي كانت بمثابة المعيار لاختبار هذه الأنظمة لسنوات. ووجدوا أن هذه المجموعات تحتوي على عدد كبير من المدخلات المكررة والأخطاء، مما أدى على الأرجح إلى تضخيم معدلات النجاح السابقة. وعندما اختبروا الكاشفات عبر تدريبها على بيانات من أيام سابقة واختبارها على بيانات من أيام لاحقة، انهار أداء الأنظمة. فالكاشف الذي بدا مثالياً عند خلط البيانات عشوائياً، لم يكن أفضل من رمية عملة معدنية (أي لم يتجاوز نسبة الصدفة) عندما واجه حركة المرور من الأسبوع التالي. لقد فشل في التعرف على عائلات كاملة من الهجمات التي لم يسبق له رؤيتها، مثل أنواع معينة من حركة مرور "البوت نت" (botnet) أو محاولات التسلل، مما أثبت أن النظام تعلم التعرف على أنماط الماضي المحددة بدلاً من طبيعة الهجوم نفسه.
عبر جميع المجالات الأمنية الثلاثة، ظهر نمط واضح. الكاشفات التي اعتمدت على السمات الملخصة أو العد البسيط مالَت إلى الفشل عندما يغير المهاجمون أساليبهم، بينما الكاشفات التي قرأت المحتوى الفعلي للتهديد صمدت بشكل أفضل بكثير. وجد الباحثون أن خطوة بسيطة تتمثل في تحويل النصوص المخفية أو المربكة إلى تنسيق قياسي قابل للقراءة قبل المسح سمحت للكاشفات بالتعرف على الرسالة الأساسية بغض النظر عن كيفية تمويهها. كما أثبتوا أن إزالة التكرارات من البيانات كانت ضرورية ولكنها ليست كافية لحل المشكلة؛ إذ كانت المشكلة الحقيقية تكمن في الافتراض بأن الهجمات المستقبلية ستشبه الهجمات الماضية. وتخلص الدراسة إلى أنه يجب اختبار الأنظمة الأمنية ضد تقنيات جديدة وغير مرئية قبل الوثوق بها، وأن الاعتماد على طرق الاختبار العشوائية القياسية يعطي شعوراً زائفاً بالأمان. ويشير العمل إلى أنه لكي نظل آمنين، يجب أن نصمم أنظمة تفهم محتوى الهجوم بدلاً من مجرد حفظ مظهره.
ملخص تقني: هل تصمد كواشف أمن تعلم الآلة أمام الهجمات الجديدة؟
بيان المشكلة
غالبًا ما يتم تقييم كواشف أمن تعلم الآلة (ML) باستخدام تقسيمات عشوائية لمجموعات البيانات، حيث يتم سحب مجموعات التدريب والاختبار من نفس الحملات، والأدوات، والفترات الزمنية. تخلق هذه المنهجية وهمًا بالأداء القريب من المثالية (على سبيل المثال، ROC AUC > 0.99)، لكنها تفشل في تقييم ما إذا كانت الكواشف قادرة على التعميم على تقنيات الهجوم الجديدة، أو الفترات الزمنية الجديدة، أو مجموعات البيانات الجديدة. ومع تكيف المهاجمين مع أساليبهم — بالانتقال من الكود المرئي إلى التعليمات المخفية، أو تطور تعمية الحزم (obfuscation)، أو تغيير أنماط حركة مرور الشبكة — قد تفشل الكواشف المدربة على بيانات تاريخية بشكل كارثي. تبحث هذه الورقة فيما إذا كانت كواشف أمن تعلم الآلة ستصمد أمام "الهجمات الجديدة" التي كانت غائبة عن بيانات تدريبها، وتتناول تحديدًا تسرب البيانات، وتعلم الاختصارات (shortcut learning)، وانزياح المفهوم (concept drift) عبر ثلاثة مجالات أمنية متميزة.
المنهجية
يقترح المؤلفون ويطبقون بروتوكول تقييم موحد خالٍ من التسرب عبر ثلاث دراسات. يفرض البروتوكول ست قواعد صارمة:
إزالة التكرار: يتم إزالة العينات المتطابقة وشبه المتطابقة (عبر MinHash) قبل التقسيم لمنع تسرب البيانات.
تقسيمات الهجمات الجديدة: بدلاً من التقسيمات العشوائية، يستخدم المؤلفون تقسيمات تجبر الكاشف على مواجهة ظروف غير مرئية:
الدراسة أ: "ترك تقنية واحدة خارج التدريب" (التدريب على 8 تقنيات إخفاء، والاختبار على التاسعة).
الدراسة ب: تقسيمات مرتبة زمنيًا (التدريب على بيانات ما قبل عام 2026، والاختبار على موجات هجوم عام 2026).
الدراسة ج: تقسيمات مرتبة زمنيًا (التدريب على الأيام الأولى من مجموعة بيانات، والاختبار على الأيام اللاحقة) ونقل البيانات بين مجموعات البيانات المختلفة.
التجميع: يتم الاحتفاظ بالعينات ذات الصلة (مثل الملفات من نفس المستودع أو نسخ الحزم المكررة) معًا في جانب واحد من التقسيم.
معدل إنذار كاذب ثابت (FAR): يتم ضبط العتبات للحفاظ على معدل إنذار كاذب بنسبة 1% على البيانات المشروعة، ويتم الإبلاغ عن الاستدعاء (recall) عند هذه العتبة الثابتة بدلاً من الاعتماد فقط على ROC AUC.
تدقيق الاختصارات: يتم تدريب أشجار قرار أحادية الميزة لتحديد "الاختصارات" (الميزات التي تفصل بين الفئات دون معنى دلالي)، ويتم إعادة تدريب النماذج بدون هذه الميزات.
محاكاة الهجوم التكيفي: في الدراسة أ، يقوم مهاجم تكيفي باستعلام الكاشف 25 مرة لكل ملف للعثور على المتغيرات ذات الدرجات الأدنى.
الدراسات الثلاث
الدراسة أ (ملفات الوكيل الذكي - AI Agent Files): تحلل حقن الأوامر المخفية في ملفات تعليمات وكلاء البرمجة بالذكاء الاصطناعي (مثل .cursorrules و CLMD.md) ووصف أدوات بروتوكول سياق النموذج (MCP). تم تسميم مجموعة مكونة من 4,955 ملفًا بتسع تقنيات إخفاء (مثل علامات Unicode، والرموز صفرية العرض، وعناصر التحكم ثنائية الاتجاه) وحمولات غير ضارة.
الدراسة ب (الحزم الخبيثة): تقيم اكتشاف حزم npm و PyPI الخبيثة باستخدام مجموعة بيانات نهائية مكونة من 13,317 حزمة. بينما تضمنت عملية الاختيار الأولية 10,100 أرشيف، تم قراءة ومعالجة 9,885 منها بنجاح. تتكون مجموعة البيانات من 9,885 حزمة npm خبيثة (من مصادر 2024–2026) و 3,432 حزمة مشروعة (من مصادر npm و PyPI). نظرًا للحد السنوي المطبق في عملية الاختيار، فإن جميع العينات الخبيثة في المجموعة النهائية تنتمي إلى npm، بينما تمتد العينات المشروعة عبر كلا السجلين.
الدراسة ج (تسلل الشبكة): تعيد تقييم اكتشاف تسلل الشبكة على CICIDS2017 و CICIDS2018 و UNSW NB15. وتفحص تأثير التكرارات، والتقسيمات القائمة على الوقت، وعائلات الهجوم غير المرئية، والنقل بين مجموعات البيانات.
المساهمات الرئيسية
بروتوكول موحد: إطار عمل مشترك للتقييم الخالي من التسرب تم تطبيقه على ثلاث مهام أمنية متباينة (حقن الأوامر، سلاسل التوريد، تسلل الشبكة) باستخدام بيانات عامة.
مجموعة بيانات جديدة: مجموعة بيانات مكونة من 4,955 ملف تعليمات لوكيل ذكاء اصطناعي ووصوف أدوات MCP، معززة بتسع تقنيات إخفاء وحمولات "كناري" غير ضارة.
دفاع التنميط (Canonicalization Defense): دليل على أن خطوة التنميط البسيطة (فك تشفير الرموز المخفية، وتطبيع Unicode، وتحديد المحتوى غير المرئي) تحسن بشكل كبير من متانة الكاشف ضد تقنيات الإخفاء غير المرئية.
قياس الطاعة: بيانات تجريبية تظهر أن نماذج اللغة الصغيرة المفتوحة (Qwen2.5 Instruct, 1.5B–7B) تطيع التعليمات المخفية في ما يصل إلى 67% من الملفات المسمومة، وأن المطهرات البسيطة (إزالة الرموز صفرية العرض) يمكن أن تصلح هجمات "صفرية العرض" عن غير قصد، مما يجعلها أكثر فعالية.
النقل من الاصطناعي إلى الواقعي: إثبات أن الكاشف المدرب فقط على التسميم الاصطناعي في الدراسة أ نجح في تحديد 80% من مهارات الوكيل الذكي الخبيثة الحقيقية من مجموعة بيانات Datadog.
إعادة تحليل مجموعة البيانات: تحديد معدلات التكرار العالية (8–40%) والتسميات المتضاربة في مجموعات بيانات التسلل القياسية (CICIDS2018)، والكشف عن أن التقسيمات العشوائية القياسية تحجب الأداء الذي يقترب من مستوى الصدفة في التقسيمات المرتبة زمنيًا.
النتائج الرئيسية
الدراسة أ: حقن الأوامر المخفي
التقسيمات القياسية: حققت جميع الكواشف ROC AUC بين 0.97 و 1.00.
تقسيمات الهجمات الجديدة:
الكواشف القائمة على الميزات انهارت، حيث انخفض الاستدعاء من 0.87 إلى 0.037 استدعاء (عند 1% FAR) عند الاختبار على تقنيات إخفاء غير مرئية.
نماذج الرموز الخام انخفضت من 0.999 إلى 0.545 استدعاء.
نماذج الرموز المنمطة (Canonicalized) حافظت على 0.89 استدعاء على التقنيات غير المرئية.
DistilRoBERTa (الذي تم ضبطه بدقة على النص المنمط) حافظ على 0.98 استدعاء، مما أظهر عدم تدهور الأداء ضد التقنيات غير المرئية.
الهجمات التكيفية: فقدت الكواشف القائمة على القواعد والميزات البسيطة ما بين 88-93% من قدرتها على الكشف ضد المهاجمين التكيفيين، بينما فقدت النماذج القائمة على النصوص 9-12% فقط.
مفارقة التطهير (Sanitization Paradox): أدى إزالة الرموز غير المرئية إلى تحسين الكشف لبعض التقنيات، ولكنه زاد من نجاح هجمات "صفرية العرض" من خلال إعادة تجميع الحمولات المجزأة.
الدراسة ب: اكتشاف الحزم الخبيثة
التقسيمات القياسية: أظهرت النماذج القائمة على الرموز (LR) والميزات (XGBoost) أداءً عاليًا (ROC AUC ~0.99).
التقسيمات المرتبة زمنيًا (2026):
احتفظ نموذج الرموز بـ 92.4% استدعاء على حزم 2026.
انخفض نموذج الميزات إلى 76.9% استدعاء.
الاعتماد على الاختصارات: اعتمد نموذج الميزات بشدة على اختصارات "الحجم" (عدد الملفات، الحجم الإجمالي). عندما تمت إزالة هذه الميزات، انهار استدعاء نموذج الميزات على حزم 2026 إلى 41%، بينما ظل نموذج الرموز مستقرًا.
الثغرات المحددة: عانت كلا النموذجين بشكل كبير من المكتبات المشروعة المخترقة والحزم التي تحتوي على ملفات تهيئة الوكيل الذكي.
الدراسة ج: تسلل الشبكة
التكرارات: كان لإزالة التكرارات تأثير ضئيل على ROC AUC (انخفاض أقصاه 0.01) ولكنه كشف أن العديد من الصفوف المكررة كانت تدفقات هجوم سهلة.
التقسيمات المرتبة زمنيًا:
في CICIDS2018، حقق النموذج المدرب على أيام سابقة ROC AUC قدره 0.49 (قريب من الصدفة) في الأيام اللاحقة.
انخفض الاستدعاء لعائلات الهجوم غير المرئية (مثل Botnet, Infiltration) إلى ما يقرب من الصفر (0.010 استدعاء لـ XGBoost في CICIDS2018).
النقل بين مجموعات البيانات: فشلت النماذج المدربة على CICIDS2017 في التعميم على CICIDS2018 (ROC AUC ~0.70)، والعكس صحيح (ROC AUC ~0.41).
الاختصارات: لم يؤدِ إزالة أعلى اختصارات الميزة الواحدة (مثل حجم الحزمة، حجم النافذة) إلى استعادة القدرة على التعميم؛ بل انتقلت النماذج ببساطة إلى ميزات أخرى مرتبطة.
الأهمية والادعاءات
تجادل الورقة بأن المعيار الحالي لتقييم كواشف أمن تعلم الآلة عبر التقسيمات العشوائية غير كافٍ وغالبًا ما يكون مضللاً. يدعي المؤلفون ما يلي:
الأداء هش: غالبًا ما تعتمد الكواشف على ارتباطات زائفة (اختصارات) أو حفظ تواقيع هجوم محددة بدلاً من تعلم أنماط دلالية قوية. عندما تتغير تقنية الهجوم، يمكن أن ينهار الأداء إلى مستويات تقترب من العشوائية.
المحتوى مهم: الكواشف التي تحلل المحتوى الخام للهجوم (خاصة بعد التنميط) هي أكثر متانة بشكل ملحوظ من تلك التي تعتمد على الإحصاءات الملخصة أو الميزات الهندسية.
التقييم يجب أن يتطور: يجب على باحثي الأمن والممارسين اعتماد تقسيمات "الهجمات الجديدة" (المرتبة زمنيًا، أو استبعاد التقنيات، أو النقل بين مجموعات البيانات) والإبلاغ عن الاستدعاء عند معدل إنذار كاذب ثابت لتقييم الجدوى الواقعية بدقة.
التصميم الدفاعي: بالنسبة لأمن الوكيل الذكي، فإن الدفاع الأكثر فعالية ليس مجرد تصفية الرموز غير المرئية، بل تنميط النص لكشف التعليمات المخفية قبل الكشف.
يخلص المؤلفون إلى أنه بينما يمكن للتسميم الاصطناعي تدريب كواشف تتعمم بنجاح على الهجمات الحقيقية، يجب على المجال الابتعاد عن التقسيمات العشوائية لتجنب نشر كواشف تفشل أمام هجمات "الشهر القادم".