Evaluating False Alarm and Missing Attacks in CAN IDS

ملخص تقني: تقييم الإنذارات الكاذبة والهجمات المفقودة في أنظمة كشف التسلل لشبكة CAN

بيان المشكلة
تعتمد المركبات الحديثة بشكل كبير على شبكة (Controller Area Network - CAN) لربط وحدات التحكم الإلكترونية (ECUs) ببعضها البعض من أجل الوظائف الحساسة للسلامة. وبينما يتم نشر أنظمة كشف التسلل (IDS) القائمة على تعلم الآلة (ML) بشكل متزايد لتأمين حركة مرور شبكة CAN، إلا أن متانتها ضد التلاعب العدائي لا تزال غير مستكشفة بشكل كافٍ. غالبًا ما تقيم الأدبيات الحالية أداء أنظمة IDS على بيانات نظيفة أو تنظر إلى الإنذارات الكاذبة (الإيجابيات الكاذبة) والهجمات المفقودة (السلبيات الكاذبة) بشكل منعزل. تعالج هذه الورقة الفجوة في فهم كيفية قيام الاضطرابات المتوافقة مع البروتوكول على مستوى الحمولة (payload) بإطلاق إنذارات كاذبة وتسبب هجمات خبيثة في التهرب من الكشف في آن واحد، مما يقوض موثوقية أنظمة IDS في السيارات الحساسة للسلامة.

المنهجية
تقدم الدراسة تقيماً عدائياً منهجياً باستخدام مجموعة بيانات ROAD، والتي تحتوي على أكثر من 3.5 ساعة من حركة مرور CAN الحقيقية للمركبات، بما في ذلك 12 لقطة بيانات سليمة و33 لقطة هجوم (fuzzing، وfabrication، وECU masquerade).

• النماذج التي تم تقييمها: يقارن المؤلفون أربعة نماذج تعلم سطحي وهي: شجرة القرار (DT)، والغابة العشوائية (RF)، والأشجار الإضافية (ET)، وXGBoost (XGB)، مقابل شبكة عصبية عميقة (DNN) مكونة من أربع طبقات مخفية.
• نموذج التهديد: يفترض التقييم وجود خصم من نوع "الناقل الرمادي" (gray-bus) لديه معرفة "الصندوق الأبيض" (white-box) بنظام IDS. يمكن للمهاجم حقن رسائل مُصنعة، ولكن يجب عليه الالتزام بقيود بروتوكول CAN.
• توليد الهجمات العدائية: باستخدام مكتبة (Adversarial Robustness Toolbox - ART)، يقوم المؤلفون بتوليد أمثلة عدائية عبر طرق FGSM (طريقة إشارة التدرج السريع)، وBIM (الطريقة التكرارية الأساسية)، وPGD (الاشتقاق المتدرج المتجه نحو التدرج المتجه). ومن الأهمية بمكان أن الاضطرابات تقتصر على بايتات الحمولة (D0–D7) لإطار CAN. يظل معرف CAN (CAN ID) ورمز طول البيانات (DLC) ثابتين، ويتم قص جميع القيم المضطربة لتكون ضمن نطاق البايت الصالح [0, 255] لضمان بقاء الأطر المولدة متوافقة مع البروتوكول وصالحة على الشبكة.
• مقاييس التقييم: تستخدم الدراسة معدل نجاح الهجوم (ASR) لقياس وتيرة التصنيفات الخاطئة المستحثة (سواء كانت إيجابيات كاذبة على حركة المرور السليمة أو سلبيات كاذبة على حركة المرور الخبيثة)، ومعامل ارتباط ماثيوز (MCC) لتقييم أداء التصنيف العام في ظل عدم توازن الفئات.

المساهمات الرئيسية

1. إطار عمل عدائي موحد: تقدم الورقة تقييماً موحداً يفحص الإنذارات الكاذبة والهجمات المفقودة كأنماط فشل مقترنة، بدلاً من دراستهما بشكل منفصل.
2. اضطرابات متوافقة مع البروتوكول: على عكس الدراسات السابقة التي قد تولد حزم شبكة غير صالحة، يفرض هذا العمل قيوداً نطاقية صارمة، مما يضمن أن الأمثلة العدائية هي أطر CAN صالحة يمكن أن توجد واقعياً على ناقل المركبة.
3. تحليل البنية المقارن: تحدد الدراسة كيف تؤثر الخيارات المعمارية (المجموعات السطحية مقابل التعلم العميق) على المتانة العدائية عبر سيناريوهات هجوم متنوعة (Fuzzing, MECTA, MSA, RLOFFA, RLONA, CSA).
4. قابلية التكرار: أتاح المؤلفون تنفيذهم، ومسار التجربة، وكود التقييم للجمهور.

النتائج

• الأداء السليم: في الظروف العادية، تحقق جميع النماذج أداءً أساسياً قوياً. يظهر نموذج DNN معامل ارتباط (MCC) أقل قليلاً (حوالي 0.85) مقارنة بالنماذج السطحية (حوالي 0.91)، ويرجع ذلك أساساً إلى عدد أكبر من السلبيات الكاذبة، مما يشير إلى حدود قرار أكثر تحفظاً.
• متانة الإنذارات الكاذبة: تظهر جميع النماذج، بما في ذلك DNN، متانة قوية ضد استحثاث إنذارات كاذبة على حركة المرور السليمة. ويحافظ DNN، على وجه الخصوص، على معدلات منخفضة للإيجابيات الكاذبة حتى تحت الاضطرابات العدائية، متفوقاً على النماذج السطحية في هذا المقياس المحدد.
• ضعف الهجمات المفقودة: تكشف الدراسة عن نقاط ضعف جوهرية فيما يتعلق بالهجمات المفقودة (السلبيات الكاذبة).
  • ضعف نموذج DNN: يعاني DNN من حالات فشل كارثية تحت الهجمات القائمة على التدرج. في سيناريوهات محددة (مثل MECTA)، يصل معدل نجاح الهجوم (ASer) لنموذج DNN في حالة الهجمات المفقودة إلى 1.0، مما يشير إلى فشل تام في كشف الأطر الخبيثة المتلاعب بها عدائياً.
  • مرونة النماذج السطحية: بينما تتدهور النماذج السطحية أيضاً تحت الهجمات القوية (خاصة PGD)، يظهر نموذج الأشجار الإضافية (ET) متانة فائقة مقارنة بالبنى الأخرى. يحافظ ET على قيم أقل لـ ASR للهجمات المفقودة عبر معظم السيناريوهات ويظهر أداءً أكثر استقراراً تحت تأثير PGD مقارنة بـ RF وXGB.
  • الحساسية لنوع الهجوم: تعتبر الهجمات القائمة على التدرج (FGSM, BIM, PgD) فعالة للغاية ضد DNN. وعلى العكس من ذلك، فإن هجمات التصنيع المدركة للبروتوكول لها تأثير أقوى على النماذج القائمة على الأشجار، وإن كان ET يتفوق عموماً على DT وRF وXGB في الحفاظ على معدلات ASR أقل.
  • هجوم CSA: بالنسبة لهجوم الإشارة المترابطة (CSA)، لم يتم إنتاج أي سلبيات كاذبة بواسطة أي نموذج تحت التقييم العدائي. ويعزو المؤلفون ذلك إلى قيود البروتوكول الصارمة؛ حيث تعذر توليد عينات عدائية صالحة يمكن أن تؤدي إلى هجوم مفقود دون انتهاك صلاحية إطار CAN.

الأهمية والادعاءات
تدعي الورقة أن التلاعب العدائي يمكن أن يؤدي في آن واحد إلى إطلاق إنذارات كاذبة والتهرب من الكشف، مما يسلط الضوء على فجوة حرجة في نشر أنظمة IDS الحالية في السيارات. وتظهر النتائج أنه بينما قد توفر نماذج التعلم العميق أداءً فائقاً على البيانات النظيفة، إلا أنها عرضة بشدة للتلاعب العدائي المدفوع بالتدرج، مما قد يؤدي إلى إخفاقات سلامة كارثية. في المقابل، توفر طرق التجميع مثل "الأشجار الإضافية" (Extra Trees) مقايضة أكثر ملاءمة للمتانة، حيث تظهر حداً أدنى من الإنذارات الكاذبة ومعدلات أقل نسبياً للهجمات المفقودة.

يخلص المؤلفون إلى أن الاعتماد فقط على بيانات الاختبار النظيفة غير كافٍ لتقييم موثوقية نظام IDS. ويؤكدون على ضرية إجراء تقييم للمتانة العدائية في أنظمة السيارات الحساسة للسلامة، ويقترحون أن العمل المستقبلي يجب أن يركز على استراتيجيات الدفاع مثل التدريب العدائي والتصاميم الهجينة لـ IDS لتحسين القدرة على الصمود أمام الخصوم المتكيفين.