💻 computer science

What the Detector Can See: Evaluating CPS Anomaly Detectors Independently of the Decision Rule

تقترح هذه الورقة إطار تقييم خالٍ من قواعد القرار يعزل قدرة الكاشف على تمثيل العمليات الفيزيائية عن معايرة العتبة الخاصة به، مما يكشف أن المقاييس التقليدية مثل (ROC-AUC) يمكن أن تحجب تفاوتات كبيرة في الأداء وأنماط فشل متفاوتة عبر مختلف معايير الأنظمة السيبرانية الفيزيائية وكواشف الشذوذ.

المؤلفون الأصليون: Peiran Shi, Jian Xiang, Xiang Zhang, Chenglong Fu

نُشر 2026-08-05

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Peiran Shi, Jian Xiang, Xiang Zhang, Chenglong Fu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك حارس أمن في مصنع ضخم وعالي التقنية، حيث تقوم الروبوتات ببناء السيارات وخلط المواد الكيميائية. مهمتك هي رصد أي شيء غريب يحدث في خط التجميع. إذا بدأت ذراع روبوت في التحرك بسرعة كبيرة أو فُتح صمام في وقت لا ينبغي فيه ذلك، يجب أن تعرف ذلك فوراً. في عالم العلوم، يُسمى هذا النظام السيبراني-الفيزيائي (CPS)؛ حيث يلتقي كود الكمبيوتر بالعالم الفيزيائي الحقيقي. لكن الجزء الصعب هنا هو أن المصنع قد يمر بـ "يوم سيء" أحياناً؛ فالآلات تهتز، ودرجات الحرارة تتذبذب، والمستشعرات تصبح مضطربة قليلاً. فكيف تميز بين خلل عابر غير ضار وبين مخترق متسلل يحاول تفجير كل شيء؟

لفترة طويلة، حاول العلماء حل هذه المعضلة عبر بناء "أجهزة كشف الشذوذ" (Anomaly Detectors). تخيل هذه الأجهزة ككاميرات ذكية جداً تراقب المصنع؛ فهي تتعلم كيف يبدو الشكل "الطبيعي"، ثم تصرخ "إنذار!" إذا بدا أي شيء مختلفاً. لكن هناك مشكلة في كيفية اختبار هذه الكاميرات. عادةً، نحن ننظر فقط إلى النتيجة النهائية: هل انطلق الإنذار؟ هل فاتها شيء؟ الأمر يشبه تقييم طالب بناءً على ما إذا كان قد رفع يده فقط، دون التحقق مما إذا كان قد فهم السؤال بالفعل. تجادل هذه الورقة البحثية بأننا بحاجة إلى النظر داخل الكاميرا قبل أن تقرر الصراخ. نحن بحاجة لرؤية ما "رأته" الكاميرا بالفعل، قبل أن ترتبك بسبب القواعد التي تستخدمها لتقرر متى تصرخ.

المحقق ذو المرحلتين

قرر مؤلفو هذه الورقة، وهم فريق من جامعة نورث كارولاينا في شارلوت، التوقف عن تقييم أجهزة الكشف بناءً على "صرخاتها" (الإنذارات) النهائية فقط. بدلاً من ذلك، عاملوا كل جهاز كشف كعملية مكونة من خطوتين، تماماً مثل محقق يحل جريمة.

المرحلة الأولى: جامع الأدلة.
تخيل محققاً ينظر إلى مسرح الجريمة. هو لا يصرخ "مجرم!" فوراً، بل يجمع الأدلة أولاً؛ يقيس الطين على الأحذية، ودرجة حرارة الغرفة، والوقت على الساعة. في لغة الورقة البحثية، يسمى هذا التمثيل المتبقي (Residual Representation). يأخذ جهاز الكشف بيانات المصنع ويحسب "الفجوة" بين ما حدث وما كان ينبغي أن يحدث. إذا تحركت ذراع الروبوت 5 بوصات بينما توقع الكمبيوتر 4 بوصات، فإن "المتبقي" (الفجوة) هو 1 بوصة. هذه المرحلة تتعلق بجمع الأدلة الخام.

المرحلة الثانية: صانع القرار.
بمجرد أن يجمع المحقق الأدلة، عليه أن يقرر: هل هذه جريمة؟ ربما لديه قاعدة مثل: "إذا كان الطين أكثر من بوصتين، اتصل بالشرطة". هذا هو قاعدة الإنذار (Alarm Rule)، وهو عبارة عن حد فاصل (Threshold). إذا كانت الفجوة كبيرة بما يكفي، تصرخ؛ وإذا كانت صغيرة، تتجاهلها.

المشكلة الكبيرة التي تشير إليها الورقة هي أن معظم العلماء ينظرون فقط إلى النتيجة النهائية للمرحلة الثانية. يقولون: "أوه، الجهاز (أ) حقق نسبة نجاح 90%، والجهاز (ب) حقق 80%". لكن هذا يشبه قولنا إن محققين متساويان في الكفاءة لمجرد أنهما أمسكا بنفس العدد من المجرمين، دون التساؤل عن كيفية عثورهما عليهم. ربما امتلك الجهاز (أ) أدلة مذهلة ولكن لديه قاعدة سيئة لإطلاق الإنذار، وربما امتلك الجهاز (ب) أدلة سيئة للغاية ولكنه حالفه الحظ بوجود معيار منخفض للصراخ.

الطريقة الجديدة للنظر: مقياس "الطاقة"

لإصلاح ذلك، ابتكر المؤلفون طريقة جديدة لقياس أجهزة الكشف. لقد صنعوا أداة تسمى طاقة المتبقي المعياري (Normalized Residual Energy).

فكر في هذا كـ "مقياس للغرابة". بدلاً من مجرد السؤال "هل صرخت؟"، نسأل: "كم بدا الدليل غريباً قبل أن تقرر الصرخ؟". نحن نقيس "طاقة" الفجوة بين العالم الحقيقي والعالم المتوقع. إذا كان المصنع يعمل بشكل طبيعي، تكون الطاقة منخفضة. وإذا كان هناك مخترق يعبث بالصمامات، فإن الطاقة ترتفع فجأة.

الشيء الرائع في هذا المقياس هو أنه لا يهتم بـ "قاعدة الصراخ". هو يقيس فقط الأدلة الخام. وجد المؤلفون أن هذا المقياس للطاقة له علاقة خاصة بمفهوم رياضي يسمى تباعد كولباك - ليبلر (KL Divergence). وباللغة البسيطة، هذه طريقة لقياس مدى اختلاف شيئين عن بعضهما البعض. إنه يشبه قياس مدى اختلاف يوم "طبيعي" في المصنع عن يوم "مخترق". باستخدام مقياس الطاقة هذا، استطاع المؤلفون رؤية "حقيقة" الأدلة دون الضجيج الناتج عن قواعد اتخاذ القرار.

ما وجدوه: عملية تبديل المحقق العظيم

اختبر الفريق خمسة أنواع مختلفة من أجهزة الكشف (مثل GDN و FuSAGNet و TranAD وغيرها) على ثلاثة اختبارات مصانع شهيرة (SWaT و WADI و HAI). هذه الاختبارات تشبه "المستويات" في لعبة فيديو، لكل منها تخطيطه الخاص وأنواع الهجمات الخاصة به.

إليكم ما اكتشفوه، وهو أمر مفاجئ للغاية:

كذبة "الدرجة": يمكن لجهازي كشف أن يحققا نفس الدرجة النهائية تقريباً (مثل درجة F1 أو ROC-AUC)، ولكن عندما تنظر إلى الأدلة الخام، تجدهما مختلفين تماماً. قد يمتلك أحدهما أدلة رائعة ولكن قاعدة إنذار سيئة، بينما يمتلك الآخر أدلة ضعيفة ولكن قاعدة إنذار محظوظة. أظهرت الورقة أنه في اختبار SWaT، يمكن أن تختلف معدلات نجاح الإنذار لأجهزة الكشف التي لها ترتيب عام متشابه بمقدار أكثر من عشرة أضعاف (رتبة مقدارية) عند استخدام قاعدة قياسية!
أسطورة "المقاس الواحد يناسب الجميع": قد تعتقد أن جهاز الكشف الذي يتفوق في المستوى 1 (SWaT) سيكون رائعاً في المستوى 2 (WADI). وجد المؤلفون أن هذا ليس صحيحاً. فقد كان جهاز TranAD هو الأفضل أداءً في اختبار HAI، لكنه جاء في المركز الأخير في SWaT. وفي المقابل، كان NSIBF هو الملك في WADI ولكنه كان الخاسر في HAI. اتضح أن المصانع المختلفة تحتاج إلى أنواع مختلفة من "العيون".
مشكلة "التخفيف" (Dilution): بعض أجهزة الكشف تنظر إلى المصنع بأكمله في وقت واحد، وتجمع كل البيانات معاً. وجد المؤلفون أن هذا كان فكرة سيئة في اختبار WADI. إذا قام مخترق بالعبث بصمام صغير واحد فقط في مصنع ضخم، وقام جهاز الكشف بالنظر إلى المصنع بأكمله، فإن تلك الإشارة الصغيرة ستتعرض لـ "التخفيف" (التمييع) بواسطة كل البيانات العادية والمملة من بقية المصنع. الإشارة ستضيع في الضجيج. لكن أجهزة الكشف التي نظرت إلى أجزاء أصغر ومحددة من المصنع (مثل المستشعرات فقط) استطاعت رؤية الهجوم بوضوح.
فخ "الانجراف" (Drift): أحياناً، يفشل جهاز الكشف في رصد هجوم ليس لأنه سيء، بل لأن المصنع تغير. إذا كان المصنع يعمل بشكل مختلف قليلاً أثناء الاختبار عما كان عليه أثناء التدريب (مثل تسخين الآلة)، فإن الخط المرجعي لـ "الطبيعي" ينزاح. وجد المؤلفون أن بعض أجهزة الكشف كانت تفشل لأن مرجعها لـ "الطبيعي" كان ينزاح بعيداً، مما يجعل الهجمات تبدو وكأنها ضجيج طبيعي.

لماذا يهم هذا؟

الورقة لا تكتفي بالقول "الجهاز X أفضل". بل تعمل كأداة تشخيص للأطباء. إذا كان المريض (جهاز الكشف) مريضاً، فأنت لا تقول فقط "إنه مريض". أنت بحاجة لمعرفة لماذا. هل المشكلة في أن "العيون" (المرحلة 1) لا تستطيع رؤية المرض؟ أم أن المشكلة في أن "الدماغ" (المرحلة 2) بطيء جداً في الاستجابة؟ أم أن جسم المريض قد تغير لدرجة أن المخططات الطبية القديمة لم تعد صالحة؟

من خلال فصل "جمع الأدلة" عن "اتخاذ القرار"، أظهر المؤلفون أن فشل الإنذار يمكن أن يأتي من أماكن مختلفة:

أدلة ضعيفة: جهاز الكشف ببساطة لم يستطع رؤية الهجوم.
عتبة سيئة: جهاز الكشف رأى الهجوم ولكن وضع سقفاً عالياً جداً للإنذار.
انجراف: المصنع تغير، وذاكرة جهاز الكشف لما هو "طبيعي" أصبحت قديمة.
تخفيف: الهجوم كان صغيراً جداً وضاع في الصورة الكبيرة.

الخلاصة

تشير هذه الورقة إلى أننا بحاجة للتوقف عن الحكم على أجهزة الكشف السيبرانية فقط من خلال أجراس الإنذار النهائية. بدلاً من ذلك، يجب أن ننظر إلى "طاقة المتبقي" – أي الأدلة الخام وغير المفلترة التي يجمعونها. أظهر المؤلفون أنه عندما تفعل ذلك، تتغير ترتيبات أجهزة الكشف تماماً، ويمكنك أخيراً فهم لماذا فشل جهاز ما. إنه انتقال من مجرد عدّ "الإنذارات" إلى فهم "رؤية" الآلة.

الدراسة لم تخترع جهاز كشف جديد للفوز بجائزة؛ بل اخترعت طريقة جديدة لتقييم أجهزة الكشف التي نمتلكها بالفعل. والدرجة التي أعطتها واضحة: إذا كنت تريد معرفة ما إذا كان جهاز الكشف جيداً حقاً، فعليك أن تنظر إلى ما يراه قبل أن يقرر الصراخ.

ملخص تقني: تقييم كواشف الشذوذ في الأنظمة السيبرانية الفيزيائية (CPS) بشكل مستقل عن قاعدة القرار

1. بيان المشكلة

تعتمد الأنظمة السيبرانية الفيزيائية (CPS) على كواشف الشذوذ كخط دفاع أخير ضد التلاعب العدائي ببيانات الاستشعار والمشغلات (actuator telemetry). ومع ذلك، فإن التقييم القياسي لهذه الكواشف معيب لأنه يخلط بين مكونين متمايزين:

المرحلة الأولى (التمثيل - Representation): عملية رسم الخرائط من الملاحظات إلى إشارة متبقية (residual signal) (مثل أخطاء التنبؤ، أو أخطاء إعادة البناء، أو انتهاكات الثوابت) والتي تمثل الفجوة بين السلوك الملحوظ والسلوك الطبيعي المتوقع.
المرحلة الثانية (قاعدة القرار - Decision Rule): عملية رسم الخرائط من المتبقيات إلى إنذارات ثنائية عبر العتبات (thresholds)، أو التنعيم (smoothing)، أو الاختبارات المتسلسلة (مثل اختبار CUSUM).

عادةً ما تدمج المقاييس المرجعية الحالية (benchmarks) بين الدقة (precision)، والاستدعاء (recall)، ودرجة F1 عند نقطة تشغيل واحدة. وتخلط هذه المقاييس بين جودة تمثيل المتبقيات وبين معايرة قاعدة القرار. وبناءً على ذلك، لا يمكن لدرجة F1 المنخفضة أن تميز ما إذا كان الخطأ في رصد الهجوم ناتجاً عن:

ضعف الأدلة المتبقية: (الهجوم غير مرئي بالنسبة للنموذج).
الانزياح بين التدريب والاختبار (Train-test drift): (التوزيع الطبيعي تغير بين مرحلتي التدريب والاختبار).
تخفيف الأبعاد (Dimensional dilution): (الهجمات الموضعية يتم حجبها عند تجميع الأدلة عبر جميع القنوات).
سوء معايرة العتبة: (الأدلة موجودة، لكن قاعدة الإنذار تفشل في استخراجها).

وتتفاقم هذه المشكلة عند مقارنة الكواشف غير المتجانسة (مثل المتنبئات الرسومية مقابل مدققي الثوابت) التي تعيش متبقياتها في فضاءات مختلفة وتُقرن بقواعد قرار تُعاير بشكل مستقل.

2. المنهجية

يقترح المؤلفون إطار تقييم خالٍ من قاعدة القرار يعامل كاشف الـ CPS كخط إنتاج مكون من مرحلتين ويقيم المرحلة الأولى مباشرة.

التفكيك ذو المرحلتين

المرحلة الأولى ( $\phi$ ): ترسم خريطة لنوافذ الملاحظات إلى متجه متبقٍ $r_t$ .
المرحلة الثانية ( $\pi$ ): ترسم خريطة للمتبقيات إلى إنذارات $a_t$ .
يقوم الإطار بعزل $\phi$ للتقييم قبل تطبيق أي قاعدة إنذار.

إطار طاقة معلومات المتبقيات

المقياس الجوهري هو طاقة المتبقيات المعيارية ( $e_t$ )، والمعرفة كمسافة ماهالانوبيس (Mahalanobis distance) المربعة للمتبقي عن المرجع الطبيعي المدرب، والمقسمة على نصف:
$e_t = \frac{1}{2} (r_t - \mu_0)^\top S_0^{-1} (r_t - \mu_0)$
حيث $\mu_0$ و $S_0$ هما المتوسط ومصفوفة التباين لتوزيع المتبقيات المستهلك من بيانات التدريب الخالية من الهجمات.

الأساس النظري:
ضمن رؤية توزيع غاوسي متطابق اللحظات (moment-matched Gaussian view)، يوجد اتصال دقيق لتوقع هذه الطاقة مع تباعد كولباك - ليبلر (KL divergence) بين توزيع الاختبار والمرجع الطبيعي للتدريب. وتحديداً:
$E[e_t | P] - \frac{p}{2} = D_{KL}(P_G || P_0) + \frac{1}{2} \log \frac{\det S_P}{\det S_0}$
تسمح هذه المتطابقة لمقياس الطاقة بقياس ثلاثة أمور في آن واحد:

انفصال الهجوم: مدى قدرة توزيع الهجوم على الانفصال عن الحالة الطبيعية.
انزياح التدريب والاختبار: مدى انزياح التوزيع الطبيعي.
بنية فضاء المتبقيات: مدى تماسك التمثيل.

مقاييس التقييم

يستخرج الإطار عدة مقاييس تشخيصية من تدفق الطاقة:

مقاييس الترتيب (Rank Metrics): مثل ROC-AUC و pAUC@1% (التركيز على معدلات الإنذار الكاذب المنخفضة) لقياس الفصل على مستوى النقطة.
طاقة نافذة الهجوم (Attack-Window Energy): تقديرات KL المتكاملة ( $D_{FULL}$ ) والاحتمالية ( $P_{FULL}$ ) بأن تهيمن نافذة الهجوم على نافذة طبيعية ذات مدة زمنية مماثلة.
تشخيصات الانزياح (Drift Diagnostics): انزياح التدريب والاختبار ( $D_{drift}$ ) والأدلة المصححة للانزياح ( $D_{eff}$ ) للتمييز بين إشارات الهجوم وانزياحات التوزيع الطبيعي.
التماسك (Compactness): نسبة البعد الفعال ( $p_{eff}$ ) إلى البعد الاسمي ( $p$ )، مما يشير إلى مقدار الفضاء المتبقي المستخدم.
مسبار المرحلة الثانية المتحكم به: تُستخدم عتبة ثابتة عند المئين 99 لـ طاقة التدريب الطبيعي ( $F1@p99$ ) فقط كـ "مسبار" لمعرفة مقدار الأدلة التي يمكن لقاعدة مشتركة استخراجها، وليس كمقياس ترتيب أساسي.

3. الإعداد التجريبي

طُبق الإطار بشكل موحد على خمسة كواشف عبر ثلاثة معايير مرجعية لـ CPS:

الكواشف: GDN، FuSAGNet، TranAD (متنبئات رسومية/ترانسفورمر)، NSIBF (مبني على المراقب)، و GeCo (ثوابت جبرية).
المعايير المرجعية: SWaT (معالجة المياه)، WADI (توزيع مياه أكبر)، و HAI (طاقة/غلايات).
البروتوكول: تم تدريب الكواشف على بيانات خالية من الهجمات وتقييمها على مسارات هجوم مصنفة. استخدم التقييم بروتوكولاً ثابتاً لتقدير المرجع الطبيعي (مصفوفة التباين بتقليص Ledoit–Wolf) وحساب مقاييس الطاقة.

4. النتائج والنتائج الرئيسية

تجيب الدراسة على أربعة أسئلة بحثية تشخيصية (RQs) تتعلق بطبيعة فشل الكشف:

السؤال البحثي الأول (RQ1): هل توجد أدلة هجوم قبل قاعدة الإنذار؟

النتيجة: يمكن لقيم ROC-AUC المتشابهة أن تخفي فروقاً شاسعة في أداء الإنذار. على سبيل المثال، في SWaT، حقق TranAD قيمة ROC-AUC بلغت 0.750 بينما كانت $F1@p99$ الخاصة به 0.025 فقط، في حين حققت كواشف أخرى قيم ROC-AUC مماثلة درجات F1 أعلى بكثير. يشير هذا إلى أن تمثيل المتبقي احتوى على معلومات للترتيب، لكن الانفصال كان ضعيفاً في منطقة الإنذارات الكاذبة المنخفضة.

السؤال البحثي الثاني (RQ2): هل مرجع المتبقي الطبيعي مستقر؟

النتيجة: يعد انزياح التدريب والاختبار مصدراً رئيسياً للفشل. أظهرت الكواشف ذات ترتيبات الهجوم المتشابهة قيم انزياح متفاوتة للغاية. على سبيل المثال، في SWaT، أظهر GDN انزياحاً هائلاً ( $1.9 \times 10^5$ )، بينما أظهر NSIBF انزياحاً ضئيلاً ( $6.2 \times 10^2$ ). يقلل الانزياح العالي من الهامش المتاح للعتبات الثابتة، مما يفسر الهجمات التي لم يتم رصدها حتى عندما يكون النموذج "صحيحاً".

السؤال البحث الثالث (RQ3): هل يتم التعبير عن الأدلة في فضاء المتبقي أم يتم تخفيفها؟

النتيجة: يحدد اختيار فضاء المتبقي نوع الهجمات المرئية. في WADI، تم اكتشاف الهجمات الموضعية بنجاح بواسطة NSIBF (الذي يقيم فضاء ابتكار المستشعر) ولكن تم تفويتها بواسطة كواشف الملاحظات الكاملة. أدى تجميع الأدلة عبر جميع القنوات إلى تخفيف الإشارة الموضعية. وهذا يفسر سبب تغير الترتيب عبر بيئات الاختبار: حيث تصدر NSIBF الترتيب في WADI ولكنه جاء في المركز الأخير في HAI، بينما تصدر TranAD في HAI وجاء في المركز الأخير في SWaT.

السؤال البحث الرابع (RQ4): هل تستخرج قاعدة المرحلة الثانية الأدلة المتاحة؟

النتيجة: كشف مسبار المرحلة الثانية المتحكم به أن حالات عدم رصد الهجمات المتشابهة يمكن أن تنبع من أسباب مختلفة. بعض حالات الفشل كانت بسبب ضعف أدلة المتبقي (الهجوم بالكاد يحرك المتبقي)، وبعضها بسبب سيطرة الانزياح (طاقة الهجوم < الانزياح)، وبعضها بسبب فشل استخراج العتبة (الأدلة موجودة لكن العتبة الثابتة تفشل في التقاطها).

5. الأهمية والمساهمات

يدعي البحث أربع مساهمات رئيسية:

كائن تقييم مستقل عن قاعدة القرار: يقوم بفرملة تقييم تمثيل المتبقي في المرحلة الأولى بشكل منفصل عن قاعدة الإنذار، مما يسمح للباحثين بالتساؤل عما إذا كانت أدلة الهجوم موجودة قبل تطبيق أي عتبة أو تنعيم.
مقياس طاقة معلومات المتبقي: يقدم مقياس طاقة متبقي معياري مع تفسير دقيق لتباعد KL، مما يوفر مقياساً مشتركاً لمقارنة الكواشف غير المتجانسة (رسومية، ترانسفورمر، مراقب، ثوابت) عبر فضاءات متبقية مختلفة.
التشخيصات المسببة للفشل: يوفر مجموعة من المقاييس للتمييز بين أنماط الفشل المحددة: ضعف الأدلة، عدم استقرار المرجع، تخفيف الأبعاد، وفشل معايرة المرحلة الثانية. وهذا ينقل التقييم من مجرد رقم واحد في لوحة الصدارة إلى أداة تشخيصية.
دراسة موحدة عبر الكواشف: يوضح أن ترتيبات الكواشف لا تنتقل بشكل موثوق عبر بيئات الاختبار المختلفة، وأن حالات الفشل المتشابهة على مستوى الإنذار غالباً ما تكون لها أسباب جوهرية مختلفة (مثل إعادة تصميم التمثيل مقابل تثبيت المرجع).

الخلاصة:
يجادل المؤلفون بأن فشل الكشف في الأنظمة السيبرانية الفيزيائية (CPS) متعدد الأوجه. ومن خلال فصل تمثيل المتبقي عن قاعدة الإنذار، يكشف الإطار المقترح أن "فشل الكشف" ليس مفهوماً أحادياً؛ إذ يمكن أن ينشأ من عدم قدرة الكاشف على رؤية الهجوم، أو عدم استقرار خط الأساس الطبيعي، أو تخفيف الإشارات في الفضاءات عالية الأبعاد، أو الاستخراج غير الأمثل للأدلة بواسطة سياسة الإنذار. يتيح هذا النهج إجراء تحسينات أكثر استهدافاً، مثل إعادة تصميم التمثيلات للهجمات الموضعية أو تثبيت المراجع ضد الانزياح، بدلاً من مجرد ضبط العتبات.