ملخص تقني: CALIBURN: دراسة حساسية النظم التشغيلية للكشف عن التسلل عبر التدفق المضبط عملياتياً

1. بيان المشكلة

تواجه أنظمة كشف التسلل للشبكات (NIDS) في بيئات الإنتاج فجوة مزمنة بين درجات الشذوذ الإحصائي والمتطلبات التشغيلية للتنبيهات. تتعامل الطرق الأكاديمية الحالية عادةً مع اختيار العتبة (threshold selection) كمسألة ضبط لاحقة، حيث يتم تحسين مقاييس مثل F1 أو AUC-ROC بناءً على تسميات تحقق (validation labels) غالباً ما تكون غير متوفرة، أو متأخرة، أو نادرة في مراكز العمليات الأمنية (SOCs) الفعلية.

يتطلب المشغلون سلوكيات تنبيه محددة مسبقاً قبل النشر باستخدام مدخلات تشغيلية: وهي التكلفة النسبية للنتائج السلبية الكاذبة (false negatives) مقابل النتائج الإيجابية الكاذبة (false positives)، وميزانية تنبيه محدودة (على سبيل المثال، مستمدة من أهداف مستوى الخدمة SLOs). علاوة على ذلك، يجب على كواشف التدفق (streaming detectors) معالجة التدفقات باستمرار مع ذاكرة محدودة، ومع ذلك تترك معظم طرق كشف الشذوذ في التدفق عملية ترجمة الدرجات إلى تنبيهات قابلة للتنفيذ كمسألة منفصلة تعتمد على الحدس. تعالج هذه الورقة الحاجة إلى خط معالجة تدفقي يكون مضبوطاً عملياتياً، بحيث يشتق العتبات مباشرة من التكاليف والميزانيات التي يحددها المشغل بدلاً من البحث المعتمد على التسميات.

2. المنهجية: خط معالجة CALIBURN

CALIBURN هو خط معالجة تنبيه مكون من خمسة عناصر مصمم لفصل التقييم الإحصائي، واتخاذ القرار العملياتي، وتصعيد التنبيه. تم تأطيره ليس كحل عالمي، بل كـ دراسة حساسية النظم التشغيلية لتقييم الأداء عبر مستويات انتشار هجمات متغيرة.

المكونات الجوهرية

1. كشف تغير نقطة التحول البايزي عبر الإنترنت المبتور (Truncated BOCPD):

   • الوظيفة: يعالج تدفقات الشبكة بالتتابع لإنتاج درجة شذوذ احتمالية $s_t = P(r_t = 0 | x_{1:t})$، والتي تمثل الاحتمال اللاحق بأن التدفق الحالي يبدأ نظاماً جديداً (إعادة ضبط طول التشغيل).
   • القيد: يستخدم تقريباً لطول التشغيل المبتور (أقصى طول $L$) لضمان تكلفة تحديث محدودة وذاكرة ثابتة، مما يجعله مناسباً للتدفق المستمر.
   • النموذج: يستخدم نموذج ملاحظة غاوسي (Gaussian) مع تحديثات كافية عبر الإنترنت.

2. طبقة المعايرة المتجانسة (Isotonic Calibration Layer):

   • الوظنية: تقوم بربط درجة BOCPD الخام $s_t$ (احتمالية تغير النظام) باحتمالية هجوم شرطية تجريبية $\hat{p}_t = \hat{P}(y_t = 1 | s_t)$.
   • الطريقة: تطبق خريطة معايرة رتيبة باستخدام الانحدار المتجانس (خوارزمية Pool-Adjacent-Violators) على تقسيم التحقق.
   • المبرر: درجة BOCPD الخام ليست احتمال هجوم مباشر؛ والمعايرة تسد الفجوة بين "تغير النظام" و"الهجوم" باستخدام التسميات المتاحة.

3. عتبة القرار الحساسة للتكلفة (Cost-Sensitive Decision Threshold):

   • الوظيفة: تشتق عتبة قرار $\tau^*$ بناءً على تكاليف الخطأ في التصنيف التي يحددها المشغل.
   • الصيغة: $\tau^* = \frac{C_{FP}}{C_{FP} + C_{FN}}$، حيث $C_{FP}$ و $C_{FN}$ هما تكلفة النتائج الإيجابية الكاذبة والنتائج السلبية الكاذبة على التوالي.
   • التمييز: يتم اشتقاق هذه العتبة من نسب التكاليف، وليس من تحسين مجموعة التحقق.

4. غلاف التحكم في مخاطر التوافق (Conformal Risk Control - CRC):

   • الوظيفة: يحول ميزانية التنبيه $\alpha$ التي يحددها المشغل (مثل الحد الأقصى لمعدل النتائج الإيجابية الكاذبة) إلى عتبة صالحة $\hat{\tau}_\alpha$ تحت فرضية التبادلية بين بيانات التحقق وبيانات الاختبار السلبية.
   • الضمان: يوفر حداً للقيم المتوقعة الهامشية لمعدل النتائج الإيجابية الكاذبة: $E[FPR_{test}(\hat{\tau}_\alpha)] \leq \alpha$.
   • الآلية: يختار أدنى عتبة $\tau$ بحيث يظل معدل النتائج الإيجابية الكاذبة التجريبي على السلبيات في مجموعة التحقق، مضافاً إليه حد هامشي $1/(n_0+1)$، أقل من $\alpha$.

5. التنبيه عبر النوافذ المتعددة لمعدل الحرق (Multi-Window Burn-Rate Alerting):

   • الوظيفة: طبقة تصعيد مقتبسة من ممارسات هندسة موثوقية الموقع (SRE).
   • المنطق: تحول تجاوزات العتبة إلى تنبيهات فقط عندما يتجاوز "معدل الحرق" (استهلاك ميزانية التنبيه) عتبة معينة عبر أزواج من النوافذ الزمنية القصيرة والطويلة. هذا يعمل على تصفية الضوضاء العابرة مع تصعيد الشذوذ المستمر.

3. المساهمات الرئيسية

تؤطر الورقة مساهماتها كخريطة للنطاق العملياتي والقيود بدلاً من الادعاء بالتفوق المطلق:

1. رسم خريطة حساسية النظم (Regime-Sensitivity Mapping): تدرس الورقة أداء خط المعالجة عبر ثلاثة أنظمة انتشار هجمات مختلفة:

   • النظام النادر (LITNET-2020, ~5.2%): يتفوق CALIBURN بشكل كبير.
   • النظام المتوسط (CICIDS2017, ~22.06%): يظل CALIBURN أقوى طريقة تدفق (streaming)، لكنه يتراجع أمام طرق الكثافة بالدفعات (batch density methods).
   • النظام العالي (UNSW-NB15, ~64%): تتدهور جميع طرق التدفق، بما في ذلك CALIBURN، إلى أداء يقترب من العشوائية بسبب انقلاب المعدل الأساسي (base-rate inversion).

2. تحديد آليات انهيار CRC: حدد المؤلفون وكمّموا آليتين يمكن أن يفشل فيهما التحكم في مخاطر التوافق (CRC) عند ميزانيات تنبيه صغيرة $\alpha$:

   • التجاوز النظري (Theoretical Overshoot): يمكن للحد $2B/(n_0+1)$ أن يتسبب في تجاوز الإجراء للهدف $\alpha$.
   • فشل كثافة البيانات التجريبية (Empirical-Density Failure): عندما تتركز توزيعات درجات السلبيات في التحقق بكثافة تحت العتبات المرشحة، قد يختار الإجراء عتبة تنتج صفراً من التنبيهات (حالة التحلل/Degeneracy) لاستيفاء الحد بشكل شكلي.

3. تحليل المعايرة الصريح: تُظهر الورقة أن المعايرة المتجانسة تقلل درجات براير (Brier scores) بنسبة (30-63%) مقارنة ببوستريورات BOCPD الخام، مما يؤكد ضرورة رسم خرائط درجات تغير النظام إلى احتمالات هجوم شرطية.

4. اختبار آثار الميزات (UNSW-NB15): اختبر المؤلفون فرضية أن انهيار طرق التدفق في UNSW-NB15 ناتج عن سمات اصطناعية لـ TTL؛ وبإزالة هذه الميزات، لم يتدهور الأداء بل تحسن قليلاً. هذا يؤكد أن الانهيار جوهري في كشف التدفق تحت الانتشار العالي (انقلاب المعدل الأساسي)، وليس ناتجاً عن تسرب الميزات القابلة للإزالة.

5. الإرشادات العملياتية: تحدد الورقة الظروف المحددة التي يكون فيها CALIBURN مناسباً:

   • انتشار الهجمات < ~25%.
   • ميزانية التنبيه $\alpha$ أعلى بوضوح من حد التجاوز النظري $2B/(n_0+1)$.
   • توزيع المعايرة قابل للتبادل تقريباً مع تيار النشر.

4. النتائج التجريبية

مجموعات البيانات والمراجع المرجعية

• مجموعات البيانات: LITNET-2020 (هجوم 5.2%)، CICIDS2017 (هجوم 22.06%، نسخة مصححة)، UNSW-NB15 (هجوم 64%).
• المراجع المرجعية (Baselines): خمس طرق تدفق (Half-Space Trees, KitNET, LODA, Robust Random Cut Forest, iForest_ASD) وثلاث مراجع دفعات (LOF, ECOD, COPOD).

الأداء حسب النظام

• نظام الهجوم النادر (LITNET-2020):

  • حقق CALIBURN AUC-PR قدره 0.943.
  • تفوق على أفضل مرجع تدفق (LODA) بمقدار 2.21 ضعفاً، وعلى أفضل مرجع دفعات (ECOD) بمقدار 4.12 ضعفاً.
  • حقق دقة عالية (0.976) مع استدعاء متوسط (0.451)، مما يعكس المقايضة الحساسة للتكلفة.
  • قللت المعايرة المتجانسة درجة براير بنسبة 30%.

• نظام الانتشار المتوسط (CICIDS2017):

  • حقق CALIBURN AUC-PR قدره 0.545، وظل أقوى طريقة تدفق.
  • ومع ذلك، تفوق عليه منهج الدفعات LOF (AUC-PR 0.863).
  • يعزو المؤلفون ذلك إلى تلوث التوزيع المرجعي للتدفق بحجم أكبر من الهجمات، وهو ما تتجنبه طرق الدفعات باستخدام مجموعة التدريب الكاملة.

• نظام الانتشار العالي (UNSW-NB15):

  • حقق CALIBURN AUC-PR قدره 0.653، وهو غير مختلف عن حد الانتشار (0.676).
  • تدهورت جميع طرق التدفق إلى ترتيب يقترب من العشوائية (AUC-ROC ~0.5).
  • أدت طرق الدفعات (LOF, ECOD) أداءً أفضل، ولكن في سياق لم يعد فيه "الأساس الطبيعي" حميداً.

نتائج الاستبعاد (Ablation Findings)

• في نظام الهجوم النادر، تفوق خط المعالجة الكامل (V1) بشكل كبير على النسخة "النموذجية الضعيفة" (V4: الدرجات الخام + عتبة التكلفة)، والتي عانت من معدل نتائج إيجابية كاذبة عالٍ (9.6%).
• في أنظمة الانتشار العالي، غالباً ما يتحلل خط المعالجة الكامل (V1) إلى صفر تنبيهات بسبب قيود CRC، بينما تنتج نسخة الدرجات الخام (V4) نتائج أكثر فائدة (وإن كانت أقل دقة).

5. الأهمية والادعاءات

تدعي الورقة بتواضع أن CALIBURN ليس بديلاً عالمياً لجميع طرق كشف التسلل. تكمن أهميته في:

1. المواءمة العملياتية: يوفر إطاراً تُشتق فيه عتبات التنبيه من تكاليف وميزانيات يحددها المشغل بدلاً من الضبط اللاحق المعتمد على التسميات، مما يجعل النظام قابلاً للتفسير والدفاع عنه قبل النشر.
2. الوعي بالنظم (Regime Awareness): يحدد صراحةً "نظام الهجوم النادر" كأفضل حالة لاستخدام الكشف المتدفق والحساس للتكلفة والمعاير. كما يحذر الممارسين من أن طرق التدفق محدودة هيكلياً عندما ينعكس المعدل الأساسي للهجمات (أي عندما تصبح الهجمات هي الأغلبية).
3. إرشادات عملية: تقدم الورقة فحوصات نشر ملموسة، مثل التحقق من ميزانية التنبيه $\alpha$ مقابل حد التجاوز النظري لـ CRC، ومراقبة نمط "فشل الكثافة التجريبية" حيث ينتج CRC صفراً من التنبيهات.

يخلص المؤلفون إلى أن CALIBURN هو الأنسب لمراكز العمليات الأمنية حيث تكون الهجمات غير متكررة، وقدرة المحلل محدودة، ويجب أن تُحدد سياسة التنبيه من خلال القيود التشغيلية بدلاً من الضبط الخاص بمجموعة البيانات. ويُقترح كعمل مستقبلي إجراء إعادة معايرة عبر الإنترنت للتعامل مع زحف المفاهيم (concept drift) وتقدير نسب التكلفة التكيفية.