Temporal Analysis of NetFlow Datasets for Network Intrusion Detection Systems
تعالج هذه الورقة نقص الميزات الزمنية في مجموعات بيانات NetFlow الحالية من خلال إنشاء مجموعة بيانات عامة جديدة وإجراء تحليل زمني وتحليل للتردد الزمني لإثبات كيف يمكن لأنماط الهجوم الفريدة أن تعزز كشف التسلل للشبكات القائم على تعلم الآلة.
تخيل مركز مراقبة حركة المرور في مدينة ما. لسنوات، حاول حراس الأمن رصد السائقين الخطيرين (المخترقين) من خلال النظر إلى قائمة السيارات التي مرت. كانوا يعرفون لوحة رقم السيارة، وجهتها، وكمية الوقود التي استهلكتها. لكنهم كانوا يفتقدون قطعتين حاسمتين من اللغز: مدة بقاء السيارة على الطريق وسرعة وصول السيارات الواحدة تلو الأخرى.
هذه الورقة البحثية تتحدث عن إصلاح هذه المعلومات المفقودة.
المشكلة: "اللقطة الثابتة" مقابل "الفيلم"
يوضح المؤلفون أن أنظمة الأمن الحالية غالبًا ما تنظر إلى حركة مرور الشبكة كأنها سلسلة من اللقطات الثابتة. هم يعرفون ماذا حدث، لكنهم يفتقدون إيقاع حدوثه.
التشبيه: تخيل أنك تحاول تحديد هوية لص في حشد من الناس. إذا كان لديك فقط صورة فوتوغرافية للص، فمن الصعب تمييزه عن الشخص العادي. ولكن إذا كان لديك فيديو يظهره وهو يركض، ثم يتوقف، ثم ينطلق بسرعة في نمط معين، فسيصبح من الأسهل بكثير رصده.
المشكلة: مجموعات البيانات القياسية (التي تُستخدم كـ "كتيبات تدريب" لأنظمة أمن الكمبيوتر) التي يستخدمها الباحثون كانت تشبه تلك الصور الثابتة؛ فقد كانت تفتقر إلى تفاصيل التوقيت اللازمة لرؤية "الفيلم" الخاص بالهجوم.
الحل: مجموعات بيانات "NF3"
قام الباحثون بأخذ أربع مجموعات بيانات شهيرة وموجودة بالفعل تُستخدم لتدريب الأنظمة الأمنية وقاموا بترقيتها. وأطلقوا على هذه النسخة الجديدة اسم NF3.
ما الذي أضافوه: لقد أضافوا "ميزات زمنية" (Temporal Features). وببساء التعبير، يعني هذا أنهم أضافوا ساعة إيقاف وجهاز مراقبة نبضات القلب لكل حزمة بيانات.
مدة التدفق (Flow Duration): كم استمر الاتصال؟ (هل قادت السيارة لمدة 5 ثوانٍ أم 5 ساعات؟)
وقت وصول الحزم البيني (IAT): كم من الوقت مر بين حزمة بيانات واحدة والتي تليها؟ (هل وصلت السيارات في تيار ثابت، أم في دفعة عشوائية وسريعة؟)
لقد جعلوا مجموعات البيانات الجديدة والمطورة هذه متاحة مجانًا حتى يتمكن الباحثون الآخرون من استخدامها.
ما الذي وجدوه: "بصمات" الزمن
بمجرد حصولهم على هذه "الأفلام" الجديدة لحركة مرور الشبكة، بدأوا في تحليلها لمعرفة ما إذا كانت أنواع مختلفة من الهجمات تمتلك أنماطًا زمنية فريدة.
1. طول الاتصال:
حركة المرور الطبيعية: عادة ما تكون قصيرة وسريعة، مثل مهمة سريعة.
حركة المرور الضارة: بعض الهجمات، مثل "الأبواب الخلفية" (Backdoors - مداخل سرية)، تميل إلى البقاء مفتوحة لفترة طويلة، مثل سيارة تقف في ممر المنزل لساعات. أما هجمات مثل "DDoS" (إغراق النظام)، فتبدو مثل ازدحام مروري هائل وفوضوي حيث تصل السيارات في دفعات ضخمة وغير منتظمة.
2. الإيقاع (IAT):
بحث الباحثون في الفجوات الزمنية بين حزم البيانات. ووجدوا أن الهجمات المختلفة لها "نبضات" مختلفة.
التشبيه: المحادثة الطبيعية لها إيقاع طبيعي. أما الروبوت الذي يحاول اختراق نظام ما، فقد يرسل رسالة بإيقاع روبوتي منتظم تمامًا، أو إيقاع محموم وعشوائي. وجدت الورقة أن هذه الأنماط الزمنية غالبًا ما تكون فريدة لنوع الهجوم، مما يجعلها تعمل مثل بصمة زمنية.
3. "صوت" الهجوم (تحليل الوقت والتردد):
استعار المؤلفون حيلة من هندسة الموسيقى والراديو تسمى تحليل الوقت والتردد (Time-Frequency Analysis).
التشبيه: إذا نظرت إلى موجة صوتية، سترى مستوى الصوت بمرور الوقت. ولكن إذا استخدمت "المخطط الطيفي" (Spectrogram) - وهو خريطة بصرية للصوت - يمكنك رؤية طبقة الصوت والتردد وهما يتغيران بمرور الوقت.
قاموا بتحويل حركة مرور الشبكة إلى هذه "الخرائط الصوتية" البصرية. واكتشفوا أن الهجمات المختلفة (مثل "الدودة/Worms" مقابل "الثغرات/Exploits") تخلق أنماطًا بصرية مختلفة على هذه الخرائط. الأمر يشبه كيف يبدو إيقاع الطبل مختلفًا عن عزف الكمان على جهاز عرض بصري للصوت. وهذا يشير إلى أن أجهزة الكمبيوتر يمكنها تقنيًا "الاستماع" إلى إيقاع الشبكة لرصد المتسللين بسهولة أكبر.
الخلاصة
لا تدعي هذه الورقة أنها صنعت نظامًا أمنيًا جديدًا ومثاليًا بعد. بدًا من ذلك، تدعي أنها صنعت مكتبة أفضل لبيانات التدريب.
قبل: كان الباحثون يحاولون تعليم أجهزة الكمبيوتر كيفية رصد اللصوص باستخدام الصور فقط.
الآن: أصبح لديهم مكتبة من الفيديوهات التي تظهر سرعة اللصوص، وإيقاعهم، ومدة وجودهم.
من خلال توفير هذه البيانات الغنية، يأمل المؤلفون في مساعدة الجيل القادم من الأنظمة الأمنية على فهم توقيت الهجمات، مما يجعل من الصعب جدًا على المخترقين الاختباء وسط ضجيج حركة المرور الطبيعية للشبكة.
1. بيان المشكلة
على الرغم من الدور الحاسم للميزات الزمنية (مثل زمن وصول الحزم بين الحزم، ومدة التدفق) في اكتشاف الهجمات الشبكية المتطورة، إلا أن مجموعات بيانات NetFlow المرجعية الحالية لأنظمة كشف التسلل للشبكات (NIDS) تفتقر إلى هذه الميزات المحددة.
الفجوة: قامت الدراسات السابقة بتوحيد مجموعات بيانات NetFlow (مثل UNSW-NB15، وBoT-IoT، وToN-IoT، وCSE-CIC-IDS2018) لضمان اتساق مجموعات الميزات لتقييم تعلم الآلة (ML). ومع ذلك، أغفلت هذه النسخ الموحدة البيانات الزمنية، مما جعلها غير مناسبة للنماذج العصبية التسلسلية (مثل نماذج LSTM) أو تحليل السلاسل الزمنية.
النتيجة: بدون الميزات الزمنية، لا تستطيع نماذج تعلم الآلة تعلم ديناميكيات التوقيت للهجمات بشكل فعال (مثل أنماط الاندفاع، أو هجمات "البطيء والمنخفض"، أو الإشارات الدورية)، مما يحد من القدرة على اكتشاف التهديدات التكيفية والمتطورة زمنياً.
2. المنهجية
عالج المؤلفون هذه الفجوة من خلال نهج ثنائي المسار: إعادة بناء مجموعة البيانات والتحليل الزمني الشامل.
أ. إعادة بناء مجموعة البيانات (NF3-Datasets)
قام المؤلفون بتحويل أربع مجموعات بيانات مرجعية مستخدمة على نطاق واسع إلى تنسيق NetFlow موحد من الجيل الثالث (NF3-Datasets):
مجموعات البيانات المصدر: UNSW-NB15، وBoT-IoT، وToN-IoT، وCSE-CIC-IDS2018.
أداة التحويل: تمت معالجة ملفات PCAP الخام باستخدام nProbe (من Ntop) لتوليد سجلات NetFlow v9.
الإعداد الرئيسي: تم استخدام علامة --dont-reforge-time للحفاظ على الطوابع الزمنية الأصلية من ملفات PCAP، مما يضمن السلامة الزمنية.
إثراء الميزات: أضاف المؤلفون فئتين من الميزات الزمنية إلى مجموعة الميزات الـ 43 الموجودة مسبقاً:
توقيت التدفق: طوابع زمنية دقيقة للبداية والنهاية (بالملي ثانية) لكل تدفق.
زمن وصول الحزم (IAT): تجميعات إحصائية (الحد الأدنى، الحد الأقصى، المتوسط، الانحراف المعياري) للفترات الزمنية بين الحزم المتتالية لكل من اتجاه (المصدر إلى الوجهة) واتجاه (الوجهة إلى المصدر).
التصنيف: تمت إعادة تصنيف التدفقات عن طريق مطابقة معرفات الخماسية (5-tuple) والطوابع الزمنية مع ملفات الحقيقة الأرضية (ground truth)، مما أدى إلى إنشاء تصنيفات ثنائية (سليم/خبيث) وتصنيفات متعددة للفئات الهجومية.
ب. تقنيات التحليل الزمني
أجرى المؤلفون تحليلاً متعدد الأوجه لمجموعات البيانات الجديدة:
تحليل التوزيع: فحص توزيع طول التدفق (FLD) ورسوم IAT البيانية لتحديد الأنماط المتميزة بين حركة المرور السليمة والخبيثة.
تصور السلاسل الزمنية: تجميع حجم حركة المرور (البايتات/الحزم) والميزات الفئوية (عناوين IP الفريدة/المنافذ) بالدقيقة لتصور بدء الهجوم، ومدته، وانتهائه.
تحليل الوقت والتردد (TFD): تطبيق المخططات الطيفية (Spectrograms) (وهي تقنية معالجة إشارات) لتحويل بيانات السلالة الزمنية لحركة المرور إلى تمثيلات زمنية-ترددية. وقد تم اختبار ذلك لمعرفة ما إذا كانت فئات الهجوم المختلفة تظهر "بصمات" فريدة في النطاق الترددي.
3. المساهمات الرئيسية
الإصدار العام لـ NF3-Datasets: إنشاء وإصدار أربع مجموعات بيانات NetFlow معززة تحتوي على 57 ميزة، بما في ذلك المقاييس الزمنية الحرجة التي كانت مفقودة سابقاً من المعايير القياسية.
التوصيف الزمني الشامل: تحليل مفصل يوضح كيف تظهر فئات الهجوم المختلفة (مثل DDoS، وBackdoor، وWorms) سلوكيات زمنية فريدة فيما يتعلق بمدة التدفق وفترات وصول الحزم.
استكشاف الوقت والتردد: التطبيق المبتكر للمخططات الطيفية على بيانات NetFlow، مع افتراض وإثبات أن الهجمات المختلفة تمتلك بصمات زمنية-ترددية فريدة يمكن أن تساعد في تصنيف تعلم الآلة.
التقييس: توفير مجموعة ميزات متسقة عبر أربع مجموعات بيانات رئيسية، مما يسمح بمقارنة عادلة عبر مجموعات البيانات لنماذج تعلم الآلة الزمنية.
4. النتائج والمكتشفات الرئيسية
أنماط طول التدفق:
حركة المرور السليمة: تتكون في الغالب من تدفقات قصيرة المدة.
حركة المرور الخبيثة: تظهر انحرافات متميزة. على سبيل المثال، غالباً ما تظهر هجمات Backdoor وWorms مدد تدفق أطول (مما يشير إلى اتصالات مستمرة)، بينما تظهر هجمات DDoS/DoS توزيعات واسعة تشمل كلاً من التدفقات القصيرة الاندفاعية والمدد الطويلة.
زمن وصول الحزم (IAT):
تظهر أنواع الهجمات المختلفة توزيعات IAT فريدة. على سبيل المثال، أظهرت هجمات MITM وBackdoor في مجموعة بيانات ToN-IoT قممًا متميزة عند فترات محددة، مما يعكس على الأرجب الإشارات الدورية.
أظهرت هجمات DDoS/DoS توزيعات IAT أوسع مع قمم عند فترات أعلى، مما يعكس توقيتاً غير منتظم ومزعزع للاستقرار.
ديناميكيات السلاسل الزمنية:
كشفت التصورات أن الهجمات غالباً ما تحدث في "موجات" (مثل NF3-BoT-IoT) أو كطبقات متزامنة (مثل NF3-UNSW-NB15)، مما يوفر رؤى حول البنية الزمنية لسيناريوهات الهجوم في العالم الحقيقي.
أظهر التحليل الفئوي أن أنشطة البوت نت (BoT-IoT) تتضمن تغييرات متكررة في عناوين IP والمنفذ الوجهة، بينما تظل حركة المرور السليمة مستقرة نسبياً.
البصمات الزمنية-الترددية:
كشف تحليل المخطط الطيفي لمجموعة بيانات NF3-UNSW-NB15 أنه بينما قد تتشابه بعض الهجمات (مثل DoS وWorms)، إلا أنها تمتلك أنماطاً زمنية-ترددية متميزة.
أظهرت هجمات مثل Fuzzers بصمات فريدة، مما يشير إلى أن تمثيلات TFD يمكن أن تساعد نماذج تعلم الآلة على التمييز بين فئات الهجوم بشكل أكثر فعالية من الميزات الثابتة وحدها.
5. الأهمية والعمل المستقبلي
الأهمية: يعمل هذا العمل على سد الفجوة بين تحليل NetFlow الثابت والتحليل الديناميكي الواعي للزمن. ومن خلال توفير مجموعات بيانات ذات ميزات زمنية، فإنه يتيح تطوير نماذج تعلم آلة متقدمة (مثل RNNs، وTransformers، وCNN-LSTMs) يمكنها اكتشاف الشذوذات الدقيقة المعتمدة على الزمن مثل التهديدات المتقدمة المستمرة (APTs) وهجمات "البطيء والمنخفض".
الاتجاهات المستقبلية:
تحسين نماذج تعلم الآلة خصيصاً للاستفادة من الميزات الزمنية الجديدة.
صقل مناهج توزيع الوقت والتردد (TFD) من أجل الكشف في الوقت الفعلي.
استقصاء نماذج التعلم التسلسلي (RNNs، وTransformers) لزيادة تحسين دقة تصنيف الهجمات باستخدام مجموعات البيانات المعززة هذه.
باختصار، يوفر هذا البحث البنية التحتية للبيانات والأساس التحليلي للجيل القادم من أنظمة كشف التسلل للشبكات الواعية زمنياً، والانتقال من تحليل الميزات الثابتة إلى فهم التطور الديناميكي للتهديدات الشبكية.