Explaining Cross-Dataset False Positives in Encrypted Traffic Classification for Forensic Interpretation
تُظهر هذه الدراسة أن نماذج تعلم الآلة الخاصة بتصنيف حركة المرور المشفرة يمكن أن تحقق دقة داخلية عالية، ومع ذلك تنتج نسبة كبيرة من الإيجابيات الكاذبة عند تطبيقها على مجموعات بيانات مختلفة، مما يكشف أن أهمية الميزات وحدها غير كافية للتفسير الجنائي وأن مثل هذه التنبيهات يجب أن تُعامل كخيوط استقصائية بدلاً من كونها أدلة قطعية.
المؤلفون الأصليون:Madhab Chandra Das, Qingzhong Liu
في العالم الرقمي الحديث، يكاد كل ما نرسله عبر الإنترنت يكون محبوساً داخل خزنة رقمية. هذا التشفير يحمي رسائلنا الخاصة وبياناتنا المالية من الأعين المتطفلة، ولكنه يعمي أيضاً الأنظمة الأمنية المصممة لضبط الجهات السيئة. كانت الأدوات الأمنية التقليدية تفتح كل طرد لترى ما بداخله، لكنها لم تعد قادرة على فعل ذلك دون كسر القفل. ولتغطية هذه الفجوة، لجأ خبراء الأمن إلى تعلم الآلة، وهو نوع من برامج الكمبيوتر التي تتعلم رصد المشاكل من خلال النظر إلى شكل وإيقاع تدفق البيانات بدلاً من محتواها. تقيس هذه البرامج أشياء مثل مدة الاتصال، وعدد قطع البيانات المرسلة، وحجم تلك القطع. ولفترة طويلة، بدت هذه الأنظمة حادة للغاية، حيث سجلت غالباً درجات تقارب المثالية عند اختبارها على بيانات محددة تم تدريبها عليها. ومع ذلك، يظل هناك سؤال جوهري: إذا بدا النظام مثالياً في اختبار محكوم، فهل يمكننا الوثوق بإنذاراته عندما يواجه الواقع الفوضوي وغير المتوقع للعالم الحقيقي؟
لقد وضع فريق من الباحثين في جامعة سام هيوستن ستيت (Sam Houston State University) هدفهم للإجابة على هذا السؤال من خلال وضع هذه الأنظمة الأمنية الرقمية في اختبار لم تواجهه من قبل. قاموا بتدريب عدة نماذج حاسوبية للتعرف على حركة المرور الضارة، أو البيانات السيئة، باستخدام مجموعة محددة من سجلات الشبكة. وبمجرد تدريب النماذج، حققت نتائج مبهرة، حيث نجح أحد النماذج في تحديد جميع حركة المرور السيئة تقريباً في مجموعة التدريب الخاصة به. ولكن بدلاً من التوقف عند هذا الحد، أخذ الباحثون هذا النموذج المدرب تدريباً عالياً وطبقوه على مجموعة مختلفة تماماً من بيانات الشبكة، وهي مجموعة مستمدة من مصدر مختلف وتحتوي فقط على حركة مرور إنترنت عادية وغير ضارة. أرادوا معرفة ما إذا كان النموذج سيستمر في العمل، أم أنه سيبدأ في الصراخ بكلمة "خطر" تجاه بيانات بريئة.
كانت النت النتائج كاشفة. فعندما عُرض على النموذج، الذي كان قد أدى أداءً بلا شائبة في بيئته الخاصة، ما يقرب من مليون تدفق للبيانات غير الضارة من هذا المصدر الجديد، فقد صنف أكثر من واحد وأربعين ألفاً منها بشكل خاطئ على أنها خطيرة. وهذا يعني أنه مقابل كل مائة اتصال غير ضار رآها النموذج، فقد اتهم حوالي أربعة أو خمسة منها خطأً بأنها تهديدات. أظهر هذا المعدل المرتفع من الإنذارات الكاذبة أن النموذج قد تعلم التعرف على أنماط تبدو كخطر في بيانات التدريب الخاصة به، لكنها كانت في الواقع مجرد سلوك طبيعي في بيئة شبكة مختلفة. لقد أظهرت الدراسة أن برنامج الكمبيوتر يمكن أن يكون دقيقاً للغاية في المختبر بينما يظل غير موثوق به عند نشره في العالم الحقيقي، ببساطة لأن طبيعة حركة المرور قد تغيرت.
ولفهم سبب حدوث ذلك، استخدم الباحثون أداة خاصة تعمل بمثابة عدسة مكبرة لعملية اتخاذ القرار في الكمبيوتر. لقد نظروا عن كثب في القرائن المحددة التي كان النموذج يستخدمها لتوجيه اتهاماته. ووجدوا أن النموذج كان يعتمد بشدة على بعض القياسات الأساسية، مثل متوسط حجم حزم البيانات والتوقيت بينها. وبينما كانت هذه القرائن فعالة جداً في فرز بيانات التدريب، إلا أنها لم تكن فريدة من نوعها لحركة المرور السيئة. ففي البيئة الجديدة، كان مستخدمو الإنترنت العاديون يرسلون بيانات بنفس أحجام الحزم وأنماط التوقيت التي تعلم النموذج أن يخشاها. لم يكن الكمبيوتر "مخطئاً" بمعنى أنه فشل في رؤية البيانات؛ بل كان ببساطة شديد الحساسية لأنماط تتداخل بالفعل بين حركة المرور الجيدة والسيئة.
لهذا الاكتشاف عواقب هامة على كيفية استخدامنا لهذه الأدوات في التحقيقات الجادة، مثل التحقيق الرقمي الجنائي حيث يبحث المحققون عن أدلة الجرائم. وقد خلص الباحثون إلى أنه لا يمكننا التعامل مع إنذار الكمبيوتر كحكم نهائي أو دليل مباشر على ارتكاب خطأ ما. فحتى عندما يظهر النظام مستوى عالياً من الدقة في اختباراته الخاصة، فإنه لا يزال بإمكانه إنتاج تنبيهات مضللة عندما يتغير المحيط. تشير الدراسة إلى أن تحذيرات تعلم الآلة يجب أن تُعامل كخيوط للمحققين البشر لاتباعها، وليس كأدلة قطعية. يجب أن يدفع التنبيه الشخص إلى النظر بعمق والتحقق من الحقائق، لا أن يفترض فوراً وقوع جريمة. ومن خلال فهم أن هذه الأنظمة يمكن خداعها بواسطة حركة المرور الطبيعية التي تبدو ببساطة مختلفة، يمكن لفرق الأمن تجنب إضاعة الوقت في الإنذارات الكاذبة والتركيز جهودها على إيجاد التهديدات الحقيقية.
ملخص تقني: شرح الإيجابيات الكاذبة عبر مجموعات البيانات المختلفة في تصنيف حركة المرور المشفرة من أجل التفسير الجنائي
بيان المشكلة مع تزايد تشفير اتصالات الشبكة، أصبح فحص الحمولة التقليدي محدودًا، مما استدعى استخدام نماذج تعلم آلي (ML) تعتمد على الميزات الإحصائية على مستوى التدفق لتحليل حركة المرور. وبينما تحقق هذه النماذج غالبًا دقة تصنيف عالية في البيئات المحكومة ذات المجموعة الواحدة، فإن موثوقيتها في السياقات الجنائية الواقعية تظل موضع تساؤل. توجد فجوة حرجة في فهم كيفية سلوك النماذج عند تطبيقها على حركة مرور من مصادر مختلفة (التقييم عبر مجموعات البيانات المختلفة). فالدقة الداخلية العالية لا تضمن أن مخرجات النموذج ستكون موثوقة للتفسير الجنائي عندما يتم تصنيف حركة المرور الحميدة من بيئة خارجية بشكل خاطئ على أنها خبيثة (الإيجابيات الكاذبة). مثل هذه الأخطاء يمكن أن تضلل المحللين الجنائيين، وتضخم أعباء التحقيق، وتؤدي إلى استنتاجات خاطئة إذا عوملت مخرجات النموذج كأدلة مباشرة بدلاً من كونها خيوطاً استقصائية.
المنهجية تستخدم هذه الدراسة سير عمل مهيكل لتقييم موثوقية تصنيف حركة المرور المشفرة القائم على التعلم الآلي عبر بيئات حركة مرور مختلفة. تتضمن المنهجية الخطوات التالية:
مجموعات البيانات: تم استخدام مجموعتين متميزتين من البيانات:
CIRA-CIC-DoHBrw-2020: استُخدمت للتدريب، والتحقق، والاختبار الداخلي. وهي تحتوي على تدفقات حميدة وخبيثة.
CESNET-TLS-Year22: استُخدمت حصريًا لتقييم الإيجابيات الكاذبة الخارجية. وهي تحتوي فقط على تدفقات TLS حميدة (947,997 تدفقًا)، ولا تحتوي على أي عينات خبيثة.
هندسة الميزات: نظرًا للتشفير، كان فحص الحمولة مستحيلاً. لذا اعتمدت الدراسة على خمس ميزات إحصائية متوافقة على مستوى التدفق متاحة في كلتا المجموعتين: مدة التدفق، وعدد البايتات، وعدد الحزم، ومتوسط حجم الحزمة، ومتوسط وقت وصول الحزم (inter-arrival time).
تدريب النموذج: تم تدريب أربعة نماذج تعلم آلي (Random Forest، وXGBoost، وLightGBM، وCatBoost) على مجموعة بيانات CIRA باستخدام مجموعة الميزات المتوافقة. كما تم تطبيق أوزان الفئات (Class weighting) لمعالجة عدم توازن البيانات.
استراتيجية التقييم:
التقييم الداخلي: تم اختبار النماذج على جزء محجوز من مجموعة بيانات CIRA لتحديد الأداء المرجعي.
التقييم عبر مجموعات البيانات: تم تطبيق أفضل نموذج أداءً (CatBoost) على مجموعة بيانات CESNET دون إعادة تدريب. وبما أن CESNET تحتوي فقط على حركة مرور حميدة، فقد تم احتساب أي تنبؤ بـ "خبيث" كإيجابية كاذبة.
التحليل القابل للتفسير: لفهم دوافع التصنيف الخاطئ، طبقت الدراسة منهجية SHAP (تفسيرات Shapley الإضافية) وأهمية التبديل (permutation importance) على نموذج CatBoost. حللت هذه الطرق اعتماد الميزات ومساهماتها فيما يتعلق بتنبيهات الإيجابية الكاذبة الناتجة عن مجموعة البيانات الخارجية.
النتائج الرئيسية
الأداء الداخلي: أظهرت جميع النماذج الأربعة دقة داخلية عالية على مجموعة اختبار CIRA. حقق نموذج Random Forest أعلى دقة (99.62%)، يليه XGBoost (99.35%)، ثم LightGBM (99.02%)، وأخيرًا CatBoost (98.92%).
الإيجابيات الكاذبة عبر مجموعات البيانات: عند تطبيق نموذج CatBoost على حركة مرور CESNET الحميدة الخارجية، صنف النموذج 41,238 من أصل 947,997 تدفقًا على أنها خبيثة. نتج عن ذلك معدل إيجابيات كاذبة (FPR) قدره 4.35% (بفاصل ثقة 95%: 4.31%–4.39%).
تحليل الميزات:
تحليل SHAP: حدد packet_size_mean (متوسط حجم الحزمة) كالميزة ذات التأثير الأقوى على التنبؤات، يليه packet_count (عدد الحزم)، ثم inter_arrival_time_mean (متوسط وقت وصول الحزم)، ثم byte_count (عدد البايتات)، وأخيرًا flow_duration (مدة التدفق).
أهمية التبديل (Permutation Importance): أكدت أن نفس المجموعة المكونة من خمس ميزات أثرت بشكل كبير على أداء النموذج، وإن اختلف ترتيب التصنيف قليلاً عن تحليل SHAP.
التفسير: كشف التحليل أن الميزات التي تقود قرارات النموذج (مثل أحجام الحزم الكبيرة، والتدفقات الطويلة، وعدد البايتات المرتفع) ليست فريدة من نوعها للحركة الخبيثة. فالاتصالات المشفرة الحميدة غالبًا ما تظهر أنماطًا إحصائية مماثلة، مما يؤدي بالنموذج إلى تصنيفها بشكل خاطئ على أنها خبيثة.
المساهمات الرئيسية
التقييم عبر مجموعات البيانات: توفر الدراسة تقييمًا كميًا لسلوك الإيجابيات الكاذبة عند تطبيق نموذج تم تدريبه على مجموعة بيانات واحدة على بيئة حركة مرور مختلفة، مما يسلط الضوء على قيود التقييمات أحادية المجموعة.
تحليل الإيجابيات الكاذبة القابل للتفسير: تطبق الدراسة منهجيتي SHAP وأهمية التبديل للتحقيق تحديدًا في الأسباب على مستوى الميزات للتصنيفات الخاطئة في سيناريوهات تعدد مجموعات البيانات، بدلاً من مجرد دراسة السلوك العام للنموذج.
إطار التفسير الجنائي: يضع هذا العمل علاقة بين سلوك الإيجابيات الكاذبة وتفسيرات النماذج، موضحًا أن أهمية الميزات وحدها غير كافية للمراجعة الجنائية عندما يتغير سلوك النموذج عبر مجموعات البيانات.
الأهمية والادعاءات تجادل الورقة بأن قوة الكشف الداخلي لا تترجم تلقائيًا إلى تفسير جنائي موثوق. تكمن الأهمية الأساسية للنتائج في أن تنبيهات التعلم الآلي في تحليل حركة المرور المشفرة يجب أن تُعامل كـ خيوط استقصائية أو أدوات دعم قرار وليس كأدلة جنائية مباشرة.
يزعم المؤلفون أنه نظرًا لإمكانية اشتراك التدفقات الحميدة والخبيثة في أنماط إحصائية متشابهة (مثل حجم الحزمة ومدة التدفق)، فإن مقاييس أهمية الميزات لا تثبت موثوقية التنبؤ في ظل الظروف الخارجية. وبناءً على ذلك، يجب دمج تحليل الإيجابيات الكاذبة في تفسير شروحات النماذج. فبدون هذا التحقق عبر مجموعات البيانات، يخاطر المحللون الجنائيون بتفسير النشاط الطبيعي للشبكة على أنه خبيث، مما قد يؤدي إلى عرقلة التحقيقات. وتخلص الدراسة إلى أن سير العمل الجنائي المستقبلي يجب أن يأخذ في الاعتبار حساسية النماذح تجاه تغيرات بيئة حركة المرور قبل الاعتماد على مخرجاتها في اتخاذ القرارات الحاسمة.