Near-Deterministic Reconstruction of Enterprise Firewall Decisions for Policy Audit: Proxy Structure, Context Shift, and Residual Uncertainty
تُظهر هذه الدراسة أن قرارات جدران الحماية في المؤسسات يمكن إعادة بنائها بشكل شبه حتمي من سجلات حركة المرور باستخدام التعلم الخاضع للإشراف، مما يكشف أن الدقة العالية للنماذج غالباً ما تعكس محاكاة وكلاء سياسات محددة وقواعد تعتمد على السياق بدلاً من الكشف المستقل عن التهديدات، مما يتيح إجراء عمليات تدقيق استرجاعية للسياسات مع تسليط الضوء في الوقت ذاته على القيود الكبيرة في التعميم عبر البيئات ومعايرة عدم اليقين.
المؤلفون الأصليون:Özkan Canay, Cem Özkurt, Fatmir Garri
تخيل أنك تحاول معرفة السبب وراء قيام حارس أمن في نادٍ شديد الصرامة بالسماح لبعض الأشخاص بالدخول ومنع آخرين. لديك دفتر ملاحظات ضخم مليء بالملايين من المدخلات، كل منها يسجل بالضبط ما فعله الحارس: "سُمح له"، "أُسقط"، أو "مُنع". في عالم الأمن السيبراني، يُسمى هذا الدفتر "سجل جدار الحماية" (firewall log)، والحارس هو جدار الحماية نفسه—الحارس الرقمي الذي يحمي شبكة الشركة من الجهات الخبيثة. عادةً، يستخدم خبراء الأمن هذه السجلات للبحث عن المخترقين، بحثاً عن أنماط تصرخ بكلمة "خطر!". لكن هناك مشكلة معقدة: أحياناً لا يكون قرار الحارس متعلقاً بما إذا كان الشخص مجرماً حقاً؛ بل يتعلق فقط بما إذا كان يلتزم بقواعد اللباس المحددة للنادي أو قائمة العضوية. إذا قمت بتدريب كمبيوتر على تخمين قرارات الحارس، فقد يتعلم قواعد اللباس بدقة، ليس لأنه عبقري محقق، بل لأن الأدلة الموجودة في الدفتر (مثل مقاس حذاء الشخص أو وقت وصوله) تكشف الإجابة بسهولة شد في غاية البساطة. تسأل هذه الورقة سؤالاً رائعاً: إذا أخفينا الأدلة الواضحة، هل لا يزال بإمكان الكمبيوتر تخمين تحركات الحارس بدقة تقارب الكمال؟ وإذا استطاع ذلك، فهل يعني هذا أن الكمبيوتر ذكي، أم أن الأدلة كانت سهلة الإيجاد للغاية؟
تتعمق هذه الدراسة في دفتر ملاحظات ضخم يحتوي على أكثر من مليون سجل من جدار حماية حقيقي لشركة، وتحديداً جهاز "بالو ألتو" (Palo Alto). أراد الباحثون معرفة ما إذا كان بإمكانهم إعادة بناء "سطح القرار" (decision surface)—وهو الخط غير المرئي الذي يرسمه جدار الحماية ليقرر من يدخل، مع إخفاء الأسباب المباشرة للقرار. لقد تعاملوا مع خيارات جدار الحماية (سماح، إسقاط، منع) كأنها لغز. قاموا بإزالة القطع الأكثر وضوحاً من اللغز، مثل اسم التطبيق المحدد أو رقم القاعدة التي أدت إلى الإجراء، ليروا ما إذا كانت الأدلة المتبقية (مثل حجم حزمة البيانات أو رقم المنفذ) كافية لحل اللغز.
النتائج تشبه اكتشاف أن حارس النادي يتبع في الواقع نصاً صارماً ومتوقعاً للغاية. اكتشف الباحثون أنه حتى بعد إزالة "الطرق المختصرة" الأكثر وضوءاً (مثل اسم التطبيق)، استطاعت برامج حاسوبية قوية تسمى "تجمعات الأشجار" (tree ensembles) (تخيلها كأشجار قرار فائقة الذكاء تطرح سلسلة من الأسئلة بنعم أو لا) أن تخمن قرار جدار الحماية بدقة شبه مثالية. في الواقع، حقق برنامجان، وهما XGBoost وLightGBM، درجة كاملة، حيث لم يرتكبا أي خطأ في بيانات الاختبار. اتضح أن قرار جدار الحماية مرتبط ارتباطاً وثيقاً بالتفاصيل الأخرى في السجل لدرجة أنك لست بحاجة لمعرفة القاعدة لمعرفة النتيجة. على سبيل المثال، وجدوا أن معرفة "منفذ المصدر" (Source Port) (رقم محدد يحدد الاتصال) و"البايتات" (Bytes) (حجم البيانات) كان كافياً لتحديد القرار في ملايين الحالات.
ومع ذلك، فإن الورقة حريصة جداً على عدم تسمية هذا "انتصاراً" لكشف الاختراق. يجادل المؤلفون بأن هذه الدرجة المثالية لا تعني أن الكمبيوتر قد تعلم كيفية رصد المخترقين الحقيقيين. بل تعني أن الكمبيوتر قد تعلم "قواعد اللغة" الداخلية لجدار الحماية. الأمر يشبه طالباً يحفظ نموذج الإجابة للاختبار بدلاً من فهم الرياضيات. عندما حاول الباحثون جعل اللغز أصعب عن طريق إزالة المزيد من الأدلة—مثل حجم البيانات أو بلد المنشأ—انخفضت درجة الكمبيوتر المثالية، لكنها ظلت جيدة بشكل مفاجئ. يشير هذا إلى أن قرارات جدار الحماية "مشفرة بشكل زائد" (redundantly encoded)، مما يعني أن نفس المعلومات تتكرر في العديد من الحقول المختلفة في السجل.
كما بحثت الدراسة فيما يحدث عندما يواجه الكمبيوتر موقفاً لم يره من قبل، مثل نوع جديد من التطبيقات أو وجهة مختلفة. هنا، ينكسر السحر. تتزعزع ثقة الكمبيوتر، ويبدأ في ارتكاب الأخطاء، خاصة في قرارات "المنع" (Deny) النادرة. استخدم الباحثون أدوات خاصة لقياس حالة عدم اليقين هذه، موضحين أنه بينما يعد الكمبيوتر بارعاً في تخمين تحركات جدار الحماية في المناطق المألوفة، فإنه يتوه عندما يتغير السياق. ووجدوا أنه إذا أخفيت تفاصيل "التطبيق"، يمكن للكمبيوتر تخمين النتيجة بنسبة 99.9% من الوقت، ولكن إذا أخفيت "الحجم" و"المدة"، تنخفض الدقة قليلاً، مما يثبت أن تلك التفاصيل كانت تعمل كطرق مختصرة مخفية.
في النهاية، لا تتعلق هذه الورقة ببناء كاشف أفضل للمخترقين؛ بل تتعلق بمراجعة جدار الحماية نفسه. إنها توضح أنه بالنسبة لهذه الشركة المحددة وهذه الفترة الزمنية المحددة (حوالي 46 دقيقة من حركة المرور)، فإن قرارات جدار الحماية يمكن التنبؤ بها بالكامل تقريباً من البيانات المحيطة. وجد الباحثون سبع مجموعات صغيرة من أربعة حقول فقط يمكنها التنبؤ بالنتيجة بشكل مثالي. لكنهم يحذرون أيضاً من أن هذا هو "إعادة بناء حتمية تقريباً" (near-deterministic reconstruction)، مما يعني أنه يعمل لأن البيانات متسقة، وليس لأن الكمبيوتر يفهم الأمن. إذا تغيرت قواعد جدار الحماية أو تغيرت بيئة الشبكة، فقد يختفي هذا التنبؤ المثالي. تخلص الورقة إلى أنه بينما يمكننا إعادة بناء عملية صنع القرار في جدار الحماية بدقة عالية، يجب ألا نخطئ في اعتبار هذا التشكيل قدرة حقيقية على اكتشاف التهديدات الجديدة وغير المعروفة. إنه أداة قوية للتحقق مما إذا كان جدار الحماية يتصرف باتساق، ولكنه ليس بلورة سحرية للمستقبل.
ملخص تقني: إعادة البناء شبه الحتمية لقرارات جدار الحماية في المؤسسات
بيان المشكلة تتناول هذه الدراسة خطر التفسير المنهجي في تعلم الآلة لأمن الشبكات: وهو الخلط بين التعلم الخاضع للإشراف عالي الأداء على سجلات جدار الحماية وبين اكتشاف التهديدات المستقل. إن قرارات جدار الحماية في المؤسسات (السماح (Allow)، الإسقاط (Drop)، الرفض (Deny)) هي مخرجات حتمية ناتجة عن سياسات مُعدة، وتحديد التطبيقات، وسلوكيات إنهاء الجلسة، وليست تسميات (labels) تم التحقق منها بشرياً لوصف الخبث. عندما تحقق النماذج دقة تقترب من الكمال في هذه السجلات، فمن غير الواضح ما إذا كانت قد تعلمت استدلالاً أمنياً قابلاً للتعميم أم أنها مجرد تعلمت "القواعد التشغيلية" (operational grammar) والهياكل الوسيطة لسطح قرار جهاز معين. تبحث الورقة في مدى إمكانية إعادة بناء سطح قرار جدار الحماية المنشور من حقول السجل المهيكلة بعد استبعاد حقول مصدر التسمية المباشرة، وما هو مقدار عدم اليقين المتبقي عند تقليل المتغيرات الوسيطة أو تغير السياقات.
المنهجية تستخدم البحث مجموعة بيانات من واقع حقيقي تحتوي على 1,048,576 سجلاً لسجلات حركة المرور من جدار حماية من الجيل التالي من شركة Palo Alto Networks، تم التقاطها خلال نافذة زمنية مدتها 46 دقيقة. المتغير المستهدف هو قرار تشغيلي ثلاثي الفئات (السماح، الإسقاط، الرفض)، تم تكوينه من حقول نوع حركة المراب (traffic subtype) وسبب انتهاء الجلسة (session-end reason).
المعالجة المسبقة للبيانات: يتم استبعاد حقول مصدر التسمية المباشرة (الإجراء الخام، نوع حركة المرور، سبب انتهاء الجلسة) بدقة من جميع رؤى المتنبئات. يتم تقسيم مجموعة البيانات إلى تقسيم (80/20) طبقي (نسخ عشوائية وزمنية مرتبة) وعينة محدودة للتحقق المتقاطع.
رؤى الميزات (Feature Views): تستخدم الدراسة عدة تكوينات للميزات لاختبار الاعتماد على الوسيط (proxy dependence):
الأساس الجوهري (Core Baseline): 24 حقلاً تشمل سياق التطبيق، المناطق (zones)، الواجهات (interfaces)، المنافذ (ports)، الدول، وبيانات التتبع لما بعد القرار (البايتات، المدة).
بدون سياق التطبيق (No-Application-Context): يزيل تصنيف التطبيق وحقول الفئة لاختبار الاعتماد على وسائط التطبيق الصريحة.
الوسيط الأدنى الصارم (Strict Proxy-Minimal): يحتفظ فقط بحقول المنطقة/الواجهة والنقل/المنفذ (مع أو بدون الدولة)، مع إزالة التطبيق، والحجم، وحقول السياسة القريبة.
مع السياسة (With-Policy): يضيف حقول القاعدة ومصدر الإجراء كتشخيص للحد الأقصى التجريبي.
التدقيق الخالي من النماذج (Model-Free Audit): قبل تدريب المصنفات، يقوم المؤلفون بإجراء تدقيق حتمي باستخدام التجميع الدقيق لتحديد مجموعات التحديد الدنيا (مجموعات فرعية من الحقول التي تتنبأ بالتسمية بشكل مثالي) وحساب الإنتروبيا الشرطية. يتضمن ذلك التحقق من صفوف النزاع (سياقات ذات تسميات متعددة) وسياقات المفردات (singleton contexts).
نماذج تعلم الآلة: تقيم الدراسة مجموعات الأشجار القابلة للتوسع (XGBoost, LightGBM, Extra Trees, CatBoost) والأشجار القرارية المفردة. يتم تدريب النماذج بأوزان فئات متوازنة لمعالجة عدم التوازن الشديد في الفئات (السماح: ~77%، الإسقاط: ~22%، الرفض: ~1.3%).
تشخيصات عدم اليقين: تستخدم الدراسة التنبؤ التوافقي (conformal prediction) بنوعيه (marginal و Mondrian)، والمجموعات التنبؤية التكيفية (APS)، والتصنيف الانتقائي (الامتناع القائم على الثقة) لقياس عدم اليقين المتبقي، والمعايرة (ECE، درجة Brier)، وجيوب الخطأ تحت تغير السياق.
المساهمات الرئيسية
تدقيق قابلية إعادة البناء الخالي من النماذج: حددت الدراسة سبع مجموعات تحديد رباعية الحقول في التصدير الكامل تحدد تسمية القرار بشكل مثالي. تتضمن هذه المجموعات باستمرار منفذ المصدر (Source Port) وبايتات نهاية الجلسة (session-end Bytes)، مدمجة مع حقلين آخرين (مثل الواجهة الخارجة، فئة التطبيق). يؤكد التدقيق وجود صفر من صفوف النزاع في التصدير المرصود، مما يثبت الحتمية التجريبية.
تشخيصات إجهاد الحدود: من خلال تجريد عائلات الميزات واختبارات الاحتجاز السياقي (احتجاز مجموعات كاملة من التطبيقات/الفئات، أو الخدمة الوجهة، أو مجموعات القواعد)، ترسم الورقة استقرار حدود القرار. وتوضح أنه بينما تظل قابلية إعادة البناء شبه مثالية عند إزالة سياق التطبيق، فإنها تتدهور بشكل كبير تحت رؤى الوسيط الأدنى الصارم وتحت تغير السياق.
التشخيصات التوافقية والانتقائية: تكشف الدراسة أن التنبؤ التوافقي الهامشي (marginal conformal prediction) يمكن أن يخفي نقص التغطية لفئة "الرفض" النادرة. وتظهر أن طوابير عتبة الاحتمالية والتصنيف الانتقائي القائم على الثقة حساسة للغاية لتمثيل النموذج (ترتيبي مقابل فئوي أصلي) والمعايرة، خاصة تحت تغير السياق.
الاستنتاج المستقل عن المخطط (Schema-Independent Instantiation): تم تطبيق البروتوكول على مجموعة بيانات عامة مستقلة (UCI Internet Firewall)، مما أعاد إنتاج قابلية إعادة بناء عالية وفجوة "الدقة مقابل أداء الفئة الأقلية"، مما يؤكد أن الأنماط الملاحظة ليست فريدة لمخطط تصدير المؤسسة المحدد.
النتائج
أداء إعادة البناء: في الأساس الجوهري (باستثناء مصادر التسمية المباشرة)، حققت نماذج XGBoost و LightGBM أداءً مثالياً في الاحتجاز (1.000 Macro-F1، 0 أخطاء). وحتى في تجريد "بدون سياق التطبيق"، ظل الأداء شبه مثالي (0.999981 Macro-F1).
الحتمية: وجد التدقيق الخالي من النماذج أن 64.7% إلى 71.4% من السجلات تشغل سياقات مفتاحية مفردة. مجموعات الحقول الأربعة المحددة السبع التي وُجدت في البيانات الكاملة حافظت أيضاً على دقتها تماماً في اكتشاف التدريب فقط وحافظت على الاتفاق في السياقات المرصودة في اختبارات الاحتجاز.
تقليل الوسيط: أدى إزالة حقول الحجم والمدة إلى تقليل Macro-F1 إلى 0.9962. أما الرؤية الأكثر صرامة (المناطق، الواجهات، المنافذ فقط) فقد تسببت في انخفاض كبير: حيث استقر XGBoost حول 0.951 Macro-F1، بينما أصبح LightGBM غير مستقر (يتراوح بين 0.42 و 0.90) اعتماداً على البذرة العشوائية (random seed).
تغير السياق: عند احتجاز مجموعات كاملة من التطبيقات/الفئات، انخفض Macro-F1 لنموذج LightGBM الترتيبي إلى حوالي 0.673. ومع ذلك، استعاد نموذج CatBoost الفئوي الأصلي هذا الرقم إلى 0.9923 على نفس البيانات، مما يشير إلى أن التمثيل (التعامل مع الفئات غير المرئية) هو عامل حاسم في أداء تغير السياق.
عدم اليقين: في التقسيمات العشوائية، كانت مقاييس عدم اليقين (الإنتروبيا، ECE) قريبة من الصفر. وتحت تغير السياق، ارتفع عدم اليقين، وتوسعت المجموعات التوافقية أو أصبحت فارغة. ومن المهم ملاحظة أن المجموعات التوافقية الهامشية أظهرت نقصاً كبيًراً في التغطية لفئة "الرفض" النادرة (مثلاً 58% تغطية عند α=0.10)، وهو ما تم استعادته إلى >90% باستخدام التنبؤ التوافقي من نوع Mondian (الشرطي للفئة).
وقت التشغيل: كانت عملية إعادة البناء لمليون صف كاملة ممكنة حسابياً على أجهزة سحابية متواضعة، حيث استغرق تدريب XGBoost حوالي 25 ثانية والتنبؤ حوالي 6 مللي ثانية لكل 1,000 صف.
الأهمية والادعاءات تدعي الورقة أن درجات قرار جدار الحماية شبه المثالية يجب تفسيرها كدليل على سطح قرار مستقر وحتمي داخل تصدير محدد، وليس كدليل على اكتشاف هجوم عام أو استدلال أمني مستقل. تنشأ قابلية إعادة البناء العالية لأن السجلات التشغيلية تحتوي على آثار مكررة للسياسة التي ولدت القرار (على سبيل المثال، بايتات نهاية الجلسة والمنافذ التي تعكس النتيجة).
تضع الدراسة نفسها كأداة لـ إعادة بناء القرار الاسترجاعي المقيد بالادعاءات و تشخيصات عدم اليقين المحاكية. وتجادل بأن مثل هذه النماذج قيمة لتدقيق السياسات، وتجارب الهجرة، وتحديد عدم الاتساق في التكوين أو مشكلات جودة البيانات، ولكنها لا يمكن أن تحل محل تحليل القواعد الحتمية أو تعمل كمكتشفات اختراق عبر البيئات المختلفة. تسلط النتائج الضوء على أن الدرجات "المثالية" في تعلم الآلة الأمني غالباً ما تعكس أصل البيانات والهياكل الوسيطة، مما يستوجب إجراء تجارب التجريد، واختبار تغير السياق، وكميّة عدم اليقين قبل استخلاص الاستنتاجات التشغيلية.