Structural Leakage in Host Intrusion Alert Corpora: An Evaluation Framework for ATT&CK Technique and Tactic Mapping
تقدم هذه الورقة إطار عمل للتقييم مدركاً للتسرب لربط تنبيهات اختراق المضيف من Wazuh بتكتيكات وتقنيات MITRE ATT&CK، مما يثبت أن طرق التقييم القياسية تبالغ في تقدير الأداء بسبب تسرب البيانات الهيكلي الناتج عن معرفات القواعد ونماذج التنبيهات، بينما تُظهر أن التنبؤ على مستوى التكتيك يظل قوياً عند التحكم في هذه الانحيازات.
في العالم الرقمي، يترك كل كمبيوتر وخادم وراءه أثراً من البصمات الرقمية كلما تفاعل شخص ما معه. تُسمى هذه البصمات "تنبيهات"، وهي الطريقة الأساسية التي تعرف بها فرق الأمن بوقوع أمر غير عادي. تخيل مبنىً يحتوي على مئات كاميرات المراقبة؛ في كل مرة يُفتح فيها باب أو يرتعش ضوء، ترسل الكاميرا رسالة إلى شاشة مراقبة مركزية. في المجال السيبراني، يتم إنشاء هذه الرسائل بواسطة برمجيات تراقب الأنشطة المشبوهة، مثل محاولة شخص ما تخمين كلمة مرور أو نقل ملفات لا ينبغي له لمسها. ولتفسير هذا الفيض من المعلومات، يستخدم خبراء الأمن لغة مشتركة تسمى "MITT RE ATT&CK". هذا ليس برنامجاً حاسوبياً، بل هو كتالوج ضخم للسلوكيات الإجرامية المعروفة، منظم كأنه مكتبة حيث يصف كل مدخل فيها تكتيكاً معيناً قد يستخدمه المهاجم والتقنية التي يوظفها لتحقيقه. الهدف هو ترجمة الرسائل الحاسوبية الخام والمربكة إلى قصص واضحة حول ما يحاول المهاجم فعله، مما يسمح للمدافعين بفهم التهديد وإيقافه.
ومع ذلك، تشير دراسة جديدة إلى أن الطريقة التي اختبر بها الباحثون قدرتهم على ترجمة هذه الرسائل قد تكون معيبة بشكل جوهري. فقد بحث عماد شريف، وهو باحث في جامعة دي مونتفورت، فيما إذا كان بإمكان البرامج الحاسوبية مطابقة هذه التنبيهات الأمنية الخام بنجاح مع كتالوج السلوكيات الإجرامية. أُجريت الدراسة في "نطاق سيبراني" (Cyber Range)، وهو بيئة رقمية محكومة تحاكي شبكة مؤسسية حقيقية ولكنها معزولة عن العالم الخارم. داخل هذا المختبر الرقمي، أعد الباحث محاكاة حيث تحرك مهاجم عبر الشبكة، وقام بأفعال مثل المسح بحثاً عن نقاط الضعف، وسرقة كلمات المرور، وإخفاء آثاره. سجل البرنامج الأمني، المعروف باسم "Wazuh"، كل تنبيه تم إنشاؤه خلال هذا الهجوم، مما خلق مجموعة بيانات تضم أكثر من ألفي رسالة. كان التحدي يكمن في معرفة ما إذا كان بإمكان الذكاء الاصطناعي النظر في هذه الرسائل وتحديد السلوك الذي تمثله من الكتالوج بشكل صحيح.
اكتشف الباحث أن المحاولات السابقة لحل هذه المشكلة ربما اعتمدت على طرق مختصرة غير مقصودة، وإن كان ذلك دون قصد. في العديد من التجارب الحاسوبية، يتم تقسيم البيانات عشوائياً إلى مجموعة تدريب ومجموعة اختبار. يتعلم الكمبيوتر من مجموعة التدريب ثم يتم اختباره على مجموعة الاختبار غير المرئية لمعرفة مدى قدرته على التعميم. ومع ذلك، في هذا النوع المحدد من البيانات الأمنية، التنبيهات ليست جملًا فريدة كتبها البشر؛ بل يتم إنشاؤها بواسطة قواعد ثابتة. فإذا نصت القاعدة على "تنبيه عند فشل كلمة المرور"، فستنتج النص نفسه تماماً في كل مرة يحدث فيها ذلك الحدث. وجدت الدراسة أنه في مجموعة البيانات، كان نص التنبيه والقاعدة التي أنشأته مرتبطان ببعضهما البعض بشكل مثالي بالسلوك الإجرامي المحدد، لدرجة أن الكمبيوتر استطاع ببساطة حفظ القاعدة وتخمين الإجابة بدقة عالية. كان الأمر يشبه طالباً يخضع لاختبار يحتوي فيه السؤال نفسه على الإجابة. إذا ظهرت نفس القاعدة في كل من مجموعتي التدريب والاختبار، فإن الكمبيوتر لم يكن يتعلم في الواقع التعرف على السلوك؛ بل كان يتعرف فقط على قالب القاعدة.
ولإصلاح ذلك، قام الباحث بتغيير قواعد التجربة. فبدلاً من تقسيم البيانات عشوائياً، قام بتجميع التنبيهات حسب القاعدة المحددة التي أنشأتها. وهذا يعني أنه إذا استُخدمت قاعدة معينة لتدريب الكمبيوتر، فسيتم حظر تلك القاعدة نفسها تماماً من مرحلة الاختبار. كان على الكمبيوتر أن يتعلم المعنى الجوهري للسلوك دون أن يتمكن من الاعتماد على الاختصار المتمثل في التعرف على القاعدة نفسها. وعند تطبيق هذا الاختبار الأكثر صرامة، انخفض أداء الكمبيوتر بشكل كبير، مما كشف أن الدرجات العالية السابقة كانت بالفعل مبالغاً فيها. وأظهرت النتائج أنه بينما كان بإمكان الكمبيوتر تحديد الفئات العريضة للهجوم، مثل "سرقة بيانات الاعتماد" أو "إخفاء الأدلة"، إلا أنه عانى لتحديد التقنيات الدقيقة والمحددة عندما لم يستطع الاعتماد على حفظ قوالب القواعد.
خلصت الدراسة إلى أن ترجمة التنبيهات الأمنية الخام إلى صورة واضحة للسلوك الإجرامي أمر ممكن، ولكن فقط إذا تم التقييم بعناية فائقة لمنع هذه الاختصارات الهيكلية. كان أداء الكمبيوتر أفضل في تحديد الهدف العام للهجوم، مثل ما إذا كان المهاجم يحاول سرقة البيانات أو تعطيل الخدمات، مقارنة بتحديد الطريقة الدقيقة المستخدمة. وهذا يشير إلى أنه بالنسبة لفرق الأمن، فإن هذه التنبيهات تكون أكثر فائدة لفهم النية العامة للمتسلل بدلاً من التفاصيل الدقيقة لأدواته. وتعد هذه الأبحاث بمثابة تحذير حاسم للمجال: بدون ضبط هذه الأنماط الخفية في البيانات، فإن الأدوات المصممة لحماية الشبكات قد تبدو أكثر قدرة مما هي عليه في الواقع. ويتمثل المسار المستقبلي في بناء أنظمة يمكنها فهم سياق التنبيه بما يتجاوز نصه المتكرر، لضمان أن ما يراه فريق الأمن هو دليل حقيقي على وجود تهديد وليس مجرد أثر إحصائي لكيفية جمع البيانات.
ملخص تقني: التسرب الهيكلي في مجموعات بيانات تنبيهات اختراق المضيف
بيان المشكلة تنتج أنظمة كشف التسلل القائمة على المضيف (HIDS) كميات هائلة من البيانات الوصفية (Telemetry)، ومع ذلك لا يزال تفسير هذه التنبيهات كأدلة مهيكلة على سلوك المهاجم يمثل تحدياً. وبينما توفر أطر العمل مثل MITRE ATT&CK مفردات سلوكية لربط الأحداث الأمنية، ركزت الأبحاث السابقة بشكل كبير على السرديات المتعلقة بالحوادث بدلاً من تنبيهات المضيف الخام الناتجة عن القواعد. وتوجد فجوة حرجة في فهم ما إذا كان التصنيف المتوافق مع ATT&CK يظل صالحاً عند تطبيقه على مجموعات التنبيهات التي تتسم بطبيعتها بالتكرار، والاعتماد على القواعد، والتعرض لـ "التسرب الهيكلي للبيانات". وبناءً على ذلك، فإن طرق التقييم الساذجة غالباً ما تفشل في مراعاة حقيقة أن معرفات قواعد Wazuh وأوصاف التنبيهات ترتبط بشكل شبه حتمي بتصنيفات ATT&CK محددة. ونتيجة لذلك، فإن طرق التقييم البدائية تخاطر بتضخيم تقديرات الأداء عبر مكافأة حفظ قوالب التنبيهات بدلاً من التعميم الدلالي الحقيقي.
المنهجية تستخدم هذه الدراسة تصميماً تجريبياً واعياً بالتسرب باستخدام بيانات تم جمعها من بيئة "سايبر رينج" (Cyber Range) خاضعة للتحكم. تألفت البنية التحتية من 38 آلة افتراضية (Windows و Linux) تتم مراقبتها بواسطة Wazuh الإصدار 4.10.2، وخضعت لمحاكاة متعددة المراحل لهجوم مستمر متقدم (APT) شمل الاستطلاع، والتحرك الجانبي، والتأثير.
تتم المنهجية عبر المراحل التالية:
جمع البيانات والمعالجة المسبقة: تم تحليل مجموعة من 2,408 تنبيهاً. تم تصفية مجموعة البيانات لتشمل فقط التنبيهات ذات التصنيفات المرتبطة بتكتيكات وتقنيات ATT&CK Enterprise (بنسبة 48.38% من الإجمالي). وتضمنت خطوة المعالجة المسبقة الحرجة إزالة التكرار النصي التام، مما أدى إلى حذف 345 صفاً مكرراً لضمان عدم تحيز التقييم بسبب صياغات التنبيهات المتكررة.
تشخيص التسرب: حللت الدراسة الخصائص الهيكلية لمجموعة البيانات، وبالتحديد فحص "نقاء التصنيف" عبر معرفات القواعد، وأوصاف التنبيهات، وأجهزة فك التشفير (decoders). وأظهرت النتائج أن كلاً من rule_id و description أظهرا نقاءً بنسبة 100% في التصنيفات المختارة، مما يؤكد أن هذه الحقول تعمل كاختصارات قوية للفئة المستهدفة.
استراتيجية التقييم: للحد من التسرب، رفضت الدراسة عمليات تقسيم (تدريب-اختبار) العشوائية التقليدية لصالح التحقق المتقاطع المجموعاتي (grouped cross-validation) بناءً على rule_id الخاص بـ Wazuh. يضمن ذلك عدم ظهور أي عائلة من القواعد في كل من مجموعات التدريب والاختبار، مما يجبر النموذج على التعميم عبر قوالب قواعد غير مرئية بدلاً من حفظ أنماط تنبيهات محددة.
النموذج المرجعي: تم استخدام نهج التشابه الدلالي لأقرب جار (nearest-neighbour semantic similarity). تم تمثيل التنبيهات كدمج لنص الوصف الموحد وأسماء أجهزة فك التشفير، باستخدام ترميز all-MiniLM-L6-v2 (sentence-transformer). وتم إجراء التصنيف عبر خوارزمية 1-nearest-neighbour (1-NN) باستخدام تشابه جيب التمام (cosine similarity).
المقاييس: تم تقييم الأداء على مستويي التكتيك (Tactic) و التقنية (Technique) باستخدام الدقة (Accuracy)، و (Macro F1)، و (Weighted F1) لمراعاة عدم توازن الفئات.
النتائج الرئيسية توضح الدراسة أنه بينما يوجد إشارات متوافقة مع ATT&K داخل تنبيهات Wazuh، فإن إمكانية استردادها تعتمد بشدة على قيود التقييم:
تأثير التحكم في التسرب: تحت نظام التحقق المتقاطع المجموعاتي (حسب rule_id)، كانت مقاييس الأداء أكثر تواضعاً بشكل ملحوظ مما كان متوقعاً من التقسيمات الساذجة، مما يؤكد أن ادعاءات الأداء العالي السابقة في سياقات مماثلة قد كانت نتاج تسرب هيكلي.
استقرار التكتيك مقابل التقنية: أثبت الربط على مستوى التكتيك أنه أكثر قوة من الربط على مستوى التقنية.
مستوى التكتيك: حقق دقة 0.5444 و Macro F1 بنسبة 0.4205 عبر 4 فئات.
مستوى التقنية: حقق دقة 0.4428 و Macro F1 بنسبة 0.2634 عبر 8 فئات.
الأداء الخاص بالفئات: التقنيات المرتبطة بأنماط مصادقة مميزة (مثل تخمين كلمة المرور، الهجوم بالقوة الغاشمة) ظلت قابلة للاسترداد حتى تحت التجميع الصارم. وفي المقابل، التقنيات ذات التمثيل الشحيح أو الخصائص الهيكلية المتداخلة (مثل إزالة الوصول إلى الحساب، المهام المجدولة) انهارت تحت التقييم الواعي بالتسرب.
أنماط الارتباك: كشفت مصفوفات الارتباك أنه بينما يمكن استرداد الوصول إلى الاعتمادات (Credential Access) بشكل موثوق، وجد ارتباك كبير بين التأثير (Impact) و تجنب الدفاع (Defense Evasion)، كما عملت الحسابات الصالحة (Valid Accounts) بشكل متكرر كفئة متوقعة مهيمنة للتقنيات الأخرى.
المساهمات الرئيسية
إطار تقييم واعٍ بالتسرب: تضع الورقة معياراً منهجياً لتقييم الربط بـ ATT&CK في مجموعات بيانات التنبيهات الناتجة عن القواعد. وتجادل بأن التحقق المتقاطع المجموعاتي حسب معرف القاعدة هو شرط ضروري للتمييز بين الإشارة السلوكية الحقيقية وحفظ القوالب.
توصيف التسرب الهيكلي: تثبت الدراسة تجريبياً أن مجموعات بيانات تنبيهات Waz-uh تحتوي على قنوات تسرب هيكلية قوية (تحديداً rule_id و description)، والتي يمكن أن تضخم الأداء التنبئي بشكل زائف إذا لم يتم التحكم فيها.
الصلاحية التشغيلية لربط التنبيهات: تؤكد الدراسة أن تنبيهات اختراق المضيف يمكن أن تدعم التفسير السلوكي المتوافق مع ATT&CK، ولكن فقط عندما يتم تأطيرها كمشكلة واعية بالتسرب. وتقترح أن التجريد على مستوى التكتيك يوفر نقطة انطلاق أكثر استقراراً وفائدة تشغيلية لتفسير المخاطر السيبرانية مقارنة بالتصنيف الأكثر دقة على مستوى التقنية في هذا السياق.
الأهمية والادعاءات تدعي الورقة أن أهميتها الأساسية لا تكمن في تحقيق دقة تنبؤية عالية، بل في إثبات نهج صارم وقابل للدفاع عنه تشغيلياً لتقييم البيانات الوصفية الأمنية. ويجادل المؤلف بأنه بدون التقييم الواعي بالتسرب، فإن الدراسات التي تستخدم مجموعات بيانات التنبيهات المهيكلة تخاطر بإنتاج نتائج تعكس سمات البيانات بدلاً من الأدلة السلوكية القابلة للنقل.
وتشير النتائج إلى ما يلي:
التقييم الساذج غير كافٍ: التقسيمات العشوائية القياسية غير موثوقة منهجياً لمجموعات بيانات التنبيهات القائمة على القواعد لأنها تختبر حفظ القوالب.
الإشارة انتقائية: الإشارة الخاصة بـ ATT&CK في تنبيهات المضيف حقيقية ولكنها غير متساوية؛ فهي قوية للسلوكيات ذات الأنماط الدلالية المميزة (مثل هجمات القوة الغاشمة) ولكنها ضعيفة للسلوكيات التي تعتمد على سياق أوسع أو أمثلة شحيحة.
المتطلب المنهجي المسبق: يجب التعامل مع تقييم التسرب كمتطلب أولي في أبحاث معالجة اللغات الطبيعية (NLP) للأمن السيبراني، خاصة عند التعامل مع مجموعات بيانات ناتجة عن محركات الكشف حيث قد تشفر الحقول الهيكلية التصنيفات المستهدفة.
تخلص الدراسة إلى أنه بينما يمكن لتنبيهات Wazuh أن تساهم في تحليل المخاطر السيبرانية المتوافق مع ATT&CK، فإن فائدتها مشروطة بمعالجة التكرار، والتسرب الهيكلي، وعدم توازن الفئات بشكل صريح من خلال بروتوكولات تقييم صارمة.