When Explanations Help or Harm Network Intrusion Alert Triage: A Distribution-Conditional Benchmark

في عالم أمن الحاسوب عالي المخاطر، تتدفق موجة مستمرة من حركة المرور الرقمية عبر الشبكات في كل ثانية. معظم هذه الحركة غير ضارة، ولكن يختبئ داخلها محاولات للاختراق، أو سرقة البيانات، أو تعطيل الخدمات. ولإمساك هؤلاء المتسللين، تستخدم المؤسسات أنظمة مؤتمتة تعمل مثل الحراس الرقميين؛ حيث تقوم هذه الأنظمة بمسح تدفق البيانات باستمرار، بحثاً عن أنماط تبدو مريبة. وعندما ترصد شيئاً غير عادي، تطلق إنذاراً. ومع ذلك، فإن هذه الأنظمة ليست مثالية، إذ غالباً ما تطلق آلاف الإنذارات الكاذبة، وتصنف النشاط الطبيعي على أنه تهديد. وهذا يخلق تراكمًا هائلاً للمهام لدى محللي الأمن البشريين، الذين يتعين عليهم غربلة هذا الضجيج للعثور على الخطر الحقيقي. والسؤال الجوهري لهذه الفرق ليس فقط ما إذا كان بإمكان النظام رصد الهجوم، بل ما إذا كانت قائمة الإنذارات التي ينتجها تضع التهديدات الأكثر خطورة في المقدمة تماماً، حيث يمكن للمحلل المرهق رؤيتها أولاً.

لسنوات، كانت هناك فكرة شائعة في مجال الذكاء الاصطناعي تتمثل في استخدام "التفسيرات" للمساعدة في حل هذه المشكلة. والمنطق وراء ذلك بسيط: إذا استطاع الكمبيوتر أن يخبر الإنسان لماذا صنف إنذاراً معيناً، يمكن للإنسان أن يثق به أكثر ويرتب أولوياته بشكل أفضل. تخيل حارس أمن لا يكتفي بالإشارة إلى شخص مريب فحسب، بل يشرح أيضاً: "أنا أراقبه لأنه يحمل حقيبة كبيرة ويتحرك بسرعة". والأمل هو أن إضافة هذا التبرير إلى قائمة الإنذارات سيساعد المحللين في العث_ور على الهجمات الحقيقية بشكل أسرع. لكن هذا الافتراض لم يتم اختباره بدقة في الواقع الفوضوي لأمن الشبكات. هل يؤدي إضافة التفسير إلى المساعدة فعلياً، أم أنه يربك النظام ويدفع التهديدات الحقيقية إلى أسفل القائمة؟

قام فريق من الباحثين من جامعات في تركيا بالإجابة على هذا السؤال من خلال تجربة دقيقة ومنضبطة. لم يكتفوا بمجرد السؤال عما إذا كانت التفسيرات "جيدة" أو "سيئة"، بل بنوا بيئة اختبار لمعرفة متى تساعد التفسيرات بالضبط، ومتى لا تفعل شيئاً، ومت متى تجعل الأمور أسوأ. بدأوا بثلاثة أنواع مختلفة من الكواشف المؤتمتة، تم تدريب كل منها على التعرف على النشاط غير العادي للشبكة دون إخبارها بهجمات محددة لتبحث عنها. أنتجت هذه الكواشف قائمة من الإنذارات بناءً على مدى غرابة البيانات فقط. ثم أخذ الباحثون هذه القائمة وطبقوا قاعدة محددة: أضافوا "توقيعاً" إلى التفسير. وكان هذا التوقيع عبارة عن مجموعة محددة مسبقاً من السمات التي تتطابق مع نوع معين من الهجمات، مثل هجوم حجب الخدمة (Denial of Service)، والذي يتميز بفيض هائل من البيانات.

بعد ذلك، اختبر الباحثون ما إذا كان تعزيز أولوية الإنذارات التي تتطابق مع هذا التوقيع سيؤدي بالفعل إلى تحسين ترتيب القائمة. واستخدموا طريقة تسمى SHAP، والتي تفكك قرار الكمبيوتر إلى مساهمة كل جزء من البيانات، لمعرفة ما إذا كان الكمبيوتر يركز على الأشياء الصحيحة. وقارنوا القائمة الأصلية، المرتبة فقط حسب مدى غرابة البيانات، مقابل قائمة جديدة حيث تم منح تعزيز طفيف للإنذارات التي تتطابق مع توقيع الهجوم. وأجروا هذا الاختبار عبر آلاف السيناريوهات، باستخدام أنواع مختلفة من الهجمات، وكواشف مختلفة، وأحجام مختلفة من القوائم لمعرفة ما إذا كانت النتائج ستصمد.

كانت النتائج مفاجئة ودقيقة. اكتشف الباحثون أن إضافة التفسيرات لا تؤدي تلقائياً إلى تحسين القائمة. في الواقع، بالنسبة لأنواع الهجمات الأكثر شيوعاً، وتحديداً فيض هجمات حجب الخدمة، جعل التفسير الوضع أسوأ. فعندما طبق الباحثون قاعدة التفسير على هذه الهجمات، تم دفع التهديدات الحقيقية إلى أسفل القائمة، مما جعل العثور عليها أصعب على المحلل. حدث هذا لأن الكواشف المؤتمتة كانت جيدة جداً بالفعل في رصد هذه الفيضات من تلقاء نفسها، مما جعلها تحتل مراتب الصدارة. وقاعدة التفسير، في محاولتها لتكون مفيدة، تسببت دون قصد في إعادة ترتيب القائمة ونقل الإنذارات الأكثر إلحاحاً إلى الأسفل.

ومع ذلك، لم تكن القصة سلبية بالكامل. ففي حالات محددة، ساعد التفسير بالفعل. فبالنسبة لأنواع معينة من الهجمات ومع كواشف محددة، نجح التفسير في إبقاء الإنذارات الصحيحة في المقدمة. لكن هذه النجاحات كانت نادرة وهشة. ووجد الباحثون أن النتيجة تعتمد كلياً على المزيج المحدد من الكاشف المستخدم، ونوع الهجوم، واللحظة الزمنية الدقيقة التي جُمعت فيها البيانات. فما نجح مع نوع واحد من الهجمات فشل مع نوع آخر، وما نجح في يوم من البيانات لم يعمل في اليوم التالي.

كما بحثت الدراسة فيما إذا كانت هذه النتائج ستصمد في العالم الحقيقي، حيث تكون البيانات فوضوية وغير متوقعة. واختبروا أساليبهم على مجموعات بيانات مختلفة، بما في ذلك بعض المجموعات الأكبر والأكثر تعقيداً من الاختبار الأولي. ووجدوا أن النمط ظل ثابتاً: قاعدة التفسير لم تكن حلاً عالمياً. ففي بعض مجموعات البيانات الحديثة، ساعدت قليلاً، ولكن في مجموعات أخرى، تسببت في الضرر. والأهم من ذلك، حاولوا بناء "مُنتقي" (selector) يمكنه تحديد متى يستخدم التفسير ومتى يلتزم بالقائمة البسيطة تلقائياً. ووجدوا أنه لا يمكن بناء مثل هذا المُنتقي ليكون آمناً بما يكفي للاستخدام دون إشراف بشري مستمر؛ فالقاعدة التي نجحت في بيانات التدريب غالباً ما فشلت عند تطبيقها على بيانات جديدة لم يسبق رؤيتها.

خلص الباحثون إلى أن فكرة مجرد إضافة التفسيرات إلى تنبيهات الأمن ليست حلاً سحرياً. وبينما يمكن أن تكون التفسيرات مفيدة لفهم سبب اتخاذ الكمبيوتر لقرار ما، فإن استخدامها لإعادة ترتيب قائمة الإنذارات تلقائياً يعد أمراً محفوفاً بالمخاطر. وأظهرت الدراسة أنه في كثير من الحالات، كانت القائمة البسيطة القائمة على درجة "الغرابة" الخام هي الأفضل فعلياً من القائمة المعدلة بالتفسيرات. وتقترح الدراسة أن النهج الأفضل هو التعامل مع التفسير كأداة ثانوية؛ إذ يجب على الفرق الأمنية الاحتفاظ بالقائمة الأصلية كوسيلة أساسية لتحديد أولويات العمل، واستخدام التفسير فقط كوسيلة للتحقق من إنذار معين أو فهمه، بدلاً من السماح له بتغيير ترتيب القائمة بأكملها.

يوفر هذا العمل خارطة طريق واضحة ومبنية على الأدلة لمستقبل العمليات الأمنية. فهو يخبرنا أنه لا يمكننا افتراض أن المزيد من المعلومات تؤدي دائماً إلى قرارات أفضل. فأحياناً، يمكن لطبقة التفسير الإضافية أن تحجب الإشارات الأكثر أهمية. وقد أظهر الباحثون أنه قبل أن تتبنى أي منظمة نظاماً يعيد ترتيب الإنذارات بناءً على التفسيرات، يجب عليها اختباره بصرامة في بيئتها الخاصة. يجب عليهم التحقق من أن التفسير يساعد بالفعل كواشفهم الخاصة في العثور على تهديداتهم الخاصة. وبدون هذا التحقق المحلي، فإن محاولة جعل الأمن أكثر ذكاءً باستخدام التفسيرات قد تجعله فقط أبطأ وأقل فعالية. المسار نحو الأمام ليس في الثقة العمياء في منطق الكمبيوتر، بل في استخدامه بحذر، مع معرفة متى يساعد ومتى يضر.