Entity Embeddings and Ensemble Learning for Multi-Attribute Cyber-Attack Forecasting: A Benchmark and Evaluation Protocol for Merged Incident Repositories

في عالم الأمن السيبراني عالي المخاطر، لطالما عمل المدافعون في وضع استجابة رد الفعل، ينتظرون انطلاق جرس الإنذار قبل أن يتمكنوا من التحرك. وبحلول الوقت الذي يتم فيه اكتشاف الاختراق، يكون الضرر قد وقع بالفعل في كثير من الأحيان. ولتغيير هذه الديناميكية، توجه الباحثون نحو التنبؤ: محاولة توقع نوع الهجمات التي ستحدث، وأين ستضرب، ومن سيتم استهدافه قبل وقوعها. يعتمد هذا المجال على مجموعات ضخمة من البيانات التاريخية، المعروفة باسم مستودعات الحوادث، والتي تسجل تفاصيل الهجمات السيبرانية الماضية. ومع ذلك، غالبًا ما تكون هذه السجلات مبعثرة عبر قواعد بيانات مختلفة، يستخدم كل منها لغته وتنسيقه الخاص، والعديد منها يفتقر إلى التفاصيل الجوهرية. لبناء صورة مفيدة للمستقبل، يجب على العلماء دمج هذه الأرشيفات المنفصلة في قصة واحدة كاملة، مع ملء الفجوات المفقودة بتخمينات مدروسة مستمدة من البيانات المتاحة لديهم. ويكمكم التحدي في ضمان ألا تخدع هذه التخمينات بالخطأ النماذج المصممة للتعلم منها، مما يخلق شعورًا زائفًا بالأمان حيث لا يوجد أمان.

قام فريق من الباحثين في الجامعة الإسلامية الدولية في إسلام آباد، وجامعة سيول الوطنية، وجامعة أم القرى (برينس موغرين) بوضع اختبار لمدى موثوقية هذه الممارسة الشائعة. فقد دمجوا قاعدتي بيانات ضخمتين للحوادث السيبرانية: قاعدة بيانات مجتمع "فيريس" (VERIS)، التي توفر تفاصيل عميقة ومنظمة للهجمات ولكنها تتوقف عن التسجيل في عام 2017، و"هاكمادون" (Hackmageddon)، التي توفر تدفقًا مستمرًا للحوادث الأخيرة ولكن بمعلومات أقل تفصيلًا. ومن خلال التوفيق بين هذين المصدرين، أنشأوا سجلًا موحدًا يضم أكثر من 20,000 حادثة تمتد لأكثر من خمسين عامًا. ولجعل البيانات قابلة للاستخدام، كان عليهم ملء الحقول المفقودة لكل حادثة، مثل الدافع المحدد للمهاجم أو نوع الأصل المستهدف. وقد فعلوا ذلك من خلال تدريب نموذج حاسوبي للتنبؤ بالتفاصيل المفقودة بناءً على المعلومات المتوفرة في قاعدة البيانات الأخرى. أنتجت هذه العملية مجموعة بيانات كاملة، لكنها أدخلت أيضًا فخًا خفيًا؛ فبسبب كون الملصقات (labels) المفقودة قد تم إنشاؤها بواسطة نموذج حاسوبي باستخدام نفس الخصائص التي ستستخدمها نماذج التنبؤ لاحقًا لإجراء التنبؤات، كانت نماذج التنبؤ تختبر نفسها أساسًا على إجابات سبق لها أن تدربت على التعرف عليها.

عندما قيم الباحثون نماذج التنبؤ الخاصة بهم على هذه المجموعة المدمجة، بدت النتائج واعدة في البهل. بدا أن النماذج تتنبأ بنوع الهجوم المستقبلي بدقة تبدو وكأنها تتفوق على المعايير القياسية. ومع ذلك، اشتبه الفريق في أن هذه الدرجات العالية كانت وهمًا ناتجًا عن طريقة بناء البيانات. وللتحقيق في ذلك، قاموا بفصل بيانات الاختبار إلى مجموعتين: سجلات تم رصد نوع الهجوم فيها وتدوينه بواسطة البشر، وسجلات تم إعادة بناء نوع الهجوم فيها بواسطة النموذج الحاسوبي أثناء عملية الدمج. كان الفرق صارخًا؛ ففي السجلات ذات الملصقات المرصودة بشريًا، انخفض أداء النموذج بشكل كبير، مما كشف أن الدرجات العالية في مجموعة البيانات الكاملة كانت مدفوعة إلى حد كبير بقيام النموذج بمجرد حفظ الأنماط التي وضعها الحاسوب الذي ملأ البيانات المفقودة. في الواقع، كانت الفجوة بين المجموعتين كبيرة جدًا لدرجة أن متوسط الأداء الإجمالي قد تضخم بنسبة تقارب أربعة وأربعين بالمائة، وهو تشويه كان سيظل مخفيًا لو اكتفى الباحثون بالنظر إلى الأرقام المجمعة فقط.

ولتأكيد أن هذا التضخم كان ناتجًا تحديدًا عن عملية ملء البيانات المفقودة، وليس عن اختلافات أخرى بين الفترتين الزمنيتين، أجرى الباحثون تجربة مضبوطة. فقد أخذوا فترة زمنية واحدة حيث كانت جميع البيانات مرصودة ومسجلة في الأصل، ثم أخفوا جزءًا من الملصقات عمدًا وملؤوها باستخدام نفس النموذج الحاسوبي الذي استخدموه لمجموعة البيانات الرئيسية. وعندما دربوا نموذج التنبؤ الخاص بهم على هذه البيانات المختلطة، كان الأداء في الملصقات المعاد بناؤها مرة أخرى أعلى بكثير منه في الملصقات المرصودة. أثبت هذا أن عملية "الاستكمال" (imputation) نفسها تخلق حلقة دائرية حيث يتعلم النموذج محاكاة "المُكمّل" بدلاً من الظاهرة الواقعية. كما كشفت الدراسة عن نتيجة غير متوقعة: كلما كان النموذج الحاسوبي أسوأ في ملء البيانات المفقودة، زاد تضخم أداء نموذج التنبؤ بشكل مصطنع. فالنموذج الضعيد في الاستكمال يخلق نمطًا فريدًا وغريبًا في البيانات المفقودة يسهل على نموذج التنبؤ تعلمه، بينما النموذج الدقيق للغاية يندمج تمامًا بحيث لا يخلق إشارة مميزة يمكن تعلمها.

بعيدًا عن مشكلة "تسرب البيانات" (data leakage)، استكشف الباحثون أفضل طريقة لتمثيل المعلومات داخل هذه السجلات. فبيانات الحوادث السيبرانية مليئة بالفئات ذات التعددية العالية (high-cardinality)، مثل أسماء مئات الدول المختلفة أو آلاف المنظمات المحددة. وغالبًا ما تعامل الطرق التقليدية هذه الفئات كأرقام بسيطة، مما قد يربك النماذج. اختبر الفريق تقنية تسمى "تضمينات الكيانات" (entity embeddings)، والتي تتعلم تمثيلًا رياضيًا كثيفًا وفريدًا لكل فئة، مما يسمح للنموذج بفهم العلاقات بينها. أدى هذا النهج إلى تحسين قدرة النموذج على التنبؤ بأنواع الهجمات بشكل كبير، حيث رفع أداءه بنسبة تقارب تسعة عشر بالمائة مقارنة بالطريقة التقليدية. تشير هذه النتيجة إلى أن الدراسات السابقة التي زعمت أن نماذج التعلم العميق تؤدي بشكل سيئ في هذا النوع من البيانات ربما كانت محدودة بكيفية تقديم البيانات إليها، وليس بسبب النماذج نفسها.

كما بحثت الدراسة في صعوبة التنبؤ بالدولة المحددة المستهدفة في هجوم ما. وبينما تمكنت النماذج من تحقيق دقة إجمالية عالية من خلال التخمين البسيط للدول الأكثر شيوعًا، إلا أنها واجهت صعوبة بالغة في تحديد الأهداف الأقل تكرارًا بشكل صحيح. كان الأداء في هذه المهمة منخفضًا للغاية لدرجة أنه بالكاد تجاوز خط الأساس المعتمد على تخمين الفئة الأكثر انتشارًا دائمًا. وقد خلص الباحثون إلى أن هذا ليس بسبب نقص البيانات أو عدم التوازن في عدد الهجمات، بل لأن المعلومات المحددة المتوفرة لا تكفي للتمييز بين مئات الدول المختلفة؛ فالخصائص الموجودة في البيانات لا تحمل الإشارة الجغرافية اللازمة لجعل هذه التنبؤات الدقيقة موثوقة.

أخيرًا، اختبر الفريق نماذجهم تحت تقييم زمني صارم، حيث تم التدريب على بيانات من الماضي والاختبار على بيانات من المستقبل، وهو السبيل الوحيد لتقييم نظام التنبؤ بشكل حقيقي. وتحت هذه الظروف الواقعية، انخفض الأداء أكثر، وتفوقت أخيرًا نماذج التعلم العميق -التي كانت تتخلف سابقًا عن النماذج الشجرية البسيطة- على تلك النماذج. يشير هذا التحول إلى أن النماذج العميقة، مدعومة بالتمثيل الأفضل للبيانات، كانت أفضل في التعميم على فترات زمنية جديدة وغير مرئية، بينما كانت النماذج الأبسط مجرد حافظة للأنماط الخاصة بنطاق التدريب. وخلص الباحثون إلى أنه بينما يعد التنبؤ بنوع الهجوم العام أمرًا ممكنًا بنجاح متواضع، فإن التنبؤ بالدولة المحددة أو النمط الدقيق للهجوم يظل بعيد المنال بالبيانات والأساليب الحالية. ولم تكن مساهمتهم الرئيسية في ابتكار خوارزمية تنبؤ جديدة، بل في وضع بروتوكول صارم لتقييم مجموعات البيانات المدمجة يكشف هذه العيوب الخفية، مما يضمن ألا يخلط الباحثون في المستقبل بين مجالات الأمن السيبراني والمجالات الأخرى بين آثار بناء البيانات وبين القدرة الحقيقية على التنبؤ.