Continuous-Time Reinforcement Learning for Controlled Hawkes Jump-Diffusions
تقترح هذه الورقة خوارزمية تعلم تعزيزي مستمر في الزمن وخالية من النموذج، وهي Hawkes-CT DDPG، والتي تحل مشكلات التحكم العشوائي غير الماركوفية الناتجة عن عمليات قفز-انتشار هوكس متعددة المتغيرات، وذلك عبر تقريب النظام أولاً بتمثيل ماركوفي ذي أبعاد محدودة ثم تطبيق تعلم تدرج السياسة الحتمي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العالم الرقمي، نادراً ما تصل التهديدات كأحداث معزولة ومستقلة. بدلاً من ذلك، تميل إلى التكتل، حيث يجعل اختراق واحد أو هجوم واحد وقوع هجوم ثانٍ أكثر احتمالاً، مما يخلق سلسلة متتالية من الأضرار. هذا السلوك، المعروف باسم "التحفيز الذاتي"، هو نمط أساسي في كل شيء، من الزلازل إلى انهيارات الأسواق المالية، وهو يتزايد في أهميته لفهم المخاطر السيبرانية. ولإدارة مثل هذه المخاطر، يحتاج المدافعون إلى اتخاذ قرارات ديناميكية حول كيفية تخصيص مواردهم الأمنية المحدودة مع تحول بيئة التهديد. ومع ذلك، فإن الأدوات الرياضية المستخدمة تقليدياً لتحسين هذه القرارات تعاني عندما تكون ذاكرة النظام معقدة. فإذا كانت احتمالية وقوع هجوم تعتمد على التاريخ الكامل للأحداث الماضية بدلاً من مجرد اللحظة الحالية، يصبح المشكل متشابكاً للغاية لدرجة يصعب معها على الطرق القياسية حله بكفاءة.
لقد طور فريق من الباحثين نهجاً جديداً لفك تشابك هذا التعقيد، مبتكرين طريقة تسمح للحواسيب بتعلم استراتيجيات الدفاع المثلى في الوقت الفعلي، حتى عندما تكون القواعد الكامنة وراء التهديد غير معروفة. يركز عملهم على نوع محدد من النماذج الرياضية يسمى "عملية هوكس" (Hawkes process)، وهي مصممة لالتقاط سلوك التكتل هذا. وكان التحدي الذي واجهوه هو أن هذه النماذج "غير ماركوفية" (non-Markovian)، مما يعني أن مستقبل النظام يعتمد على ماضيه بأكمله، مما يجعل من المستحيل استخدام خوارزميات التعلم القياسية والفعالة التي تعتمد فقط على الحالة الراهنة. وللتغلب على ذلك، ابتكر الباحثون طريقة لضغط ذاكرة النظام اللانهائية في مجموعة محدودة من الإشارات المرصودة، مما حول مشكلة تعتمد على التاريخ إلى مشكلة يمكن حلها باستخدام تعلم الآلة الحديث.
يتضمن جوهر حلهم تقنية تسمى "التحويل إلى ماركوف" (Markovianization). تخيل أنك تحاول التنبؤ بالطقس ليس فقط من خلال النظر إلى درجة الحرارة الحالية، ولكن من خلال تذكر كل قطرة مطر سقطت في القرن الماضي. هذا هو مستوى الذاكرة الذي تحتفظ به عملية هوكس. أدرك الباحثون أنه بدلاً من محاولة تذكر كل حدث ماضٍ، يمكن تقريب ذاكرة النظام باستخدام مجموعة من المرشحات (filters) البسيطة والمتلاشية. لقد بنوا حالة جديدة لخوارزمية التعلم تتضمن وضع النظام الحالي بالإضافة إلى مجموعة من هذه المرشحات، حيث يتتبع كل منها كيفية تلاشي الأحداث الماضية بمرور الوقت. ومن خلال القيام بذلك، حولوا المشكلة المعقدة المعتمدة على التاريخ إلى مشكلة ذات أبعاد محدودة يمكن للحاسوب التعامل معها.
بمجرد إعادة تشكيل المشكلة إلى هذا الشكل الأبسط، طبق الفريق خوارزمية تعلم تعزيزي مستمرة في الوقت، أطلقوا عليها اسم "Hawkes CT-DDPG". وعلى عكس الطرق التقليدية التي تتعلم في خطوات منفصلة، تتعلم هذه الخوارزمية بشكل مستمر، وتعدل استراتيجيتها مع وقوع الأحداث في الوقت الفعلي. يعمل النظام بطريقة "خالية من النموذج" (model-free)، مما يعني أنه لا يحتاج إلى معرفة الصيغ الرياضية المحددة التي تحكم الهجمات أو آليات الدفاع. بدلاً من ذلك، يتعلم ببساطة من خلال مراقبة توقيت الأحداث، وحالة النظام، والتكاليف المرتبطة بالإجراءات المختلفة. يستخدم النظام شبكة عصبية تعمل كـ "ناقد" (critic) لتقييم مدى جودة القرار، وشبكة أخرى كـ "ممثل" (actor) لتقرير الإجراء التالي، مع صقل سياسته باستمرار لتقليل التكلفة الإجمالية للحوادث الأمنية.
لاختبار طريقتهم، قام الباحثون بمحاكاة ثلاثة أنواع مختلفة من بيئات التهديد، لكل منها نمط مختلف في كيفية تأثير الأحداث الماضية على المستقبل. استخدم السيناريو الأول نمطاً أسياً بسيطاً، حيث يتلاشى تأثير الأحداث الماضية بسرعة وبشكل يمكن التنبؤ به. واستخدم السيناريو الثاني نمط "إرلانج" (Erlang)، الذي يمثل عملية تلاشٍ أكثر تعقيداً متعددة المراحل. أما السيناريو الثالث والأكثر صعوبة، فقد استخدم نمط "القانون القوي" (power-law)، حيث يتلاشى تأثير الأحداث الماضية ببطء شديد، مما يخلق ذيلاً طويلاً وثقيلاً للذاكرة يصعب نمذجته. وفي كل حالة، قارنوا طريقتهم للتعلم المستمر في الوقت الفعلي مقابل تقنيات التعلم القياسية في الوقت المنفصل، وضد "الأوراكل" (oracle) النظري—وهو الحل المثالي الذي يعرف جميع القواعد الكامنة مسبقاً.
أظهرت النتائج أن الطريقة الجديدة كانت فعالة للغاية. في حالة التوزيع الأسي البسيط، كان أداء الخوارزمية قريباً جداً من أداء "الأوراكل" المثالي، مما قلل التكاليف بشكل كبير مقارنة باستراتيجيات الدفاع الثابتة. وعندما انتقل الباحثون إلى سيناريوهات "إرلانج" والقانون القوي الأكثر تعقيداً، أصبحت ميزة نهجهم أكثر وضوحاً. فالخوارزمية التي استخدمت مرشحات الذاكرة لتقريب تاريخ النظام تفوقت باستمرار على طرق التعلم القياسية التي تجاهلت بنية الذاكرة. وفي سيناريو القانون القوي، الذي ليس له تمثيل بسيط دقيق، قللت النسخة التي تستخدم مرشحات الذاكرة من متوسط التكلفة بنسبة تقارب الخمسة بالمائة مقارنة بالنسخة التي لم تستخدمها. وقد أثبت هذا أن التقاط تاريخ النظام من خلال هذه المرشحات كان أمراً حاسماً لاتخاذ قرارات جيدة.
علاوة على ذلك، أثبتت الدراسة أن هذا النهج يعمل حتى عندما تكون التفاصيل المحددة للتهديد غير معروفة. فقد نجحت الخوارزمية في تعلم تقليل التكاليف دون أن تُخبر أبداً بالشكل الرياضي الدقيق لذاكرة التهديد أو المعاملات المحددة التي تحكم انتشار الهجمات. ومن خلال مراقبة أوقات وصول الأحداث وحالات النظام الناتجة فحسب، تمكنت الخوارمة من بناء نموذج داخلي كان كافياً لإيجاد استراتيجيات دفاع قريبة من المثالية. وقد تحقق الباحثون من نتائجهم بمقارنتها بالحلول التحليلية حيث وجدت، وبالنماذج المرجعية العددية عالية الدقة حيث لم توجد، مما أكد أن طريقتهم أنتجت باستمرار أفضل النتائج بين جميع تقنيات التعلم المختبرة.
يمثل هذا العمل خطوة مهمة للأمام في إدارة الأنظمة المعقدة ذات التحفيز الذاتي. فهو يوضح أنه حتى عندما يبدو المشكل متشابكاً للغاية بحيث يصعب حله بسبب اعتماده على تاريخ طويل، فمن الممكن إيجاد حل عملي من خلال تقريب ذلك التاريخ باستخدام مجموعة محدودة من الأدوات. وبالنسبة للمؤسسات التي تواجه التهديد المتطور والمستمر للهجمات السيبرانية، فإن هذا يعني أن هناك الآن مساراً قابلاً للتطبيق لاستخدام الذكاء الاصطناي لتخصيص الموارد الأمنية ديناميكياً، والتعلم من كل حادثة للحماية بشكل أفضل من الموجة التالية من التهديدات، وكل ذلك دون الحاجة إلى الفهم الكامل للرياضيات المعقدة للخطر نفسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.