Advanced Persistent Threats (APT) Attribution Using Deep Reinforcement Learning
تقدم هذه الورقة نموذجاً للتعلم التعزيزي العميق لنسب التهديدات المستمرة المتقدمة، والذي حقق من خلال تحسينات هيكلية وخوارزمية متكررة طفرة هائلة في الدقة من 7% إلى ما يقرب من 98%، مما يثبت قدرته القوية على التعرف على أنشطة البرمجيات الخبيثة ونسبها.
تخيل العالم الرقمي كمدينة ضخمة ومزدحمة حيث الجميع متصلون ببعضهم البعض. في هذه المدينة، يوجد لصوص غير مرئيين يُطلق عليهم اسم "المخترقين" (Hackers). أحياناً، يكون هؤلاء اللصوص مجرد سارقين انتهازيين يبحثون عن نافذة سهلة للكسر. ولكن بعد ذلك هناك "التهديدات المتقدمة المستمرة" (APTs). فكر في هؤلاء كجواسيس محترفين أو عصابات إجرامية شديدة التنظيم. هم لا يقتحمون المكان ويهربون فحسب؛ بل يتسللون، ويختبئون داخل الجدران لسنوات، ويسرقون الأسرار ببطء، ولا يتركون أي بصمات. إن تحديد هوية هؤلاء الجواسيس — سواء كانوا دولة منافسة، أو عصابة إجرامية، أو مجموعة محددة من المخترقين — يسمى "الإسناد" (Attribution). الأمر يشبه محاولة تحديد هوية شبح من خلال الطريقة التي يتحرك بها في الغرفة. هذا أمر صعب للغاية لأن هؤلاء الجواسوس يستخدمون حيلًا لإخفاء آثارهم، مثل ارتداء الأقنعة أو اتخاذ أنفاق سرية.
ولحل هذا الغموض، بدأ العلماء في استخدام نوع خاص من "الأدمغة الحاسوبية" يسمى "التعلم التعزيزي العميق" (Deep Reinforcement Learning - DRL). يمكنك التفكير في DRL كشخصية في لعبة فيديو تتعلم من خلال اللعب مراراً وتكراراً. على عكس برنامج الكمبيوتر العادي الذي يتبع كتاب قواعد صارم، تحاول هذه الشخصية القيام بحركات مختلفة، وتحصل على نقاط (مكافآت) عند أدائها بشكل جيد، وتتعلم من أخطائها. مع مرور الوقت، تصبح بارعة جداً في اللعبة لدرجة أنها تستطيع رصد الأنماط التي قد تفوت البشر. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكننا تعليم هذا المحقق الرقمي أن ينظر إلى السلوك الفوضوي والمخفي لفيروس ما ويقول: "آها! هذا بالتأكيد من صنع المجموعة (X)"؟
تأخذ هذه الورقة البحثية هذه الفكرة وتضعها قيد الاختبار. قام الباحثون بجمع مجموعة ضخمة من "البصمات" الرقمية — أكثر من 3500 عينة من البرمجيات الخبيثة (Malware) من 12 مجموعة مختلفة من الـ APT. لم يكتفوا فقط بالنظر إلى شكل الملفات؛ بل راقبوا ما تفعلُه هذه الملفات داخل بيئة معزولة وآمنة (سجن افتراضي للفيروسات). استخدموا أداة تسمى "Cuckoo Sandbox" لمراقبة كيفية تحرك الفيروسات، وتغيير الملفات، والتواصل مع أجهزة الكمبيوتر الأخرى.
بعد ذلك، قاموا بتدريب محقق الـ DRL الخاص بهم لتحليل هذه السلوكيات. لقد صمموا لعبة حيث كان على الذكاء الاصطناعي تخمين المجموعة التي أنشأت كل فيروس من بين الـ 12 مجموعة. إذا خمن بشكل صحيح، يحصل على نقطة. وإذا أخطأ، يخسر نقطة. لعب الذكاء الاصطناعي هذه اللعبة آلاف المرات، متعلمًا رصد العادات الدقيقة والفريدة لكل مجموعة. كانت النتائج مثيرة للإعجاب: حقق نموذج الـ DRL دقة بلغت 89.27% في التعامل مع فيروسات جديدة لم يسبق له رؤيتها.
ولمعرفة ما إذا كان هذا المحقق الجديد أفضل من المحققين القدامى، قارنه الباحثون بخمس طرق حاسوبية قياسية أخرى (مثل أشجار القرار ومصنفات متجه الدعم). كانت الطرق القديمة جيدة، حيث حققت دقة تتراوح بين 71% و82%، لكن محقق الـ DRL تفوق عليها جميعاً بوضوح، ليصل إلى علامة 89.27%. تشير الورقة إلى أن هذا النهج فعال بشكل خاص في التعامل مع الطبيعة المعقدة والمتغيرة لهذه الهجمات السيبرانية، حيث تفشل القواعد القديمة غالباً.
ومع ذلك، فإن المؤلفين حذرون من وصف هذا بأنه حل سحري. فقد أشاروا إلى أن هذا الذكاء الاصطناعي الفائق متعطش للموارد؛ فهو يحتاج إلى قدرة حوسبية كبيرة وكمية هائلة من البيانات ليتعلم بفعالية. كما لاحظوا أنه بينما يعد النموذج بارعاً في رصد الأنماط في البيانات التي غُذي بها، فإن العالم الحقيقي فوضوي. تخلص الورقة إلى أنه بينما يعد الـ DRL أداة قوية جديدة لاصطياد هؤلاء الجواسيس الرقميين، فإننا لا نزال بحاجة إلى جعله أكثر كفاءة ومعالجة الأسئلة الأخلاقية المتعلقة باستخدام الذكاء الاصطناعي في الأمن. إنها خطوة واعدة للأمام، تشير إلى أنه من خلال السماح للذكاء الاصطناعي بالتعلم من سلوك الأشرار، قد نتمكن أخيراً من كشف أقنعتهم بسرعة ودقة أكبر من أي وقت مضى.
بيان المشكلة يتناول البحث التحدي الحرج المتمثل في عزو البرمجيات الخبيثة إلى مجموعات محددة من التهديدات المستمرة المتقدمة (APT). فخلافًا للهجمات السيبرانية العرضية، تُعد التهديدات المستمرة المتقدمة عمليات معقدة وطويلة الأمد، غالبًا ما تدعمها دول، وتستخدم تقنيات مراوغة متطورة، وثغرات يوم الصفر (zero-day)، وأنماط سلوكية معقدة لتبقى غير مكتشفة. تعتمد طرق العزو التقليدية بشكل كبير على هندسة الميزات اليدوية والتوقيعات الثابتة، والتي تجد صعوبة في مواكبة الطبيعة الديناميكية للتهديدات الحديثة، وتكتيكات التمويه، وعائلات البرمجيات الخبيثة التي تفتقر إلى روابط تطورية واضحة. ويفترض المؤلفون أن هناك حاجة لأنظمة تكيفية قادرة على تحليل الأنماط السلوكية لتحديد مجموعة الـ APT المحددة وراء الهجوم بدقة، وهي مهمة ضرورية لتطوير استراتيجيات دفاعية مستهدفة ومحاسبة الجناة.
المنهجية تقترح الدراسة إطار عمل مبتكرًا يستخدم التعلم التعزيزي العميق (DRL) لعزو عينات البرمجيات الخبيثة إلى واحدة من 12 مجموعة متميزة من التهديدات المستمرة المتقدمة (APT). تتبع المنهجية تصميمًا تجريبيًا مهيكلًا:
جمع البيانات وإعدادها:
مجموعة البيانات: يستخدم البحث مجموعة بيانات تضم أكثر من 3,500 عينة من البرمجيات الخبيثة المصنفة إلى 12 مجموعة APT (مثل APT1، APT28، Equation Group، Gorgon Group)، مصدرها خمس دول (الصين، روسيا، كوريا الشمالية، الولايات المتحدة الأمريكية، باكستان).
المصادر: يتم استخراج البيانات السلوكية باستخدام Cuckoo Sandbox (للتحليل الديناميكي لعمليات الملفات، وتغييرات السجل، وحركة مرور الشبكة) وVirusTotal (لنتائج الكشف المجمعة من مضادات الفيروسات والبيانات الوصفية).
المعالجة المسبقة: يتم تنظيف التقاريم الخام، ودمجها، وتحويلها. يتم ترميز المتغيرات الفئوية (مجموعات APT) باستخدام الترميز الرقمي (label-encoding)، وتطبيع الميزات العددية باستخدام MinMaxScaler. ولمعالجة عدم التوازن الكبير في الفئات (الذي يتراوح من 32 إلى 961 عينة لكل مجموعة)، تم استخدام تقنية SMOTE (تقنية الإفراط في أخذ العينات الاصطناعية للأقليات) لتخليق أمثلة للفئات الأقل تمثيلًا.
صياغة عملية ماركوف لاتخاذ القرار (MDP): يتم نمذجة مشكلة العزو كعملية MDP حيث:
فضاء الحالة (S): يمثل الفهم الحالي لعينة البرمجيات الخبيثة، والمستمد من متجه ميزات يتضمن استدعاءات واجهة برمجة التطبيقات (API calls)، وعمليات الملفات، وتعديلات السجل، وسلوكيات الشبكة.
فضاء الإجراء (A): يقابل قرار عزو عينة البرمجيات الخبيثة الحالية إلى مجموعة APT محددة (12 إجراءً محتملاً).
المكافأة (R): يتم تخصيص مكافأة إيجابية (+1) في حالة العزو الصحيح، بينما تؤدي عمليات العزو غير الصحيحة إلى مكافأة سلبية (-1). يهدف الوكيل (Agent) إلى تعظيم المكافآت التراكمية.
بنية النموذج والتدريب:
الخوارزمية: تم تنفيذ شبكة Q العميقة (DQN) باستخدام مكتبة Stable Baselines 3 ضمن بيئة Gymnasium.
تصميم الشبكة: شبكات السياسة والهدف هي شبكات إدراك متعددة الطبقات (MLP) ذات بنية شبكة مكونة من [1024, 512, 512, 256] عصبون باستخدام دالات تنشيط Leaky ReLU لمنع تلاشي التدرجات.
استراتيجية التدريب: يستخدم الوكيل استراتيجية ϵ-greedy للموازنة بين الاستكشاف والاستغلال. كما يُستخدم إعادة تشغيل الخبرة (Experience replay) لتخزين الانتقالات (st,at,rt,st+1). تشمل المعلمات الفائقة جدولاً زمنياً لمعدل التعلم، وعامل خصم (γ) قدره 0.99، وحجم دفعة (batch size) قدره 256.
المساهمات الرئيسية
تطبيق مبتكر للتعلم التعزيزي العميق (DRL): يعد هذا العمل من أوائل الأعمال التي تستخدم التعلم التعزيزي العميق خصيصًا لعزو برمجيات APT الخبيثة، منتقلاً من التصنيف الثابت إلى إطار عمل تكيفي لاتخاذ القرار.
التركيز على التحليل السلوكي: يعتمد النموذج على الميزات السلوكية الديناميكية المستخرجة من بيئات الـ Sandbox بدلاً من التوقيعات البرمجية الثابتة، مما يسمح له بالتعامل مع التهديدات المموهة والمتطورة.
المقارنة المرجعية: تقدم الدراسة مقارنة صارمة لنموذج DRL المقترح مقابل مصنفات التعلم الآلي التقليدية، بما في ذلك الانحدار الاشتقائي العشوائي (SGD)، ومصنف المتجهات الداعمة (SVC)، وخوارزمية الجيران الأقرب (KNN)، والشبكة العصبية متعددة الطبقات (MLP)، ومصنفات أشجار القرار.
الموارد المفتوحة: أتاح المؤلفون الكود المصدري ومجموعة بيانات برمجيات APT المنسقة للجمهور لتسهيل المزيد من الأبحاث.
النتائج أظهر نموذج DRL أداءً فائقًا مقارنة بجميع نماذج التعلم الآلي الأساسية:
دقة الاختبار: حقق نموذج DRL دقة اختبار بلغت 89.27%.
المقارنة: تفوق هذا النموذج بشكل ملحوظ على أفضل النماذج التالية، وهو مصنف أشجار القرار (82.64%)، وكذلك MLP (80.65%)، وKNN (80.21%)، وSVC (77.41%)، وSGD (71.47%).
المقاييس التفصيلية: حقق النموذج في مجموعة الاختبار متوسط دقة (precision) بنسبة 87%، واستدعاء (recall) بنسبة 85%، ودرجة F1 بنسبة 86%.
الأداء الخاص بالمجموعات: أظهر النموذج براعة استثنائية مع مجموعات مثل "Equation Group" (درجات كاملة في التدريب) و"APT 19" (درجة F1 بنسبة 95.8%). ومع ذلك، واجه بعض التحديات مع "APT 28" (دقة 62.4%) و"APT 21" (استدعاء 93.44%)، مما يشير إلى مجالات للتحسين المستقبلي.
مسار التدريب: تحسنت دقة النموذج بشكل كبير أثناء التدريب، حيث ارتفعت من المستويات المنخفضة الأولية إلى ما يقرب من 98% في بيانات التدريب واستقرت عند 89.27% في مجموعة الاختبار بعد 20,000 خطوة.
الأهمية والادعاءات يزعم البحث أن دمج التعلم التعزيزي العميق (DRL) في أطر الأمن السيبراني يوفر إمكانات تحويلية لعزو البرمجيات الخبيثة. ومن خلال الاستفادة من قدرة DRL على التعلم من خلال التجربة والخطأ والتكيف مع المعلومات الناقصة أو المموهة، يوفر النظام المقترح طريقة أكثر قوة ودقة لتحديد جهات تهديد الـ APT مقارنة بالنماذج الثابتة التقليدية.
يؤكد المؤلفون أنه بينما يظهر النموذج فعالية عالية، فإن نشره يتطلب موارد حوسبة كبيرة ومجموعات بيانات متنوعة وعالية الجودة. وهم يدعون إلى نهج مسؤول لتكامل الذكاء الاصطناعي، مقترحين أن العمل المستقبلي يجب أن يركز على:
تعزيز الكفاءة الحوسبية من خلال تحسين البنية وتقليم النموذج (model pruning).
توسيع تنوع مجموعات البيانات لتحسين القدرة على التعميم.
معالجة المخاوف الأخلاقية المتعلقة بخصوصية البيانات والتحيز.
استكشاف دمج النماذج اللغوية الكبيرة (LLMs) لتنقية آليات المكافأة وتحسين إطار عمل DRL.
في النهاية، يجادل البحث بأن التعلم التعزيزي العميق (DRL) يمكن أن يطور استخبارات التهديدات بشكل كبير، مما يمكن المؤسسات من الانتقال من الدفاع التفاعلي إلى العزو الدقيق والاستباقي للتهديدات السيبرانية المعقدة.