🤖 machine learning

NASimJax: GPU-Accelerated Policy Learning Framework for Penetration Testing

تقدم هذه الورقة NASimJax، وهو إطار عمل يعتمد على JAX ومعزز بمعالجات الرسوميات (GPU)، يعمل على تسريع التعلم التعزيزي لاختبار الاختراق بشكل كبير من خلال تمكين التدريب القابل للتوسع على سيناريوهات شبكية متنوعة، مما يؤدي إلى تحسين التعميم في حالة الصفر (zero-shot generalization) عبر تقنيات مبتكرة مثل تفكيك الإجراءات على مرحلتين والتعلم المنهجي الأمثل.

المؤلفون الأصليون: Raphael Simon, José Carrasquel, Wim Mees, Pieter Libin

نُشر 2026-03-23

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Raphael Simon, José Carrasquel, Wim Mees, Pieter Libin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية اختراق خزنة بنك شديدة الحراسة. ولكن هناك عقبة، فالروبوت لا يستطيع رؤية المبنى بأكمله، ولا يعرف أين يتواجد الحراس، وعليه اكتشاف المخطط من خلال التحسس العشوائي. هذا هو بالضبط ما يمثله اختبار الاختراق (أو "الهجوم الأخلاقي"): محاكاة الهجمات السيبرانية للعثور على نقاط الضعف قبل أن يجدها الأشرار.

المشكلة هي أن تعليم روبوت (أو ذكاء اصطناعي) القيام بذلك أمر صعب للغاية وبطيء. إليك تفصيل لحل الورقة البحثية، NASimJax، باستخدام تشبيهات بسيطة.

1. المشكلة: المحاكي "بالتصوير البطيء"

تخيل أنك تحاول تعلم كيفية لعب الشطرنج عبر لعب مباراة واحدة يوميًا. بحلول الوقت الذي تلعب فيه 1,000 مباراة، ستكون قد قضيت بضعة أشهر فقط في التعلم. الآن، تخيل أن الذكاء الاصطناي يحتاج إلى لعب ملايين المباريات ليصبح جيدًا.

الطريقة القديمة: كانت الأدوات السابقة تشبه شخصًا واحدًا يشغل محاكاة على كمبيوتر محمول عادي. كانت بطيئة جدًا لدرجة أن الذكاء الاصطناعي لم يكن يستطيع التدرب إلا على شبكات صغيرة وبسيطة. وعندما حاول الذكاء الاصطناعي مواجهة شبكة حقيقية ومعقدة، فشل لأنه لم يسبق له رؤية شيء بهذا الحجم.
عنق الزجاجة: كان "عقل" الكمبيوتر (CPU) يتحدث مع "عضلاته" (GPU) ببطء شدٍ شديد. كان الأمر يشبه مديرًا يصرخ بالتعليمات لعامل عبر أرض مصنع صاخبة، وينتظر الرد قبل إعطاء الأمر التالي.

2. الحل: NASimJax (مصنع "السرعة الفائقة")

قام المؤلفون ببناء NASimJax، وهو إعادة كتابة كاملة لبرنامج المحاكاة الخاص بهم باستخدام لغة خاصة تسمى JAX.

التشبيه: بدلًا من شخص واحد يصرخ بالتعليمات، تخيل مصنعًا ضخمًا حيث يعمل 1,000 روبوت في تناغم تام، جميعهم في نفس الوقت تمامًا.
النتيجة: NASimJax أسرع بـ 100 مرة من النسخة القديمة. يمكنه محاكاة ملايين الهجمات السيبرانية في الوقت الذي كان يستغرقه لمحاكاة الآلاف فقط. وهذا يسمح للذكاء الاصطناعي بالتدرب على شبكات ضخمة ومعقدة كان من المستحيل التدرب عليها سابقًا.

3. ساحة التدريب: متاهة "متغيرة الشكل"

لجعل الذكاء الاصطناعي ذكيًا بما يكفي للتعامل مع أي شبكة، لم يبنوا مجرد متاهة واحدة؛ بل بنوا آلة تولد متاهات فريدة ولا نهائية.

المفهوم: يسمون هذا Contextual POMDP. فكر في الأمر كأنه لعبة فيديو حيث يتغير تخطيط المستوى، وعدد الأعداء، والفخاخ عشوائيًا في كل مرة تبدأ فيها لعبة جديدة.
الهدف: الذكال الاصطناعي لا يحفظ خريطة محددة. بل يتعلم قواعد الاختراق بشكل جيد جدًا بحيث يمكنه الدخول إلى مبنى جديد لم يره من قبل واكتشاف كيفية اختراقه دون أن يكون قد رآه سابقًا. يُسمى هذا التعميم الصفري (Zero-Shot Generalization).

4. التحدي: مشكلة "كثرة الأزرار"

كلما كبرت الشبكة (زيادة عدد الحواسيب المراد اختراقها)، انفجر عدد الإجراءات الممكنة التي يمكن للذكاء الاصطناعي اتخاذها.

الطريقة القديمة (قناع الإجراء المسطح - Flat Action Masking): تخيل جهاز تحكم عن بعد يحتوي على 10,000 زر. معظمها معطل أو عديم الفائدة بالنسبة للغرفة الحالية. يجب على الذكاء الاصطناعي تخمين أي منها يعمل. إنه يشبه محاولة العثور على إبرة في كومة قش عن طريق الضغط عشوائيًا على الأزرار.
الطريقة الجديدة (2SAS - اختيار الإجراء على مرحلتين): قدم المؤلفون استراتيجية أكثر ذكاءً. بدلًا من الضغط على واحد من 10,000 زر، يقوم الذكاء الاصطناعي بذلك في خطوتين:
1. الخطوة 1: "أي حاسوب يجب أن أستهدفه؟" (يختار المضيف/Host).
2. الخطوة 2: "ماذا سأفعل بهذا الحاسوب؟" (يختار الإجراء/Action).
- التشبيه: الأمر يشبه محققًا يقرر أولًا أي مشتبه به سيستجوبه، ثم يقرر ما هو السؤال الذي سيطرحه. هذا يقسم المشكلة الضخمة إلى مشكلتين أصغر وأسهل في الإدارة، مما يجعل التعلم أسرع وأكثر دقة.

5. السر الخفي: "المنهج الدراسي الذكي"

كيف تعلم ذكاءً اصطناعيًا اختراق شبكة ضخمة دون إرهاقه؟

عشوائية النطاق (Domain Randomization - DR): إلقاء الذكاء الاصطناعي في متاهات عشوائية من جميع الأحجام. يشبه الأمر إلقاء طالب في مسائل رياضية عشوائية. هذا يعمل بشكل جيد مع المشكلات الصغيرة، لكنه يصبح فوضويًا مع المشكلات الكبيرة.
إعادة التشغيل ذو الأولوية للمستويات (Prioritized Level Replay - PLR): هذا هو "المنهج الدراسي الذكي". النظام يراقب الذكاء الاصطناعي. إذا فشل الذكاء الاصطناعي في نوع معين من المتاهات، يتذكر النظام ذلك ويجعل الذكاء الاصطناعي يتدرب على ذلك النوع المحدد من المتاهات مرة أخرى حتى يتحسن.
- النتيجة: اكتشفوا أن تدريب الذكاء الاصطناعي على شبكات أبسط وأقل كثافة أولاً (مثل مكتب صغير) جعل قدرته أفضل في اختراق الشبكات الأكثر كثافة وتعقيدًا (مثل مركز بيانات ضخم) لاحقًا. إنه مثل تعلم ركوب الدراجة في شارع هادئ قبل محاولة السباق في مدينة مزدحمة.

6. لحظة "الخطأ": عندما تتعطل الأشياء

وجد الباحثون خللاً غريبًا عند الجمع بين "المنهج الدراسي الذكي" (PLR) و"استراتيجية الخطوتين" (2SAS) في الشبكات الكبيرة جدًا.

الخلل: كان النظام يعيد ضبط اللعبة باستمرار قبل أن يتمكن الذكاء الاصطناعي من إنهاء مهمة طويلة. لأن الذكاء الاصطناعي كان يحاول تعلم خطوتين في آن واحد (الهدف + الإجراء)، فقد ارتبك بشأن من يقع عليه اللوم في حالة الفشل. كان الأمر يشبه سباق تتابع حيث سقط العصا، لكن العدائين استمروا في تبادل الاتهامات حول من تسبب في سقوطها، والمدرب استمر في إعادة ضبط السباق قبل أن يتمكنوا من المحاولة مرة أخرى.
الدرس المستفاد: علمهم هذا أنه بالنسبة للمهام المعقدة جدًا، يجب أن تكون حذرًا بشأن كيفية إعادة ضبط بيئة التدريب.

الملخص

NASimJax هو ساحة تدريب فائقة السرعة ومرنة لمخترقي الذكاء الاصطناعي. من خلال جعل المحاكاة أسرع بـ 100 مرة وتعليم الذكاء الاصطناعي كيفية تقسيم المشكلات الكبيرة إلى خطوات أصغر، أنشأ الباحثون نظامًا يمكنه تعلم اختراق الشبكات المعقدة التي لم يسبق له رؤيتها من قبل. يثبت هذا أنه إذا دربت الذكاء الاصطناعي على النوع الصحيح من "مستويات الممارسة" (البدء بالبسيط ثم الانتقال للأصعب)، فيمكنه أن يصبح مخترقًا ماهرًا قادرًا على التعامل مع التهديدات السيبرانية في العالم الحقيقي.

ملخص تقني لورقة بحثية: NASimJax: إطار عمل لتعلم السياسات مدعوم بمعالجات الرسوميات (GPU) لاختبار الاختراق

1. بيان المشكلة

يُعد اختبار الاختراق المؤتمت (محاكاة الهجمات السيبرانية للعثور على الثغرات الأمنية) مهمة اتخاذ قرار تسلسلي معقدة تُنمذج كعملية قرار ماركوف جزئية الملاحظة (Partially Observable Markov Decision Process - POMDP). يجب على الوكلاء (Agents) التنقل عبر مساحات عمل تركيبية ضخمة وآفاق قرار طويلة دون معرفة كاملة بتضاريس الشبكة.

تواجه الأساليب الحالية عقبتين حرجتين:

سرعة المحاكاة: المحاكيات الحالية (مثل NASim وCyberBattleSim) هي تطبيقات تعتمد على لغة بايثون وتعمل عبر المعالج المركزي (CPU)، مما يجعلها مقيدة بقدرات المعالج. وهي غير قادرة على توليد الخبرات بسرعة كافية لاستغلال مسرعات وحدات معالجة الرسوميات (GPU) الحديثة، مما يخلق اختناقاً في الإنتاجية يمنع التدريب على شبكات واقعية واسعة النطاق.
التعميم: غالباً ما تفرط السياسات (Policies) في التخصيص (Overfitting) لسيناريوهات تدريب محددة. تفتقر المحاكيات الحالية إلى التنوع الهيكلي والقدرة المضمونة على الحل المطلوبة لتدريب وكلاء يمكنهم التعميم على تضاريس شبكات غير مرئية (نقل السياسة في حالة الصفر - Zero-Shot Policy Transfer).

2. المنهجية: NASimJax

قدم المؤلفون NASimJax، وهو إعادة تنفيذ كاملة لمحاكي هجوم الشبكة (NASim) باستخدام JAX، وهي مكتبة بايثون للحوسبة العددية عالية الأداء والحوسبة الموجهة للمسرعات.

البنية الأساسية والتصميم

صياغة POMDP السياقية: يتم صياغة البيئة كعملية قرار ماركوف سياقية (Contextual MDP - CMDP). كل حلقة (Episode) مشروطة بـ "سياق" (نموذج شبكة محدد) يتم أخذ عينة منه من توزيع $p(c)$ . لا يلاحظ الوكيل السياق مباشرة، بل يجب عليه استنتاج خصائص الشبكة من خلال التفاعل.
خط إنتاج توليد الشبكة: يقوم مولد جديد بإنشاء سيناريوهات متنوعة هيكلياً، واقعية، ومضمونة الحل:
- المعلمات (Parameters): تشمل عناصر التحكم عدد المضيفين ( $N_h$ )، عدد الشبكات الفرعية ( $N_s$ )، كثافة التضاريس ( $t_d$ )، كثافة الخدمات/العمليات، وكثافة المضيفين الحساسين.
- القيود: تضمن وجود خدمة واحدة على الأقل في كل شبكة فرعية، ووجود مسارات قابلة للاستغلال لكل مضيف حساس، مما يمنع "الطرق المسدودة".
- المنهج التعليمي عبر الكثافة: من خلال تغيير كثافة التضاريس، ينشئ النظام بشكل طبيعي منهجاً تعليمياً (Curriculum) بآفاق متفاوتة (عدد أقل من المضيفين القابلين للوصول = آفاق أقصر).
مساحة الحالة والملاحظة:
- الحالة (State): مُشفرة كمصفوفات مجاورة مجمعة (Batched Adjacency Matrices) وخصائص المضيف (نظام التشغيل، الخدمات، مستويات الوصول) باستخدام أعلام بولينية (Boolean Flags) وتشفير (One-hot encoding) لتقليل بصمة الذاكرة.
- الملاحظة (Observation): جزئية؛ حيث يرى الوكيل فقط نتيجة آخر إجراء قام به (مثل نتائج الفحص أو نجاح الاستغلال/فشله) وسجلاً للملاحظات السابقة.
مساحة الإجراءات (Action Space): تشمل الإجراءات المنفصلة عمليات الاستطلاع (الفحص) والاستغلال (الاستغلال، تصعيد الامتيازات). تنمو مساحة الإجراءات خطياً مع عدد المضيفين ( $|A| \propto |H|$ )، مما يخلق مساحة بحث هائلة للشبكات الكبيرة.

الابتكارات الخوارزمية

اختيار الإجراء على مرحلتين (2SAS): للتعامل مع مساحات الإجراءات التي تنمو خطياً، قام المؤلفون بتفكيك عملية اتخاذ القرار:
- المرحلة 1: اختيار المضيف المستهدف (مع استبعاد المضيفين غير القابلين للوصول أو غير المكتشفين عبر القناع/Masking).
- المرحلة 2: اختيار إجراء لهذا المضيف تحديداً.
- الفائدة: تقليل عامل التفرع الفعال من $|H| \times |Actions|$ إلى $\max(|H|, |Actions|)$ ، مما يقلل بشكل كبير من صعوبة الاستكشاف.
تدرج المكافأة (Reward Scaling): يتم قياس المكافآت بناءً على العائد النظري الأقصى ( $N_s \cdot V_h$ ) لتوحيد إشارة التعلم عبر الشبكات ذات الأحجام والكثافات المختلفة، مما يؤدي إلى استقرار تقدير دالة القيمة.
تصميم البيئة غير الخاضع للإشراف (UED): يقيم الإطار عمل عشوائية المجال (Domain Randomization - DR) وإعادة تشغيل المستويات ذات الأولوية (Prioritized Level Replay - PLR) لتحسين التعميم.

3. المساهمات الرئيسية

تسريع بمقدار 100 ضعف: يحقق NASimJax ما يصل إلى 1.6 مليون خطوة في الثانية على وحدة معالجة رسوميات اقتصادية واحدة (NVIDIA RTX A4000)، وهو تحسن بمقدار 100 ضعف مقارنة بـ NASim الأصلي الذي يعمل على المعالج المركزي. ويتحقق ذلك عبر التجميع في الوقت المناسب (JIT compilation) والخطوات البيئية المتجهة (vmap).
تفكيك الإجراءات القابل للتوسع: يوضح تقديم 2SAS أن تفكيك مساحات الإجراءات أمر بالغ الأهمية للشبكات واسعة النطاق، حيث يتفوق بشكل كبير على تقنية القناع المسطح (Flat Masking) مع زيادة حجم الشبكة.
إطار عمل مبدئي للتعميم: من خلال الجمع بين صياغة CMDP ومولد الشبكة القابل للتحكم، توفر الورقة بيئة اختبار صارمة لدراسة نقل السياسة في حالة الصفر (ZSPT).
تحديد أوضاع الفشل: حدد المؤلفون وضع فشل محدد حيث يتفاعل سلوك إعادة ضبط الحلقة (episode-reset) الخاص بـ PLR بشكل تدميري مع تخصيص الائتمان (credit assignment) الخاص بـ 2SAS في الشبكات الكبيرة والكثيفة، مما يؤدي إلى انهيار التدريب.

4. النتائج التجريبية

أجريت التجارب على شبكات تتراوح بين 16 إلى 40 مضيفاً.

تدرج الأداء:
- 16 مضيفاً: لم يقدم 2SAS أي ميزة كبيرة مقارنة بالقناع المسطح (المشكلة كانت بسيطة جداً).
- 26 مضيفاً: حقق 2SAS معدل حل بنسبة 82% مقابل 66% للقناع المسطح.
- 40 مضيفاً: اتسعت الفجوة بشكل كبير؛ حقق 2SAS معدل حل بنسبة 42%، بينما انخفض معدل القناع المسطح إلى 14%.
نقل السياسة في حالة الصفر (ZSPT):
- التدريب على الشبكات المتفرقة (Sparse Networks): أدى التدريب على تضاريس منخفضة الكثافة (عدد أقل من المضيفين النشطين) باستمرار إلى تعميم أفضل على الشبكات الأكثر كثافة وغير المرئية مقارنة بالتدريب مباشرة على التوزيع المستهدف. يعمل هذا كـ منهج تعليمي ضمني.
- PLR مقابل DR: تفوق إعادة تشغيل المستويات ذات الأولوية (PLR) عموماً على عشوائية المجال (DR) عند المقاييس الأكبر من خلال بناء منهج تعليمي طبيعي.
فشل PLR-2SAS: عند 40 مضيفاً مع كثافة عالية ( $t_d=0.15$ $t_{d} = 0.15$ )، انهار الجمع بين PLR و2SAS (معدل حل 0%).
- السبب: يقوم PLR بإعادة ضبط البيئات بشكل متكرر. في الشبكات الكثيفة المكونة من 40 مضيفاً، تكون الحلقات طويلة جداً بحيث لا يمكن إكمالها في جولة واحدة (rollout). لا يستطيع 2SAS التمييز بين اختيار مضيف سيء واختيار إجراء سيء عندما تفشل الحلقة، مما يؤدي إلى تدهور متبادل لكلا رؤوس السياسة. فشل نظام PLR-2SAS في ملء ذاكرة إعادة التشغيل (replay buffer) بمسارات ناجحة للتعافي.

5. الأهمية

تمكين أبحاث التعلم التعزيزي واسعة النطاق: يزيل NASimJax الحاجز الحسابي الذي كان يمنع سابقاً تدريب وكلاء التعلم التعزيزي على سيناريوهات شبكية واقعية واسعة النطاق، مما يجعل البحث عن المعلمات (hyperparameter searches) والتجارب المكثفة أمراً ممكناً.
رؤى أمنية عملية: تشير نتيجة أن التدريب على الشبكات المتفرقة يحسن التعميم إلى الشبكات الكثيفة إلى استراتيجية فعالة من حيث التكلفة لفرق الأمن: التدريب على محاكيات أبسط وأرخص لبناء سياسات قوية قبل نشرها على أهداف معقدة.
توجيه منهجي: تسلط الورقة الضوء على أهمية هياكل تخصيص الائتمان في مساحات الإجراءات المفككة، وتحذر من الجمع الساذج بين تعلم المنهج (PLR) وتفكيك الإجراءات المعقدة (2SAS) في المهام ذات الآفاق الطويلة.
منصة مفتوحة المصدر: من خلال توفير إطار عمل مرن يعتمد على JAX، يتيح NASimJax للمجتمع سرعة تصميم نماذج أولية لخوارزميات جديدة في مجال الأمن السيبراني، والانتقال من الاختبارات الثابتة إلى البيئات الديناميكية القائمة على البحث.