A Red Teaming Framework for Evaluating Robustness of AI-enabled Security Orchestration, Automation, and Response Systems
تقدم هذه الورقة إطار عمل ذاتي للفرق الحمراء يدمج النماذج اللغوية الكبيرة مع التعلم المعزز لتوليد حملات هجومية تكيفية متعددة المراحل بفعالية ضد أنظمة أتمتة الاستجابة الأمنية والتنسيق (SOAR) المدعومة بالذكاء الاصطناعي، مما يثبت أن هذا النهج الهجين يتفوق على النماذج اللغوية الكبيرة المستقلة أو النماذج المتخصصة في مجال الأمن السيبراني في تقييم مرونة الدفاع السيبراني.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل لعبة شطرنج عالية المخاطر تُلعب في ساحة معركة رقمية. على أحد الجانبين، لديك الفريق الأزرق: نظام أمني مؤتمت فائق الذكاء (ذكاء اصطناعي) مصمم لحماية شبكة حاسوبية لشركة ما. وعلى الجانب الآخر، تحتاج إلى فريق أحمر: ذكاء اصطناعي "هكر" مصمم لمحاولة الاختراق، ليس لسرقة البيانات، بل لاختبار مدى قوة الفريق الأزرق فعلياً.
المشكلة التي حددها مؤلفو هذه الورقة البحثية هي أن الطرق القديمة لاختبار هذه الأنظمة الأمنية قد تعطلت. "سكربتات الهكر" التقليدية تشبه الروبوتات التي تتبع قائمة حركات صارمة ومكتوبة مسبقاً؛ فهي لا تستطيع التفكير بسرعة البديهة. إذا قام الفريق الأزرق بتغيير استراتيجيته، سيستمر الروبوت في محاولة نفس الحركة ويفشل.
تقترح الورقة طريقة جديدة وأكثر ذكاءً لبناء فريق أحمر (ذكاء اصطناعي هجومي). أطلقوا عليها اسم إطار عمل LLM-RL الهرمي. وإليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:
المشكلة: لاعبان معيبان
حاول الباحثون تجربة نوعين مختلفين من لاعبي الذكاء الاصطناعي بشكل منفصل، وكلاهما فشل فشلاً ذريعاً:
- "المتحدث" (LLM فقط): تخيل مخططاً عسكرياً عبقرياً قرأ كل كتاب عن الحرب كُتب على الإطلاق. يمكنه وضع خطة معركة مثالية ومعقدة، لكنه لم يسبق له أن أمسك بسيف أو أطلق ناراً في الواقع. عندما يحاول تنفيذ الخطة في معركة حقيقية وفوضوية، يصاب بالارتباك، وينسى الخطوات، ويكرر نفس الخطأ مراراً وتكراراً. في اختبار الورقة، استطاعت هذه الأنواع من "المتحدثين" التفكير في أفكار جيدة، لكنها لم تستطع فعلياً تنفيذ هجوم يتكون من عدة خطوات طويلة.
- "المنفذ" (RL فقط): تخيل جندياً بارعاً جداً في التفاعل مع ما يحدث أمامه مباشرة. هو يتعلم من خلال التجربة والخطأ، لكنه يفتقر إلى الاستراتيجية. هو لا يعرف لماذا يقاتل أو ما هو الهدف النهائي. في اختبار الورال، ظل هذا "المنفذ" عالقاً في حلقة مفرغة، يكتفي بنقر جدران العدو مراراً وتكراراً لأنه لم يعرف كيف يخطط لغزو كامل. لقد فقد القدرة على رؤية الصورة الكبيرة.
الحل: الجنرال والجندي
أدرك المؤلفون أنه لكي تفوز، تحتاج إلى كل من المخطط والجندي يعملان معاً في فريق واحد. لقد بنوا نظاماً مكوناً من جزأين:
- الجنرال (مخطط الـ LLM): هذا هو "المتحدث". ينظر إلى الصورة الكبيرة. يقرر الاستراتيجية: "نحتاج للتسلل، ثم العثور على الباب الخلفي، ثم تسلق السلم، وبعد ذلك السيطرة على الخادم". هو لا يلمس أدوات التحكم؛ بل يكتفي بإعطاء الأوامر فقط. يظل "ثابتاً" (لا يتعلم أشياء جديدة أثناء اللعبة) لكي يحافظ على معرفته الواسعة بكيفية سير الهجمات.
- الجندي (متحكم الـ RL): هذا هو "المنفذ". يستمع إلى أوامر الجنرال. مهمته هي معرفة أي زر يجب الضغط عليه بالضبط في كل ثانية لتحقيق ذلك الأمر. هو يتعلم من خلال التجربة والخطأ، ويصبح أفضل في تنفيذ خطة الجنرال مع تقدم اللعبة.
المكون السحري: دفتر "التفكير التأملي"
لجعل الجنرال أكثر ذكاءً، أضافوا خطوة "التأمل" (Reflection). بعد كل مباراة، يكتب الجنرال ملاحظة قصيرة في دفتر: "حاولت تسلق السلم، لكن الفريق الأزرق أمسك بي. في المرة القادمة، سأجرب طريقاً مختلفاً". يقرأ الجنرال هذه الملاحظة قبل بدء المباراة التالية. هذا يساعد الجنرال على تحسين استراتيجيته دون الحاجة لإعادة تعلم كل شيء من الصفر.
النتائج: فريق فائز
اختبروا هذا الفريق الجديد (الجنرال + الجندي) في محاكاة واقعية للغاية لشبكة شركة (تسمى CAGE 4) ضد أقوى المدافعين المؤتمتين المتاحين.
- "المتحدث" بمفرده نجح في الاختراق بنسبة 30% تقريباً فقط (وعادة ما كان ينجح في الخطوة الأولى فقط).
- "المنفذ" بمفرده نجح في الاختراق بنسبة 0% من الوقت. لقد ظل عالقاً في فعل الشيء نفسه غير المفيد مراراً وتكراراً.
- فريق "الجنرال + الجندي" نجح في الاختراق بنسبة تتراوح بين 94% إلى 100%. لقد نجحوا في اجتياز "سلسلة القتل" (kill chain) بأكملها (المسار الكامل من العثور على الشبكة وصولاً إلى السيطرة عليها).
الخلاصة الكبرى
تخلص الورقة إلى أنه لا يمكنك الاعتماد على نوع واحد فقط من الذكاء الاصطناعي لاختبار الأمن.
- التفكير وحده لا يكفي: أنت بحاجة إلى شخص يمكنه القيام بالعمل فعلياً.
- التنفيذ وحده لا يكفي: أنت بحاجة إلى شخص يعرف ماذا يفعل.
من خلال الجمع بين مخطط ذكي (LLM) ومتعلم سريع (RL)، أنشأوا فريقاً أحمر يتميز بالمتانة والقدرة على التكيف، وقادراً على اختبار حدود الأنظمة الأمنية الحديثة القائمة على الذكاء الاصطناعي. وهذا يساعد الشركات على معرفة ما إذا كانت دفاعاتها جاهزة حقاً لمواجهة هكر ذكي وحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.