Agentic Security: A Systematization of Tools, Failure Modes, and Design Laws for LLM-Driven Penetration Testing
تعمل هذه الورقة على تنظيم الإخفاقات التشغيلية لأدوات اختبار الاختراق المدفوعة بالنماذج اللغوية الكبيرة من خلال تقييم عملي، مستخلصةً قوانين تصميم كمية ومؤشر احتكاك رباعي الأبعاد لتوجيه بناء أنظمة أمنية وكيلية قوية، متمثلة في منصة Inspectra.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الأمن السيبراني، هناك تقليد طويل الأمد يتمثل في توظيف بشر مهارة لكسر الأنظمة قبل أن يفعلها الأشرار. هؤلاء الخبراء، المعروفون باسم مختبري الاختراق، يقضون أيامهم في البحث عن الثغرات الخفية في البرمجيات والشبكات والبنية التحتية السحابية. إنهم يبحثون عن كلمات المرور الضعيفة، والثغرات غير المرقّعة، والأخطاء المنطقية التي قد تسمح لمجرم بسرقة البيانات أو السيطرة على النظام. لعقود من الزمن، كان هذا العمل حرفة يدوية يقودها البشر. ومع ذلك، دخلت قوة جديدة إلى هذا المجال: الذكاء الاصطناعي. وتحديداً، النماذج اللغوية الكبيرة — وهي أنظمة مدربة على كميات هائلة من النصوص التي يمكنها فهم وتوليد اللغة البشرية — يُطلب منها الآن القيام بعمل خبراء الأمن هؤلاء. الفكرة هي بناء أنظمة "وكيلة" (agentic): برمجيات لا تكتفي فقط بقراءة الكود ومسح الشبكات، بل يمكنها أيضاً تخطيط الهجمات، وتنفيذها، وكتابة التقارير، وكل ذلك دون أن تمسك يد إنسان. يعد هذا التحول بجعل اختبار الأمن أسرع وأرخص، لكنه يقدم أيضاً مجموعة جديدة من المشكلات. فعندما تسلم مهمة معقدة وخطيرة إلى آلة تفكر في الاحتمالات بدلاً من اليقينيات، يمكن للآلة أن ترتكب أخطاءً لا يرتكبها البشر أبداً، أو والأسوأ من ذلك، يمكنها أن تكذب بثقة بشأن ما وجدته.
لقد وضع فريق من الباحثين هدفاً لفهم كيفية سلوك وكلاء الأمن المعتمدين على الذكاء الاصطناعي عندما يُتركون للعمل بمفردهم. لم يكتفوا ببناء نموذج نظري فحسب؛ بل أنشأوا منصة حقيقية وعاملة تسمى "Inspectra" واختبروها ضد مجموعة متنوعة من أدوات الأمن. كان هدفهم هو تجاوز الضجيج الإعلامي حول ما يمكن لهذه الوكلاء فعله، وتوثيق الحقائق الهندسية الصعبة لما يفعلونه بالفعل عندما تسوء الأمور. وما وجدوه كان مجالاً في مهده، حيث تتكرر نفس الإخفاقات مراراً وتكراراً، ليس لأن التكنولوجيا معطلة، بل لأنها تُستخدم بطرق لم يقصدها مصمموها. اكتشف الباحثون أن العقبات الكبرى لم تكن نقصاً في ذكاء الذكاء الاصطناعي، بل كانت نقصاً في الهيكلية التي بُني بها النظام. لقد حددوا أنماطاً محددة ومتوقعة للفشل تحدث عندما يحاول الذكاء الاصطناعي تذكر الكثير من المعلومات، وعندما يحاول الحكم على عمله الخاص، وعندما يُمنح ميزانية لا يستطيع التحكم فيها.
كانت إحدى المشكلات الأكثر إلحاحاً التي واجهها الفريق هي مسألة الذاكرة. تخيل وكيلاً يعمل بالذكاء الاصطناعي يبدأ تحقيقاً طويلاً، يقرأ آلاف الأسطر من الكود ويجري عشرات الاختبارات. ومع استمرار التحقيق، ينمو حجم المعلومات التي يحتاج إلى الاحتفاظ بها في "عقله". وفي النهاية، ينفد من المساحة اللازمة لحفظ كل تلك المعلومات. بالمعنى البشري، يشبه هذا محاولة تذكر كل تفصيل في محادثة طويلة بينما يستمر الشخص الآخر في الكلام؛ فالتفاصيل الأولى تتلاشى ببساطة. وجد الباحثون أنه عندما يعمل وكيل الذكاء الاصطناعي في جلسة واحدة طويلة ومستمرة، فإنه ينسى حتماً الأدلة التي جمعها في بداية المسح. وبحلول الوقت الذي يصل فيه إلى نهاية تقريره، قد يصف بثقة ملفات لم يفتحها فعلياً أو يدعي العثور على ثغرات تم تسجيلها قبل ساعات ولكنها مُسحت من ذاكرته. الحل الذي اقترحوه كان تقسيم العمل إلى مراحل قصيرة ومتميزة. فبدلاً من محادثة واحدة طويلة، يستخدم النظام سلسلة من الوكلاء قصيري العمر. يقوم كل وكيل بجزء صغير من العمل، ويكتب نتائجه في ملف منظم ودائم، ثم يتوقف. يقرأ الوكيل التالي ملخصاً موجزاً لهذا الملف فقط، وليس البيانات الخام. يسمح هذا النهج للنظام بالتعامل مع مهام أكبر بكال كثير دون أن يفقد مكانه، مما يؤدي فعلياً إلى توسيع أفق ما يمكن للذكاء الاصطناعي تذكره من خلال ضغط المعلومات التي يحتاج إلى حملها للأمام.
تضمن نمط آخر من الفشل الحرج كيفية حكم النظام على نجاحه. فعندما تحاول أداة "الفريق الأحمر" (red-teaming) مؤتمتة كسر نظام ما، فإنها تحتاج إلى وسيلة لتقرير ما إذا كان الهجوم قد نجح بالفعل. وجد الباحثون أن العديد من الأدوات المؤتمتة كانت متحمسة للغاية لقول "نعم، هذا نجح" عندما ترى كلمات دلالية معينة، حتى لو فشل الهجوم. أدى هذا إلى فيض من الإنذارات الكاذبة. ولإصلاح ذلك، صمم الفريق عملية تحقق مكونة من خطوتين. أولاً، فحص سريع ورخيص يستبعد الإخفاقات الواضحة. بعد ذلك، يقوم "قاضٍ" ثانٍ أكثر دقة بمراجعة الحالات التي اجتازت الفحص الأول فقط. ومن الأهمية بمكان أن يكون هذا القاضي الثاني نوعاً مختلفاً من الأنظمة عن الأول؛ فإذا كان كلا القاضيين من نفس النوع، فسوف يرتكبان نفس الأخطاء وسيكون الفحص الثاني بلا فائدة. من خلال استخدام نظامين مختلفين للتحقق من النتائج، تمكن الفريق من تقليل عدد الإنذارات الكاذبة بشكل كبير، مما يجعل التقررير النهائي أكثر موثوقية. كما اكتشفوا انحيازاً خفياً وخطيراً: إذا فشل هجوم بطريقة لا يستطيع النظام فهمها، فإن البرنامج غالباً ما يسجله كنجاح. وهذا يعني أن الهجمات الأكثر خطورة وتملصاً هي الأكثر عرضة لأن تُخفى أو تُصنف بشكل خاطئ، مما يعطي شعلاً كاذباً بالأمان.
كما عالج الباحثون مشكلة التكلفة والتحكم. فأدوات الأمن يمكن أن تكون غير متوقعة؛ فبعضها يعمل لثوانٍ، بينما يمكن لبعضها الآخر أن يعلق ويستمر لساعات، مستهلكاً كميات هائلة من المال وقدرة الحوسبة. وأظهر الفريق أن مجرد إخبار الذكاء الاصطناعي بعبارة "لا تستهلك الكثير من الوقت" في تعليمات نصية ليس كافياً. فقد يتجاهل الذكاء الاصطناعي التعليمات، أو قد يتشتت بسبب المحتوى الذي يقرأه وينسى القاعدة. بدلاً من ذلك، يحتاج النظام إلى "حارس بوابة" خارجي صارم — وهو قطعة من الكود تعمل خارج عملية اتخاذ القرار الخاصة بالذكاء الاصطناعي. يفرض هذا الحارس حدوداً صارمة على مدة تشغيل الأداة وحجم إنفاقها، حيث يقطع اتصالها فور وصولها إلى الحد المقرر. يضمن ذلك عدم قيام الذكاء الاصطناعي بإفلاس المشروع عن غير قصد أو مسح خادم غير مصرح له بلمسه. وأكد الباحثون أنه لا ينبغي للذكاء الاصطناعي أن يكون السلطة النهائية على سلامته أو ميزانيته؛ بل يجب أن يكون هذا الدور دائماً لطبقة منفصلة وغير قابلة للتغيير من الكود.
أخيراً، نظر الفريق في الأدوات نفسها. لقد اختبروا عشرة ماسحات أمنية مختلفة ووجدوا أن الأدوات الأسهل في التشغيل يدوياً هي غالباً الأصعب في الاستخدام ضمن نظام مؤتمت. فقد صُممت العديد من الأدوات ليقوم إنسان بالنقر عبر شاشة تسجيل الدخول ثم يسلم الجلسة للماسح. وعندما حاول الذكاء الاصطناعي القيام بذلك، كان يفشل غالباً لأن عملية تسجيل الدخول كانت معقدة للغاية أو لأن الأداة لم تفهم كيفية البقاء مسجلاً للدخول. طور الباحثون نمطاً حيث تتولى أداة أتمتة متصفح منفصلة عملية تسجيل الدخول، ثم تمرر قائمة روابط موثقة ونظيفة إلى الماسح. حل هذا الفصل البسيط في المهام العديد من مشاكل التكامل. كما لاحظوا أن مشهد سياسات سلامة الذكاء الاصطناعي متقلب؛ فالنموذج الذي يسمح باختبار أمني اليوم قد يحظره غداً بسبب تغيير في قواعد المزود. وهذا يعني أن أي نظام مبني على هذه الأدوات يجب أن يكون مرناً بما يكفي لاستبدال نماذج الذكاء الاصطناعي الأساسية دون كسر سير العمل بأكمله.
يخلص البحث إلى أن مستقبل الأمن المؤتمت لا يكمي في جعل الذكاء الاصطناعي أكثر ذكاءً، بل في بناء هيكل أفضل حوله. فالأنظمة الأكثر فعالية هي تلك التي تعامل الذكاء الاصطناعي كعامل قوي ولكنه معرض للخطأ، محاط بإطار صارم من القواعد، ودورات ذاكرة قصيرة، وفحوصات مستقلة. ومن خلال قبول حقيقة أن الذكاء الاصطناعي سينسى، وسيرتكب أخطاء، وسيتجاهل التعليمات أحياناً، يمكن للمهندسين بناء أنظمة قوية بما يكفي للتعامل مع العالم الحقيقي. يوفر عمل الباحثين مخططاً للانتقال من العروض التجريبية إلى المنتجات الموثوقة والقابلة للنشر، مما يضمن أنه عندما يقول وكيل أمن الذكاء الاصطناعي إنه وجد خللاً، فإنه قد وجده بالفعل، وأنه فعل ذلك دون كسر الميزانية أو القواعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.