Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing
تقدم هذه الورقة أول تقييم شامل لوكلاء الذكاء الاصطناعي مقابل متخصصين بشريين في مجال الأمن السيبراني في بيئة مؤسسية حية، حيث أثبت إطار العمل متعدد الوكلاء المقترح ARTEMIS تفوقه على تسعة من أصل عشرة مشاركين بشريين في اكتشاف الثغرات الأمنية الصالحة مع تقديم مزايا كبيرة من حيث التكلفة، رغم القيود الحالية في التعامل مع المهام القائمة على واجهة المستخدم الرسومية (GUI) وارتفاع معدلات الإيجابيات الكاذبة.
المؤلفون الأصليون:Justin W. Lin, Eliot Krzysztof Jones, Donovan Julian Jasper, Ethan Jun-shen Ho, Anna Wu, Arnold Tianyi Yang, Neil Perry, Andy Zou, Matt Fredrikson, J. Zico Kolter, Percy Liang, Dan Boneh, Daniel E. Ho
المؤلفون الأصليون: Justin W. Lin, Eliot Krzysztof Jones, Donovan Julian Jasper, Ethan Jun-shen Ho, Anna Wu, Arnold Tianyi Yang, Neil Perry, Andy Zou, Matt Fredrikson, J. Zico Kolter, Percy Liang, Dan Boneh, Daniel E. Ho
تخيل مكتبة ضخمة وعالية التقنية (شبكة حاسوبية لجامعة) تضم 8,000 غرفة، وآلاف الكتب، وممرات سرية. تمتلك المكتبة فريق أمن مهمته العثور على الأبواب المفتوحة، والنوافذ المكسورة، والفخاخ المخفية قبل أن يصل إليها الأشرار.
هذه الورقة هي بمثابة "تقرير درجات" لسباق بين مجموعتين من خبراء الأمن الذين يحاولون اختراق هذه المكتبة:
البشر: 10 محترفين حقيقيين في الأمن السيبراني ("الفريق الأحمر").
الروبوتات: 6 وكلاء ذكاء اصطناعي مختلفين، بما في ذلك فريق روبوتات جديد فائق الذكاء بناه الباحثون يسمى ARTEMIS.
إليك تفاصيل ما حدث، باستخدام تشبيهات بسيطة.
1. الإعداد: تمرين "النيران الحية"
عادةً، عندما نختبر الذكاء الاصطناعي، نعطيه لعبة فيديو أو كتاب ألغاز (مثل مسابقات "Capture The Flag"). لكن هذه الدراسة كانت مختلفة؛ فلم يستخدموا محاكاة، بل استخدموا الشبكة الجامعية الحقيقية والفعالة.
القواعد: مُنح البشر والروبوتات "جهاز قفز" (Jumpbox - وهو جهاز كمبيوتر للبدء) وطُلب منهم العثور على أكبر عدد ممكن من الثغرات الأمنية خلال 10 ساعات.
شبكة الأمان: نظرًا لأنهم كانوا يخترقون مكانًا حقيقيًا، كانت هناك ضوابب سلامة صارمة. إذا حاول روبوت أو إنسان حذف ملفات أو تعطيل النظام، يقوم مراقب بشري بالضغط على زر "التوقف الطارئ" فورًا.
2. المتنافسون
البشر: مخترقون ذوو خبرة يعرفون كيف يفكرون بإبداع، ويكتشفون الأنماط، ويستخدمون الأدوات مثل المحققين.
الروبوتات القديمة: أدوات ذكاء اصطناعي موجودة بالفعل (مثل Codex أو CyAgent). فكر في هذه الأدوات كأنها "متدربون مبتدئون"؛ أذكياء لكنهم يرتبكون بسهء، ويستسلمون بسرعة، أو يرفضون القيام بأشياء "سيئة" لأنهم مبرمجون ليكونوا مهذبين.
ARTEMIS (الروبوت الجديد): هذا هو ابتكار الباحثين. تخيله كأنه سرب من النمل يقوده جنرال.
لديه مشرف (الجنرال) يخطط للصورة الكبيرة.
يمكنه إنتاج وكلاء فرعيين (النمل العامل) للقيام بمهام محددة في وقت واحد.
لديه فريق فرز (ضبط الجودة) يتحقق مما إذا كانت "الثغرة" المكتشفة حقيقية أم مجرد إنذار كاذب قبل الإبلاغ عنها.
يمكنه الاستمرار في العمل لساعات دون تعب أو الحاجة لاستراحة قهوة.
3. النتائج: من الفائز؟
بدا لوحة النتائج كالتالي:
البشر: وجدوا ما مجموعه 49 ثغرة أمنية صالحة. كانوا دقيقين، لكنهم عملوا على شيء واحد في كل مرة. إذا وجدوا بابًا مشبوهًا، فحصوه، ثم انتقلوا إلى الغرفة التالية.
الروبوتات القديمة: فشلت في الغالب. وجدوا عددًا قليلًا جدًا من الثغرات، وغالبًا ما تعثروا في الخطوة الأولى، أو رفضوا تجربة هجمات معينة بسبب فلاتر السلامة الخاصة بهم.
ARTEMIS:حل في المركز الثاني إجمالاً، متفوقًا على 9 من أصل 10 من الخبراء البشر!
وجد 9 ثغرات أمنية خطيرة وصالحة.
كان سريعًا للغاية في فحص العديد من الأبواب في وقت واحد (المعالجة المتوازية).
كان أقل تكلفة بكثير. الخبير البشري يكلف حوالي 60 دولارًا في الساعة، بينما كلف ART م حوالي 18 دولارًا في الساعة.
4. نقاط القوة والضعف (القدرات الخارقة و"نقطة الضعف")
أين سحق الروبوتات (ARTEMIS) البشر:
"الماسح الخارق": البشر يتعبون. إذا وجد الإنسان قائمة تضم 100 جهاز كمبيوتر لفحصها، فقد يفحص 10 فقط ويأخذ استراحة. أما ARTEMIS فكان يفحص الـ 100 جميعها فورًا وفي وقت واحد.
"خبير التكنولوجيا القديمة": يستخدم البشر متصفحات ويب حديثة. إذا كان جهاز الكمبيوتر يحتوي على نظام أمني قديم ومعطل يرفض المتصفح الحديث تحميله، فإن البشر يستسلمون. أما ARTEMIS فقد استخدم أدوات "سطر الأوامر" (Command-line) لتجاوز المتصفح واختراق النظام القديم على أي حال.
التكلفة: يمكنك تشغيل ARTEMIS على مدار الساعة طوال أيام الأسبوع مقابل سعر وجبة غداء لبشري واحد.
أين سحق البشر الروبوتات:
مشكلة "الواجهة الرسومية" (GUI): هذه هي أكبر نقطة ضعف للروبوت. إذا كانت الثغرة الأمنية تتطلب النقر عبر واجهة رسومية (مثل صفحة ويب غريبة تحتوي على أزرار وقوائم)، فإن الروبوتات تعاني. هم بارعون في قراءة الأكواد (النصوص)، لكنهم سيئون في "رؤية" والنقر على الأزرار مثل البشر.
الإنذارات الكاذبة: كانت الروبوتات مرتابة بعض الشيء. أحيانًا أبلغوا عن "قفل مكسور" بينما كان في الواقع مجرد انعكاس في الزجاج. البشر أفضل في معرفة الفرق بين تهديد حقيقي وبين خلل تقني.
الإبداع: يمكن للبشر "التحول" (Pivot). إذا وجدوا دليلًا صغيرًا، يمكنهم التخمين: "همم، ربما يؤدي هذا إلى الخزنة الرئيسية؟" ثم تجربة مسار إبداعي وغير تقليدي. أما الروبوتات فكانت أكثر جمودًا؛ فقد اتبعوا الخريطة التي أُعطيت لهم.
5. الخلاصة الكبرى
تثبت هذه الدراسة أن الذكاء الاصطناعي لم يعد مجرد لعبة؛ إنه منافس خطير.
الخبر الجيد: لدينا الآن أداة (ARTEMIS) يمكنها مساعدة الشركات في العثور على ثغراتهم الأمنية الخاصة بجزء بسيط من تكلفة توظيف البشر. إنه يشبه امتلاك حارس أمن لا ينام أبدًا ويفحص كل باب في المبنى في ثوانٍ.
الخبر السيئ: إذا حصل الأشرار (المخترقون) على هذه التكنولوجيا نفسها، فيمكنهم مسح واختراق شبكات كاملة بسرعة تفوق أي فريق أمني بشري يمكنهم إيقافه.
باختًا: الروبوتات أصبحت جيدة جدًا في "الصيد" لدرجة أنها تهزم معظم الصيادين البشر في بيئة حقيقية. ومع ذلك، لا يزالون بحاجة إلى إنسان يمسك بأيديهم عندما تتطلب المهمة النقر بالفأرة أو التفكير خارج الصندوق. مستقبل الأمن السيبراني ليس البشر أو الروبوتات، بل هو البشر الذين يستخدمون الروبوتات ليبقى آمنين.
إليك ملخص تقني مفصل للورقة البحثية بعنوان "مقارنة وكلاء الذكاء الاصطنيي مع متخصصي الأمن السيبراني في اختبار الاختراق الواقعي."
1. بيان المشكلة
أثار التقدم السريع في قدرات الذكاء الاصطنيعي مخاوف كبيرة بشأن إمكانية إساءة استخدامها في الهجمات السيبرانية الهجومية. وبينما توجد العديد من المعايير لتقييم وكلاء الذكاء الاصطناائي (مثل تحديات CTF، وتحليل الكود الثابت، وإعادة إنتاج ثغرات CVE)، إلا أنها تفتقر غالبًا إلى الواقعية التشغيلية. هذه التجريدات تفشل في استيعاب تعقيد البيئات المؤسسية الحية، بما في ذلك الضوضاء في الشبكة، والأنظمة التفاعلية للمستخدمين، وتسلسل الثغرات المتعددة.
هناك فجوة حرجة في فهم كيفية أداء وكلاء الذكاء الاصطناعي المستقلين مقابل المحترفين البشريين في بيئة حية ذات درجة إنتاجية. لا تقيس المعايير الحالية بشكل كافٍ السرعة والكفاءة والقابلية للتوسع للوكلاء المستقلين، كما أنها لا توفر خط أساس واقعي للمخاطر التي تشكلها الهجمات السيبرانية المدفوعة بالذكاء الاصطناائي.
2. المنهجية
أجرى المؤلفون أول مقارنة شاملة ومباشرة بين محترفي الأمن السيبراني البشريين ووكلاء الذكاء الاصطنائي في بيئة مؤسسية حية.
البيئة المستهدفة
النطاق: شبكة علوم الحاسب في جامعة بحثية كبيرة.
الحجم: حوالي 8,000 مضيف عبر 12 شبكة فرعية (7 عامة، و5 خاصة/لشبكات VPN فقط).
التنوع: أنظمة تعتمد أساسًا على Unix، وأجهزة IoT، وأنظمة مدمجة، وعدد قليل من أجهزة Windows.
الوضع الأمني: احتوت البيئة على دفاعات نشطة، بما في ذلك أنظمة كشف التسلل (IDS)، وأنظمة الكشف والاستجابة للنقاط النهائية (EDR)، والسجلات المركزية، وإدارة الثغرات الشهرية (Qualys).
المشاركون
البشر: 10 متخصصين في الأمن السيبراني تم استقطابهم عبر إحالات صناعية. تم تعويض كل منهم بمبلغ 2,000 دولار وتم منحهم 10 ساعات من التفاعل النشط.
وكلاء الذكاء الاصطناعي: ستة أطر عمل لوكلاء موجودين (Codex، CyAgent، Claude Code، Incalmo، MAPTA) وهيكل جديد مخصص يسمى ARTEMIS.
القيود: عمل جميع المشاركين من نظام Kali Linux افتراضي موحد. مُنعت الإجراءات التدميرية (مثل هجمات حجب الخدمة DoS أو حذف البيانات) منعًا باتًا.
إطار التقييم
للانتقال إلى ما هو أبعد من مجرد "عدد الثغرات"، طور المؤلفون مقياس تسجيل موحد (Stotal) يجمع بين:
التعقيد التقني (TCi): مجموع مرجح لتعقيد الكشف (DC) وتعقيد الاستغلال (EC). تُمنح الدرجة الكاملة للاستغلال الناجح؛ أما النتائج التي تقتصر على التحقق فقط فتتلقى عقوبة.
الأثر التجاري (Wi): يتم ترجيحه حسب الخطورة (حرجة=8، عالية=5، متوسطة=3، منخفضة=2، معلومات=1)، مما يحاكي هياكل مكافآت صيد الثغرات (Bug Bounty).
تخطيط MITRE ATT&CK: استُخدم لتصنيف التقنيات المستخدمة من قبل البشر والوكلاء.
هيكل ARTEMIS
قدم المؤلفون ARTEMis (محرك الاختبار الأحمر الآلي مع الإشراف الذكي متعدد الوكلاء)، وهو إطار عمل جديد متعدد الوكلاء مصمم للتغلب على قيود الهياكل الأخرى:
البنية: يدير مشرف (Supervisor) رفيع المستوى مجموعة من الوكلاء الفرعيين (Sub-agents) غير محددين ووحدة فرز (Triage).
التلقين الديناميكي (Dynamic Prompting): يولد مطالبات نظام خاصة بالمهام للوكلاء الفرعيين لتجنب سوء استخدام الأدوات وضمان الالتزام بالنطاق. مال التنفيذ طويل الأمد: يستخدم نظام مهام (TODO) تكراري، وتدوين الملاحظات، والتلخيص الذكي للحفاظ على السياق عبر جلسات ممتدة (أكثر من 10 ساعات)، على عكس الوكلاء الحاليين الذين غالبًا ما يتوقفون أو يرفضون المهام.
الفرز (Triage): وحدة مخصصة تتحقق من الصلة، وقابلية التكرار، والخطورة قبل التقديم لتقليل النتائج الإيجابية الكاذبة.
3. المساهمات الرئيسية
أول مقارنة مؤسسية حية: قدمت أول تقييم صارم وحقيقي لوكلاء الذكاء الاصطناعي مقابل مختبري الاختراق البشريين في بيئة إنتاج مع دفاعات نشطة.
إطار عمل ARTEMIS: أثبت أن الهيكلة المتطورة (تنسيق الوكلاء المتعددين، التلقين الديناميكي، والفرز) تعزز بشكل كبير أداء نماذج التأسيس في مهام الأمن الهجومي.
تحليل التكلفة مقابل الأداء: حدد الجدوى الاقتصادية لوكلاء الذكاء الاصطناي، موضحًا قدرتهم على التفوق على البشر بتكلفة أقل بكثير.
الإطلاق مفتوح المصدر: تم إطلاق كود ARTEMIS، وقطع الدراسة، والسجلات التفصيلية لتمكين التكرار ومزيد من الأبحاث في مخاطر الأمن السيبراني للذكاء الاصطناي.
4. النتائج الرئيسية
تصنيفات الأداء
ARTEMIS (إعداد A1): احتل المركز الثاني إجمالًا في لوحة الصدارة، متفوقًا على 9 من أصل 10 مشاركين بشريين.
النتائج: اكتشف 9 ثغرات صالحة.
معدل الصلاحية: 82% (أعلى بكثير من الوكلاء الآخرين).
الدرجة الإجمالية: 95.2 (مقابل أعلى درجة بشرية بلغت 111.4).
الهياكل الموجودة: أخفلت معظم وكلاء الذكاء الاصطناي (Codex، CyAgent، Incalmo، MAPTA) أداءً ضعيفًا بشكل ملحوظ.
الرفض: رفض Claude Code وMAPTA المهمة الهجومية "خارج الصندوق".
التوقف: توقف Incalmo أثناء مرحلة الاستطلاع المبكرة بسبب رسوم بيوم المهام الجامدة.
الأداء: حتى عند تشغيلها، وجدت ثغرات أقل وكان لديها معدلات صلاحية أقل من معظم البشر.
نقاط القوة والضعف المقارنة
نقاط قوة الذكاء الاصطناي:
التعداد المنهجي: تفوق الوكلاء في المسح وتحديد الثغرات السهلة (مثل بيانات الاعتماد الافتراضية، والمنافذ المفتوحة).
التوازي: استطاع ARTEMIS إطلاق عدة وكلاء فرعيين لفحص الأهداف في وقت واحد، بينما عمل البشر بشكل متسلسل.
الكفاءة في واجهة السطر البرمجي (CLI): برع الوكلاء في التفاعلات مع سطر الأوامر، ونجحوا في استغلال الخوادم القديمة ذات تشفير TLS القديم التي رفضت المتصفحات الحديثة (التي يستخدمها البشر) تحميلها.
نقوف ضعف الذكاء الاصطناي:
محدودية الواجهة الرسومية (GUI): واجه الوكلاء صعوبة في المهام القائمة على الواجهة الرسومية. على سبيل المثال، فاتهم ثغرة تنفيذ عن بُد (RCE) في جهاز TinyPilot KVM تتطلب تفاعل المتصفح، بينما وجدها 80% من البشر.
النتائج الإيجابية الكاذبة: سجل ARTEMIS معدل نتائج إيجابية كاذبة أعلى من البشر (مثل تفسير إعادة توجيه HTTP 200 على أنه مصادقة ناجحة).
الافتقار إلى التغلغل العميق: يميل الوكلاء إلى تقديم النتائج فور اكتشافها بدلاً من "التغلغل" (Pivoting) للتحرك الجانبي الأعمق، وهو استراتيجية بشرية شائعة.
تحليل التكلفة
ARTEMIS A1: التكلفة 18.21 دولار/ساعة (37,876 دولار سنويًا).
ARTEMIS A2 (المجموعة): التكلفة 59 دولار/ساعة (122,720 دولار سنويًا).
المحترفون البشريون: متوسط راتب مختبر الاختراق في الولايات المتحدة هو حوالي 125,034 دولار سنويًا.
الاستنتاج: يقدم ARTEMIS نسبة تكلفة إلى أداء تنافسية، حيث يمكنه العثور على ثغرات حرجة بنحو 1/4 إلى 1/7 من تكلفة الخبراء البشريين.
5. الأهمية والآثار المترتبة
تقييم المخاطر: تؤكد الدراسة أن وكلاء الذكاء الاصطناي القادرين، عند هيكلتهم بشكل صحيح، يمكنهم تحديد واستغلال الثغرات الحرجة بشكل مستقل في البيئات الحية، مما يشكل خطرًا ملموسًا على الأمن السيبراني العالمي.
الفائدة الدفاعية: يمكن استخدام نفس الأدوات من قبل المدافعين لمراجعة الأنظمة باستمرار على نطاق واسع وبتكلفة لم تكن متاحة سابقًا.
تطور المعايير: تجادل الورقة بأن المعايير الحالية (CTFs، التحليل الثابت) غير كافية. يجب أن تعطي التقييمات المستقبلية الأولوية للبيئات الحية والتفاعلية وطويلة الأمد لقياس مخاطر الذكاء الاصطناي بدقة.
الاتجاهات المستقبلية: يسلط المؤلفون الضوء على الحاجة إلى وكلاء "استخدام الكمبيوتر" أفضل للتعامل مع الواجهات الرسومية وتحسين إدارة السياق لتقليل النتائج الإيجابية الكاذبة. كما يدعون إلى تطوير نسخ قابلة للتشغيل من البيئات للسماح بتقييمات أطول وأكثر قابلية للتكرار.
باختالام، توضح الورقة أنه بينما لا يزال وكلاء الذكاء الاصطناي حاليًا يتخلفون عن كبار الخبراء البشريين في العمق الاستراتيجي والتفاعل مع الواجهات الرسومية، إلا أنهم قد تجاوزوا بالفعل غالبية المحترفين البشريين في التعداد المنهجي وكفاءة التكلفة، مما يمثل تحولًا محوريًا في مشهد الأمن السيبراني الهجومي والدفاعي.