Do Agents Dream of Root Shells? Partial-Credit Evaluation of LLM Agents in Capture The Flag Challenges
تقدم هذه الورقة DeepRed، وهو معيار مفتوح المصدر يقيم وكلاء النماذج اللغوية الكبيرة (LLMs) في تحديات "التقط العلم" (Capture The Flag) الواقعية باستخدام نظام تسجيل النقاط الجزئية والتحليل الآلي للسجلات، مما يكشف أن النماذج الحالية تحقق نجاحاً محدوداً (بمتوسط إكمال نقاط تفتيش يبلغ 35%) وتواجه صعوبة في مهام الاكتشاف غير القياسية ومهام التكيف طويلة المدى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك بنيت محققاً آلياً عبقرياً وفائق الذكاء. أعطيته خريطة، وعدسة مكبرة، وقائمة بالأدوات، وطلبت منه حل سلسلة من ألغاز الغرف المغلقة. السؤال هنا ليس مجرد "هل وجد الكنز؟"، بل هو "إلى أي مدى وصل قبل أن يصاب بالارتباك؟".
هذه الورقة البحثية، التي تحمل عنوان "هل يحلم الوكلاء بـ (Root Shells)؟"، تدور حول اختبار هذا الأمر تحديداً: ما مدى جودة "المحققين" من الذكاء الاصطناعي اليوم في حل ألغاز الأمن السيبراني المعروفة بتحديات "التقط العلم" (Capture The Flag - CTF)؟
إليك تفصيل بحثهم، مشروحاً عبر تشبيهات بسيطة.
1. الإعداد: "ملعب" آمن للذكاء الاصطناعي
بنى الباحثون ملعباً رقمياً يسمى DeepRed.
- المهاجم: وضعوا وكيل ذكاء اصطناٍعي داخل جهاز كمبيوتر افتراضي (جهاز "Kali")، وهو ما يشبه إعطاء المحقق صندوق أدوات كاملاً وزياً رسمياً.
- الهدف: قاموا بربط هذا الجهاز بجهاز افتراضي آخر معزول يحتوي على "اللغز" (تحدي الـ CTF).
- القواعد: يمكن للذكاء الاصطناعي التحدث إلى الهدف فقط من خلال واجهة أوامر نصية (مثل شاشات الأوامر القديمة)، ويمكنه أحياناً استخدام محرك بحث. لا يمكنه الغش عبر النظر في مفتاح الإجابة أو كسر جدران المحاكاة.
فكر في الأمر كأنك تضع بطلاً في الشطرنج داخل غرفة بها خزنة مغلقة. يمكنه تجربة كل الاحتمالات، أو فتح القفل، أو قطع الأسلاك لفتح الباب، لكن لا يمكنه ببساطة الخروج من الباب الخلفي.
2. المشكلة: فخ "الكل أو لا شيء"
في الماضي، كان الباحثون يهتمون فقط بما إذا كان الذكاء الاصطناعي قد حل اللغز بالكامل.
- الطريقة القديمة: إذا وجد الذكاء الاصطناعي "العلم"، يحصل على 100 نقطة. وإذا فشل في الخطوة الأولى، يحصل على 0.
- الواقع: الذكاء الاصطنا الحالي يشبه طالباً يستطيع حل النصف الأول من مسألة رياضية لكنه يتعثر في المعادلة النهائية. في النظام القديم، يحصل هذا الطالب على صفر، رغم أنه أنجز 80% من العمل. وهذا يجعل من الصعب معرفة ما إذا كان الذكاء الاصطناعي يصبح أكثر ذكاءً بالفعل.
3. الحل: نظام "الدرجات الجزئية"
قدم المؤلفون طريقة جديدة لتقييم الذكاء الاصطناعي، تشبه طريقة تقييم المعلم لمقال طويل.
- نقاط التفتيش (Checkpoints): بدلاً من البحث فقط عن "العلم" النهائي، قاموا بتفكيك كل تحدٍ إلى مراحل أصغر (مثلاً: "وجد الخادم"، "حصل على اسم مستخدم"، "ترقى إلى صلاحيات المسؤول").
- آلة التصحيح: بما أن البشر لا يمكنهم مراقبة كل ثانية من عمل الذكاء الاصطناعي (سوف يستغرق ذلك وقتاً طويلاً جداً)، فقد بنوا نظام تصحيح آلي.
- الخطوة 1 (الملخص): يقرأ ذكاء اصطناعي سجل العمل الطويل والفوضوي ويكتب ملخصاً مرتباً.
- الخطوة 2 (القاضي): يقرأ ذكاء اصطناعي آخر ذلك الملخص ويتحقق من النقاط: "هل وجد الخادم؟ نعم. هل حصل على كلمة المرور؟ لا."
- النتيجة: أصبح بإمكاننا الآن القول: "لقد قطع هذا الذكاء الاصطناعي 35% من الطريق"، وهو أمر أكثر فائدة بكثير من مجرد قول "لقد فشل".
4. النتائج: المحقق "الذكي ولكن المتعثر"
اختبروا 10 نماذج مختلفة من الذكاء الاصطناعي التجاري على 10 ألغاز مختلفة. وإليكم ما وجدوه:
- الدرجة: تمكن أفضل ذكاء اصطناعي من إكمال حوالي 35% من نقاط التفتيش في المتوسط. لم يحل أي منها الألغاز من البداية حتى النهاية.
- نقاط القوة: كانت نماذج الذكاء الاصطناعي جيدة في الأشياء "السهلة". إذا كان اللغز عبارة عن اختراق ويب قياسي (مثل العثور على باب مخفي في موقع إلكتروني)، فإن الذكاء الاصطناعي يؤدي بشكل جيد.
- نقاط الضعف: عانت نماذج الذكاء الاصطناعي من التخطيط طويل المدى.
- تشبيه: تخيل الذكاء الاصطناي مثل كلب يطارد كرة. إنه يركض بسرعة للحاق بالكرة (يجد أول دليل)، لكنه بعد ذلك ينسى لماذا يركض، فيبدأ بالجري في دوائر، أو يستسلم عندما تتدحرج الكرة خلف شجيرة.
- غالباً ما فشلوا في ربط النقاط بين الخطوات. كانوا يجدون دليلاً، ثم ينسونه، ثم يبدأون من جديد.
- التكلفة: استهلكت بعض النماذج كمية هائلة من "القدرة الذهنية" (الرموز/Tokens) لإنجاز القليل جداً، بينما كانت نماذج أخرى فعالة ولكنها ظلت عالقة.
5. لماذا يهم هذا؟
هذه الورقة هي بمثابة واقع ملموس.
- بالنسبة للأمن: تُظهر أنه بينما يتحسن الذكاء الاصطناعي في عمليات الاختراق، إلا أنه ليس بعد "مخترقاً خارقاً" يمكنه اختراق الأنظمة المعقدة بشكل مستقل دون مساعدة بشرية. نحن لا نحتاج للذعر من سيطرة الذكاء الاصطناعي على الإنترنت اليوم، لكننا بحاجة لمراقبته باستمرار.
- بالنسبة لأبحاث الذكاء الاصطناعي: تثبت أننا بحاجة للتوقف عن تقييم الذكاء الاصطناعي بناءً على "هل فاز؟" فقط، والبدء في تقييمه بناءً على "كيف فكر؟". نظام "الدرجات الجزئية" الجديد يساعد الباحثين على رؤية مكان تعثر الذكاء الاصطاي بدقة حتى يمكنهم إصلاحه.
الخلاصة
وكلاء الذكاء الاصطناعي يشبهون المتدربين الواعدين. لديهم الأدوات والمعرفة لبدء المهمة، لكنهم يفتقرون إلى الصبر والذاكرة طويلة المدى لإنهاء المهمة بالكامل. لقد بنى الباحثون مسطرة أفضل لقياس تقدمهم، مما يوضح لنا بالضبط أين يتعثرون حتى نتمكن من مساعدتهم على تعلم كيفية إنهاء المهمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.