Autonomous LLM Agents & CTFs: A Second Look
تعيد هذه الورقة تقييم قدرات وكلاء النماذج اللغوية الكبيرة في مجال الأمن الهجومي من خلال إثبات أنه بينما تضاهي الوكلاء ذوو الأغراض العامة مثل Claude Code أداء البنيات المعقدة والمصممة هندسياً في تحديات "التقط العلم والعلم" (CTF)، لا يزال كلاهما يواجه عوائق كبيرة على المستوى البشري، مع إثبات أن التنسيق الهيكلي متعدد الأدوار يتفوق على التصميمات المتجانسة من حيث الاتساق وكفاءة التكلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك فريقاً من المحققين الرقميين يحاولون اختراق سلسلة من الخزائن الرقمية المغلقة (تسمى تحديات CTF) للعثور على كنز مخفي (الذي يسمى "العلم" أو الـ flag). لفترة من الوقت، كان الناس يزعمون أن وكلاء الذكاء الاصطناعي (AI agents) أصبحوا أذكياء لدرجة أنهم يستطيعون القيام بذلك ببراعة تقارب براعة الخبراء البشريين.
هذا البحث بمثابة تقرير "فحص للواقع". قرر المؤلفون اختبار هذه الادعاءات بأنفسهم ليروا ما إذا كان الذكاء الاصطناعي جاهزاً حقاً للعمل الفعلي أم أنه مجرد ضربة حظ.
إليك تفصيل تجربتهم ونتائجهم، باستخدام بعض التشبيهات من الحياة اليومية:
1. التجربة: بناء فرق تحقيق مختلفة
لم يستخدم الباحثون نوعاً واحداً فقط من الذكاء الاصطناعي، بل بنوا ثلاثة "هياكل فرق" مختلفة لمعرفة أيها يعمل بشكل أفضل، كما اختبروا أيضاً محققاً مشهوراً وجاهزاً للاستخدام يسمى Claude Code.
- المحقق المنفرد (المنفذ - Executor): تخيل شخصاً واحداً يحاول القيام بكل شيء: ينظر إلى القفل، يضع الخطة، يفتح القفل، ثم يتحقق مما إذا كان قد حصل على الكنز. وجدت الورقة أن هذا الشخص يصاب بالارتباك ويرتكب الأخطاء.
- المحقق مع الناقد (المنفذ + المُقيّم - Executor + Evaluator): هنا، يحاول المحقق القيام بالعمل، لكن هناك شخصاً ثانياً (الناقد) يقف فوق كتفه. قبل أن يقوم المحقق بفتح القفل، يقول الناقد: "انتظر، هذه فكرة سيئة، حاول مجدداً". هذا يساعد، لكن الناقد أحياناً لا يرى الصورة الكاملة ويكتفي بالتدقيق في التفاصيل الصغيرة.
- المحقق مع مخطط وناقد (المخطط + المنفذ + المُقيّم - Planner + Executor + Evaluator): هذا هو الفريق الأكثر تعقيداً.
- المخطط (Planner): ينظر إلى الخزنة أولاً ويكتب خريطة خطوة بخطوة.
- المحقق (Executor): يتبع الخريطة.
- الناقد (Evaluator): يراجع العمل مقابل الخريطة.
- النتيجة: كان هذا الفريق هو الأكثر كفاءة؛ فقد أضاعوا أقل قدر من الوقت والمال لأنهم لم يتجولوا بلا هدف.
اختبروا أيضاً Claude Code، وهو يشبه "المتخصص العام الذكي". ليس لديه هيكل فريق ثابت، بل يقرر من تلقاء نفسه ما إذا كان سيوظف مساعدين أم يعمل بمفرده.
2. النتائج: سقف "19 من أصل 30"
الخبر الكبير هو أنه مهما كانت الطريقة التي نظمت بها الفريق، فقد اصطدم الذكاء الاصطناعي بسقف صلب.
- الدرجة: أفضل فريق صممه البشر وأفضل "الذكاء الاصطناعي المتخصص العام" (Claude Code) حلا بالضبط 19 من أصل 30 تحدياً.
- المقارنة: هذه النتيجة أقل مما ادعت دراسات سابقة. يشير المؤلفون إلى أن تلك الدراسات السابقة ربما كانت متفائلة للغاية أو استخدمت اختبارات أسهل.
- الفوز في الكفاءة: بينما كانت الدرجة هي نفسها، كان فريق "المخطط + المحقق + الناقد" أفضل بكثير في طريقة عملهم. فقد استغرقوا خطوات أقل وكلفوا مالاً أقل للتشغيل مقارنة بالمحقق المنفرد. الأمر يشبه عداءين أنهيا السباق في نفس الوقت، لكن أحدهما ركض في خط مستقيم بينما ركض الآخر في دوائر.
3. أين يتعثر الذكاء الاصطناعي (لماذا؟)
تعمق الباحثون لمعرفة لماذا فشل الذكاء الاصطناعي في التحديات الـ 11 المتبقية. ووجدوا أن الذكاء الاصطناعي يفشل لسببين مختلفين تماماً:
أ. مشكلة "الأدوات المفقودة" (القيود التقنية)
أحياناً يعرف الذكاء الاصطناعي ما يجب فعله بالضبط، لكنه لا يملك المعدات المناسبة.
- التشبيه: تخيل أن الذكاء الاصطناعي يعرف كيفية فتح القفل، لكنه يحاول فعل ذلك وهو يرتدي قفازات فرن سميكة.
- أمثلة: تطلبت بعض التحديات من الذكاء الاصطناعي رؤية صفحة ويب في متصفح (لرؤية كود مخفي)، لكن الذكاء الاصطناعي كان يعمل في بيئة نصية فقط. وتطلبت تحديات أخرى القيام بشيئين في نفس الوقت تماماً (مثل حالة السباق/race condition)، لكن الذكاء الاصطناعي يعمل خطوة بخطوة بشكل صارم.
ب. مشكلة "ضبابية الدماغ" (القيود الإدراكية)
أحياناً يمتلك الذكاء الاصطناعي كل الأدوات، لكنه ببساطة لا "يفهم" المنطق.
- التشبيه: تخيل محققاً بارعاً في العثور على النوافذ المكسورة (الثغرات التقنية)، لكنه يغفل تماماً عن أن صاحب المنزل ترك الباب الخلفي مفتوحاً لأنه كان غاضباً من عامل التوصيل (منطق العمل/Business Logic).
- أمثلة:
- عيوب منطق العمل: لم يستطع الذكال الاصطناعي فهم "قصة" كيفية عمل الموقع الإلكتروني، وبالتالي لم يستطع خداعه.
- السلاسل الطويلة: إذا تطلب المهمة 20 خطوة حيث تعتمد الخطوة 20 على الخطوة 1، فإن الذكاء الاصطناعي سيصاب بالارتباك وينسى بداية القصة بحلول وصوله إلى النهاية.
- التخمين الأعمى: بالنسبة لبعض الألغاز المعقدة، كان الذكاء الاصطناعي يستمر في تجربة أشياء عشوائية حتى ينفد وقته، بدلاً من التفكير بعمق.
4. الخلاصة
خلصت الورقة إلى أنه على الرغم من أن وكلاء الذكاء الاصطناعي يتحسنون، إلا أنهم ليسوا بمستوى "البشر" بعد.
- الخبر الجيد: إذا أعطيت للذكاء الاصطناعي خطة واضحة وهيكل فريق (مخطط + محقق + ناقد)، فإنه يعمل بكفاءة واتساق كبيرين.
- الخبر السيئ: هناك "سقف زجاجي". سواء استخدمت فريقاً مخصصاً أو ذكاءً اصطناعياً عام الأغراض، فجميعهم يتوقفون عند نفس النقطة (19/30).
- العنق الحقيقي للزجاجة: المشكلة الرئيسية ليست في كيفية تنفيذ الذكاء الاصطناعي للخطة؛ بل في أنه غالباً ما يفشل في التعرف على نوع المشكلة الصحيح في المقام الأول. بمجرد أن يحدد الذكاء الاصطناعي الثغرة بشكل صحيح، فإنه عادة ما يكون جيداً في حلها. ولكن إذا لم يستطع معرفة ماهية المشكلة، فلن يتمكن من البدء.
باختصار، الذكاء الاصطناعي هو عامل كفء للغاية، لكنه لا يزال بحاجة إلى إنسان ليخبره ما هي الوظيفة المطلوبة منه بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.