Proteus: A Self-Evolving Red Team for Agent Skill Ecosystems
تقدم الورقة البحثية "بروتيوس" (Proteus)، وهو إطار عمل للفريق الأحمر ذاتي التطور يثبت أن أنظمة فحص المهارات الحالية تستهين بشكل كبير بالمخاطر الأمنية من خلال الكشف عن كيفية قيام المهاجمين المتكيفين والقائمين على التغذية الراجعة بتجاوز عمليات التدقيق بشكل تكراري لإنشاء متغيرات مهارات قاتلة للوكلاء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يمكنك فيه تحميل "مهارات" لمساعدك الذكي، تماماً كما تحمل التطبيقات على هاتفك. هذه المهارات تخبر الذكاء الاصطناعي بكيفية أداء مهام محددة، مثل التحقق من حسابك البنكي أو إدارة تقويمك. ولكن ماذا لو أن مخترقاً صنع مهارة "مسمومة" تبدو غير ضارة في الظاهر، لكنها تسرق بياناتك سراً؟
تقدم هذه الورقة البحثية Proteus، وهو باحث في الأمن الرقمي صُمم لاختبار مدى كفاءة حواجز الحماية الحالية لدينا في كشف هذه المهارات المسمومة.
إليك تفصيل لكيفية عمله، باستخدام تشبيهات بسيطة:
1. المشكلة: لعبة "ضرب الخلد" (Whac-A-Mole)
حالياً، عندما يرسل شخص ما مهارة جديدة، تمر عبر مدقق أمني (حارس رقمي). يقوم الحارس بفحص كود المهارة ووصفها (الوثائق) ليرى ما إذا كانت خطيرة.
- الخلل: معظم الاختبارات الأمنية تفحص المهارة مرة واحدة فقط. إذا قال الحارس "اجتياز"، يتم تثبيت المهارة.
- الواقع: المخترق الذكي لا يكتفي بإرسال مهارة سيئة واحدة ثم يستسلم. بل يراقب لماذا رفضها الحارس، ثم يعدل المهارة قلياً، ويحاول مجدداً. يستمر في ذلك حتى يجد نسخة تنفذ الضرر وتتسلل دون أن يكتشفها الحارس.
تسمي الورقة هذا بـ "التسريب التكيفي" (Adaptive Leakage). وهو خطر استمرار المخترق في المحاولة حتى يكسر القفل.
2. الحل: Proteus (المخترق المتطور ذاتياً)
بنى الباحثون Proteus، وهو وكيل ذكاء اصطناائي يعمل كمخترق دؤوب ومتعلم. بدلاً من مجرد محاولة خداع الحارس مرة واحدة، يلعب Proteus لعبة متعددة الجولات:
- الإرسال: يرسل مهارة إلى الحارس.
- الاستماع: إذا قال الحارس "لا"، يقرأ Proteus السبب (مثلاً: "هذا الكود يبدو مشبوهاً" أو "الوصف لا يتطابق مع الكود").
- التطور: يستخدم Proteus تلك الملاحظات لإعادة كتابة المهارة. قد يغير الكود، أو يعيد كتابة الوصف، أو يعيد ترتيب كيفية اتصال المهارة بالأدوات الأخرى.
- التكرار: يستمر في القيام بذلك حتى يجد نسخة تجتاز الحارس وتنجح في تنفيذ الإجراء الضار (مثل سرقة البيانات) داخل بيئة تجريبية آمنة (Sandbox).
3. محاور الهجوم الخمسة
لا يغير Proteus شيئاً واحداً فحسب؛ بل يهاجم المهارة من خمس زوايا مختلفة في آن واحد، مثل خبير فتح أقفال يحاول استخدام أدوات مختلفة:
- الهدف: ماذا تحاول المهارة أن تفعل؟
- الهيكل: كيف يتم تنظيم المهارة؟
- الكود: التعليمات الفعلية.
- القناة: كيف تتواصل المهارة مع العالم الخارجي.
- الوثائق: الوصف المكتوب الذي يشرح ما تفعله المهارة.
يمكن لـ Proteus الدمج بين التغييرات في كل هذه المجالات لإرباك الحارس.
4. "عقد الجولة" (ساحة الاختبار)
للتأكد من أن Proteus يجد ثغرات حقيقية، بنى الباحثون ساحة اختبار صارمة تتكون من ثلاث خطوات لكل محاولة:
- التدقيق: هل يسمح الحارس للمهارة بالمرور؟
- البيئة التجريبية (Sandbox): هل تعمل المهارة فعلياً دون أن تنهار؟
- الأوراكل (Oracle/المصدر الموثوق): هل قامت المهارة بالفعل بالشيء الضار (مثل حذف ملف أو سرقة كلمة مرور)؟
يعتبر Proteus نفسه "فائزاً" فقط إذا اجتاز جميع الخطوات الثلاث.
5. ما الذي وجدوه؟
اختبر الباحثون Proteus ضد حارسين أمنيين حقيقيين (أحدهما مفتوح المصدر والآخر من شركة تقنية كبرى) وضد نموذجين مختلفين من الذكاء الاصطناعي.
- النتائج: كان Proteus فعالاً بشكل مرعب.
- في غضون 5 جولات فقط من المحاولة، نجح في تجاوز الحراس بنسبة تتراوح بين 40% إلى 90%.
- لم يجد خدعة واحدة فحسب، بل وجد 438 طريقة مختلفة لكسر النظام.
- حتى أقوى حارس تم اختباره (AI-Infra-Guard) فشل في إيقاف Proteus بنسبة 41% تقريباً.
- خدعة "النقل": عندما تعلم Prote-us كيفية كسر حارس واحد، استطاع غالباً استخدام نفس تلك الحيل لكسر الحارس الآخر دون الحاجة لتعلم أي شيء جديد.
6. الخلاصة الكبرى
تخلص الورقة إلى أن طريقتنا الحالية في فحص مهارات الذكاء الاصطناعي تستهين بالخطر. نحن نفحص المهارات كما يفحص حارس الأمن صورة واحدة لشخص ما. لكن المهاجم الحقيقي يشبه "المتحول" الذي يغير وجهه باستمرار حتى يسمح له الحارس بالدخول.
يثبت Proteus أنه إذا لم نبنِ أنظمة يمكنها التعامل مع مهاجمين يتعلمون ويتكيفون، فإن أنظمة الذكاء الاصطناعي لدينا ستكون مليئة بالثغرات الخفية التي يمكن للمخترقين استغلالها بسهولة.
باختصار: كنا نظن أن حراسنا الأمنيين جيدون في رصد المهارات السيئة. تُظهر هذه الورقة أنه إذا كان الطرف المهاجم ذكياً بما يكفي للتعلم من أخطائه، فإن هؤلاء الحراس في الواقع من السهل جداً خداعهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.