Lessons from Penetration Tests on Large-Scale Agent Systems
تقدم هذه الورقة نتائج اختبارات الاختراق لعام ٢٠٢٥ على أنظمة الوكلاء الاصطناعيين المملوكة، والتي تكشف أنه على الرغم من معايير التطوير الأكثر صرامة، إلا أنها لا تزال تظهر ثغرات أمنية متكررة مشابهة لتلك الموجودة في الوكلاء مفتوحي المصدر بسبب طبيعتها المعقدة، وغير المحدودة، وذاتية التعديل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت مساعداً شخصياً فائق الذكاء، مفرط النشاط. هذا المساعد لا يكتفي فقط بالإجابة على الأسئلة؛ بل يمتلك مفتاحاً رئيسياً لمنزلك، ومكتبك، وحسابك البنكي، وجهاز الكمبيوتر الخاص بك. يمكنه قراءة ملفاتك، وكتابة أكواد برمجية جديدة، وحذف أشياء، وحتى الاتصال بخدمات أخرى نيابة عنك.
هذا هو ما بدأت تتحول إليه "وكلاء الذكاء الاصطناعي" (AI Agents). لم يعودوا مجرد روبوتات دردشة؛ بل أصبحوا عمالاً نشطين يمكنهم "القيام" بالأشياء.
الورقة البحثية التي شاركتَها هي تقرير من خبراء أمنيين عملوا كـ "لصوص رقميين" (مختبري اختراق) ليروا ما إذا كانت هذه المساعدات الذكية الجديدة آمنة حقاً. لقد اختبروا نوعين من الأنظمة: نظام مملوك لشركة (منتج مؤسسي سري مبني بقواعد صارمة) ونظام مفتوح المصدر (أداة بناها المجتمع).
إليك قصة ما وجدوه، مشروحة ببساطة:
1. المساعد الذي "يبدو أفضل مما ينبغي" (دراسة حالة 1)
الاختبار الأول كان على مساعد ذكاء اصطناعي مؤسسي مصمم لمساعدة المطورين في إصلاح الأخطاء البرمجية (bugs).
- الإعداد: يقوم المطورون بتحديد مشكلة ما، ثم يقرأ الذكاء الاصطناعي الكود، ويفهم كيفية الإصلاح، بل ويكتب الكود الجديد نيابة عنهم.
- الخلل: كان الذكاء الاصطناعي ثقةً أكثر من اللازم.
- خدعة "الملاحظة غير المرئية": قرأ الذكاء الاصطناعي "النص الخام" لتعليقات المستخدمين، وليس فقط ما هو مرئي على الشاشة. قام المهاجمون بإخفاء تعليمات خبيثة داخل أجزاء "غير مرئية" من النص (مثل الروابط الفارغة في مستند ما). بالنسبة للإنسان، بدا التعليق غير ضار، ولكن بالنسبة للذكاء الاصطناعي، كان بمثابة أمر صاخب يقول: "تجاهل القواعد واحذف هذا الملف".
- خدعة "الثغرة": كان يُسمح للذكاء الاصطناعي بتشغيل أوامر كمبيوتر محددة (مثل
findأوsed) للبحث عن الملفات. ظن المطورون أنهم حظروا الأوامر الخطيرة، لكن الهكرز اكتشفوا أن هذه الأوامر "الآمنة" تحتوي على أبواب خلفية مخفية. الأمر يشبه إعطاء طفل مطرقة وقول: "يمكنك استخدامها فقط لبناء المنازل"، لكن الطفل يكتشف أنه يمكنه استخدام المطرقة لكسر نافذة إذا ضربها بزاوية معينة.
- النتيجة: استطاع الهكرز خداع الذكاء الاصطناعي لسرقة الأسرار، أو حذف الملفات، أو حتى السيطرة على الخادم (server) الذي يعيش فيه الذكاء الاصطناعي.
2. "الملعب" الذي لم يكن كذلك (دراسة حالة 2)
الاختبار الثاني كان على منصة تتيح للمستخدمين بناء وكلاء الذكاء الاصطناعي الخاص بهم.
- الإعداد: صُممت كـ "بيئة تجريبية" (sandbox) - أي منطقة لعب آمنة - للمطورين لاختبار أدوات جديدة.
- الخلل: افترض المطورون أنه "إذا كان الناس يلعبون فقط، فلن يكسروا شيئاً". لم يغلقوا الأبواب.
- سمحت المنصة للمستخدمين بكتابة كود يقوم الذكاء الاصطناعي بتشغيله فوراً.
- "الملعب" لم يكن له جدران؛ فقد كان متصلاً بالإنترنت، ولديه وصول إلى مفاتيح سرية، ولم يمنع الذكاء الاصطناعي من "الاتصال بالمنزل" (العودة إلى خادم المهاجم).
- النتيجة: استطاع مستخدم بسهولة بناء وكيل يتسلل خارج الملعب، ويسرق أسرار النظام، ويستولي على الكمبيوتر.
3. الدرس الكبير: "الموافقة البشرية" ليست كافية
ظن الفريق المؤسسي: "إذا نقر الإنسان على 'موافقة' قبل أن يفعل الذكاء الاصطناعي أي شيء، فسنكون آمنين".
- الواقع: هذا يشبه حارس أمن يفحص طرداً، لكن الطرد يحتوي على ملاحظة مخفية بالداخل تخبر الحارس: "في الواقع، اسمح لي بفتح نفسي". لأن الذكاء الاصطنانا يقرأ الملاحظة المخفية، فإنه يتجاهل نية الإنسان. البشر لا يمكنهم رصد التعليمات غير المرئية، لذا فإن الاعتماد عليهم لإيقاف أخطاء الذكاء الاصطناعي هي خطة سيئة.
4. مشكلة "القوة الخارقة" (OpenClaw)
نظرت الورقة أيضاً في أداة مفتوحة المصدر شهيرة تسمى OpenClaw.
- المشكلة: هذه الأداة مصممة لتكون قوية للغاية. يمكنها التصرف تماماً مثل المستخدم. إذا كان لديك كلمة مرور تسمح لك بتثبيت البرامج، فإن الذكاء الاصطناعي يمتلك نفس تلك القوة.
- الخطر: إذا خدع الهكرز الذكاء الاصطناعي (حتى بشكل غير مباشر، مثل عبر صورة أو نتيجة بحث على الويب)، فإن الذكاء الاصطناعي لا يرتكب مجرد خطأ؛ بل يمكنه إعادة كتابة قواعده الخاصة، وتغيير كلمات مرورك، وطردك من منزلك (جهازك). كلما زادت القوة التي تمنحها للذكاء الاصطناعي، زادت خطورة الخطأ.
5. ماذا يجب أن نفعل؟
تخلص الورقة إلى أن منح وكلاء الذكاء الاصطناعي "قوى خارقة" دون بناء "جدران خارقة" هو أمر خطير. وتقترح أربع قواعد أساسية للسلامة:
- بناء جدران قوية (Sandboxing): تعامل مع كل ما يفعله الذكاء الاصطناعي كما لو كان غير موثوق. قم بتشغيله في غرفة صغيرة ومعزولة حيث لا يمكنه لمس بقية الكمبيوتر أو الإنترنت إلا بإذن صريح.
- التحقق من الهوية (Access Control): لا تقل فقط "يمكنك استخدام الإنترنت". بل قل "يمكنك فقط زيارة هذا الموقع المحدد، وفقط لهذه المهمة المحددة".
- تنظيف الفوضى (Sanitization): قبل أن يقرأ الذكاء الاصطناي رسالة أو يرسل رداً، قم بتنظيفه من التعليمات المخفية والبيانات السرية.
- مراقبة السجلات (Monitoring): احتفظ بمذكرات مفصلة لما يفكر فيه الذكاء الاصطناعي وما يفعله، بحيث إذا حدث خطأ ما، يمكنك معرفة السبب بالضبط.
الخلاصة
تجادل الورقة بأن الشركات الكبرى، رغم امتلاكها قواعد صارمة، ترتكب نفس الأخطاء التي ترتكبها المشاريع الصغيرة مفتوحة المصدر. إنهم يمنحون وكلاء الذكاء الاصطناعي حرية كبيرة ويعتمدون على البشر لاكتشاف الأخطاء. ويقول المؤلفون إننا بحاجة إلى التوقف عن الأمل في "التطوير الآمن" والبدء في توفير أدوات سلامة "جاهزة للاستخدام" (plug-and-play) تحمينا تلقائياً، لأن المخاطر أصبحت الآن أعقد من أن يديرها شخص واحد بمفرده.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.