ClawSentry: A Progressive Multi-Tier Security Monitor for Safeguarding Autonomous LLM Agents
تُعد ClawSentry بوابة أمنية مفتوحة المصدر ومستقلة عن الأطر البرمجية، تعمل على تخفيف المخاطر التصاعدية في وكلاء النماذج اللغوية الكبيرة (LLM) ذاتية القيادة من خلال تنفيذ نظام مراجعة تصاعدي متعدد المستويات عبر مراحل قبول المهارات، والاستدعاء، والتنفيذ، وما بعد الإجراء، مما يقلل بشكل كبير من معدلات نجاح الهجمات مع الحفاظ على إنتاجية عالية للمهام المشروعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا تكتفي فيه الحواسيب بمجرد الإجابة على الأسئلة، بل تبدأ في القيام بأشياء من تلقاء نفسها. يمكنها كتابة الأكواد، وفتح الملفات على قرصك الصلب، وإرسال رسائل إلى خدمات أخرى لإكمال مهمة ما. تُسمى هذه "الوكلاء المستقلين" (autonomous agents)، وهي تمثل قفزة من الأدوات السلبية إلى العمال النشطين. ومع ذلك، فإن هذه القدرة الجديدة تجلب معها نوعاً جديداً من الخطر؛ فإذا تم خداع عامل ما ليحمل أداة خبيثة، أو إذا تم تمرير تعليمات مخفية داخل مستند يقرأه، يمكن إجبار الحاسوب على سرقة الأسرار، أو حذف بيانات مهمة، أو نشر نفوذه إلى أنظمة أخرى. الخطر ليس مجرد خطأ واحد، بل هو سلسلة من التفاعلات حيث يمكن لقرار سيئ واحد أن يؤدي إلى موجة من الأضرار المتتالية. ويتمثل التحدي الجوهري لخبراء السلامة في أن هذه الهجمات ذكية ومتغيرة؛ فقد تكون التعليمات السيئة مخفية في ملف، أو متخفية في شكل طلب عادي، أو مجزأة إلى خطوات صغيرة تبدو غير ضارة ولكنها تصبح خطيرة عند تجميعها معاً.
قام باحثون في مختبر شنغهاي للذكاء الاصطناعي بتطوير نظام جديد لوقف هذه الهجمات قبل أن تسبب الضرر، وأطلقوا عليه اسم "ClawSentry". وبدلاً من محاولة رصد كل حركة سيئة بعد وقوعها، يعمل هذا النظام كحارس بوابة يراقب دورة حياة كاملة لعمل الوكيل الحاسوبي. أدرك الباحثون أن الخطر يمكن أن يدخل في أربع مراحل مختلفة: عندما يتم تقديم أداة جديدة لأول مرة، وعندما يقرر الوكيل استخدامها، وأثناء تشغيل الأداة فعلياً، وبعد انتهاء الأداة من عملها وإنتاج النت actually. كانت أساليب السلامة السابقة تركز عادةً على مرحلة واحدة فقط، مثل فحص الكلمات التي يكتبها المستخدم أو مراقبة الكود الذي يشغله الحاسوب. وقد وجد الفريق أن هذا لم يكن كافياً لأن المهاجم يمكنه ببساطة المحاولة مرة أخرى بطريقة مختلفة، باستخدام أداة مختلفة أو صياغة الطلب بشكل مختلف، للالتفاف على نقطة تفتيش واحدة.
ولحل هذه المشكلة، بنى الباحثون إطار عمل يقع بين الوكيل الحاسوبي والعالم الخارجي، يراقب كل ما يحاول الوكيل القيام به. لقد صمموا نظاماً يعمل في طبقات، تماماً مثل فريق أمني يتحقق أولاً من هوية الزائر، ثم يراقب سلوكه، وأخيراً يراجع نتيجة زيارته. يبدأ خط الدفاع الأول قبل استخدام أي أداة جديدة؛ حيث يقرأ النظام حزمة الكود الكاملة لتلك الأداة للبحث عن أي مخاطر مخفية، وإذا بدا الكود مشبوهاً، يتم حظر الأداة فوراً، مما يمنع الوكيل من تحميل برنامج خطير في المقام الأول. وإذا اجتازت الأداة هذا الفحص الأولي، يقوم النظام بعد ذلك بمراقبة كل إجراء يتخذه الوكيل؛ حيث يستخدم مجموعة بسيطة وسريعة من القواعد لرصد المخاطر الواضحة، مثل محاولة حذف ملف نظام حيوي. وإذا كان الإجراء ليس خطيراً بشكل واضح ولكنه أيضاً ليس آمناً بشكل واضح، يقوم النظام بتصعيد القرار إلى نموذج حاسوبي أكثر تقدماً يمكنه فهم السياق والقصد من وراء الطلب.
ومن الأجزاء الحيوية لهذا النظام قدرته على تذكر ما قام بحظره بالفعل؛ فإذا حاول وكيل ما سرقة ملف وتم إيقافه، يسجل النظام ذلك الهدف المحدد. وإذا حاول الوكيل مرة أخرى لاحقاً باستخدام أداة مختلفة أو عبر تقسيم الطلب إلى خطوات أصغر، يتعرف النظام على أنه نفس الهدف السيئ في زي جديد ويوقفه مجدداً. هذا يمنع الوكيل من استنزاف الدفاعات عبر تجربة العديد من الأساليب المختلفة. كما يراقب النظام ما يحدث بعد اكتمال الإجراء؛ فأحياناً يظهر الخطر فقط في النتائج التي تعيدها الأداة، مثل ملف يحتوي على تعليمات مخفية للخطوة التالية. يقوم النظام بمراجعة هذه النتائج ويمكنه تنبيه المشغل البشري إذا حدث خطأ ما، مما يسمح له بإيقاف العملية قبل وقوع المزيد من الضرر.
اختبر الباحثون هذا النظام مع أنواع مختلفة من الوكلاء الحاسوبيين ووجدوا أنه فعال للغاية. في الاختبارات التي تعرض فيها الوكلاء لمجموعة واسعة من الأدوات الخطيرة والتعليمات المخفية، نجح النظام في خفض معدل الهجمات الناجحة من ما يقرب من نصف جميع المحاولات إلى جزء صغير جداً. وتحديداً، في مجموعة معيارية من اختبارات السلامة، خفض النظام معدل نجاح الهجمات من نطاق يتراوح بين 33.5% و49.7% إلى ما بين 9.09% و15.03%. وفي الوقت نفسه، لم يمنع النظام الوكلاء من القيام بعملهم الطبيعي والمفيد؛ فعندما أُعطيت للوكلاء مهام آمنة، تمكنوا من إكمالها بنجاح في معظم الأوقيت تقريباً بنسبة نجاح بلغت 98.7%. وهذا يوضح أن النظام يمكنه التمييز بين الخطأ الحقيقي والهجوم الخبيث دون عرقلة العمل المفيد.
كما بحثت الدراسة في كيفية تعامل النظام مع أنواع مختلفة من النماذج الحاسوبية، ووجدت أن حمايته تعمل بغض النظر عن الذكاء الاصطناعي المحدد الذي يقوم بالتفكير. فقواعد السلامة وعملية حراسة البوابة منفصلة عن الوكيل نفسه، مما يعني أن نفس النظام الأمني يمكنه حماية أنواع مختلفة من الوكلاء. واكتشف الباحثون أيضاً أن الطريقة الأكثر فعالية لإيقاف الهجوم هي حظر الأداة الخطيرة قبل أن تتاح للوكيل فرصة استخدامها؛ فبمجرد تحميل أداة سيئة في ذاكرة الوكيل، يصبح من الصعب جداً إيقاف الضرر، حتى لو كان النظام بارعاً جداً في رصد الأفعال السيئة لاحقاً. وهذا يشير إلى أن أفضل دفاع هو أن نكون صارمين بشأن الأدوات المسموح بدخولها إلى النظام في المقام الأول.
من خلال الجمع بين الفحص الأولي الصارم، والمراجعة متعددة الطبقات لكل إجراء، والذاكرة للمحاولات السابقة، يخلق هذا النظام الجديد بيئة أكثر أماناً للكمبيوترات المستقلة. إنه يعالج واقع أن الهجمات ليست أحداثاً فردية بل محاولات مستمرة لإيجاد ثغرة للنفاذ. وتشير النتائج إلى أنه مع وجود نوع من الإشراف الصحيح، يمكننا السماح للحواسيب بتولي مهام معقدة دون التخلي عن السيطرة لصالح جهات خبيثة. لا يعتمد النظام على خدعة واحدة أو نموذج مثالي، بل يستخدم نهجاً هيكلياً يرصد التهديدات في نقاط متعددة، مما يضمن أنه حتى لو تم تجاوز طبقة واحدة، ستكون هناك طبقة أخرى جاهزة لإيقاف الخطر. يوفر هذا العمل مخططاً عملياً لكيفية دمج الوكلاء الحاسوبيين الأقوياء والمستقلين بأمان في حياتنا اليومية وبيئات عملنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.