Fail-Closed Authorization for Tool-Using AI Agents: A Capability Contract and Case Study
تقدم هذه الورقة "عقد أمن الوكيل" (ASC)، وهو إطار عمل للتفويض القائم على مبدأ "المنع افتراضياً" للوكلاء ذوي النماذج اللغوية الكبيرة الذين يستخدمون الأدوات، حيث يفرض بوابات ما قبل التنفيذ عبر قوائم سماح بالأدوات مقيدة بالسياسات وأدلة يتم التحقق من سلامتها، مُثبتاً من خلال تقييمات التتبع الساكن أن إصدارات السياسة المحدثة تحجب الهجمات العدائية بفعالية مع تقليل الإيجابيات الكاذبة مقارنة بالإصدارات السابقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلف ولم يصادق عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مساعداً رقمياً يمكنه القيام بما هو أكثر من مجرد الإجابة على الأسئلة؛ يمكنه فعلياً فتح الملفات، وإرسال رسائل البريد الإلكتروني، وتشغيل الأوامر على حاسوبك. هذا هو الوعد الذي تقدمه وكلاء الذكاء الاصطناعي الحديثة، ولكنه يجلب واقعاً خطيراً جديداً: إذا خدع المهاجم الذكاء الاصطناعي ليعتقد أن أمراً ضاراً هو مجرد اقتراح مفيد، فقد يطيع الذكاء الاصطناعي دون تردد. تكمن المشكلة الجوهرية ليس في أن الذكاء الاصطناعي مرتبك، بل في افتقاره إلى حارس بوابة موثوق يتحقق من كل إجراء قبل حدوثه. في عالم أمن الحاسوب، النهج الأكثر أماناً هو افتراض أنه لا يُسمح بشيء حتى يُسمح به صراحة، وهو مبدأ يُعرف باسم "الإغلاق عند الفشل" (fail-closed). إذا لم يتمكن حارس البوابة من التحقق من طلب ما، يجب عليه ببساطة أن يقول "لا"، بدلاً من المخاطرة بارتكاب خطأ قد يسم يسمح للقراصنة بسرقة البيانات أو حذف الأنظمة المهمة.
لقد بنى باحث يدعى أندري ليسنيكوف نظاماً يسمى "عقد أمن الوكيل" (Agent Security Contract) ليعمل كحارس بوابة هذا. فبدلاً من محاولة تخمين ما يفكر فيه الذكاء الاصطناعي أو تحليل نبرة المحادثة، يعمل هذا النظام كنقطة تفتيش صارمة تسبق التنفيذ. وقبل أن يُسمح للذكاء الاصطناعي بلمس أي أداة، يتحقق النظام من عقد رقمي يسرد بالضبط الأدوات المسموح بها، وما هي الوسائط (arguments) التي يمكن أن تقبلها، وما هي الإجراءات التي تتطلب موافقة بشرية أولاً. يعمل النظام من خلال مقارنة الإجراء المقترح من قِبل الذكاء الاصطناعي مقابل قائمة مثبتة وغير قابلة للتغيير من الأدوات المعتمدة. إذا لم تكن الأداة مدرجة في القائمة، أو إذا بدت الوسائط مشبوهة، يتم حظر الإجراء فوراً. وإذا كان الإجراء يتضمن شيئاً خطيراً، مثل حذف ملف أو إرسال أموال، فإن النظام يتوقف ويطلب موافقة من خارج النظام (out-of-band approval) من إنسان، مما يضمن أن القرارات عالية المخاطر لا تُتخذ بواسطة الآلة وحدها.
ولاختبار ما إذا كان هذا النهج فعالاً حقاً، لم يقم ليسنيكوف بتشغيل ذكاء اصطناعي حي في بيئة حقيقية، لأن ذلك سيكون خطيراً للغاية. بدلاً من ذلك، أنشأ مجموعة من السيناريوهات المسجلة، بما في ذلك مهام غير ضارة وهجمات متطورة مصممة لتجاوز الأمن. قام بتشغيل هذه السيناريوهات المسجلة عبر نظامه، إصداراً تلو الآخر، مراقباً كيفية استجابة حارس البوابة. في النسخة الأولية، حظر النظام معظم الهجمات الواضحة ولكنه فاتته بعض الحيل الذكية، مثل إخفاء أوامر خبيثة داخل مسارات الملفات أو استخدام رموز خاصة للهروب من قواعد الأمن. بعد العث de على هذه الثغرات، قام الباحث بتشديد القواعد. تعلم النظام المحدث التعرف على عمليات التجاوز المحددة هذه وحظرها، مثل منع الذكاء الاصطناعي من قراءة ملفات كلمات المرور الحساسة أو استخدام أوامر "shell" للتنقل خارج مساحة العمل المسموح بها.
أظهرت النت النتائج أن النظام فعال للغاية في إيقاف الإجراءات غير المصرح بها، ولكن هذا يأتي مع مقايضة. في اختبار تضمن أكثر من مائة مهمة مسجلة، حظر النظام الجديد الصارم جميع محاولات الهجوم تقريباً. ومع ذلك، حظر النظام أيضاً عدداً كبيراً من المهام غير الضارة لأنها استخدمت وسائط لم تتوقعها القواعد الصارمة. على سبيل المثال، إذا حاولت مهمة إرسال بريد إلكتروني دون إرفاق ملف، وكان النظام مهيأً ليتطلب وجود ملف، فسيتم حظر المهمة رغم أنها كانت آمنة. وجد الباحث أن مجرد سرد أسماء الأدوات المسموح بها لم يكن كافياً لإيقاف الهجمات؛ بل احتاج النظام إلى التحقق من تفاصيل كل وسيط. ومع ذلك، عندما تم تعديل القواعد لفهم أي الوسائط كانت اختيارية، استطاع النظام التمييز بين الإجراءات الآمنة وغير الآمنة دون حظر الإجراءات غير الضارة.
كان أحد أهم النتائج هو أن قدرة النظام على إيقاف الهجمات تعتمد كلياً على مدى دقة كتابة القواعد. عندما اختبر الباحث النظام ضد مجموعة من أهداف الهجوم الواقعية من مشروع مختلف، نجح النظام في صد جميعها تقريباً، ولكن فقط لأن القواعد تطلبت موافقة بشرية لأي إجراء يغير البيانات أو يرسل رسائل. لم يفهم النظام بشكل سحري الفرق بين بريد إلكتروني مشروع ومحاولة تصيد احتيالي؛ بل اكتفى بفرض القاعدة التي تقضي بأن أي إجراء من هذا القبيل يتطلب موافقة بشرية بكلمة "نعم". وهذا يسلط الضوء على قيد جوهري: النظام قوي بقدر قوة العقد الذي يفرضه. إذا كان العقد فضفاضاً للغاية، يمكن للذكاء الاصطناعي أن يسبب ضرراً. وإذا كان صارماً للغاية، فإنه يمنع الذكاء الاصطناعي من أداء وظيفته.
قاس البحث أيضاً مقدار الوقت الذي تضيفه عملية التحقق الأمني هذه إلى العملية. النظام سريع للغاية، حيث يستغرق أقل من مائة جزء من الثانية لتقرير ما إذا كان سيسمح بالإجراء أو يحظره. تعني هذه السرعة أن الفحص الأمني لا يبطئ عمل الذكاء الاصطناعي، مما يجعله عملياً للاستخدام في العالم الحقيقي. ومع ذلك، أشار الباحث إلى أن النظام ليس حلاً كاملاً. فهو لا يمنع الذكاء الاصطناعي من استخدام أداة مسموح بها بطريقة ضارة، مثل إرسال رسالة إلى عنوان آمن تحتوي على فيروس. كما لا يمكنه الحماية من مخترق استولى بالفعل على الحاسوب الذي يشغل الذكاء الاصطناعي. النظام هو أداة محددة لوظيفة محددة: ضمان أن كل استدعاء للأداة يتوافق مع خطة معتمدة مسبقاً.
في نهاية المطاف، توضح الورقة البحثية أن مجموعة بسيطة وصلبة من القواعد يمكن أن تمنع الذكاء الاصطناعي بفعالية من تنفيذ أوامر غير مصرح بها. يعمل النظام من خلال رفض التصرف عندما يكون غير متأكد، وهي استراتيجية تعطي الأولوية للسلامة على حساب الراحة. وبينما يتطلب الإصدار الحالي إعداداً دقيقاً ويمكن أن يكون حذراً للغاية في بعض الأحيان، إلا أن البحث يظهر أنه مع قواعد أفضل وإشراف بشري، من الممكن بناء حاجز موثوق بين الذكاء الاصطناعي والأنظمة التي يتحكم فيها. يشير هذا العمل إلى أن مستقبل وكلاء الذكاء الاصطناعي الآمنين لا يكمن في ذكاء اصطناعي أكثر ذكاءً، بل في حراسة أكثر صرامة وبساطة وشفافية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.