Bounded Agents: Delegation Security for Multi-Agent AI Systems
تقدم هذه الورقة "سلسلة المبدأ الوكيلية" (APC)، وهي بنية أمنية تخفف المخاطر في الأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة من خلال فرض عمليات تحقق من التفويض ديناميكية ومعتمدة على الحالة لمنع هجمات حقن الأوامر، والتفويض غير المصرح به، وتوليفات الإجراءات المحظورة، مما يقلل من تسريب البيانات والتلاعب بها إلى ما يقرب من الصفر مع الحفاظ على زمن انتقال منخفض.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في مكان العمل الرقمي الحديث، ظهر نوع جديد من العمال: الوكيل البرمجي (software agent). هذه برامج مدعومة بنماذج لغوية كبيرة يمكنها قراءة المستندات، وإرسال رسائل البريد الإلكتروني، ونقل البيانات بين الأنظمة، وحتى استدعاء برامج أخرى لإنجاز المهام. إنها تعمل نيابة عن الموظفين البشريين، حيث تتلقى التعليمات وتحولها إلى سلسلة من الإجراءات. والوعد هنا هائل من حيث الكفاءة، لكن المخاطر مرتفعة بنفس القدر. فإذا خُدع موظف بشري لإرسال ملف سري إلى الشخص الخطأ، فإن الضرر يقتصر على حكم ذلك الشخص الواحد. ولكن عندما يُخدع وكيل برمجي، فإنه يمكنه تنفيذ ذلك الخطأ بسرعة مثالية وعبر كل نظام يُسمح له بالوصول إليه. التحدي الجوهري لخبراء الأمن لا يكمن فقط في جعل هؤلاء الوكلاء أكثر ذكاءً حتى لا يتم خداعهم، بل في بناء نظام يجعل من غير المهم ما إذا تم خداعهم، لأن الضرر سيكون مستحيلاً من الناحية الفيزيائية.
هذه هي المشكلة المركزية التي يتناولها بحث جديد للباحث المستقل زافيير موروغا (Xabier Muruaga)، الذي يقترح طريقة لتأمين هؤلاء العمال الرقميين ليس من خلال جعل "عقل" الوكيل أكثر متانة، بل عبر تشديد القواعد المتعلقة بما يُسمح للوكيل بفعله. ويجادل البحث بأن خطر تعرض الوكيل البرمجي للتلاعب هو مشكلة تتعلق بهيكلية الأذونات في المقام الأول، وليس مشكلة في نموذج الذكاء الاصطناعي نفسه. فحتى لو كان الوكيل آمناً تماماً ضد الخداع، فإنه لا يزال بإمكانه التسبب في ضرر إذا مُنح حرية كبيرة في دمج إجراءات غير ضارة لإنتاج نتيجة خطيرة. على سبيل المثال، قد يُسمح للوكيل بقراءة مستند سري ويُسمح له بإرسال بريد إلكتروني. وبشكل فردي، كلا الإجراءين آمنان. ولكن إذا خُدع الوكيل لقراءة المستند ثم إرساله فوراً إلى عنوان خارجي، فإن هذا الجمع يخلق خرقاً للبيانات لم تكن تهدف أي من الأذونات بمفردها إلى السماح به.
ولحل هذه المشكلة، طور موروغا نظاماً يسمى "سلسلة الموكل الوكيلية" (Agentic Principal Chain). تخيل تسلسلاً قيادياً حيث يفوض مدير بشري مهمة إلى مدير متوسط، والذي بدوره ينقل جزءاً من تلك المهمة إلى مساعد مبتدئ. في الأنظمة الأمنية التقليدية، بمجرد أن يعطي المدير الإذن، ينتقل ذلك الإذن عبر السلسلة دون تغيير؛ مما قد يجعل المساعد المبتدئ يتمتع بنفس السلطات الواسعة التي يمتلكها المدير، وهو ما يخلق خطراً كبيًراً في حال تعرض المساعد للاختراق. تغير "سلسلة الموكل الوكيلية" هذا الأمر من خلال ضمان أنه مع كل خطوة نزولاً في السلسلة، يصبح الإذن أصغر وأكثر تحديداً. إنها تعمل كحارس بوابة صارم يجلس خارج عملية تفكير الوكيل. فقبل أن يتمكن الوكيل من تنفيذ أي إجراء، يتحقق هذا الحارس ليس فقط مما إذا كان للوكيل الحق في القيام بهذا الشيء المحدد، بل وأيضاً فيما فعله الوكيل في الماضي خلال نفس الجلسة.
يعمل النظام من خلال تتبع "حالة الجلسة" (session state)، وهي سجل جارٍ لكل إجراء اتخذه الوكيل. إذا كان الوكيل مخولاً بقراءة ملف ومخولاً بإرسال بريد إلكتروني، فإن النظام ينظر إلى السجل؛ فإذا كان الوكيل قد قرأ للتو ملفاً سرياً، فسيقوم النظام بحظر المحاولة التالية لإرسال بريد إلكتروني، حتى لو كان إرسال رسائل البريد الإلكتروني مسموحاً به بشكل عام. هذا يمنع الوكيل من دمج إجراءين آمنين في إجراء واحد خطير. ويطلق الباحثون على هذا "إغلاق التركيب" (composition closure)؛ وهي قاعدة تنص على أن بعض تركيبات الإجراءات محظورة، بغض النظر عما إذا كانت الخطوات الفردية مسموح بها. كما يحد النظام من "نطاق الانفجار" (blast radius) لأي وكيل منفرد؛ فإذا تم اختراق وكيل فرعي، فإن الضرر الذي يمكن أن يسببه يكون محدوداً رياضياً بالأذونات التي ورثها، والتي هي أصغر تماماً من أذونات الوكيل الذي أنشأه. وهذا يضمن أن الاختراق في جزء واحد من النظام لا يمكن أن يتفاقم للسيطرة على المنظمة بأكملها.
لاختبار مدى فعالية هذا النهج، قام الباحثون ببناء نسخة عاملة من النظام ووضعوها تحت سلسلة من التجارب الصارمة. لقد اختبروه ضد آلاف الهجمات المحاكية باستخدام معايير أمنية معتمدة. وفي مجموعة من الاختبارات شملت أكثر من 1,000 سيناريو مصمم لسرقة البيانات، منع النظام كل محاولة من المحاولات. وفي مجموعة اختبارات أخرى حيث قام الباحثون بمحاكاة حالة تم فيها اختراق نموذج الذكاء الاصطناعي نفسه بالكامل ووضعه بالكامل تحت سيطرة مهاجم، ظل النظام يوقف الهجمات. فعندما حاول النموذج إرسال بيانات مسروقة، رفض حارس البوابة الطلب لأن مجموعة الإجراءات انتهكت قواعد الجلسة. كما نجح النظام أيضاً في منع الوكيل من تدمير الملفات أو التلاعب بالبيانات بطرق لم تكن جزءاً من المهمة الأصلية، مما قلل معدل نجاح مثل هذه الهجمات من أكثر من 90 بالمائة إلى 12 بالمائة فقط.
كما قاس الباحثون مدى تأثير هذه الطبقة الإضافية من الأمن على إبطاء عمل الوكلاء. وأظهرت النتائج أن النظام سريع للغاية، حيث لم يضف سوى أقل من ربع مللي ثانية إلى الوقت الذي يستغرقه اتخاذ القرار. وهذا يعني أن الفحوصات الأمنية تحدث بشكل فوري تقريباً، دون تأخير ملحوظ للمستخدم. ومع ذلك، وجد الباحثون أن هناك مقايضة؛ ففي بعض الحالات، منعت القواعد الصارمة الوكيل من إكمال مهمة مشروعة لأن النظام كان حذراً جداً بشأن دمج الإجراءات. وفي اختباراتهم، انخفض معدل نجاح المهام المشروعة بنحو 8.6 نقطة مئوية عند تطبيق القواعد الأكثر صرامة. وهذا يشير إلى أنه بينما يعد النظام فعالاً للغاية في إيقاف الهجمات، فإنه يتطلب ضبطاً دقيقاً لضمان عدم كونه مقيداً لدرجة تعيق العمل الطبيعي.
لقد كان الباحثون حريصين على تحديد ما يفعله نظامهم وما لا يفعله. فقد أثبتوا رياضياً أنه إذا تم إعداد القواعد بشكل صحيح، فمن المستحيل للوكيل القيام بمجموعة محظورة من الإجراءات. كما أثبتوا أن الضرر المحتمل من وكيل مخترق لا يمكن أن يكبر أثناء تمرير المهمة عبر سلسلة القيادة. ومع ذلك، أشاروا إلى أن نظامهم لا يعالج كل المشكلات الممكنة؛ فهو لا يمكنه منع الوكيل من القيام بشيء ضار إذا كان ذلك الإجراء المنفرد مسموحاً به بالفعل، مثل حذف ملف إذا كان لدى الوكيل إذن لحذف الملفات. كما لا يمكنه منع الوكيل من أن يُخدع لاتخاذ قرار سيء ضمن نطاقه المسموح به. وتتطلب هذه القضايا حلولاً مختلفة، مثل تدريب أفضل للذكاء الاصطناعي أو فحوصات أكثر تفصيلاً للبيانات التي يتم التعامل معها.
في نهاية المطاف، تقدم الورقة البحثية تحولاً في كيفية تفكيرنا في تأمين الذكاء الاصطناعي. فبدلاً من محاولة بناء "عقل لا يمكن كسرُه"، ينتقل التركيز إلى بناء "قفص لا يمكن اختراقه". ومن خلال فرض قواعد صارمة بشأن ماهية الإجراءات التي يمكن دمجها وضمان تقلص الأذونات مع تفويض المهام، يخلق النظام شبكة أمان تصمد حتى عندما يفشل حكم الوكيل. وتوضح الأبحاث أنه مع وجود الضوابط الهيكلية الصحيحة، يمكننا السماح لهؤلاء العمال الرقميين الأقوياء بالعمل في بيئات معقدة دون خوف من أن تؤدي لحظة ارتباك واحدة إلى كارثة. وتشير النتائج إلى أن الطريق نحو ذكاء اصطناعي آمن لا يكمن فقط في نماذج أكثر ذكاءً، بل في أنظمة أكثر ذكاءً تعرف كيف تقول "لا"، حتى عندما يقول النموذج "نعم".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.