Securing Agentic AI: From Per-Action Checks to Trajectory Assurance
تحدد هذه الورقة خارطة طريق أمنية شاملة للوكلاء المستقلين، محاججةً بأن السلامة يجب أن تنتقل من التحقق من الأفعال الفردية إلى ضمان سلامة مسارات السلوك الكاملة عبر كامل المكدس الوكيل، بدءاً من مدخلات الوكيل الواحد وصولاً إلى التفويض متعدد الوكلاء ومصدر سلسلة التوريد على مستوى النظام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا تكتفي فيه الحواسيب بالإجابة على الأسئلة، بل تقوم بالأفعال فعلياً. فهي لا تخبرك بحالة الطقس فحسب؛ بل تحجز رحلتك الجوية، وتطلب بقالتك، وتدير حسابك المصرفي. تُسمى هذه الكيانات "الوكلاء المستقلين" (Autonomous Agents). فكر فيهم كمتدربين رقميين فائق الذكاء مدعومين بنماذج لغوية كبيرة (LLMs) — وهي نفس العقول الاصطناعية القادرة على كتابة القصائد أو البرمجة. ولكن بخلاف المتدرب البشري الذي يحتاج إلى مدير يراجع عمله، يمكن لهؤلاء الوكلاء التخطيط، والاستنتاج، واستخدام الأدوات من تلقاء أنفسهم. بل ويمكنهم حتى التحدث مع وكلاء آخرين، لتشكيل فريق يتولى مهام ضخمة ومعقدة.
السؤال الكبير الذي يطرحه الجميع هو: "ماذا يحدث عندما يتمرد هؤلاء المتدربون الرقميون؟" إذا ارتكب إنسان خطأً، يمكننا عادةً اكتشافه. ولكن إذا اتخذ وكيل ذكاء اصطناعي آلاف القرارات الصغيرة في ثانية واحدة، وكان أحدها فقط غير دقيق قليلاً، فقد يتسبب دون قصد في خرق قانون، أو استنزاف حساب بنكي، أو تعطيل شبكة طاقة. كنا نعتقد سابقاً أن الأمن يتعلق فقط بالتأكد من أن كل خطوة فردية آمنة، مثل التأكد من إغلاق الباب. لكن هذه الورقة تجادل بأن هذا لم يعد كافياً. الأمر يشبه التأكد من أن كل طوبة في القلعة مصنوعة من حجر جيد؛ فهذا لا يضمن أن القلعة بأكملها لن تنهار إذا وُضعت الطوب بترتيب خاطئ. الخطر الحقيقي ليس مجرد خطوة سيئة؛ بل هو مسار كامل يبدو آمناً في كل محطة، ولكنه ينتهي في منطقة كارثية.
تعمل هذه الورقة، المكتوبة لجمعية رفيعة المستوى من قادة الذكاء الاصطناعي، كخارطة طريق لتأمين هؤلاء الوكلاء الرقميين. يجادل المؤلفون، وهم فريق من علماء الكمبيوتر، بأننا بحاجة للتوقف عن النظر إلى الأمن كمجرد "قائمة مراجعة" للأفعال الفردية، والبدء في النظر إلى "المسار" (Trajectory) — أي المسار الكامل الذي يسلكه الوكيل من البداية إلى النهاية. لقد قسموا المشكلة إلى عدة طبقات، بدءاً من كيفية تذكر الوكيل للأشياء وصولاً إلى كيفية تواصله مع الوكلاء الآخرين.
أولاً، ينظرون إلى "سطح الوكيل المنفرد" (Single-Agent Surface). تخيل الوكيل كمحقق يقرأ الأدلة (المطالبات/Prompts)، ويتذكر القضايا السابقة (الذاكرة)، ويستخدم أدوات مثل العدسة المكبرة أو قاعدة بيانات. تحذر الورقة من أن الجهات السيئة يمكنها تسريب أدلة "مسمومة". على سبيل المثال، يمكن لمخترق أن يخفي تعليمات سرية داخل بريد إلكتروني أو صفحة ويب تبدو غير ضارة. قد يقرأها الوكيل، ويعتقد أنها جزء طبيعي من القصة، ثم يتبع الأمر بسرقة البيانات. والأسوأ من ذلك، إذا تم تسميم "ذاكرته"، فقد يُخدع لاتخاذ قرارات سيئة لشهور أو سنوات، بعد فترة طويلة من الخدعة الأولية. وبالمثل، يمكن استبدال الأدوات التي يستخدمها الوكيل بنسخ خبيثة، مثل ميكانيكي يستبدل مفتاح ربط بآخر مزيف يؤدي لكسر المحرك.
بعد ذلك، تستكشف الورقة "سطح ما بين الوكلاء" (Inter-Agent Surface)، وهو يشبه ساحة مدينة رقمية يلتقي فيها الوكلاء ويتبادلون المهام. إنهم يستخدمون بروتوكولاً يسمى A2A (من وكيل إلى وككيل) للتحدث مع بعضهم البعض. يشير المؤلفون إلى أن هذه الساحة العامة تفتقر حالياً للقواعد الصارمة. فقد يتظاهر وكيل بأنه شخص آخر، أو قد يعمل مجموعة من الوكلاء معاً (بالصدفة أو عن قصد) لاستنزاف الموارد، مما يخلق هجوماً من نوع "إنكار المحفظة" (Denial-of-Wallet)، حيث ينفقون كل الأموال بمجرد التحدث. الأمر يشبه مجموعة من الأصدقاء اتفقوا على شراء بيتزا، لكنهم يستمرون في الطلب أكثر فأكثر حتى يتم تجاوز الحد الأقصى للبطاقة الائتمانية، ولا يدرك أحد الخطأ إلا بعد فوات الأوان.
ثم هناك طبقة "توجيه النماذج" (Model Routing)، وهي مراقب المرور الذي يقرر أي عقل (نموذج ذكاء اصطناعي) يجب أن يتولى مهمة معينة. تشير الورقة إلى أن المخترقين يمكنهم خداع مراقب المرور هذا لإرسال طلب خطير إلى نموذج ذكاء اصطناعي "أقل ذكاءً" أو أقل أماناً، فقط لتوفير المال أو لتجاوز ضوابط السلامة. إنه يشبه حارس متحف يتم خداعه للسماح للسارق بالدخول إلى الغرفة المخصصة لكبار الشخصيات لأن الحارس قيل له استخدام كاميرا أمنية أرخص وأقل تدريباً لذلك الممر تحديداً.
الجزء الأكثر أهمية في الورقة يتعلق بـ "احتواء المسار السلوكي" (Behavioral Trajectory Containment). وهذه هي الفكرة القائلة بأن الوكيل يمكنه القيام بألف شيء قانوني تماماً في حد ذاتها، ولكن عند وضعها معاً في ترتيب معين، فإنها تنتهك قاعدة كبرى. تخيل روبوتاً في مستشفى مسموح له بتسريح المرضى. إذا قام بتسريح مريض واحد، فهذا أمر جيد. إذا قام بتسريح عشرة، فهذا جيد أيضاً. ولكن إذا قام بتسريح خمسين مريضاً في ساعة واحدة بسبب ارتباك في نمط معين، فقد ينتهك قاعدة سلامة تتعلق بعدد المرضى الذين يمكنهم المغادرة في وقت واحد. تجادل الورقة بأن أدوات الأمن الحالية تتحقق فقط من الخطوات الفردية، وليس من القصة الكاملة. نحن بحاجة إلى طريقة لمشاهدة الفيلم بأكمله، وليس مجرد الإطارات المنفردة.
أخيراً، تتطرق الورقة إلى "سلسلة التوريد" و"المساءلة". تماماً كما تُصنع السيارة من أجزاء من مصانع مختلفة، فإن الوكيل الذكي يُبنى من نماذج وأدوات وتعليمات من مصادر متعددة. إذا كان أحد تلك الأجزاء مزيفاً أو تعرض للاختراق لاحقاً، فإن الوكيل بأكمله يصبح مخترقاً. يقول المؤلفون إننا بحاجة لتتبع كل جزء، مثل إيصال رقمي لكل ما يستخدمه الوكيل. كما يشددون على أنه عندما تسوء الأمور، نحتاج للقدرة على النظر داخل "الصندوق الأسود" ومعرفة ما فعله الوكيل بالضبط، ومن الذي أمره بذلك، ولماذا.
باختأصار، لا تقدم الورقة حلاً سحرياً يحل كل شيء اليوم. بدلاً من ذلك، تقترح أن الطريقة التي نفكر بها في أمن الذكاء الاصطناعي قد عفا عليها الزمن. لا يمكننا مجرد سد الثغرات؛ بل نحتاج لإعادة تصميم النظام بأكمله لضمان أن المسار الكامل للوكيل الذكي يبقى آمناً، وموثوقاً، وتحت السيطرة. إنها دعوة للانتقال من مجرد التحقق من الخطوات الفردية إلى ضمان سلامة المسار بأكمله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.