Capability-Mediated Perimeters for Secure AI Agent Tool Execution: Conditional Non-Escalation Invariants and Empirical Evaluation Against Indirect Prompt Injection

في عالم الحوسبة الحديثة، ظل قانون أساسي يحافظ على أمن الأنظمة لفترة طويلة: يجب إبقاء التعليمات التي تخبر الآلة بما يجب فعله منفصلة عن البيانات التي تعالجها الآلة. يضمن هذا الفصل عدم تمكن المستخدم من خداع الكمبيوتر، سواء عن طريق الخطأ أو بسوء نية، لتنفيذ أوامر لم يكن من المفترض أن يتبعها. ومع ذلك، فإن صعود وكلاء الذكاء الاصطناعي المستقلين قد أدى إلى طمس هذا الخط الفاصل. فهؤلاء الوكلاء، المصممون لأداء مهام معقدة مثل إدارة قواعد البيانات أو التحكم في الأجهزة الذكية، غالبًا ما يقرؤون التعليمات والبيانات غير الموثوقة من الإنترنت جميعها في آن واحد، في تدفق نصي واحد. ولأن الكمبيوتر يعامل البيانات والتعليمات كجزء من خليط واحد، يمكن لمهاجم ماكر أن يخفي أمرًا مستترًا داخل بريد إلكتروني أو صفحة ويب تبدو غير ضارة. وعندما يقرأ الوكيل هذا المحتوى، فقد يطيع الأمر المستتر دون علم منه، مما يؤدي إلى القيام بأفعال مثل حذف الملفات أو سرقة كلمات المرور. هذه الثغرة، المعروفة باسم "حقن المطالبات غير المباشر" (indirect prompt injection)، تحول الوكيل إلى "نائب مرتبك" يتبع أوامر لم يكن ينوي تلقيها أصلًا.

اقترح باحثون في مختبرات "Mastyf AI Research Laboratories" طريقة جديدة لحماية هؤلاء الوكلاء، مبتعدين عن فكرة أن الذكاء الاصطناعي نفسه يمكن أن يكون الحكم النهائي للسلامة. فبدلاً من الاعتماد على الذكاء الاصطناعي للتعرف على كل خدعة ممكنة، بنى الفريق نظامًا أمنيًا يعمل كحارس بوابة صارم قبل اتخاذ أي إجراء. يطلقون على هذا النظام اسم "Mastyf Guard". وهو يعمل وفق مبدأ بسيط ولكنه قوي: يُسمح للذكاء الاصطناعي بالتفكير والاستنتاج، لكن يتم تجريده من القدرة على التصرف بمفرده. في كل مرة يقترح فيها الذكاء الاصطناعي أداة لاستخدامها، مثل إرسال بريد إلكتروني أو الوصول إلى خادم، يقوم مراقب أمني مستقل ومنفصل بفحص الطلب. هذا المراقب لا يحاول تخمين نية الذكاء الاصطناعي؛ بل يتحقق من قائمة تصاريح رقمية، تمامًا كما يفحص البواب قائمة الضيوف عند مدخل ملهى ليلي. إذا لم يكن الإجراء المطلوب مسموحًا به صراحةً لتلك الجلسة المحددة، يتم حظر الطلب فورًا، بغض النظر عن مدى إقناع استنتاجات الذكاء الاصطناعي.

اختبر الباحثون هذا النهج ضد مجموعة هائلة مكونة من خمسين ألف سيناريو، نصفها هجمات واقعية مصممة لخداع الوكلاء، والنصف الآخر عمليات طبيعية وآمنة يقوم بها المطورون. وأظهرت النتائج أن نظامهم يمكنه إيقاف الغالبية العظمى من الهجمات بشكل شبه فوري. وفي الحالات الأسرع، استغرق الفحص الأمني خمسة أعشار من الثانية فقط، وهي سرعة سريعة جدًا لدرجة أنها تكاد تكون غير محسوسة للمستخدم البشري. نجح النظام في تحديد وحظر 99.33 بالمائة من الهجمات، وهو تحسن كبير مقارنة بأدوات السلامة الحالية التي غالبًا ما تفشل في اكتشاف أكثر من نصف هذه الخدع الدقيقة. والأهم من ذلك، أن النظام فعل ذلك دون الحاجة إلى رقائق كمبيوتر باهظة الثمن وعالية القدرة، حيث يعمل بكفاءة على معالجات الكمبيوتر القياسية مع بصمة ذاكرة تبلغ 1.1 جيجابايت فقط. وهذا يعني أنه يمكن نشر الحماية في بيئات المكاتب اليومية دون الحاجة إلى أجهزة متخصصة.

لفهم كيفية عمل ذلك، تخيل وكيل الذكاء الاصطناعي كموظف ماهر ولكن يسهل تشتيته، وقد مُنح مفتاحًا رئيسيًا للمبنى بأكره. إذا همس غريب بتعليمات مزيفة في أذن الموظف، فقد يستخدم الموظف ذلك المفتاح الرئيسي لفتح باب لا ينبغي له فتحه. نظام "Mastyf Guard" يسحب المفتاح الرئيسي من جيب الموظف تمامًا. بدلاً من ذلك، يجب على الموظف طلب الإذن من حارس الأمن في كل مرة يريد فيها فتح باب. الحارس لا يستمع إلى قصة الموظف ولا يحاول تفسير نبرة صوته؛ بل يتحقق ببساطة من قائمة صارمة توضح الأبواب المسموح للموظف بفتحها في تلك اللحظة. إذا لم يكن الطلب مدرجًا في القائمة، يظل الباب مغلقًا. يحل هذا النهج مشكلة "النائب المرتبك" من خلال ضمان أنه حتى لو تم خداع الذكاء الاصطناعي لطلب الشيء الخطأ، فإن النظام ببساطة لا يمكنه القيام بذلك لأنه يفتقر إلى السلطة.

كما عالج الباحثون مشكلة أكثر دقة: ماذا يحدث عندما يُسمح للذكاء الاصطناعي باستخدام أداة ما، ولكنه يحاول تغيير تفاصيل الطلب للتسبب في ضرر؟ على سبيل المثال، قد يكون الذكاء الاصطناعي مخولًا بإرسال بريد إلكتروني، ولكن يمكن لمهاجم أن يخدعه لإرسال ذلك البريد إلى عنوان مختلف أو بموضوع مختلف. للتعامل مع هذا، أضاف الفريق طبقة دفاع ثانية تعمل كمدقق لغوي دقيق. تتحقق هذه الطبقة من التفاصيل المحددة للطلب مقابل التصريح الأصلي. إذا حاول الذكاء الاصطناعي إرسال أموال إلى حساب جديد أو الوصول إلى ملف لم يكن من المفترض أن يلمسه، فإن النظام يكشف التغيير. في الاختبارات التي شملت ثلاثة آلاف سيناريو تجاري معقد، نجح هذا الجمع بين فحوصات التصريح الصارمة والتدقيق التفصيلي في كشف 97.5 بالمائة من الهجمات مع معدل إنذارات خاطئة قدره صفر بالمائة، مع حد أقصى إحصائي قدره 0.19% عبر 2,000 عملية مؤسسية سليمة. كان النظام دقيقًا للغاية لدرجة أنه في ألفي عملية تجارية عادية، لم يطلق إنذارًا خاطئًا واحدًا.

واحدة من أهم النتائج التي توصلت إليها الدراسة هي أن النظام لا يحتاج إلى ذكاء اصطناعي خارق ليكون فعالًا. وجد الباحثون أن برنامج كمبيوتر صغير ومتخصص يمكنه التعامل مع الغالبية العظمى من الفحوصات الأمنية في أجزاء من الميكروثانية، ولا يلجأ إلا إلى نموذج ذكاء اصطناعي أكبر وأكثر تعقيدًا عندما يكون الطلب غامضًا أو مشبوهًا. هذا النهج الهجين يحافظ على سرعة وتكلفة تشغيل النظام. في حركة المرور التجارية الروتينية، لم تكن هناك حاجة لنموذج الذكاء الاصطناعي المعقد، مما سمح للنظام بالعمل بسرعة الفحوصات البسيطة والسريعة. وعندما احتاج النظام إلى استدعاء النموذج الأكبر للتحقيق في طلب معقد، استغرق الأمر حوالي ثمانية عشر مللي ثانية، وهي سرعة لا تزال كافية لمعظم التطبيقات في الوقت الفعلي. يضمن هذا التصميم أن الأمن لا يأتي على حساب السرعة أو سهولة الاستخدام، مما يسمح للشركات باستخدام وكلاء الذكاء الاصطناعي الأقوياء دون إبطاء عملهم اليومي.

كما بحثت الدراسة في كيفية منع تسرب البيانات من النظام من خلال سلسلة من الأدوات المصرح بها. فحتى لو لم يتمكن المهاجم من إجبار الذكاء الاصطناعي على استخدام أداة محظورة، فقد يحاول نقل معلومات حساسة من أداة مسموح بها إلى أخرى، مما يؤدي فعليًا إلى تهريب البيانات للخارج. تحت فحوصات القدرة القياسية وحدها، وجد الباحثون أن المهاجمين يمكنهم بنجاح استخراج البيانات في جزء كبير من حالات الاختبار عن طريق نقل المعلومات بين الأدوات المصرح بها. لمنع ذلك، نفذ الباحثون نظام تتبع يتبع تدفق المعلومات، تمامًا كما يتتبع البنك حركة النقد لضمان عدم اختفائه. يقوم هذا النظام بتمييز البيانات الحساسة، مثل كلمات المرور أو السجلات المالية، ويضمن أن هذه البيانات لا يمكن أن تنتقل إلا إلى الوجهات المصرح لها باستلامها صراحةً. في الاختبارات التي شملت أكثر من ألف محاولة لسرقة البيانات باستخدام طريقة التتبع المحددة هذه، حظر النظام كل محاولة، مما ضمن عدم انتقال المعلومات الحساسة إلى موقع غير مصرح به.

بينما أظهر النظام نجاحًا ملحوظًا، كان الباحثون حذرين في تحديد حدوده. تعتمد الضمانات الأمنية على افتراض أن مراقب الأمن نفسه يعمل على جهاز كمبيوتر موثوق ولم يتم اختراقه. إذا تم اختراق المراقب، فإن النظام بأكمله يفشل. بالإضافة إلى ذلك، بينما يعد النظام ممتازًا في إيقاف الهجمات التي تحاول استخدام الأدوات بطرق غير مصرح بها، فإنه ليس مثاليًا في كشف كل تنويع ممكن للحيلة، خاصة تلك التي تتضمن مناورات معقدة متعددة الخطوات مصممة لتضليل النظام. حدد الباحثون عددًا صغيرًا من الحالات التي تم فيها تجاوز نظامهم، معظمها يتعلق بخدع مالية محددة جدًا أو تنكر في أسماء النطاقات، وقد اقترحوا بالفعل تحديثات لسد هذه الثغرات. إنهم يصفون عملهم بأنه بنية تحتية لمرحلة ما قبل الإنتاج، مما يعني أنه جاهز للاختبار في بيئات العالم الحقيقي ولكنه لا يزال يتطلب المزيد من التحقق من قبل خبراء مستقلين قبل اعتباره منتجًا تجاريًا نهائيًا.

تمتد آثار هذا العمل إلى ما هو أبعد من مجرد جعل الذكاء الاصطناعي أكثر أمانًا؛ فهي تغير طريقة تفكيرنا في بناء الأنظمة الذكية. من خلال معاملة الذكاء الاصطناعي كمكون يحتمل ألا يكون موثوقًا به ويجب مراقبته باستمرار، بدلاً من كونه شريكًا موثوقًا يمكنه مراقبة نفسه، خلق الباحثون إطارًا يصعب كسره كثيرًا. يسمح هذا التحول في المنظور باستخدام وكلاء مستقلين أقوياء في البيئات الحساسة مثل المستشفيات والبنوك والمكاتب الحكومية، حيث تكون تكلفة الخطأ عالية. يثبت النظام أن الأمن العالي لا يتطلب التضحية بالسرعة أو يتطلب أجهزة باهظة الثمن، مما يجعله حلاً عمليًا لمستقبل الذكاء الاصطناعي. ومع ازدياد استخدام هؤلاء الوكلاء في حياتنا اليومية، فإن القدرة على فصل التفكير عن الفعل، وفرض قواعد صارمة على الإجراءات المسموح بها، ستكون ضرورية للحفاظ على أمن عالمنا الرقمي.

أتاح الباحثون أدواتهم وبياناتهم للجمهور، مما يسمح للعلماء الآخرين باختبار وتحسين عملهم. لقد أصدروا الكود الخاص بمراقب الأمن ونماذج الذكاء الاصطناዊ المدربة، داعين المجتمع العالمي لإيجاد نقاط الضعف واقتراح التحسينات. هذا الانفتاح هو جزء حيوي من العملية العلمية، مما يضمن أن النظام ليس مجرد فكرة نظرية بل أداة عملية يمكن فحصها وتطويرها. وتخلص الدراسة إلى أنه من خلال الجمع بين القواعد الصارمة والحتمية وبين الفحوصات الذكية والمرنة، من الممكن بناء بيئة آمنة للوكلاء المستقلين. يتضمن المسار المستقبلي مواصلة اختبار هذه الأنظمة في سيناريوهات العالم الحقيقي، وصقل القواعد للإمساك بأنواع جديدة من الحيل، وضمان بقاء التكنولوجيا قوية مع تطور التهديدات. يمثل هذا العمل خطوة مهمة نحو جعل وعد الذكاء الاصطناعي المستقل حقيقة آمنة وموثوقة للجميع.