ملخص تقني: AgentSecBench

بيان المشكلة

تدمج وكلاء النماذج اللغوية الكبيرة (LLM agents) التعليمات الموثوقة، والسجلات المسترجعة، وملاحظات الأدوات في قناة توليدية واحدة. هذا الخيار المعماري يخلط بين تدفق البيانات والسلطة: حيث يمكن للنصوص غير الموثوقة (مثل المستندات المسترجعة أو مخرجات الأدوات) أن تؤثر على الاستجابات التي تحمل أسراراً أو مقترحات الأفعال، حتى عندما لا تسمح سياسة التطبيق بمثل هذا التأثير. وخلافاً للبرامج التقليدية حيث تفرض أنظمة النوع (type systems) وفحوصات الوصول التمييز بين التعليمات والبيانات، تعتمد وكلاء الـ LLM غالباً على النثر داخل "المطالبة بالنظام" (system prompt) لتحديد هذه الحدود. تحدد الورقة فجوة حرجة: بينما يمكن لنص المطالبة أن يصف حداً أمنياً، فإنه لا يفرض حداً بطبيعته. وبناءً على ذلك، يمكن للمهاجم الذي يسيطر على الملاحظات غير الموثوقة تجاوز قيود السياسة، مما يؤدي إلى حقن المطالبات (prompt injection)، وتسريب الخصوصية، واستخدام الأدوات غير المصرح به.

المنهجية

تقدم الورقة AgentSecBench، وهي تجسيد تجريبي لإطار عمل أمني رسمي مصمم لقياس والتمييز بين التعليق التوضيحي للمطالبة (prompt annotation) والحدود الأمنية المفروضة (enforced security boundaries).

الإطار الرسمي

يعرف المؤلفون عدم التداخل بين القصد والتنفيذ مع التسريب المسموح به (intent-to-execution noninterference with permitted leakage). يتضمن المفهوم الجوهري ثلاث "ألعاب" تشترك في بنية تشفيرية: يختار المهاجم ملاحظة غير موثوقة، ويقوم الدفاع بتحويل القناة القابلة للملاحظة، ويقوم "المميز" (distinguisher) بتقييم حدث مخرجات غير مصرح به.

1. لعبة سلامة التعليمات (Instruction-Integrity Game): تختبر ما إذا كانت تعليمات معادية مدمجة في مستند يمكن أن تتجاوز طلباً مستخدماً حميداً.
2. لعبة سرية الاسترجاع (Retrieval-Confidentiality Game): تختبر ما إذا كان السر (الكنز/canary) المخصص لمستأجر خارج نطاق تفويض المتصل يمكن تسريبه عبر السياق المسترجع.
3. لعبة سلامة القدرة (Capability-Integrity Game): تختبر ما إذا كانت ملاحظة الأداة يمكن أن تحفز اختيار إجراء محظور بموجب سياسة المستخدم.

يميز الإطار بين إسقاطات السياسة (عمليات رياضية تزيل الميزات غير المصرح بها من المدخلات أو مساحة الأفعال) والتعليقات التوضيحية للمطالبة (تحذيرات نصية أو فواصل تترك البيانات غير المصرح بها مرئية للنموذج).

التصميم التجريبي

• النماذج: أُجريت التجارب على نماذج Qwen3-0.6B و Qwen3-1.7B.
• الدفاعات: تم تقييم ست فئات من الدفاعات:
  1. لا يوجد دفاع (الأساس/baseline).
  2. تقوية الفواصل (delimiter hardening) (تعليق توضيحي للمطالبة).
  3. تصفية المصنف (classifier filtering) (مطابقة الأنماط قبل التوليد).
  4. بوابة RAG المدركة للمصدر (provenance-aware RAG gating) (إسقاط سياق الاسترجاع).
  5. بوابة الحد الأدنى من الامتيازات للأدوات (least-privilege tool gating) (إسقاط مخرجات الأدوات).
  6. المكدس المدمج (combined stack) (تركيب ما سبق).
• المقاييس:
  • الميزة المعادية ($\widehat{Adv}$): الفرق في معدلات الانتهاك بين الضوابط المعادية والحميدة المقابلة.
  • إغلاق القناة ($\widehat{C}$): مؤشر ثنائي يقيس ما إذا كان العلام المخصص غير المصرح به أو القدرة قد تمت إزالته من المدخلات قبل التوليد.
  • المنفعة الحميدة (Benign Utility): وكيل معجمي لإتمام المهام على المدخلات الحميدة.
• البروتوكول: يستخدم التقييم مميزات مطابقة دقيقة (مثل سلاسل كنزار محددة مثل BETA CANARY 0000 أو رموز أفعال مثل CALL SEND EXTERNAL EMAIL 0000) لضمان وجود حقيقة أرضية لا لبس فيها. يتجنب المعيار استخدام حكام LLM لمنع إدخال تباين إضافي يعتمد على النموذج.

المساهمات الرئيسية

1. التعريف الرسمي: تعريف عدم التداخل بين القصد والتنفيذ مع التسريب المسموح به للوكلاء الذين يجمعون بين التعليمات الموثوقة والملاحظات غير الموثوقة.
2. التمييز الأمني: الفصل الصريح بين التعليمات على مستوى النص (التعليقات التوضيحية للمطالبة) والحدود الأمنية المفروضة (إسقاط المصدر وتقييد القدرة). تجادل الورقة بأن التعليق التوضيحي يعتمد على امتثال النموذج، بينما الإجراء المفروض يزيل القناة المعادية.
3. ثلاث ألعاب أمنية: تجسيد عزل التعليمات، والأسرار، والقدرة كإسقاطات سياسة، مما يوفر مقدرات للميزة المعادية، وتسريب RAG، وإغلاق القناة.
4. تتبع التقييم: تنفيذ نظام تقييم يسجل كلاً من أحداث النتيجة وفئة الإنفاذ المحددة التي أنتجت السياق المدافع، مما يسمح بفك الارتباط بين المقاومة السلوكية وإغلاق القناة الفعلي.
5. التحليل التجريبي: ربط المخاطر المتبقية الملحوظة بما إذا كان تم إزالة رمز أو قدرة غير مصرح بها قبل التوليد، مما يوضح أن تقليل المخاطر لا يعني دائماً إغلاق القناة.

النتائج

أسفر تقييم 576 عملية تنفيذ (عبر 3 ألعاب، 6 دفاعات، نموذجين) عن الرؤى التالية:

• إغلاق القناة مقابل الميزة: حقق الدفاع المدمج (Combined) إغلاقاً للقناة بنسبة 100% وميزة معادية بنسبة 0%. في المقابل، حققت تقوية الفواصل (التعليق التوضيحي للمطالبة) 0% إغلاق للقناة ولكنها قللت الميزة إلى 0.438 (أعلى قليلاً من الأساس البالغ 0.375).
• فعالية الدفاع:
  • نجحت بوابة المصدر (Provenance gating) في إغلاق قناة الاسترجاع للعبة السرية (0% تسريب) لكنها فشلت في إغلاق قناة القدرة في لعبة الأداة.
  • أغلقت بوابة الحد الأدنى من الامتيازات قناة القدرة (0% انتهاك) لكنها لم تؤثر على تسريب الاسترجاع.
  • حقق التصفية (Filtering) إغلاقاً جزئياً (54.2%) وقلل الميزة إلى 0.042.
• التفسير: يمكن للدفاع أن يقلل من معدل نجاح الهجوم الملحوظ (ASR) مع ترك القناة المعادية مفتوحة (بالاعتماد على تجاهل النموذج للمدخلات). وعلى العكس من ذلك، فإن الدفاع الذي يغلق القناة (يزيل الميزة غير المصرح بها) يوفر ضماناً أقوى وقابلاً للإنفاذ، رغم أنه قد لا يزال يتطلب التحقق من المخرجات لمنع اختراع النموذج للهدف المحظور.

الأهمية والادعاءات

تدعي الورقة أن AgentSecBench يوفر طريقة تقييم موجهة أمنياً تنقل التركيز من ترتيب قوالب المطالبات إلى التحقق من إنفاذ الحدود الأمنية.

• التعليق التوضيحي مقابل الإنفاذ: المساهمة الأساسية هي إثبات أن نص المطالبة يمكن أن يصف حداً، ولكن فقط إسقاط المصدر، وتقييد القدرة، والتحقق من المخرجات يمكنها فرض حد.
• الإغلاق القابل للقياس: يقدم الإطار "إغلاق القناة" كمتغير قابل للقياس. وهذا يسمح للباحثين بالتمييز بين الدفاع الذي ينجح في إزالة ملاحظة غير مصرح بها (الإنفاذ) وبين الذي يكتفي فقط بتقليل احتمالية تصرف النموذج بناءً عليها (التعليق التوضيحي).
• ادعاءات متواضعة: يذكر المؤلفون صراحة أن تجارب العلامات الدقيقة هي "تجسيد ملحوظ واحد" ولا يدعون تحقيق أمن دلالي شامل. يعمل استخدام العلامات الدقيقة (الكنوز) كشاهد كافٍ لانتهاك السياسة ولكنه يقلل من التقدير للانتهاكات الدلالية (مثل الأسرار المعاد صياغتها). تثبت النتائج عدم الأمان للألعاب المختبرة تحديداً؛ وعدم حدوث الانتهاكات لا يشهد على عدم التداخل الدلالي غير المقيد.

في الختام، تجادل الورقة بأن تصميم الوكيل الآمن يتطلب إسقاط الملاحظات الصريح والتحقق من القدرة إلى جانب التعليمات باللغة الطبيعية، بدلاً من الاعتماد على التعليمات وحدها لتحديد المحيط الأمني.