🤖 AI

Spider-Sense: Intrinsic Risk Sensing for Efficient Agent Defense with Hierarchical Adaptive Screening

تقترح هذه الورقة "Spider-Sense"، وهو إطار عمل للدفاع عن الوكيل قائم على الأحداث، يستخدم استشعار المخاطر الجوهرية لتفعيل آلية فحص هرمية ومستقلة بشكل انتقائي، مما يحقق أداءً أمنياً فائقاً مع حد أدنى من زمن التأخير مقارنة بنماذج التحقق الإلزامي التقليدية.

المؤلفون الأصليون: Zhenxiong Yu, Zhi Yang, Zhiheng Jin, Shuhe Wang, Heng Zhang, Yanlin Fei, Lingfeng Zeng, Fangqi Lou, Shuo Zhang, Tu Hu, Jingping Liu, Rongze Chen, Xingyu Zhu, Kunyi Wang, Chaofa Yuan, Xin Guo, Zhaowei

نُشر 2026-02-09

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhenxiong Yu, Zhi Yang, Zhiheng Jin, Shuhe Wang, Heng Zhang, Yanlin Fei, Lingfeng Zeng, Fangqi Lou, Shuo Zhang, Tu Hu, Jingping Liu, Rongze Chen, Xingyu Zhu, Kunyi Wang, Chaofa Yuan, Xin Guo, Zhaowei Liu, Feipeng Zhang, Jie Huang, Huacan Wang, Ronghao Chen, Liwen Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً ومستقلاً (عميل ذكاء اصطاني) يمكنه تصفح الويب، والتحقق من حسابك البنكي، وكتابة الأكواد البرمجية، وحجز الرحلات الجوية نيابة عنك. المشكلة هي أن هذا الروبوت متحمس جداً للمساعدة لدرجة أنه قد يتبع خدعة ما عن طريق الخطأ. يمكن لمخترق أن يهمس بأمر سري في أذنه، وقد يفكر الروبوت: "أوه، يجب أن أحذف جميع ملفاتي!" أو "يجب أن أرسل المال إلى هذا الغريب!".

حالياً، تعمل معظم الأنظمة الأمنية لهذه الروبوتات مثل حارس أمن صارم عند كل باب. في كل مرة يفكر فيها الروبوت، أو يخطط، أو يتصرف، أو يقرأ نتيجة، يقوم حارس بإيقافه، والتحقق من هويته، وسؤاله: "هل هذا آمن؟". هذا آمن، ولكنه بطيء ومزعج للغاية. الأمر يشبه وجود حارس يتحقق من هويتك في كل مرة تخطو فيها خطوة، حتى لو كنت تسير فقط إلى المطبخ. هذا يبطئ العمل ويوقف الروبوت أحياناً عن القيام بأشياء غير ضارة لأن الحارس شديد القلق.

تقترح ورقة البحث "Spider-Sense" فكرة مختلفة تماماً. بدلاً من وضع حارس عند كل باب، فإنهم يمنحون الروبوت قدرة خارقة: "حاسة العنكبوت" الداخلية.

الفكرة الجوهرية: حاسة العنكبوت

تماماً كما يشعر سبايدرمان بوخز في رأسه عندما يقترب الخطر، تمنح هذه المنظومة الجديدة للذكاء الاصطناعي قدرة على الاستشعار الداخلي للمخاطر (IRS).

كيف تعمل: لا يتوقف الروبوت لطلب الإذن عند كل خطوة. بدلاً من ذلك، يبقي "يقظة" منخفضة المستوى تعمل في الخلفية. هو يتوقف فقط ويطلب المساعدة عندما يشعر بـ "وخزة" داخلية لأنه استشعر شيئاً مريباً.
الفائدة: إذا كان الروبوت يقوم بأشياء عادية وآمنة، فإنه يتحرك بسرعة. هو فقط يتباطأ عندما يشعر بتهديد فعلي.

الدفاع: الفحص الأمني "متعدد المستويات"

عندما تشعر "حاسة العنكبوت" بالخطر، لا يصاب الروبوت بالذعر فحسب. بل يستخدم عملية أمنية ذكية من خطوتين تسمى الفحص الهرمي التكيفي (HAS):

المسح السريع (فحص "التشابه"): أولاً، يقوم النظام بمقارنة الشيء المريب بسرعة بقاعدة بيانات ضخمة من الخدع المعروفة. الأمر يشبه حارس النادي الذي يتحقق مما إذا كان الشخص يبدو كشخص مثير للمشاكل معروف. إذا كان هناك تطابق واضح، يقول الحارس: "ممنوع الدخول"، فوراً. هذا سريع جداً.
الغوص العميق (فحص "المحقق"): إذا لم يكن المسح السريع متأكداً (ربما كانت الخدعة جديدة أو مراوغة)، ينتقل النظام إلى وضع "التفكير العميق". هذا يشبه استدعاء محقق ليفكر بعمق في الموقف، وينظر في السياق، ويقرر ما إذا كان الأمر خطيراً حقاً.

بهذه الطاء، يتجنب الروبوت عمليات الفحص المملة والبطيئة للمهام الآمنة، لكنه يظل قادراً على الإمساك بالأشرار بمزيء من السرعة والتفكير العميق.

الاختبار: S2Bench

لإثبات نجاح هذا العمل، قام المؤلفون ببناء اختبار جديد يسمى S2Bench. اعتبر هذا الاختبار بمثابة "دورة تدريب على البقاء" لوكلاء الذكاء الاصطناعي.

على عكس الاختبارات القديمة التي كانت تنظر فقط إلى النصوص، يحاكي S2Bench حياة واقعية حيث يستخدم الروبوت أدوات فعلية (مثل البحث في الويب أو التحقق من قواعد البيانات).
يتضمن الاختبار مهاماً آمنة "صعبة" تبدو خطيرة (للتأكد من أن الروبوت لا يخاف من الأشياء غير الضارة) وهجمات معقدة متعددة الخطوات تحاول خداع الروبوت على مدار فترة زمنية.

النتائج

عندما اختبروا نظام "حاسة العنكبوت" هذا مقابل طرق الأمن الأخرى:

كان أسرع بكثير: لم يضف سوى حوالي 8.3% من الوقت الإضافي لعمل الروبوت، بينما جعلت الطرق الأخرى الروبوت ينتظر وقتاً أطول بكثير.
كان أكثر دقة: أوقف جميع الهجمات تقريباً (معدل نجاح هجوم منخفض) ولكنه نادراً ما منع الروبوت من القيام بأشياء آمنة ومفيدة (معدل إنذارات خاطئة منخفض).
كان أذكى: لم يكتفِ بحظر كل شيء؛ بل فهم متى يتحرك وكيف يتحرك.

الملخص

باختصار، تجادل الورقة بأننا لا ينبغي معاملة أمن الذكاء الاصطناعي كقوة شرطة خارجية صارمة توقف الروبوت عند كل منعطف. بدلاً من ذلك، يجب أن نبني الأمن داخل عقل الروبوت كحاسة طبيعية للخطر. تسمح هذه "حاسة العنكبوت" للذكاء الاصطناعي بأن يكون سريعاً وفعالاً، حيث يتوقف فقط للقتال عندما يشعر حقاً بوجود تهديد قادم.

ملخص تقني: حاسة العنكبوت (Spider-Sense): استشعار المخاطر الجوهرية للدفاع الفعال عن الوكلاء عبر الفرز التكيفي الهرمي

1. بيان المشكلة

مع تطور النماذج اللغوية الكبيرة (LLMs) لتصبح وكلاء مستقلين قادرين على إدراك البيئة، وتخطيط المهام، وتنفيذ الأدوات، توسع نطاق تطبيقها ليشمل مجالات حرجة مثل التمويل، والبرمجة، والتفاعل مع الويب. ومع ذلك، فإن مساحة العمل الموسعة هذه تفرض مخاطر أمنية كبيرة، بما في ذلك حقن الأوامر (prompt injection)، وتسميم الذاكرة (memory poisoning)، والاستغلالات القائمة على الأدوات التي قد تؤدي إلى عواقب في العالم الحقيقي مثل تسريب البيانات والعمليات غير المصرح بها في النظام.

يحدد المؤلفون خللاً جوهرياً في آليات الدفاع الحالية: فهي تعتمد بشكل أساسي على نموذج التحقق الإلزامي. في هذه الأنظمة، يتم تفعيل التحقق الأمني قسراً في مراحل محددة مسبقاً من دورة حياة الوكيل (مثل توليد الإجراء أو استدعاء الأداة) بغض النظر عما إذا كان الخطر موجوداً بالفعل أم لا. يؤدي هذا النهج إلى:

ارتفاع زمن الاستجابة (Latency): كل خطوة تخطيط إضافية أو استدعاء للأداة يتضمن فحصاً أمنياً، مما يسبب تراكماً سريعاً في الأعباء الإضافية في سير العمل المعقد والمتعدد الخطوات.
الإيجابيات الكاذبة (False Positives): تؤدي الفحوصات المتكررة وغير الضرورية إلى تعطيل تفاعلات المستخدم الطبيعية.
مشكلات القابلية للتوسع: تعتمد العديد من الأساليب على نماذج تحقق خارجية، مما يتسبب في تكاليف حوسبية كبيرة ويؤدي إلى تبعيات نظامية تحد من النشر العملي.

تجادل الورقة بأن أمن الوكيل الفعال يجب أن يكون جوهرياً وانتقائياً، بحيث يتدخل فقط عند إدراك خطر حقيقي، بدلاً من أن يكون إجراءً خارجياً منفصلاً ومعمارياً إلزامياً.

2. المنهجية: إطار عمل SPIDER-SENSE

يقدم إطار العمل المقترح SPIDER-SENSE نموذج دفاع قائماً على الأحداث يعتمد على استشعار المخاطر الجوهرية (IRS) والفرز التكيفي الهرمي (HAS).

2.1 استشعار المخاطر الجوهرية (IRS)

يعمل الـ IRS على جعل الأمن وظيفة معرفية أصيلة للوكيل، مما يسم يسمح له بالحفاظ على "حالة كامنة من اليقظة" طوال تدفق التنفيذ الخاص به.

الآلية: يقوم الوكيل بتقييم مؤشر استشعار المخاطر ( $\phi_t^{(k)}$ ) ذاتياً في كل مرحلة من المراحل الأربع الحرجة أمنياً: الاستعلام ( $q$ )، التخطيط ( $P_t$ )، الإجراء ( $a_t$ )، والملاحظة ( $o_t$ ).
التحفيز: بناءً على المنتج الحالي، وسجل التفاعل، وتعليمات النظام، يقرر الوكيل ما إذا كان سينتج مؤشر استشعار. إذا تم إدراك خطر محتمل، يقوم الوكيل بإيقاف التدفق القياسي.
التنفيذ: يقوم الوكيل بتغليف المنتج المشبوه في قالب متخصص (على سبيل المثال، <|sanitize_observation|> لمخرجات الأدوات) وتوجيهه إلى آلية الفحص الأمني. هذه العملية داخلية، ولا تتطلب إشرافًا خارجيًا أو عبئاً معمارياً.

2.2 الفرز التكيفي الهرمي (HAS)

بمجرد التحفيز، يخضع المنتج المشبوه لعملية تحقق ثنائية المستويات مصممة لموازنة الكفاءة والدقة:

الكشف خشن الحبيبات (الفرز السريع):
- يحافظ النظام على قواعد بيانات خاصة بكل مرحلة لمتجهات الهجمات ( $D^{(k)}$ ) تحتوي على تمثيلات متجهية لأنماط الهجوم المعروفة.
- يتم تضمين (Embedding) المنتج الحالي ومقارنته بالأنماط المخزنة باستخدام تشابه جيب التمام (cosine similarity).
- إذا تجاوزت درجة التشابه عتبة معينة ( $\tau^{(k)}$ )، يتم إرجاع نتيجة عالية الثقة فوراً، مما يحل الأنماط المعروفة بأقل زمن استجابة.
التحليل دقيق الحبيبات (التفكير العميق):
- إذا كانت درجة التشابه أقل من العتبة (مما يشير إلى غموض أو أنماط غير معروفة)، يقوم النظام بالتصعيد إلى مرحلة التفكير العميق.
- يقوم نموذج لغوي كبير (LLM) بإجراء تفكير صريح على المنتج الحالي وعلى أكثر $K$ حالة مشابهة تم استرجاعها لإنتاج نتيجة مسببة منطقياً.
صنع القرار: يتلقى الوكيل الرئيسي نتيجة التحقق ويقرر ذاتياً ما إذا كان سيقوم بـ القبول (ACCEPT)، أو الرفض (REJECT)، أو التطهير (SANITIZE) للتنفيذ.

3. المساهمات الرئيسية

استشعار المخاطر الجوهرية (IRS): يقترح المؤلفون نموذجاً يدمج الوعي بالمخاطر مباشرة في تدفق تنفيذ الوكيل عبر التكييف على مستوى التعليمات. وهذا يتيح دفاعاً داخلياً مدفوعاً بالأحداث دون الحاجة لنماذج حراسة خارجية أو فحص مستمر لكل مرحلة.
الفرز التكيفي الهرمي (HAS): آلية مبتكرة توازن تكيفياً بين الكفاءة والدقة. فهي تستخدم قواعد بيانات متجهات الهجمات الخاصة بكل مرحلة لحل التهديدات المعروفة عبر المطابقة المتجهية السريعة، بينما توجه الحالات الغامضة إلى التفكير الداخلي العميق، مما يلغي الاعتماد على النماذج الخارجية لكل عملية فحص.
معيار S2Bench: يقدم المؤلفون S2Bench، وهو معيار مدرك لدورة الحياة مصمم لتقييم اعتراض الوكيل في الموقع بدقة. بخلاف المعايير الثابتة الحالية، يتميز S2Bench بـ:
- متعدد المراحل ومتعدد السيناريوهات: تغطية أربع مراحل للوكيل عبر ثمانية مجالات تطبيق و79 سيناريو للمهام الفرعية.
- تنفيذ أدوات حقيقي: التكامل مع مكتبة أدوات واسعة النطاق (~300 وظيفة) ومحتويات عودة واقعية (أكثر من 100 نوع) بدلاً من النصوص النائبة.
- مطالبات سليمة صعبة (Hard Benign Prompts): 153 عينة سليمة تم بناؤها بعناً لتشبه هياكل الهجمات لاختبار الإفراط في الدفاع والإيجابيات الكاذبة.
- محاكاة هجمات واقعية: محقن خارجي يتلاعب بمخرجات الأدوات واسترجاع الذاكرة ديناميكياً لإحداث انحرافات في التنفيذ تعتمد على الحالة.

4. النتائج التجريبية

قام المؤلفون بتقييم SPIDER-SENSE مقابل الحواجز الواقية الثابتة (مثل LLaMA-Guard 3، وgpt-oss-safeguard) والدفاعات الوكيلية (مثل GuardAgent، وAGrail) باستخدام مجموعات بيانات Mind2Web وeICU وS2Bench.

أداء الدفاع: حقق SPIDER-SENSE أدنى معدل نجاح للهجوم (ASR) وأدنى معدل إيجابيات كاذبة (FPR) عبر جميع المعايير.
- في Mind2Web، باستخدام Claude-3.5، رفع SPIDER-SENSE دقة توقع التسمية (LPA) من 84.8% (الأساس) إلى 95.8% ورفع F1 من 90.3% إلى 92.1%.
- في S2Bench، قلل بشكل كبير من ASR في مرحلة "التخطيط" (وهي نقطة ضعف معروفة للدفاعات الأخرى) إلى 17.7% (Claude-3.5) و20.0% (Qwen-max)، مع الحفاظ على معدل FPR منخفض.
الكفاءة: حقق إطار العمل توازناً فائقاً بين الأمن والمنفعة. فقد تسبب في عبء زمني طفيف قدره 8.3% فقط مقارنة بالأساس، بينما تسببت الدفاعات "المفتوحة دائماً" الموجودة في أعباء تتراوح بين 197% إلى 381%.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة الاستشعار في أي مرحلة واحدة إلى ارتفاع كبير في ASR (على سبيل المثال، +29.9% عند تعطيل الاستشعار في مرحلة الإجراء)، مما يؤكد ضرورة المراقبة كاملة دورة الحياة.
- أدت إزالة مرحلة التحليل دقيق الحبيبات إلى انخفاض كبير في دقة الدفاع، بينما أدت إزالة الكشف خشن الحبيبات إلى تدهور الكفاءة بشكل كبير، مما يثبت صحة التصميم الهرمي.

5. الأهمية والادعاءات

تدعي الورقة أن Spider-Sense يمثل تحولاً من إجراءات الأمن الخارجية الإلزامية إلى الوعي بالمخاطر الجوهري والانتقائي. ومن خلال معاملة الأمن كوظيفة معرفية أصيلة، يسمح إطار العمل للوكلاء بالحفاظ على "يقظة كامنة" وتفعيل الدفاعات فقط عند إدراك الخطر.

يؤكد المؤلفون أن هذا النهج:

يحافظ على المنفعة: من خلال تجنب الفحوصات المتكررة والمستمرة، فإنه يمنع زمن الاستجابة والإيجابيات الكاذبة التي تعيق النشر العملي للوكلاء المعقدين.
يعزز القابلية للتوسع: من خلال الاعتماد على التفكير الداخلي والمطابقة المتجهية خفيفة الوزن بدلاً من نماذج التحقق الخارجية لكل خطوة، فإنه يقلل التكاليف الحوسبية والتبعية للنظام.
يوفر تقييماً قوياً: من خلال S2Bench، يقدم العمل معيار تقييم أكثر واقعية يأخذ في الاعتبار الطبيعة الديناميكية والهجوم المعتمد على الحالة، متجاوزاً اختبارات الحقن النصية الثابتة.

تخلص الورقة إلى أن الوعي بالمخاطر الجوهري هو أساس عملي لأمن الوكلاء القابل للتوسع، مما يسمح للوكلاء بالعمل بأمان في بيئات العالم الحقيقي دون المساس بكفاءتهم أو استقلاليتهم.