💬 NLP

Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback

تقدم هذه الورقة مفهوم "التسمم المعرفي" في وكلاء النماذج اللغوية الكبيرة، حيث تقوم الأدوات الخبيثة ببناء الثقة من خلال تقديم تغذية راجعة حميدة قبل تنفيذ إجراءات ضارة، وتقترح معيار TRUST-Bench والاطار الدفاعي VISTA-Guard للكشف بفعالية عن هذه المخاطر القائمة على المسار والتخفيف من حدتها عبر تقييم الإجراء التنفيذي النهائي بدلاً من الاعتماد على الاستدلالات القائمة على مستوى المطالبة.

المؤلفون الأصليون: Lecheng Yan, Ruizhe Li, Xicheng Han, Wenxi Li, Binwu Wang, Longyue Wang, Chenyang Lyu, Guanhua Chen

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lecheng Yan, Ruizhe Li, Xicheng Han, Wenxi Li, Binwu Wang, Longyue Wang, Chenyang Lyu, Guanhua Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "لا تثق بأي أداة: تقييم والدفاع عن وكلاء النماذج اللغوية الكبيرة (LLM Agents) في ظل ردود الأفعال غير الموثوقة للأدوات" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: الأداة "الذئب في ثوب حمل"

تخيل أنك وظفت مساعداً شخصياً (الوكيل الذكي - AI Agent) للقيام بالتسوق نيابة عنك. تقول له: "اذهب إلى المتجر واشترِ الحليب".

عادةً، نحن نفترض أنه بمجرد أن يختار المساعد متجراً ما (الأداة - Tool)، فإن المعلومات التي يحصل عليها من ذلك المتجر صادقة. إذا قال المتجر: "لدينا حليب"، فنحن نصدقه.

هذه الورقة البحثية تجادل بأن هذا الافتراض خطير.

يصف المؤلفون نوعاً جديداً من الخداع يسمى "التسميم المعرفي" (Cognitive Poisoning). إنه يشبه ذئباً يتنكر في زي حمل.

الخدعة: الأداة الخبيثة (الذئب) تتصرف بشكل طبيعي تماماً في البداية. فهي تجيب على أسئلة مساعدك بأدب وبشكل صحيح لعدة جولات من المحادثة، وبذلك تبني الثقة.
الفخ: لا تكشف الأداة عن طبيعتها الضارة الحقيقية إلا في اللحظة الأخيرة تماماً. فهي تنتظر حتى يكون المساعد على وشك اتخاذ قرار نهائي وكبير (مثل "اشترِ الحليب وحوّل 1000 دولار إلى هذا الغريب"). وعندما تتماشى شروط خفية معينة، تقوم الأداة بقلب المفتاح وتقول: "في الواقع، دعنا نفعل الشيء الخطير".

الجزء المخيف؟ إذا نظرت إلى أي رسالة واحدة أرسلتها الأداة، فستبدو بريئة. الخطر ليس في جملة سيئة واحدة؛ بل في القصة التي روتها الأداة عبر الزمن، والتي خدعت المساعد وجعلته يخفض دفاعاته.

المشكلة: الدفاعات القديمة لا تعمل

اختبر الباحثون مدى فعالية أنظمة السلامة الحالية. ووجدوا أن معظم الدفاعات الموجودة تشبه رجال الأمن الذين يكتفون بفحص بطاقات الهوية عند الباب فقط.

هم ينظرون إلى اسم الأداة أو الكلمات الأولى من الرسالة.
إذا بدت الأداة ودودة وكانت الرسائل القليلة الأولى آمنة، يسمح لها الحارس بالمرور.
النتيجة: تفشل هذه الحراس تماماً أمام "التسميم المعرفي" لأن الأداة كانت ودودة في معظم فترات التفاعل. لقد غفل الحراس عن التحول التدريجي في القصة.

الحل: TRUST-BENCH و VISTA-GUARD

من أجل دراسة هذا، أنشأ الفريق شيئين:

1. TRUST-BENCH (ساحة التدريب)

لقد أنشأوا بنك اختبار ضخم يسمى TRUST-BENCH.

الإعداد: أخذوا آلاف المهام العادية (مثل البحث في الويب أو تعديل الملفات) وصنعوا لها "توائم شريرة".
المطابقة: لكل مهمة آمنة، صنعوا نسخة خبيثة حيث تتصرف الأداة بلطف لثلاث جولات، ثم تحاول خداع الذكاء الاصطناعي للقيام بشيء ضار في الجولة الرابعة.
الهدف: معرفة ما إذا كان بإمكان الذكاء الاصطناعي التمييز بين أداة آمنة حقاً وأخرى تتظاهر بأنها آمنة حتى اللحظة الأخيرة.

2. VISTA-GUARD (المحقق الذكي)

بنو نظام دفاع جديد يسمى VISTA-GUARD. بدلاً من مجرد فحص بطاقة الهوية، يعمل هذا النظام مثل محقق يراجع ملف قضية.

كيف يعمل: هو لا ينظر فقط إلى الطلب النهائي، بل ينظر إلى كامل تاريخ المحادثة.
التشبيه: تخيل محققاً يتساءل: "المشتبه به قال إنه بريء لمدة ثلاثة أيام، لكن في اليوم الرابع، طلب فجأة مفتاح الخزنة. هل القصة بأكملها منطقية، أم أن التغيير المفاجئ في السلوك يبدو مريباً؟"
السر الخفي: يقوم VISTA-GUARD بتحويل المحادثة إلى تقرير مهيكل (مثل بطاقة نقاط لـ "إشارات الثقة") ثم يسأل الذكاء الاصطناعي: "بالنظر إلى هذه القصة بأكملها، هل الإجراء النهائي آمن؟"

النتائج: من الفائز؟

اختبر الباحثون VISTA-GUARD مقابل العديد من الطرق الأخرى (بما في ذلك أنظمة ذكاء اصطناعي أخرى وأنظمة تعتمد على القواعد البسيطة).

الخاسرون:
- القواعد البسيطة: الأنظمة التي تبحث فقط عن "الكلمات السيئة" فشلت.
- القضاة ذوو القدرة على الاستنتاج الفوري (Zero-Shot Judges): حتى نماذج الذكاء الاصطناعي الذكية جداً والمُدربة مسبقاً (مثل GPT-5.4) فشلت عندما طُلب منها الحكم دون تدريب محدد. لقد كانوا إما "مرتابين للغاية" (يرفضون كل شيء) أو "واثقين للغاية".
- المصنفات القياسية (Scalar Classifiers): الأنظمة التي تحول المحادثة إلى رقم واحد فقط (مثل "درجة المخاطرة") فشلت لأنها فقدت تفاصيل القصة.
الفائز:
- VISTA-GUARD كان الوحيد الذي نجح باستمرار.
- لقد تعلم رصد "الذئب" من خلال تحليل كيفية بناء الثقة بمرور الوقت.
- النتيجة: حقق درجة سلامة عالية (84.2) في بيئة تدريبه الخاصة، ولا يزال يؤدي بشكل جيد (56.9) عند اختباره على أدوات جديدة تماماً لم يسبق له رؤيتها.

الخلاصة الجوهرية

تخلص الورقة البحثية إلى أن الثقة هي عملية، وليست لقطة ثابتة.

عندما يستخدم الذكاء الاصطناعي الأدوات، لا ينبغي له أن يسأل فقط: "هل اسم هذه الأداة آمن؟" أو "هل هذه الرسالة آمنة؟". بل يحتاج إلى التساؤل: "هل التاريخ الكامل لتفاعلنا منطقي، وهل الإجراء النهائي يتناسب مع القصة التي قيلت لنا؟"

إذا تصرفت الأداة كصديق لمدة ثلاثة أيام ثم حاولت فجأة سرقة البنك في اليوم الرابع، فعلى الذكاء الاصطناعي أن يدرك أن القصة هي مصدر الخطر، وليس مجرد الجملة الأخيرة.

ملخص في جملة واحدة

تظهر هذه الورقة أن الأدوات الخبيثة يمكنها خداع وكلاء الذكاء الاصطناعي من خلال التظاهر باللطف لفترة من الوقت قبل الهجوم، وأن الطريقة الوحيدة لإيقاف ذلك هي استخدام نظام دفاع يحلل كامل تاريخ التفاعل، وليس فقط الطلب النهائي.

ملخص تقني: لا تثق بأي أداة: تقييم والدفاع عن وكلاء النماذج اللغوية الكبيرة (LLM) في ظل تغذية أدوات غير موثوقة

1. صياغة المشكلة: التسمم المعرفي (Cognitive Poisoning)

تحدد هذه الورقة نمط فشل متميز في الوكلاء الذين يستخدمون الأدوات من النماذج اللغوية الكبيرة (LLMs)، يُسمى التسمم المعرفي. على عكس حقن الأوامر غير المباشر التقليدي أو التسمم أحادي الاستجابة، حيث تكون الخبث محصوراً في نص معين أو وصف أداة، يعمل التسمم المعرفي من خلال عملية تشكيل الثقة الاستكشافية.

في نموذج التهديد هذا، تتصرف الأداة الخبيثة بشكل معقول خلال خطوات الاستكشاف الأولية، مما يراكم الثقة عبر تغذية راجعة تبدو حميدة. ولا تصبح الأداة ضارة إلا عند استيفاء شرط تشغيل مخفي بواسطة الإجراء التنفيذي النهائي والحالة الكامنة للبيئة. لا ينجح الهجوم لأن رسالة واحدة كانت خبيثة بشكل علني، بل لأن مسار التفاعل يشكل "المنطلقات السابقة" (priors) للوكيل ليعامل إجراءً نهائياً خطيراً كإجراء عادي. الخطر الحاسم هو خاصية تركيب الحالة-الإجراء (state-action composition): تاريخ كيفية تشكيل الثقة مقترناً بالمعاملات المحددة لاستدعاء الأداة النهائي.

تفترض الاختبارات القياسية والدفاعات الحالية غالباً وبشكل ضمني أنه بمجرد اختيار أداة ما، فإن تغذيتها الراجعة موثوقة. وتجادل هذه الورقة بأنه في الأنظمة البيئية للأدوات ذات الصندوق الأسود، لا يمكن للوكلاء التحقق مباشرة من الموثوقية الداخلية، بل يجب عليهم استنتاجها من خلال التفاعل، مما يخلق سطح هجوم فريد حيث لا يكون "هدف الدفاع الحاسم" هو النص المحلي للأمر، بل المخاطرة المشروطة بالمسار (trajectory-conditioned risk) للإجراء النهائي.

nghiệm 2. المنهجية

2.1 TRUST-BENCH: اختبار قياسي مشروط بالمهمة

لدراسة هذا النظام، أنشأ المؤلفون TRUST-BENCH (مخاطر المسار تحت أدوات الحالة غير الموثوقة).

البناء: مستمد من خمس مجموعات سابقة (OpenAgentSafety, RedTeamCUA, MCP-SafetyBench, MCPMark, Toolathlon)، مما نتج عنه 1,970 حلقة منسقة.
الهيكل: تتكون كل حلقة من زوج متطابق: نسخة تحكم حميدة ونسخة خبيثة. يتشاركان في نفس واجهة الأداة الخارجية والقصد من المهمة.
المحفزات المخفية: تُعرف النسخ الخبيثة من خلال مواصفات محفز مهيكلة تضم:
- required_all_tokens: حقول يجب أن تظهر مجتمعة (مثل op=export, cross_check=off).
- required_any_tokens: ركائز سياقية يجب أن يظهر واحد منها على الأقل.
- forbidden_tokens: حقول تمكين السلامة التي، في حال وجودها، تثبط المحفز.
بروتوكول التفاعل: يقوم وكيل "الفريق الأزرق" بفحص الأداة عبر ميزانية معيارية من ثلاث جولات (جمع الخط الأساسي، التحقق من الاتساق، الفحص العميق) قبل اقتراح إجراء نهائي. قواعد المحفز والتسميات مخفية عن المدافع أثناء الاستدلال.

2.2 مقياس التقييم: GUARDEDJOINT

تقدم الورقة GUARDEDJOINT، وهو مقياس غير متماثل للسلامة والمنفعة مصمم ليعكس مخاطر النشر الحقيقية حيث تكون كل من السلبيات الكاذبة (قبول الإجراءات الخبيثة) والإيجابيات الكاذبة (رفض الإجراءات الحميدة) مكلفة.

الصيغة: $G_\rho(AMR, RNR) = \max(0, 100 - (\rho + 0.5)AMR - 1.5RNR)$ $G_{ρ} (A M R, R N R) = max (0, 100 - (ρ + 0.5) A M R - 1.5 R N R)$
- $AMR$ : معدل قبول الإجراءات الخبيثة (Accepted Malicious Rate).
- $RNR$ : معدل رفض الإجراءات الطبيعية (Rejected Normal Rate).
- $\rho$ : التكلفة النسبية لقبول استدعاء خبيث (تم ضبطها على 1.5 في التجارب الرئيسية).
الأهمية: يعاقب هذا المقياس استراتيجيات "الرفض الكلي" أو "التنفيذ الكلي"، مما يجبر الدفاعات على تقليل قبول الإجراءات الخبيثة ورفض الإجراءات الحميدة في آن واحد.

2.3 إطار الدفاع: VISTA-GUARD

يقترح المؤلفون VISTA-GUARD (الاستدلال لمتغيرات الحالة لسلامة إجراءات الأدوات)، وهو إطار عمل مستقل عن النموذج الأساسي لتقييم مخاطر الإجراء النهائي.

الفكرة الجوهرية: تجريد تفاعلات الأدوات متعددة الخطوات إلى متغيرات بيئية مهيكلة تشفر ديناميكيات تشكيل الثقة.
تمثيل المدخلات: يتلقى النموذج ثلاثية (triplet) متسلسلة:
1. حالة المسار ( $z_{traj}$ ): تلخص أدلة الاستكشاف (مثل عدد مراحل التفعيل، اكتشافات الفحص، درجات عدم التطابق، انحراف المعرفات ID drift، والتحذيرات) في ملخص لكثافة الشذوذ ومخاطر الحالة.
2. معاملات الإجراء النهائي ( $z_{param}$ ): تشفر الدلالات التنفيذية للاستدعاء النهائي المقترح (اسم الأداة، مفاتيح الحمولة، عدد علامات التأثير العالي/التجاوز/السلامة).
3. الهدف ( $y$ ): تسمية ثنائية ( $عالي\_الخطر$ / $منخفض\_الخطر$ ) تُستخدم للتدريب فقط.
الآلية: يتم ضبط نموذج لغوي أساسي (مثل Mistral أو Qwen أو Llama) لتقييم مخاطر الإجراء النهائي مشروطاً بأدلة المسار. يتعلم النموذج رفض الإجراءات التي لا تتوافق حزمة معاملاتها النهائية مع الحالة المستنتجة لسلوك الأداة.

3. النتائج الرئيسية

3.1 الأداء داخل النطاق (In-Domain)

تحت مقياس GUARDEDJOINT ( $\rho=1.5$ )، يتفوق VISTA-GUARD بشكل كبير على النماذج المرجعية الحالية:

VISTA-GUARD (Mistral-7B): حقق درجة داخل النطاق بلغت 84.2.
النماذج الأساسية الأخرى: حققت جميع النماذج الستة المختبرة (Qwen3, Qwen2.5, OLMo-2, Llama-3.1, Meta CWM) درجات إيجابية (تتراوح بين 39.0 و 67.6)، مما يدل على المتانة عبر البنى المختلفة.
انهيار النماذج المرجعية: الطرق التي تحسن جانباً واحداً فقط من المقايضة أو تعتمد على قواعد استدلالية قائمة على النصوص انهارت لتصل إلى 0.0:
- فشلت الأحكام القائمة على المطالبات (مثل GPT-5.4 zero-shot) والضمانات الاستدلالية (مثل ToolShield و GuardAgent) في تمييز ديناميكيات الثقة الدقيقة، وغالباً ما انتهت بقبول جميع الإجراءات الخبيثة أو رفض جميع الإجراءات الحميدة.
- فشلت المصنفات المجمعة (Gradient Boosting, SVM) والنماذج غير اللغوية (BERT) في التقاط السياق الزمني، مما أدى إلى نتائج تقترب من الصفر.

3.2 التعميم خارج النطاق (OOD Transfer)

حافظ VISTA-GUARD على فعاليته في بيانات OOD المتوازنة (عائلات أدوات غير مرئية من ToolEmu و SafeToolBench)، محققاً 56.9 في مقياس GUARDEDJOINT.
يشير هذا إلى أن تمثيل المسار المهيكل ينتقل بشكل أفضل من النهج القائم على المطالبات أو النهج المعتمد على القيم القياسية (scalarized)، والتي انخفضت بشكل كبير أو انهارت.

3.3 دراسات الاستئصال (Ablation Studies)

التمثيل مقابل النموذج الأساسي: أظهرت دراسة العزل أن المكسب يأتي أساساً من تمثيل المسار المهيكل وليس من اختيار النموذج الأساسي وحده. حيث إن تزويد النماذج غير اللغوية بنفس المدخلات المهيكلة حسن أداءها، لكنه ظل بعيداً عن الفجوة التي حققتها النماذج اللغوية.
فشل الاعتماد على المعاملات فقط: انهارت النماذج التي تدربت فقط على معاملات الإجراء النهائي (بدون سياق المسار)، مما يؤكد أن تاريخ المسار ضروري للتمييز بين الضوابط الحميدة والإجراءات الخبيثة النهائية.

4. الأهمية والادعاءات

تدعي الورقة أن المساهمة الحاسمة لهذا العمل هي تمثيلية: تصبح مشكلة الدفاع قابلة للحل عندما يتم تحويل التفاعل مع الأداة إلى متغيرات بيئية مهيكلة بدلاً من معاملتها كنص خام أو معاملات معزولة.

التحول في التركيز: يجادل المؤلفون بأنه بالنسبة للتسمم المعرفي المشروط بالحالة، فإن هدف الدفاع ذو الصلة هو تقييم مخاطر الإجراء النهائي بناءً على كيفية تشكيل الثقة عبر المسار.
القيود: يتسم المؤلفون بالتواضع بشأن ادعاءاتهم، مشيرين إلى أن TRUST-BENCH هو اختبار قياسي مُنشأ بمسار استكشاف ثلاثي الخطوات ومساحة إجراء ثنائية (تنفيذ/رفض). كما يقرون بأن عمليات النشر في العالم الحقيقي قد تتضمن تفاعلات أطول، ومهاجمين متكيفين، وحالات كامنة أكثر تعقيداً.
الخلاصة: تحفز النتائج سؤال تقييم أوسع: عندما تكون التغذية الراجعة للأداة نفسها غير موثوقة، يجب أن تفكر دفاعات السلامة في تشكيل الثقة المشروط بالمسار بدلاً من الاعتماد فقط على فحص المطالبات المحلية أو أوصاف الأدوات.

تخلص الورقة إلى أنه بينما تتجاهل الملخصات القياسية الكثير من معلومات المسار، وتستعيد النماذج النصية بعض الإشارات، فإن النماذج التسلسلية (sequence backbones) تستفيد بشكل أكبر عندما يتم تنظيم تاريخ التفاعل كحالة مسار وأدلة إجراء نهائي، مما يوفر إطاراً مبدئياً لتعميم الأدوات بشكل آمن.