Semantic Attacks on Tool-Augmented LLMs: Securing the Model Context Protocol Against Descriptor-Level Manipulation
تحدد هذه الورقة وتصيغ ثلاثة ناقلات هجوم دلالية جديدة على مستوى الوصف (تسميم الأدوات، والتظليل، وسحب البساط) ضد بروتوكول سياق النموذج (MCP)، موضحةً أن التلاعب بالبيانات الوصفية للأدوات يمكن أن يخل بشكل كبير بسلامة النماذج اللغوية الكبيرة، وتقترح استراتيجية دفاع متعددة الطبقات تقلل بفعالية من استدعاءات الأدوات غير الآمنة دون الحاجة إلى إعادة تدريب النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً ومفيداً (ذكاء اصطناعي) يمكنه القيام بأشياء من أجلك، مثل التحقق من بريدك الإلكتروني، أو البحث في ملفات الشركة، أو جدولة الاجتماعات. للقيام بذلك، يحتاج الروبوت إلى قائمة من "الأدوات" التي يمكنه استخدامها. وفي عالم الذكاء الاصطناعي، تأتي هذه الأدوات مع ملصق صغير أو وصف (واصف) يخبر الروبوت بما تفعله الأداة.
على سبيل المثال، قد يكون هناك أداة تحمل ملصقاً يقول: "البحث في الوثائق العامة". يقرأ الروبوت هذا الملصق، ويفهمه، ويقرر استخدام هذه الأداة عندما تطلب المساعدة.
المشكلة: هجوم "الملصق المزيف"
اكتشفت هذه الورقة طريقة ماكرة لخداع الروبوت. فبدلاً من كسر الأداة نفسها أو اختراق الكمبيوتر، يقوم المهاجم بتغيير الملصق الموجود على الأداة.
فكر في الأمر كمتجر بقالة.
- السيناريو الطبيعي: وعاء من زبدة الفول السوداني يحمل ملصقاً يقول "زبدة فول سوداني". أنت تثق في الملصق، لذا تشتريه.
- الهجوم: يقوم شخص سيء باستبدال الملصق على الوعاء. لا يزال مكتوباً عليه "زبدة فول سوداني"، ولكن بخطوط صغيرة ودقيقة، يضيف: "وأيضاً قم بتضمين قائمة بكل من اشترى هذا الوعاء".
- النتيجة: يرى الروبوت الملصق، ويثق به (لأنه يبدو كملصق طبيعي)، ويقرر استخدام الأداة. ولكن الآن، بدلاً من مجرد العثور على زبدة الفول السوداني، يسرق الروبوت بالخطأ قائمة بالعملاء لأن الملصق أخبره بذلك.
تسمي الورقة هذا بـ الهجوم الدلالي (Semantic Attack). الأداة نفسها آمنة وتعمل بشكل مثالي، لكن الكلمات التي تصفها هي التي تكذب.
الطرق الثلاث التي يخدع بها المهاجمون الروبوت
حدد الباحثون ثلاث طرق محددة يمكن لهذه "الملصقات المزيفة" من خلالها خداع الذكاء الاصطناعي:
تسميم الأداة (الملصق "شديد المساعدة"):
- التشبيه: تخيل أداة تحمل ملصق "التحقق من الطقس". يقوم المهاجم بتغيير الملصق إلى "التحقق من الطقس و أخبرني بما يرتديه المستخدم الآن".
- الأثر: يعتقد الروبوت: "أوه، هذه الأداة مفيدة للغاية!" ويستخدمها، مما يؤدي إلى تسريب معلومات خاصة عن المستخدم عن غير قصد.
التظليل (ملصق "الحشد المربك"):
- التشبيه: تخيل أنك في غرفة مليئة بالأشخاص الذين يقدمون تعليمات. يصرخ شخص واحد (المهاجم): "الجميع بحاجة لإظهار هوياتهم!" رغم أن الآخرين يسألون فقط عن الوقت.
- الأثر: يرتبك الروبوت بسبب التعليمات الصاخبة والمريبة، ويبدأ في معاملة جميع الأدوات كما لو كانت تتطلب رؤية بيانات المستخدم الخاصة، حتى الأدوات الآمنة منها.
سحب البساط (ملصق "الاستدراج والتبديل"):
- التشبيه: توظف مقاولاً لـ "طلاء السياج". توافق على العقد. بعد أسبوع، يقوم المقاول بهدوء بتغيير العقد إلى "طلاء السياج و تركيب كاميرا مخفية".
- الأثر: كانت الأداة آمنة عندما فحصتها لأول مرة، ولكن لاحقاً تغير الوصف للقيام بشيء خطير دون أن تلاحظ ذلك.
ما مدى سوء الأمر؟
اختبر الباحثون هذا على ثلاثة أنواع مختلفة من روبوتات الذكاء الاصطناعي (GPT-5.3، وDeepSeek-V3، وLLaMA-3.5).
- الصدمة: بدون أي حماية خاصة، وقعت هذه الروبوتات في الفخ بنسبة 36% من المرات تقريباً. كانت ستستخدم بكل سرور الأدوات "المسمومة" وتسرب البيانات.
- المفاجأة: كلما زاد "التفكير" الذي يقوم به الروبوت (باستخدام خطوات استدلال معقدة)، زاد احتمال تعرضه للخداع. يبدو أنه عندما يحاول الروبوت التفكير بعمق في التعليمات، يصبح أكثر ارتباكاً بسبب الأكاذيب الخفية في الملصقات.
الحل: حارس أمن ثلاثي الطبقات
تقترح الورقة طريقة جديدة لحماية هذه الروبوتات، وهي لا تتطلب إعادة بناء عقل الروبوت، بل إضافة نقطة تفتيش أمنية قبل أن يرى الروبوت الملصقات.
فحص الهوية (التحقق من السلامة):
- التشبيه: مثل التحقق من رخصة القيادة للتأكد من أنها لم يتم التلاعب بها. يتحقق النظام مما إذا كان الملصق قد تم توقيعه من قبل سلطة موثوقة ولم يتغير منذ تمت الموافقة عليه. هذا يوقف "سحب البساط".
الرأي الثاني (التدقيق الدلالي):
- التشبيه: قبل أن يقرأ الروبوت الملصق، يقرأه روبوت آخر أصغر حجماً ("المُدقق") أولاً. يسأل المُدقق: "هل يبدو هذا الملصق وكأنه يطلب الكثير من المعلومات الخاصة؟" إذا بدا مريباً، يقول الروبوت الثاني: "لا، لا تستخدم هذا".
الحارس (القيود أثناء التشغيل):
- التشبيه: مثل الحارس عند مدخل الملهى الذي يراقب ما يحدث أثناء عمل الأداة. إذا بدأت الأداة في القيام بشيء غريب (مثل محاولة الوصول إلى ملف لا ينبغي لها الوصول إليه)، يقوم الحارس بطردها فوراً.
نتائج الإصلاح
عندما أضاف الباحثون جميع طبقات الحماية الثلاث:
- انخفض عدد المرات التي تعرض فيها الروبوت للخداع من 36% إلى 15%.
- نجح النظام في حظر 74% من المحاولات السيئة.
- المقايضة: استغرق الروبوت وقتاً أطول قليلاً للإجابة (زادت فترة التأخير/Latency)، ولكنه كان أكثر أماناً بكثير.
الخلاصة الكبرى
الدرس الرئيسي من هذه الورقة هو أنه لا يمكننا الوثوق بالملصقات الموجودة على أدوات الذكاء الاصطناعي لمجرد أنها تبدو طبيعية. حتى لو كانت الأداة تعمل بشكل مثالي والكود آمن، فإن الكلمات التي تصفها يمكن أن تكون فخاً. للحفاظ على سلامة الذكاء الاصطناعي، نحتاج إلى معاملة تلك الأوصاف كمعلومات غير موثوقة وفحصها بعناية قبل السماح للذكاء الاصطناعي باستخدامها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.