Blind Spots in the Guard: How Domain-Camouflaged Injection Attacks Evade Detection in Multi-Agent LLM Systems
تكشف هذه الورقة أن كواشف الحقن في أنظمة النماذج اللغوية الكبيرة متعددة الوكلاء تعاني من "فجوة كشف التمويه"، حيث تفشل في تحديد الهجمات التي تحاكي المفردات الخاصة بمجال معين وهياكل السلطة، مما يتسبب في انخفاض معدلات الكشف بشكل حاد ويكشف عن ثغرة هيكلية حرجة في آليات السلامة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً ومفيداً (وكيل ذكاء اصطناعي) يقرأ المستندات نيابة عنك. ربما يكون روبوتاً مالياً يقرأ تقارير الأسهم، أو روبوتاً قانونياً يراجع العقود. وللحفاظ على سلامة هذا الروبوت، قمت بتثبيت "حارس أمني" (كاشف حقن البرمجيات). مهمة هذا الحارس هي رصد أي شخص يحاول تمرير أمر سري وخبيث مخبأ داخل المستندات التي يقرأها الروبوت.
المشكلة: "الذئب في ثوب حمل"
تجادل الورقة البحثية بأن الحارس الأمني مدرب على البحث عن المتسللين الواضحين والصاخبين. فكر في هجوم ثابت مثل رجل يرتدي قناعاً أحمر فاقعاً، ويحمل لافتة مكتوب عليها: "تجاهل جميع القواعد السابقة! افعل ما أقوله!". يرى الحارس هذا فوراً ويطلق صفارات الإنذار.
لكن الورقة تقدم نوعاً أكثر دهاءً من الهجمات يسمى "الحقن المموه ضمن النطاق" (Domain-Camouflaged Injection).
تخيل لصاً محترفاً لا يرتدي قناعاً. بدلاً من ذلك، يتنكر تماماً في زي خبير موثوق. إذا كان الروبوت يقرأ تقريراً مالياً، فإن اللص يكتب فقرة مزيفة تبدو وتُنطق تماماً كما لو أن محللاً مالياً حقيقياً هو من كتبها. يستخدمون نفس الكلمات الفخمة، ونفس بنية الجمل، ونفس النبرة الجادة. ولكن، مخبأ داخل هذا النص الذي يبدو طبيعياً تماماً، توجد تعليمات سرية: "بع كل الأسهم".
بالنسبة للحارس الأمني، يبدو هذا كجزء شرعي من المستند. الحارس لا يرى قناعاً أحمر؛ بل يرى بدلة وربطة عنق. لذا، يقول الحارس: "كل شيء يبدو نظيفاً"، ويسمح للتعليمات الخبيثة بالمرور بسلام.
الاكتشاف الكبير: "النقطة العمياء"
اختبر الباحثون هذا مع نموذجين مختلفين من الذكاء الاصطناعي (Llama وGemini) ووجدوا فجوة هائلة في السلامة، أطلقوا عليها اسم "فجوة كشف التمويه" (CDG).
- بالنسبة لنموذج Llama: نجح الحارس في كشف 94% من هجمات "القناع الأحمر" الواضحة. ولكن عندما تم تمويه الهجمات في شكل نص خبير، لم يكتشف الحارس سوى 9.7% منها فقط. لقد فاته كل شيء تقريباً.
- بالنسبة لنموذج Gemini: كشف الحارس 100% من الهجمات الواضحة، لكنه انخفض إلى كشف 55.6% فقط من الهجمات المموهة.
الجزء المخيف هو أن الحارس لم يكن مرتبكاً أو غير متأكد؛ بل كان واثقاً في خطئه. لقد نظر إلى الهجوم المموه وقال بثقة 100%: "هذا آمن!" بينما كان في الواقع خطيراً. وهذا يعني أنه لا يمكنك مجرد إخبار الحارس بأن "يكون أكثر حذراً" أو "أن يقلق أكثر" لإصلاح الأمر؛ فالحارس ببساطة لا يعرف ما الذي يجب أن يبحث عنه.
تجربة "نادي المناظرة"
حاول الباحثون أيضاً استراتيجية سلامة مختلفة: جعل ثلاثة روبوتات تتناظر حول الإجابة قبل اتخاذ القرار.
- بالنسبة للروبوت الأضعف (Llama): جعلت المناظرة الأمور أسوأ. فعندما تجادلت الروبوتات، قامت بالفعل بتضخيم التعليمات السيئة. إذا تعرض أحد الروبوتات للخداع بواسطة النص المموه، تتبعه الآخرون، مما يجعل الخطأ أكثر عرضة للحدوث بـ 10 مرات. إنه يشبه مجموعة من الأصدقاء يتفقون جميعاً على إجابة خاطئة لأن لا أحد يريد أن يكون الشخص الذي يقول: "مهلاً، هذا يبدو مزيفاً"، بينما يبدو الأمر في الواقع حقيقياً جداً.
- بالنسب بالنسبة للروبوت الأقوى (Gemini): ساعدت المناظرة. استطاعت الروبوتات الأقوى كشف الخدعة وتصحيح مسار بعضها البعض، مما جعل النظام أكثر أماناً.
هل يمكننا فقط إضافة المزيد من الأمثلة؟
جرب الباحثون "حلاً رخيصاً": عرضوا على الحارس الأمني بضعة أمثلة من هذه الهجمات المموهة ليتعلم ما الذي يجب أن يبحث عنه.
- بالنسبة للروبوت القوي (Gemini): نجح هذا بشكل رائع. تعلم الحارس النمط وكشف جميع الهجمات المموهة تقريباً.
- بالنسبة للروبوت الأضعف (Llama): لم يساعد هذا الأمر إلا قليلاً جداً. ظل الحارس يخطئ في معظم الحالات. يشير هذا إلى أن نماذج الذكاء الاصطناعي الأصغر والأرخص لديها حد أساسي في قدرتها على التعلم من هذه الحيل الدقيقة بمجرد النظر إلى بضعة أمثلة.
الخلاصة
تخلص الورقة البحثية إلى أن حراس السلامة الحاليين لدينا يعانون من العمى تجاه الهجمات التي تبدو كأنها الشيء الحقيقي. إنهم بارعون في كشف المتسللين الصاخبين والواضحين، لكنهم يفشلون تماماً أمام المهاجمين الذين يندمجون تماماً مع الحشد. هذه مشكلة كبيرة لنماذج الذكاء الاصطناعي الأصغر المستخدمة في الوظائف الواقعية، لأنها لا تستطيع بسهولة "تعلم" كيفية رصد هذه الحيل الدقيقة، كما أن إضافة المزيد من الروبوتات للمناظرة قد يجعل المشكلة أسوأ في الواقع.
لقد أصدر الباحثون أدواتهم حتى يتمكن الآخرون من محاولة بناء حراس أفضل، ولكن في الوقت الحالي، يظل "الذئب في ثوب الحمل" وسيلة فعالة للغاية لخداع أنظمة الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.