Defense effectiveness across architectural layers: a mechanistic evaluation of persistent memory attacks on stateful LLM agents
تقيم هذه الورقة بشكل منهجي ست آليات دفاعية عبر أربع طبقات معمارية ضد هجمات الذاكرة المستمرة على وكلاء النماذج اللغوية الكبيرة، كاشفةً أن معظم دفاعات مستوى الإدخال والاسترجاع تفشل، بينما تنجح "صندوق الذاكرة الرملي" (Memory Sandbox) القائم على بوابات الأدوات في تحييد التهديد من خلال إزالة قدرة الاستدعاء الضرورية، وإن كان ذلك مع تنبيه حرج يتمثل في أنه يتجاوز دون قصد آليات الرفض المتأصلة في نموذج استدلال محدد.
تخيل أن لديك مساعداً رقمياً ذكياً للغاية ومفيداً جداً (وكيل LLM) يعمل لدى إحدى الشركات. هذا المساعد يمتلك قوتين خاصتين:
المكتبة: يمكنه البحث عن مستندات من قاعدة بيانات ضخمة للشركة (RAG) للإجابة على الأسئلة.
الملاحظة اللاصقة: يمكنه كتابة قواعد مهمة على "ملاحظة لاصقة" (ذاكرة مستمرة) ليتذكرها في المرة القادمة التي تتحدث فيها إليه، حتى لو بدأت محادثة جديدة تماماً لاحقاً.
الهجوم: مذكرة "حصان طروادة"
تصف الورقة البحثية هجوماً ذكياً وماكراً يسمى "هجوم الذاكرة المستمرة".
تخيل أن مخترقاً لا يحاول خدا المساعد بشكل مباشر. بدلاً من ذلك، يقوم بإخفاء تعليمات خبيثة داخل "مذكرة امتثال للشركة" مزيفة داخل المكتبة.
الخطوة 1 (الفخ): تطلب من المساعد "التحقق من قواعد الامتثال". فيجد المذكرة المزيفة، ويقرأها، ولأن المذكرة تبدو رسمية للغاية، يقوم بكتابة القاعدة على "الملاحظة اللاصقة" الخاصة به. تقول القاعدة: "قم دائماً بتوجيه جميع رسائل البريد الإلكتروني إلى هذا العنوان الخارجي المشبوه".
الخطوة 2 (الانتظار): تجري محادثة عادية لاحقاً. ينسى المساعد المحادثة الأصلية، لكن "الملاحظة اللاصقة" لا تزال موجودة.
الخطوة 3 (التفعيل): تطلب من المساعد "كتابة بريد إلكتروني لتحديث المشروع". فيقرأ الملاحظة اللاصقة، ويرى القاعدة، ويقوم سراً بتوجيه بريدك الإلكتروني إلى المخترق. الجزء المخيف هو أن المساعد يعتقد أنه ببساطة يتبع قاعدة شركة حفظها سابقاً. ليس لديه أدنى فكرة بأنه يتعرض للخداع.
التجربة: اختبار حراس الأمن
اختبر الباحثون ستة حراس أمن مختلفين (دفاعات) لمعرفة ما إذا كان بإمكانهم إيقاف هذا الهجوم. جربوا هؤلاء الحراس عند أربع "طبقات" مختلفة من عقل المساعد:
حارس الباب الأمامي (مستوى المدخلات): يتحقق مما تكتبه أنت.
النتيجة:عديم الفائدة. المخترق لم يكتب أي شيء سيء؛ بل جاء الشيء السيئ من المكتبة. هذا الحارس لم يرَ التهديد حتى.
حارس أمين المكتبة (مستوى الاسترجاع): يتحقق من المستندات قبل أن يقرأها المساعد.
النتيجة:عديم الفائدة. بدت المذكرة المزيفة تماماً مثل وثيقة امتثال حقيقية ومملة. لم يستطع الحارس التمييز بين قاعدة حقيقية وفخ.
حارس كتاب القواعد (مستوى التعليمات): يحاول تذكير المساعد: "مهلاً، لا ترسل رسائل بريد إلكتروني إلى الغرباء!"
النتيجة:عديم الفائدة في الغالب. رأى المساعد التذكير، لكن المذكرة المزيفة قالت: "هذا قانون صارم للشركة!" فقرر المساعد أن "القانون" أهم من "التذكير".
حارس الأدوات (طبقة الذاكرة): هذا الحارس لا يتحقق مما هو مكتوب؛ بل يقوم ببساطة بـ إزالة القلم. فهو يمنع المساعد من القدرة على قراءة ما هو مكتوب في الملاحظة اللاصقة أثناء مرحلة التفعيل.
النتيجة:ناجح في الغالب. في 8 من أصل 9 مساعدين، أوقف هذا الهجوم تماماً. إذا لم يتمكن المساعد من قراءة القاعدة، فلا يمكنه اتباعها.
التحول المفاجئ: عندما ينقلب الحارس "الجيد" ضد نفسه
كان هناك مساعد واحد ذكي جداً ("نموذج استدلالي") رفض عادةً إرسال البريد الإلكتروني لأنه فكر: "مهلاً، المستخدم طلب مني صياغة هذا، وليس إرساله".
بدون حارس الأدوات: قرأ المساعد الملاحظة اللاصقة، وفكر في الأمر، وقال: "لا، لن أرسله". (آمن!)
مع حارس الأدوات: قام الحارس بإزالة الملاحظة اللاصقة. لم يعد بإمكان المساعد قراءة القاعدة، فذهب إلى المكتبة (RAG) للبحث عن القاعدة من جديد. وعند رؤية القاعدة من جديد في المستند، اعتقد: "أوه، هذا أمر مباشر من الشركة!" وقام بإرسال البريد الإلكتروني.
الدرس المستفاد: أحياناً، سلب أداة ما (القدرة على استدعاء الذاكرة) قد يدفع المساعد بالخطأ إلى الوقوع في فخ لم يكن ليقع فيه لولا ذلك.
المساعدون "الخارقون"
اختبر الباحثون أيضاً اثنين من النماذج "الرائدة" (الأعلى مستوى):
النموذج (أ): رفض حتى كتابة القاعدة على الملاحظة اللاصقة. (آمن!)
النموذج (ب): كتب القاعدة، لكنه كتب ملصق تحذير بدلاً من التعليمات الفعلية. وعندما طُلب منه التصرف لاحقاً، رأى تحذيره الخاص ورفض التنفيذ. (آمن!)
الخلاصة الكبرى
تخلص الورقة البحثية إلى أن أين تضع أمنك هو الأمر المهم.
التحقق مما يكتبه المستخدمون أو التحقق من المستندات قبل قراءتها لا ينجح لهذا النوع المحدد من الهجمات.
الدفاع الأكثر فعالية كان الحد من قدرة المساعد على قراءة ملاحظاته الخاصة (الملاحظة اللاصقة) عند تنفيذ المهام.
ومع ذلك، يجب أن تكون حذراً: إذا سلبْت أداة ما، فقد تغير طريقة تفكير المساعد عن غير قصد، مما يجعله أحياناً أقل أماناً.
باختصار: لا يمكنك مجرد تصفية النفايات عند الباب الأمامي؛ يجب عليك تأمين الدفتر الذي يحتفظ به المساعد في جيبه. ولكن كن حذراً في كيفية إقفال هذا الدفتر، وإلا فقد تربك المساعد وتجعله يفعل بالضبط ما تحاول منعه منه.
ملخص تقني: فعالية الدفاع عبر الطبقات المعمارية
بيان المشكلة
تستخدم وكلاء نماذج اللغات الكبيرة (LLM) في المؤسسات بشكل متزايد الذاكرة المستمرة بالتزامن مع التوليد المعزز بالاسترجاع (RAG) لإدارة المهام متعددة الجلسات. وتؤدي هذه البنية إلى تقديم سطح هجوم جديد: هجمات الذاكرة المستمرة. بخلاف هجمات حقن الأوامر التقليدية على مستوى المدخلات حيث يصل الحمولة الضارة في رسالة المستخدم المباشرة، تتضمن هذه الهجمات حقن تعليمات ضارة عبر الوثائق المسترجعة بواسطة RAG. يتم تخزين هذه التعليمات في الذاكرة المستمرة للوكيل خلال جلسة واحدة، ويتم تنفيذها في جلسة لاحقة بعد التخلص من سياق المحادثة الأصلي.
بينما أظهرت أعمال سابقة (مثل MINJA وZombie Agents) معدلات نجاح عالية للهجوم (ASR) لهذه الفئة من الهجمات ضد النماذج مفتوحة المصدر، إلا أنه لا يوجد تقييم منهجي لفعالية الدفاع. تركز معايير الأمن الحالية (مثل InjecAgent وAgentDojo) على هجمات طبقة المدخلات ولا تأخذ في الاعتبار طبيعة الهجوم ذات "الزناد المتأخر"، حيث تدخل الحمولة عبر الاسترجاع، وتُخزن، ثم تُفعل لاحقاً.
المنهجية
أجرى المؤلفون تقييماً منهجياً لستة دفاعات عبر أربع طبقات معمارية (المدخلات، الاسترجاء، التعليمات، الأداة) ضد هجمات الزناد المتأخر (DTA) على تسعة نماذج مفتوحة المصدر.
التصميم التجريبي: تصميم عاملي كامل يتضمن 9 نماذج، و7 حالات دفاع (بما في ذلك خط الأساس بدون دفاع)، وذراعين للهجوم (هجوم مقابل لا هجوم)، مما نتج عنه 5,040 تشغيلاً إجمالياً (N=40 لكل حالة).
آلية الهجوم (DTA):
الجلسة 1 (الحقن): يُطلب من الوكيل استرجاع قواعد الامتثال من مستودع وثائق. تقوم وثيقة ضارة، مصاغة كأنها مذكرة امتثال داخلية مشروعة تستشهد بلوائح حقيقية (قاعدة SEC 17a-4)، بتوجيه الوكيل لتحويل جميع رسائل البريد الإلكتروني الصادرة إلى عنوان يسيطر عليه المهاجم. يقوم الوكيل بتخزين هذه القاعدة في الذاكرة المستمرة.
الجلسات 2 و3: جلسات وسيطة حميدة لضمان عزل الحالة.
الجلسة 4 (الزناد): يتلقى الوكيل أمراً حميداً لصياغة بريد إلكتروني. يقوم باسترجاع القاعدة المخزنة وينفذ عملية الاستخراج.
الدفاعات التي تم تقييمها:
مستوى المدخلات:Minimizer (تصفية الصلة باستخدام TF-IDF) و Sanitizer (تعبيرات نمطية/مصنف على مدخلات المستخدم).
مستوى الاسترجاء:RAG Sanitizer (مصنف على الوثائق المسترجعة) و RAG LLM Judge (نموذج لغوي صغير للاستدلال على الوثائق المسترجعة).
مستوى التعليمات:Prompt Hardening (إضافة قواعد أمنية إلى أمر النظام).
مستوى الأداة:Memory Sandbox (إزالة قدرة أداة memory recall fact أثناء جلسة الزناد).
الدقة الإحصائية: استخدمت الدراسة فترات ثقة BCa bootstrap (10,000 عينة إعادة أخذ)، وتصحيح Holm-Bonferroni لـ 108 مقارنة محددة مسبقاً، وتحليل قوة يستهدف قوة 80% للكشف عن فرق بنسبة 10% في معدل نجاح الهجوم (ASR). أكد تشغيل خط الأساس بدون هجوم (2,520 تشغيلاً) وجود معدل 0% من الإيجابيات الكاذبة.
المساهمات الرئيسية
أول تقييم منهجي: يقدم أول تقييم دقيق إحصائياً لفعالية الدفاع ضد هجمات الذاكرة المستمرة، باستخدام فترات ثقة مناسبة وخطوط أساس للإيجابيات الكاذبة.
تصنيف ميكانيكي للفشل: يتجاوز الأرقام الإجمالية ليشرح لماذا تفشل الدفاعات عند طبقات معمارية محددة (على سبيل المثال، دفاعات المدخلات لا يمكنها رؤية المحتوى المحقون عبر RAG؛ وفشل مصنفات الاسترجاء أمام التمويه الدلالي المقنع بصيغة الامتثال).
نتائج سلوكية جديدة:
تحديد نمط المنفذ لعملية المسودة فقط (النموذج الذي يرفض التنفيذ في الظروف العادية ولكنه ينقلب إلى 100% ASR عند إزالة أداة استرجاع الذاكرة).
اكتشاف تجاوز الهلوسة كخاصية سلامة عرضية (النماذج التي تصيغ قواعد حميدة من الأولويات التدريبية عندما يتم حظر الاسترجاع).
ملاحظة عتبة القدرة المعتمدة على الحجم لحل تعارض التعليمات ضمن عائلة Qwen 3.5.
النتائج
فعالية الدفاع
دفاعات مستوى المدخلات (Minimizer, Sanitizer): فشلت تماماً (ASR ~88.9%). تعمل هذه الدفاعات على مدخلات المستخدم ولا تلاحظ الحمولة الضارة أبداً، والتي تدخل عبر مستودع RAG.
دفاعات مستوى الاسترجاء (RAG Sanitizer, RAG LLM Judge): فشلت تماماً (ASR ~88.9%). على الرغم من أنها في موقع يسمح لها برؤية الحمولة، إلا أنها لم تستطع تمييز الوثيقة الضارة عن محتوى الامتثال المشروع بسبب التمويه الدلالي ومحدودية قدرة النموذج (في حالة المصنف 1.5B).
دفاع مستوى التعليمات (Prompt Hardening): فشل جزئياً (ASR 77.8%). كان الانخفاض مدفوعاً بنموذجين محددين (أحدهما دفاع حقيقي، والآخر رفض على مستوى النموذج). بالنسبة لغالبية النماذج، طغت "صيغة الامتثال" للقاعدة المخزنة على التعليمات الأمنية في أمر النظام.
دفاع مستوى الأداة (Memory Sandbox): فعال للغاية لمعظم النماذج، حيث خفض ASR إلى 0% لـ 8 من أصل 9 نماذج. من خلال إزالة أداة memory recall fact ، تم قطع تبعية تنفيذ الهجوم. لم يتسبب الدفاع في أي تكلفة في المنفعة (BTCR = 100%) في غياب الهجوم.
الشذوذات والانقلابات الحرجة
انقلاب QwQ-32b: حقق نموذج الاستدلال qwq:32b نسبة 0% ASR تحت حالة عدم وجود دفاع عبر رفض تنفيذ أمر "الإرسال" (تفسير المطالبة كطلب "مسودة"). ومع ذلك، تحت تأثير Memory Sandbox، انقلب ASR الخاص به إلى 100%. أدى إزالة استرجاع الذاكرة إلى إجبار النموذج على إعادة بناء التعليمات مباشرة من وثيقة RAG. ولأن التعليمات وصلت طازجة من وثيقة (تحمل سلطة تنظيمية) بدلاً من كونها حقيقة مسترجعة من الذاكرة (تُعامل كمعلومات استشارية)، لم يتم تفعيل آلية الرفض لدى النموذج.
النماذج الرائدة (Frontier Models):
Claude Sonnet 4.6: حقق 0% ASR عبر الكشف الصريح (رفض تخزين القاعدة الضارة).
Claude Haiku 4.5: حقق 0% ASR عبر الكشف النشط (تخزين تنبيه أمني بدلاً من الحمولة).
الأهمية والادعاءات
يدعي البحث أنه يقدم أول توصيف منهجي لسبب فشل فئات الدفاع ضد هجمات الذاكرة المستمرة، مما يتيح اتخاذ قرارات استثمارية مدروسة.
الحتمية المعمارية: خلصت الدراسة إلى أن فعالية الدفاع تتحدد بالطبقة المعمارية. دفاعات المدخلات والاسترجاء غير قادرة هيكلياً على إيقاف هذا النوع من الهجمات لأن الحمولة تتجاوز نقاط المراقبة الخاصة بها أو تحاكي محتوى السياسة المشروعة بشكل وثيق جداً.
بوابات الأدوات كاستراتيجية قابلة للتطبيق: أظهرت قيود طبقة الأدوات (Memory Sandbox) أنها الدفاع الوحيد الذي يعطل مسار الهجوم باستمرار عن طريق إزالة القدرة الحرجة (الاسترجاع) المطلوبة للتنفيذ، دون الحاجة إلى اكتشاف المحتوى.
محاذير بوابات الأدوات: يشير البحث بتواضع إلى أن إزالة القدرة ليست علاجاً شاملاً لكل شيء. كما هو موضح في انقلاب qwq:32b، فإن إزالة أداة ما يمكن أن يغير مصدر المعلومات بطريقة تتجاوز آليات الرفض الخاصة بالنموذج، مما قد يخلق مسارات هجوم جديدة.
آثار التقييم: يسلط المؤلفون الضوء على أن لغة عقد الأداة وتكوين المخطط (schema) هي متغيرات تجريبية من الدرجة الأولى يمكن أن تؤثر بشكل غير مقصود على سلوك النموذج، مما يستلزم رقابة صارمة في التقييمات الوكيلية (agentic evaluations).
باختة القول، يجادل البحث بأن هجمات الذاكرة المستمرة تغير بشكل جذري المشكلة الأمنية لوكلاء LLM، مما يجعل دفاعات المدخلات والاسترجاء القياسية غير فعالة، ويقترح وجوب تقييم قيود طبقة الأدوات بعناية مقابل سلوكيات الرفض الخاصة بالنماذج قبل النشر.