MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents

ملخص تقني: MEMSAD – الكشف عن الشذوذ المرتبط بالتدرج لتسميم الذاكرة في الوكلاء المعززين بالاسترجاع (RAG)

1. بيان المشكلة

تتيح أنظمة الذاكرة الخارجية المستمرة (مثل Mem0 وMemGPT) لوكلاء النماذج اللغوية الكبيرة (LLMs) الحفاظ على السياق عبر الجلسات من خلال تخزين تفضيلات المستخدم والمعرفة الواقعية كتمثيلات متجهية كثيفة (dense vector embeddings). ومع ذلك، فإن الخصائص الأمنية لهذه الأنظمة لم يتم توصيفها رسميًا بعد. وخلافًا لحقن الأوامر (prompt injection)، الذي يتطلب وصولاً لكل تفاعل على حدة، فإن تسميم الذاكرة (memory poisoning) يسمح للمهاجم بحقن مدخل واحد خبيث يستمر إلى أجل غير مسمى، مما يؤدي إلى تفعيل الهجوم عند كل استعلام ذي صلة دلاليًا في الجلسات المستقبلية.

يصيغ البحث ثلاثة نماذج تهديد متميزة مع افتراضات وصول متصاعدة:

• AGENTPOISON: يتطلب حق الوصول للكتابة في مخزن الذاكرة؛ ويقوم بتحسين المحفزات عبر تمثيلات DPR.
• MINJA: يتطلب حق الوصول للاستعلام فقط؛ ويستغل التخزين التلقائي عبر مؤشرات التقصير التدريجي.
• INJECMEM: يتطلب حق الوصول لتفاعل واحد فقط؛ ويحقق الحقن عبر ركائز (anchors) مستقلة عن المسترجع.

تعتمد الدفاعات الحالية لتقنية التوليد المعزز بالاسترجاع (RAG) عادةً على الوصول إلى مجموعة البيانات (corpus) والتنظيف غير المتصل (offline)، وهي أمور لا تنطبق على نموذج الاستيعاب المتدفق (streaming ingestion) لذاكرة الوكيل. علاوة على ذلك، عانت التقييمات السابقة من عدم اتساق البروتوكولات (على سبيل المثال، تقييم الاستعلامات المحفزة باستخدام استعلامات عادية)، مما أدى إلى التقليل من تقدير معدلات نجاح الهجوم.

2. المنهجية: MEMSAD

يقترح المؤلفون MEMSAD (الكشف عن الشذوذ الدلالي)، وهو دفاع قائم على المعايرة ومستند إلى نظرية الاقتران بالتدرج (gradient coupling theorem).

الرؤية الجوهرية: ينجح تسميم الذاكرة لأن المدخلات العدائية تكون قريبة دلاليًا من استعلامات الضحية. يفترض MEMSAD أن هذا القرب هو إشارة يمكن اكتشافها. يعمل النظام عند وقت الكتابة، حيث يقوم بتصفية المدخلات المرشحة قبل اعتمادها في مخزن الذاكرة.

نظرية الاقتران بالتدرج:
تؤسس المساهمة النظرية المركزية أنه بموجب انتظام المشفر (Assumption 4)، فإن تدرج درجة الشذوذ وتدرج هدف الاسترجاع متطابقان بشكل مثبت للمكتشفات الرتيبة (monotone detectors).

• الكفاية (Sufficiency): أي دالة رتيبة لدرجة الاسترجاع ترث اتجاه التدرج. وبالتالي، فإن أي اضطراب مستمر يقلل من خطر الاكتشاف سيؤدي بالضرابة إلى تدهور رتبة الاسترجاع.
• الضرورة (Necessity): المكتشفات غير الرتيبة تسمح بمسارات مراوغة مستمرة حيث يمكن للمهاجم زيادة رتبة الاسترجاع مع التهرب من الاكتشاف.
• النمطية (Canonicity): درجة "max-cosine" هي الإحصاء الكافي الأدنى والوحيد لاختبار الفرضية بين العدائي والمفيد.

الخوارزمية:
يحسب MEMSAD درجة شذوذ $s(c; H)$ لمدخل مرشح $c$ مقابل سجل تاريخي من استعلامات الضحية $H$. الدرجة هي مزيج من أقصى تشابه جيب التمام ومتوسط تشابه الجيب بين المرشح والتاريخ.
$$s_{comb}(c; H) := \frac{1}{2} \max_{q \in H} \cos(E(c), E(q)) + \frac{1}{2|H|} \sum_{q \in H} \cos(E(c), E(q))$$
تتم مقارنة هذه الدرجة بالعتبة $\hat{\mu} + \kappa\hat{\sigma}$ المستمدة من مجموعة مرجعية مفيدة. إذا تجاوزت الدرجة العتبة، يتم رفض المدخل.

الضمانات النظرية:

• نصف قطر الكشف المعتمد: إذا تجاوز الفارق بين التشابه العدائي والمفيد عدم اليقين في المعايرة، يضمن MEMSAD الكشف.
• الاستمثالية الدنيا القصوى (Minimax Optimality): باستخدام طريقة Le Cam، يثبت المؤلفون أن أي كاشف عتبة يتطلب $\Omega(1/\rho^2)$ من عينات المعايرة، ويحقق MEMSAD هذا الحد حتى العوامل اللوغاريتمية.
• حدود الندم عبر الإنترنت (Online Regret Bounds): بالنسبة للمعايرة المتدحرجة مع انحراف التوزيع، ينتج حجم النافذة الأمثل معدل ندم قدره $O(\sigma^{2/3}\Delta^{1/3})$.

القيود والتوسعات:
يحدد البحث ثغرة ثبات المرادفات المنفصلة (discrete synonym-invariance loophole). بينما يظل الاقتران بالتدرج ساريًا للاضطرابات المستمرة في فضاء التضمين، فإن استبدالات الرموز المنفصلة (المرادفات) يمكن أن تتجاوز هذا الاقتران إذا كان المشفر يربط المرادفات بتضمينات متطابقة تقريبًا ($\epsilon_{syn} \approx 0$). ولمعالجة ذلك، يقترح المؤلفون MEMSAD+، الذي يعزز الدرجة الدلالية بميزات تباعد جينسن-شانون (JSD) لـ $n$-gram للحروف، والتي ليست ثابتة تجاه المرادفات.

3. النتائج الرئيسية

قيم المؤلفون نهجهم باستخدام مصفوفة هجوم-دفاع $3 \times 5$ باستخدام فترات الثقة لـ bootstrap، واختبارات فرضية مصححة بـ Bonferroni، وتحقق Clopper-Pearson (20 تجربة، $n=1,000$).

• تصحيح التقييم: أدى تصحيح بروتوكول التقييم باستخدام الاستعلامات المحفزة (كما هو محدد في عمل AGENTPOISON الأصلي) إلى رفع معدل نجاح الهجوم المقاس (ASR-R) لـ AGENTPOJO من 0.25 إلى 1.00.
• أداء الدفاع:
  • الدفاعات المركبة: حقق تجمع مرجح من MEMSAD، والوسم المائي (watermarking)، والتحقق، والكشف الاستباقي نسبة TPR = 1.00 و FPR = 0.00 عبر جميع فئات الهجوم الثلاث.
  • MEMSAD بمفرده: حقق TPR = 1.00 لـ AGENTPOISON (مع المعايرة المحفزة)، و TPR = 0.40 لـ MINJA، و TPR = 0.20 لـ INJECMEM.
  • MEMSAD+: حسن الكشف عن هجمات استبدال المرادفات، مما رفع TPR لـ INJECMEM من 0.00 إلى 0.40.
• المهاجم المتكيف: حتى مع وجود مهاجم "الصندوق الأبيض" الذي يقوم باستبدال المرادفات الجشع، يوضح البحث أنه بينما يمكن للمراوغة أن تحدث (معدل مراوغة 80-100%)، إلا أنها تأتي على حساب تدهور الاسترجاع في الفضاء المستمر، رغم أن القفزات المنفصلة يمكن أن تتجاوز ذلك.
• التحقق في بيئة الإنتاج: في عملية تحقق واقعية باستخدام Mem0، قامت إعادة صياغة LLM الداخلية بتجريد الهياكل المحسنة للمحفز، مما قلل ASR-R لـ AGENTPOISON إلى 0.00، بينما ظلت مخازن المتجهات الخام معرضة بالكامل.

4. الأهمية والادعاءات

يدعي البحث أنه يقدم أول دفاع مضمون رسميًا لتسميم ذاكرة RAG. تكمن أهميته في:

1. التوصيف الرسمي: إنشاء صياغة لعبة ستكيليبرج (Stackelberg game) لتسميم الذاكرة وإثبات أن كاشفات درجة الاسترجاع الرتيبة ضرورية وكافية لمقاومة المراوغة المستمرة.
2. الضمانات المعتمدة: توفير أنصاف أقطار كشف محددة لكل حالة وإثباتات الاستمثالية الدنيا القصوى، مما يتجاوز الدفاعات التجريبية.
3. إطار عمل موحد: يشمل ثلاث فئات هجوم متميزة مع افتراضات وصول متصاعدة، مما يكشف أنه لا يوجد دفاع واحد يهيمن على جميع نماذج الوصول، مما يدعو إلى محافظ دفاعية مركبة.
4. تحديد الحدود: توصيف "ثغرة ثبات المرادفات" صراحةً كحد فاصل حيث تفشل الدفاعات المستمرة في الفضاء، مما يسلط الضوء على الحاجة إلى مناهج هجينة دلالية-معجمية (MEMSAD+).

يخلص المؤلفون إلى أنه بينما يغلق MEMSAD الفجوة أمام الاضطرابات المستمرة، فإن الطبيعة المنفصلة لفضاء الرموز (tokens) تظل تحديًا، ويجب أن تعالج الأعمال المستقبلية سبل إغلاق هذه الفجوة والتوسع في ذاكرة الإنتاج باستخدام خوارزميات البحث عن أقرب الجيران التقريبية.