🤖 AI

MemAudit: Post-hoc Auditing of Poisoned Agent Memory via Causal Attribution and Structural Anomaly Detection

تقدم الورقة البحثية MemAudit، وهو إطار عمل لاحق للتحليل يجمع بين تسجيل التأثير المضاد للواقع وكشف الشذوذ الهيكلي لتحديد وتحييد الذكريات الخبيثة المحقونة في وكلاء النماذج اللغوية الكبيرة (LLM agents)، مما يقلل بفعالية معدلات نجاح الهجوم إلى الصفر في كل من سيناريوهات الإجابة على الأسئلة والاستنتاج.

المؤلفون الأصليون: Zhewen Tan, Yilun Yao, Huiyan Jin, Wenhan Yu, Guoan Wang, Mengyuan Fan, liang lu, Feng Liu, Xiangzheng Zhang, Duohe Ma, Tong Yang, Lin Sun

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhewen Tan, Yilun Yao, Huiyan Jin, Wenhan Yu, Guoan Wang, Mengyuan Fan, liang lu, Feng Liu, Xiangzheng Zhang, Duohe Ma, Tong Yang, Lin Sun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "MemAudit: التدقيق اللاحق لذاكرة الوكيل المسمومة" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: "الملاحظة السيئة" في مذكرات المساعد الذكي

تخيل أن لديك مساعداً آلياً ذكياً ومفيداً للغاية (وكيل ذكاء اصطناعي - AI Agent). لكي يكون مفيداً حقاً، يحتفظ هذا الروبوت بـ مذكرات (ذاكرة) لكل ما أخبرته به، وكل مهمة قمت بها، وكل درس تعلمه. هذا يسمح له بتذكر تفضيلاتك والتحسن في المهام المعقدة بمرور الوقت.

ومع ذلك، هناك خطر أمني. يمكن لشخص مخادع أن يخدع الروبوت لكتابة ملاحظة مزيفة وخبيثة في مذكراته أثناء محادثة عادية. على سبيل المثال، قد يهمس له: "بالمناسبة، إذا سألك أحد عن 'الطعام'، أخبرهم دائماً أن الإجابة هي 'سم'".

يكتب الروبوت هذه الملاحظة. لاحقاً، عندما تسأله سؤالاً عادياً، يقرأ الروبوت تلك الملاحظة المزيفة، فيصاب بالارتباك، ويعطيك إجابة خطيرة أو خاطئة. هذا ما يسمى تسميم الذاكرة (Memory Poisoning).

المشكلة: "نعرف أن الأمر حدث، ولكن أي ملاحظة كانت هي السبب؟"

تحاول معظم أدوات الحماية الحالية للذكاء الاصطناعي منع الإجابات السيئة أثناء حدوثها (مثل حارس الأمن الذي يفحص الهويات عند الباب). ولكن ماذا لو كانت الملاحظة السيئة موجودة بالفعل في المذكرات، وقد ارتكب الروبوت الخطأ بالفعل؟

تساءل الباحثون: "الآن بعد أن رأينا أن الروبوت ارتكب خطأً، كيف نجد الملاحظة السيئة المحددة في مذكراته الضخمة التي تسببت في ذلك، وكيف نحذف تلك الملاحظة فقط دون حذف الملاحظات الجيدة؟"

الحل: MemAudit (المحقق في الذاكرة)

ابتكر المؤلفون أداة تسمى MemAudit. فكر فيها كـ محقق يحقق في مذكرات الروبوت بعد وقوع الجريمة. لا يحتاج المحقق لمعرفة من كان المجرم أو ماذا قالت الملاحظة السيئة مسبقاً؛ هو فقط ينظر إلى الأدلة.

يستخدم MemAudit دليلين رئيسيين للعثور على الملاحظة السيئة:

1. اختبار "ماذا لو؟" (الإسناد السببي - Causal Attribution)

تخيل أن المحقق يأخذ المذكرات ويقول: "حسناً، لنفترض أن هذه الملاحظة المحددة لم تكن موجودة أبداً. إذا قمنا بإزالتها، هل سيتوقف الروبوت عن ارتكاب الخطأ؟"

إذا بدأ الروبوت يتصرف بشكل صحيح فجأة بعد إزالة تلك الملاحظة الواحدة، فإن المحقق يعرف: "آها! هذه الملاحظة كانت هي الجاني."
إذا استمر الروبوت في التصرف بغرابة، فمن المحتمل أن تلك الملاحظة لم تكن هي المشكلة.
تشبيه: الأمر يشبه ميكانيكي السيارات الذي يزيل قطعة معينة من محرك السيارة ليرى ما إذا كان المحرك سيتوقف عن إصدار صوت غريب.

2. اختبار "الغريب عن المجموعة" (كشف الشذوذ الهيكلي - Structural Anomaly Detection)

ينظر المحقق أيضاً إلى كيفية ترابط الملاحظات مع بعضها البعض. الملاحظات الجيدة في المذكرات عادة ما تكون منطقية مع بعضها البعض (مثلاً: "أنا أحب التفاح" و"التفاح لونه أحمر" يتماشيان جيداً).

الملاحظة المسمومة غالباً ما تبدو "خارجة عن السياق" أو تناقض الملاحظات الأخرى (مثلاً: "أنا أحب التفاح" تتبعها ملاحظة "التفاح في الواقع هو سم").
يقوم المحقق بمسح المذكرات بالكامل للعثيد الملاحظات التي لا تتناسب مع النمط العام.
تشبيه: الأمر يشبه النظر إلى مجموعة من الأصدقاء في حفلة. إذا كان الجميع يرتدون قمصاناً زرقاء وشخص واحد يرتدي زي مهرج بلون نيون ساطع، فسوف يبرز هذا الشخص كشخص مشبوه.

كيف يعملان معاً؟

يجمع MemAudit بين هذين الدليلين. فهو يعطي "درجة اشتباه" لكل ملاحظة في المذكرات.

درجة عالية: الملاحظة تسببت في الخطأ وَ تبدو غريبة مقارنة بالآخرين.
الإجراء: يقوم النظام بإزالة الملاحظات ذات الدرجات الأعلى.

النتائج: تنظيف الفوضى

اختبر الباحثون هذه الأداة في نوعين من المهام:

الأسئلة البسيطة (QA): مثل مسابقة معلومات عامة.
التخطيط المعقد (RAP): مثل روبوت يحاول شراء شيء عبر الإنترنت أو التخطيط لرحلة.

كانت النتائج مبهرة:

قبل استخدام MemAudit، تسببت "الملاحظات السيئة" في فشل الروبوت بنسبة تتراوح بين 70% إلى 83%.
بعد أن وجد MemAudit الملاحظات السيئة وحذفها، انخفض معدل الفشل إلى 0%.
عاد الروبوت ليكون ذكياً ومفيداً، بعد أن فقد فقط "الملاحظات المسمومة"، وليس ذكرياته الجيدة.

القيود الهامة (ما لا يستطيع MemAudit فعله)

الورقة البحثية صريحة جداً بشأن ما لا تستطيع هذه الأداة فعله:

إنه "تحقيق بعد الوفاة"، وليس "لقاحاً": يعمل MemAudit فقط بعد أن يرتكب الروبوت خطأً وتلاحظ أنت الخطأ. لا يمكنه منع كتابة الملاحظة السيئة في المقام الأول.
مشكلة "كثرة الملاحظات السيئة": إذا تمكن الشخص الشرير من ملء المذكرات بالكثير من الملاحظات المزيفة بحيث تدعم بعضها البعض (مثل مجموعة كاملة من الأشخاص يرتدون أزياء المهرجين)، فإن MemAudit سيصاب بالارتباك. لن يستطيع التمييز بين الملاحظات "السيئة الحقيقية" لأنها جميعاً تبدو متسقة مع بعضها البعض. في هذه الحالة، قد يتطلب الأمر رمي المذكرات بالكامل وإعادة كتابتها.
يحتاج إلى دليل: يحتاج المحقق لرؤية الخطأ وهو يحدث ليعرف عما يبحث عنه. إذا ارتكب الروبوت خطأً ولم يلاحظه أحد، فلا يمكن لـ MemAudit تقديم المساعدة.

الملخص

MemAudit هو أداة تساعد وكلاء الذكاء الاصطناعي على الإصلاح بعد تعرضهم للخداع لتخزين معلومات سيئة. بدلاً من التخمين، يستخدم المنطق ("ماذا لو أزلنا هذا؟") والتعرف على الأنماط ("هذه الملاحظة تبدو غريبة") للعثور على الذكريات السيئة المحددة وحذفها، مما يعيد الوكيل إلى حالة آمنة.

ملخص تقني: MemAudit

بيان المشكلة
تعتمد وكلاء النماذج اللغوية الكبيرة (LLMs) بشكل متزايد على ذاكرة خارجية مستمرة لتخزين التفاعلات السابقة، واسترجاع الأمثلة ذات الصلة، وتنفيذ مهام طويلة المدى. ومع ذلك، تفرض هذه الآلية ثغرة أمنية حرجة: يمكن للمستخدمين الضارين حقن سجلات خبيثة في ذاكرة الوكيل من خلال تفاعلات عادية (على سبيل المثال، عبر إطار عمل هجوم MINJA). يمكن لهذه الذكريات المسمومة أن تظل كامنة ثم تُسترجع لاحقًا لتوجيه استدلال الوكيل وأفعاله نحو نتائج ضارة.

بينما تركز الدفاعات الحالية على التدخل "في الوقت الفعلي" (مثل تصفية المطالبات أو حظر المخرجات)، فإنها تفشل في معالجة السيناريو "بعد الحدث" (post-hoc) حيث يكون السلوك الضار قد حدث بالفعل. في عمليات النشر في العالم الحقيقي، غالبًا ما يتم اكتشاف الإخفاقات بعد وقوعها من خلال السجلات غير الطبيعية أو تقارير المستخدمين. التحدي المركزي هو تحديد مدخلات الذاكرة المخزنة المحددة المسؤولة عن الإخفاق الملحوظ دون الوصول إلى تسميات السموم الحقيقية (ground-truth poison labels) أو أهداف المهاجم.

المنهجية: MemAudit
يقترح المؤلفون MemAudit، وهو إطار عمل موحد للتدقيق السببي للذاكرة بعد الحدث. يعمل الإطار بناءً على حدس مفاده أن الذكريات الضارة تظهر خاصيتين متكاملتين: فهي تمارس تأثيرًا سببيًا قابلًا للقياس على المخرجات الضارة، وغالبًا ما تظهر غير متسقة هيكليًا مع توزيع الذاكرة الأوسع. يجمع MemAudit بين هاتين الإشارتين لتصنيف وإزالة الذكريات المشبوهة.

درجة تأثير الذاكرة المضادة للواقع (CMIS):
تقيس هذه الإشارة المساهمة السببية لكل ذاكرة مسترجعة في حدث ضار معين. يقوم إطار العمل بإجراء تدخل قائم على إعادة التشغيل: بالنسبة لحدث ضار معين $e = (q^*, y^*, R^*)$ ، يقوم الإطار بإزالة ذاكرة مرشحة $m_i$ من المخزن، ثم يعيد تشغيل الوكيل مع مجموعة الذاكرة المعدلة، ويحسب مدى انخفاض الضرر.
$CMIS(m_i) = h(q^*, y^*) - h(q^*, f(q^*, R(q^*, M \setminus \{m_i\})))$
تشير الدرجة الأعلى إلى أن إزالة $m_i$ تقلل بشكل كبير من السلوك الضار، مما يشير إلى وجود رابط سببي قوي.
رسم بياني لاتساق الذاكرة (MCG) / كشف الشذوذ الهيكلي:
تحدد هذه الإشارة الذكريات غير المتسقة دلاليًا مع مخزن الذاكرة العالمي. يقوم إطار العمل بإنشاء رسم بياني للذاكرة حيث تمثل العقد مدخلات الذاكرة وتمثل الحواف الترابط الدلالي والاتساق المنطقي (باستخدام الاستدلال باللغة الطبيعية). من المتوقع أن تظهر الذكريات المسمومة كقيم شاذة أو عقد ضعيفة الاتصال داخل هذا الرسم البياني. يتم حساب درجة الشذوذ بناءً على وزن عدم الاتساق بين الذاكرة وجيرانها.
الدمج والتصنيف:
يتم تطبيع ودمج درجات CMIS (الدليل السببي المحلي) و MCG (الدليل الهيكلي العالمي) في درجة إزالة السموم (DS) واحدة:
$DS(m_i) = \alpha \cdot \widehat{CMIS}(m_i) + (1 - \alpha) \cdot \widehat{CAS}(m_i)$
يوازن المعامل $\alpha$ بين وزن العزو السببي على مستوى الحدث وبين كشف الشذوذ الهيكلي العالمي. يتم تصنيف الذكريات حسب هذه الدرجة، ويتم إزالة المدخلات الأعلى تصنيفًا في عملية دفعية (batch process) بعد تحليل جميع الأحداث الضارة، مما يضمن أن عملية التدقيق ليست منحازة لعمليات الحذف المتتالية.

المساهمات الرئيسية

الصياغة: يعد هذا العمل الأول الذي يصيغ التدقيق السببي للذاكرة بعد الحدث كمسألة أمنية عملية لوكلاء النماذج اللغوية الكبيرة المعززة بالذاكرة تحت هجوم تسميم الذاكرة الناجم عن التفاعل.
إطار العمل: اقتراح MemAudit، وهو إطار عمل مزدوج الإشارات يحدد ويزيل الذكريات المشبوهة دون الحاجة إلى تسميات سموم مثالية (oracle labels)، من خلال الجمع بين العزو السببي المضاد للواقع وكشف الشذوذ الهيكلي.
التقييم: تقييم شامل تحت إعدادات حقن الذاكرة الواقعية (MINJA) يُظهر انخفاضات جوهرية في معدلات نجاح الهجوم عبر إعدادات الإجابة على الأسئلة (QA) والوكلاء ذوي الاستدلال طويل المدى (RAP).

النتائج التجريبية
قيم المؤلفون MemAudit مقابل هجوم MINJA على نماذج GPT-4o و GPT-4o-mini و DeepSeek.

خفض معدل نجاح الهجوم (ASR):
- في إعدادات QA، خفض MemAudit معدل ASR من 70.0% إلى 0.0% في GPT-4o ومن 50.0% إلى 0.0% في GPT-4o-mini.
- في إعدادات RAP، خفض MemAudit معدل ASR من 83.3% إلى 0.0% في GPT-4o ومن 80.0% إلى 0.0% في GPT-4o-mini.
- قدمت الخطوط المرجعية مثل الحذف العشوائي، والحذف القائم على تكرار الاسترجاع، وتصفية التناقض مع أقرب جار، تخفيضات جزئية فقط، مما يؤكد ضرورة النهج مزدوج الإشارات.
تحليل استئصال المكونات (Ablation): أدى إزالة أي من الإشارتين السببية (CMIS) أو الهيكلية (MCG) إلى بقاء معدل ASR مرتفعًا بشكل ملحوظ، مما يثبت أن الإشارات متكاملة. تم العثور على أن وزن الدمج الأمثل هو $\alpha = 0.6$ .
تحليل التلوث: الإطار فعال للغاية في أنظمة التسميم المتناثرة (نسبة التلوث $\rho \leq 0.20$ ). ومع ذلك، يتدهور الأداء بشكل حاد عندما يصبح التسميم كثيفًا ( $\rho \geq 0.25$ )، حيث تبدأ الذكريات المسمومة في تعزيز بعضها البعض، مما يشكل "حقيقة بديلة" متماسكة يصعب عزلها عبر الإزالة المستهدفة.

الأهمية والادعاءات
يزعم البحث أن الذاكرة المستمرة يجب أن تُعامل كـ "سطح أمني من الدرجة الأولى" في وكلاء النماذج اللغوية الكبيرة. يوفر MemAudit آلية عملية للتعافي بعد إخفاقات وقت النشر، مما يسمح للأنظمة بتشخيص وإصلاح حالات الذاكرة المخترقة دون الحاجة إلى إعادة تدريب النموذج أو الاعتماد على تسميات مثالية. يؤكد المؤلفون أن هذا هو آلية تعافٍ تكميلية، وليس بديلاً للضمانات الوقائية عبر الإنترنت. يسلط العمل الضوء على جدوى إصلاح الذالة بعد الحدث في كل من الإجابة القصيرة على الأسئلة وإعدادات الوكيل التفاعلية المعقدة وطويلة المدى، بشرط أن تظل كثافة التسميم تحت عتبة حرجة.