🤖 machine learning

State Contamination in Memory-Augmented LLM Agents

تحدد هذه الورقة وتُقيس ظاهرة "غسيل الذاكرة"، وهي فشل أمني في وكلاء النماذج اللغوية الكبيرة المعززة بالذاكرة، حيث يتم ضغط السياق السام في ملخصات تبدو آمنة ولكنها لا تزال تؤثر خفية على عمليات التوليد المستقبلية، مما يثبت أن التخفيف الفعال يتطلب تطهير الحالة قبل عملية التلخيص وليس مجرد تنظيف المخرجات النهائية.

المؤلفون الأصليون: Yian Wang, Agam Goyal, Yuen Chen, Hari Sundaram

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yian Wang, Agam Goyal, Yuen Chen, Hari Sundaram

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: مشكلة "الذاكرة السيئة"

تخيل أنك تدير محادثة طويلة ومعقدة للغاية مع مجموعة من المساعدين الآليين (AI). هؤلاء المساعدون أذكياء، لكن ذاكرتهم قصيرة المدى محدودة. وللحفاظ على استمرارية المحادثة لساعات أو أيام، يستخدمون "دفتر ملاحظات للذاكرة". كل بضع دقائق، يقومون بتلخيص ما حدث للتو ويكتبون ملاحظة قصيرة في الدفتر، ثم يتخلصون من النص الكامل الفوضوي للمحادثة الفعلية.

المشكلة التي يكتشفها هذا البحث تسمى "غسيل الذاكرة" (Memory Laundering).

فكر في الأمر كأن مجرماً يحاول غسل أموال قذرة. يأخذ نقوداً "قذرة" بوضوح (سامة، أو كراهية، أو عدوانية)، ويمررها عبر آلة (الملخص)، فتخرج نقود "نظيفة" (ملخص مهذب). بالنسبة لموظف البنك (فلتر الأمان)، تبدو الأموال قانونية تماماً. لكن مصدر المال كان لا يزال قذراً، والنية الكامنة وراءه لا تزال موجودة.

في عالم الذكاء الاصطناي، يتم تلخيص رسالة سامة لتصبح جملة مهذبة. يقول فلتر الأمان: "هذا يبدو آمناً!". ولكن لأن الملخص لا يزال يحمل روح أو هيكل الصراع من الشجار الأصلي، فإن الوكيل التالي من الذكاء الاصطناعي يقرأه ويغضب على أي حال. السمية لم تختفِ؛ بل اختبأت داخل ملخص يبدو نظيفاً.

الطرق الثلاثة لانتشار السمية

وجد المؤلفون أن السلوك السيئ ينتشر في نظام الذكاء الاصطناي بثلاث طرق محددة، مثل تسرب الماء عبر شقوق مختلفة في السد:

تسرب "النص الخام" (السمية العلنية):
تخيل أن وكلاء الذكاء الاصطناي يقرؤون كامل تاريخ الدردشة، كلمة بكلمة. إذا قال شخص ما شيئاً مسيئاً، يقرأ الشخص التالي تلك الكلمة المسيئة نفسها ويغضب. هذا أمر واضح، ويمكن لفلاتر الأمان رصده بسهولة لأن الكلمات السيئة موجودة هناك في وضح النهار.
تسرب "غسيل الذاكرة" (السمية الخفية):
هذا هو الاكتشاف الرئيسي للبحث. تخيل أن وكلاء الذكاء الاصطناي يقرؤون فقط "دفتر ملاحظات الذاكرة" (الملخص). يقول الملخص: "دار نقاش حاد حول السياسة".

الخدعة: قام الملخص بإزالة الشتائم والإهانات. يقوم فلتر الأمان بفحص النص ويقول: "آمن! لم يتم العثور على كلمات سيئة".
الفخ: على الرغم من أن الكلمات نظيفة، إلا أن شعور الشجار لا يزال موجوداً. يقرأ الوكيل التالي "نقاشاً حاداً" ويفكر: "أوه، هذا شجار"، فيبدأ بالتصرف بعدوانية. لقد تم "غسل" السمية إلى ملاحظة تبدو آمنة لكنها لا تزال تسبب المشاكل.

تسرب "العادة السيئة" (التحيز البارامتري):
تخيل أن لدى الذكاء الاصطناعي نفسه عادة سيئة. حتى لو كانت الملاحظات نظيفة، فقد تعلم الذكاء الاصطناي أنه عندما يرى أي علامة على الصراع، يجب أن يستجيب بعدوانية. الأمر يشبه شخصاً يغضب لمجرد أن أحدهم رفع صوته، حتى لو لم يقل شيئاً مسيئاً. هذا هو "الذاكرة العضلية" الداخلية للذكاء الاصطناي التي تتفاعل مع الموقف.

الأداة الجديدة: "فجوة ما تحت العتبة"

كيف تقيس مشكلة لا تستطيع فلاتر الأمان رؤيتها؟ اخترع المؤلفون مقياساً جديداً يسمى "فجوة انتشار ما تحت العتبة" (Sub-Threshold Propagation Gap - SPG).

التشبيه: تخيل جهاز كشف المعادن في المطار. يصدر صوتاً إذا كنت تحمل مسدساً (سمية عالية). ولكن ماذا لو كنت تحمل سلاحاً مصنوعاً من البلاستيك يتجاهله الجهاز؟ أنت لا تزال خطيراً، لكن الآلة تقول إنك آمن.
المقياس: يقيس الـ SPG الفرق في السلوك بين مجموعتين من الذكاء الاصطناي:
1. ذكاء اصطناعي قرأ ملخصاً لمحادثة لطيفة.
2. ذكاء اصطناعي قرأ ملخصاً لمحادثة سامة (لكن الملخص بدا "آمناً" لجهاز الكشف).
- إذا تصرفت المجموعة الثانية بعدوانية أكثر من المجموعة الأولى، رغم أن الملخصات بدت متطابقة لفلتر الأمان، فقد وجدت "فجوة ما تحت العتبة". هذا يثبت أن "السلاح البلاستيكي" لا يزال خطيراً.

الحل: نظف المياه قبل تعبئتها في الزجاجات

اختبر البحث عدة طرق لإصلاح ذلك، مثل محاولة إيقاف تسرب في أنبوب.

فلترة المخرجات (فات الأوان): فحص إجابة الذكاء الاصطناعي النهائية وحذف الكلمات السيئة يشبه مسح الماء بعد أن انفجر الأنبوب بالفعل. هذا يوقف الفوضى المرئية، لكن الماء (السمية) قد تغلغل بالفعل في الأرضية (الذاكرة).
تنظيف الملخص (فات الأوان): محاولة إعادة كتابة "دفتر ملاحظات الذاكرة" بعد كتابة الملخص هي أيضاً غالباً ما تكون متأخرة جداً. بحلول الوقت الذي تعيد فيه الكتابة، تكون "روح الشجار" قد دُمجت بالفعل في النص. قد يمر منها فلتر الأمان، لكن الذكاء الاصطناي سيظل يأخذ الفكرة الخاطئة.
الاستراتيجية الرابحة (التطهير قبل التلخيص): الطريقة الأكثر فعالية هي إيقاف الماء القذر قبل دخوله إلى الزجاجة.
- كيف تعمل: قبل أن يكتب الذكاء الاصطناعي الملخص، تقوم بفحص الدردشة الخام الفوضوية. إذا كان هناك محتوى سام، تقوم بتنظيفه أو حظره في تلك اللحظة. ثم تكتب الملخص بناءً على النسخة النظيفة.
- النتيجة: يكون الملخص نظيفاً حقاً، وليس فقط "يبدو نظيفاً". يقرأ الذكاء الاصطناي ملخصاً لنقاش هادئ ويظل هادئاً.

الخاتمة

يخلص البحث إلى أنه لكي يكون وكلاء الذكاء الاصطناي آمنين، لا يمكننا فقط النظر إلى ما يقولونه الآن. يجب أن ننظر إلى ما يتذكرونه.

إذا كنت تريد فريق ذكاء اصطناي آمناً، فلا يمكنك الانتظار حتى النهاية لفحص ملاحظاتهم. يجب أن تتأكد من أن الملاحظات تُكتب من مصدر نظيف. إذا سمحت للأفكار السامة بالانضغاط في ملخصات "تبدو آمنة"، فإن تلك الأفكار ستستمر في الانتشار، غير مرئية لعمليات فحص الأمان القياسية، مما يسبب تصرفات خارجة عن السيطرة من الذكاء الاصطناي لاحقاً.

باختصار: لا تكتفِ بغسل الأطباق المتسخة؛ بل تأكد من عدم وضع الطعام المتسخ في غسالة الأطباق من الأساس.

ملخص تقني: تلوث الحالة في الوكلاء اللغويين المعززين بالذاكرة

بيان المشكلة

تعتمد الوكلاء اللغويون (LLM agents) بشكل متزايد على الحالة المستمرة (persistent state)—مثل النصوص، والملخصات، وذاكرات التخزين المؤقت—لتسهيل التفاعلات طويلة الأمد. وبينما تعزز هذه القدرة من الفائدة، إلا أنها تقدم نمط فشل سلامة جديداً يُسمى "غسيل الذاكرة" (memory laundering). في هذا السيناريو، يتم ضغط سياق سام أو عدائي في ملخصات ذاكرة تبدو حميدة بموجب مصنفات السمية القياسية (أي أنها تقع تحت عتبات الكشف)، ولكنها تحتفظ بالهيكلية العدائية، أو هياكل الصراع، أو المواقف العدائية. هذه الملخصات "المغسولة" تقوم لاحقاً بتوجيه الوكلاء اللاحقين لإنتاج استجابات سامة، مما يؤدي فعلياً إلى تجاوز مراقبات السلامة التي تفحص المخرجات الصريحة فقط.

التحدي الجوهري هو أن السلامة في الأنظمة الوكيلة لا تعتمد فقط على مخرجات النموذج الفردية، بل على الحالة المتطورة التي يخزنها النظام ويعيد استخدامها. وتفشل التدخلات التقليدية للسلامة، مثل تصفية المخرجات أو إلغاء تعلم المعلمات (parameter unlearning)، في معالجة انتشار السمية على مستوى الحالة حيث يختبئ التأثير الضار داخل حالات الذاكرة "النظيفة" للمصنفات.

المنهجية

الإعداد التجريبي

يستخدم المؤلفون إطار عمل "التشغيل المتعدد الوكلاء المقابل للواقع المزدوج" (paired counterfactual multi-agent rollout) لعزل الآثار السببية.

الإعداد: تبدأ بذرة بشرية (human seed post) رسم بياني للمحادثة حيث يُطلب من الوكيل المحوري ( $A_1$ ) الاستجابة إما بشكل سام أو محايد. تظل جميع الوكلاء الآخرون ( $A_2, \dots, A_n$ ) ومعلمات النظام ثابتة.
النماذج: تستخدم تجارب الظاهرة نموذج gpt-4o-mini ، بينما تستخدم تجارب التدخل التي تتطلب الوصول إلى المعلمات نموذج Llama-3.1-8B-Instruct الذي تم ضبطه بدقة عبر تقنية LoRA.
قياس السمية: يقوم نموذج سمية مفتوح المصدر (Detoxify) بتسجيل درجات جميع الرسائل. تقوم العتبة $\tau=0.5$ بتمييز السمية الصريحة.
قنوات الحالة: تميز الدراسة بين ثلاث قنوات للاستمرارية السامة:
1. الارتداد اللاحق للنص (Transcript Backflow): تاريخ المحادثة الخام الذي يحتوي على رسائل سامة.
2. غسيل الذاكرة (Memory Laundering): ملخصات مضغوطة للتفاعلات السامة التي تبدو آمنة للمصنفات.
3. التحيز البارامتري (Parametric Bias): ميل النموذج لمطابقة سجل السياق السام بسبب معلماته الداخلية.

المقاييس الرئيسية

لقياس التأثير الخفي، يقدم البحث فجوة الانتشار دون العتبة (Sub-Threshold Propagation Gap - SPG):
$SPG(\tau) = E[\text{tox}(v_{t+1}) \mid \text{tox}(M_t) < \tau, \text{toxic}] - E[\text{tox}(v_{t+1}) \mid \text{tox}(M_t) < \tau, \text{neutral}]$
يقيس هذا المقياس الفرق في السمية اللاحقة مشروطاً بحالات الذاكرة التي يصنفها مراقب منتشر على أنها آمنة ( $\text{tox}(M_t) < \tau$ ). تشير قيمة SPG الموجبة إلى أن الذاكرة "النظيفة" لا تزال تدفع سلوكاً ساماً. كما تتبع الدراسة متوسط انزياح السمية اللاحقة ( $\Delta\mu$ ) والمئوية 95 للسمية ( $P95_{tox}$ ) لالتقاط مخاطر الذيل.

إطار العمل التخفيفي

يقترح المؤلفون إطار عمل تخفيفي ثلاثي المسارات يستهدف كل قناة استمرارية:

التحكم في النص (القراءة/الكتابة): تطهير السياق قبل التوليد، ومنع المخرجات قبل دخولها في النص.
التحكم في الذاكرة: تطهير الملخصات قبل ضغطها في الذاكرة المستمرة (بوابات الكتابة/إعادة الكتابة) مقابل تطهيرها بعد الضغط.
التحكم على مستوى المعلمات: ضبط سياسة النموذج باستخدام تحسين التفضيل المباشر (DPO) على عمليات التشغيل المزدوجة (السامة-المحايدة) لتقليل ميل النموذج لتضخيم السياق السام.

النتائج الرئيسية

1. وجود غسيل الذاكرة

تؤكد التجارب أن ملخصات الذاكرة ذات الشرط السام تقع باستمرار تحت عتبات السمية القياسية (على سبيل المثال، متوسط السمية $\approx 0.085$ مقابل العتبة $0.5$)، ومع ذلك فإنها تحفز سمية لاحقة أعلى بكثير مقارنة بالنماذج المحايدة.

دليل SPG: في توبولوجيا السلاسل، كانت قيمة SPG هي $0.140 $($ p = 3.75 \times 10^{-8}$)، مما يثبت أن الذاكرة "النظيفة" للمصنف تحتفظ بتأثير سلوكي كبير.
القدرة على الصمود: تستمر هذه الظاهرة عبر مختلف عتبات المصنف ( $\tau \in \{0.03, \dots, 0.5\}$ ) ومختلف توبولوجيا الرسوم البيانية (السلاسل، الأشجار، DAGs)، وإن كان المقدار يختلف باختلاف التوبولوجيا.

2. قنوات الانتشار المتميزة

تفصل الدراسة مصادر السمية:

الارتداد اللاحق للنص (Transcript Backflow): يدفع بشكل أساسي السمية اللاحقة الصريحة (عالية في $\Delta\mu$ و $P95_{tox}$ ).
الذاكرة المضغوطة: تحمل تأثيراً خفياً دون العتبة (عالية في SPG).
توقيت التطهير: التدخلات المطبقة بعد التلخيص (مثل إعادة كتابة ملخص مكتمل) تقلل السمية الصريحة ولكنها تفشل في إغلاق الفجوة الخفية (يبقى SPG مرتفعاً). وعلى العكس من ذلك، فإن تطهير المحتوى قبل ضغطه في الذاكرة (بوابة الكتابة) يقضي فعلياً على SPG.

3. فعالية التخفيف

التدخلات الفردية: تصفية المخرات تقلل السمية المرئية ولكنها تترك قنوات الانتشار مفتوحة. أما DPO وحده فيقلل التضخيم المتوسط ولكنه يفشل في إزالة الحالة الملوثة، مما يترك سمية عالية في الذيل.
النظام الكامل: إن الجمع بين التطهير من جانب القراءة، والتحكم في الحالة من جانب الكتابة، وإزالة التحيز على مستوى المعلمات يتفوق تماماً على التكوينات الأخرى. فهو يحقق أدنى متوسط سمية، وأدنى $\Delta\mu$ ، وأدنى $P95_{tox}$ ، وSPG يقترب من الصفر.
رؤية حاسمة: أكثر طرق التخفيف فعالية هي تطهير الحالة قبل التلخيص. إن تنظيف الملخص النهائي فقط غير كافٍ لأن الهيكلية العدائية قد تكون قد ضُغطت بالفعل تحت عتبة اكتشاف المصنف.

الأهمية والادعاءات

يدعي البحث تحديد وتوصيف "غسيل الذاكرة" تجريبياً كنمط فشل سلامة لم يتم فحصه سابقاً في الوكلاء اللغويين المعززين بالذاكرة. وتتمثل مساهماته الرئيسية في:

تعريف غسيل الذاكرة: إثبات أن التلخيص يمكن أن يحول السياق السام الصريح إلى حالات نظيفة للمصنف، ومع ذلك توجه الوكلاء نحو السلوك السام.
مقياس جديد (SPG): تقديم مقياس لقياس التأثير السلوكي ضمن النطاق الذي سيصنفه أي مراقب منتشر على أنه آمن، مما يكشف عن الانتشار الخفي الذي تغفله المقاييس القياسية.
نموذج سلامة على مستوى الحالة: المجادلة بأن السلامة في الأنظمة الوكيلة يجب أن تُعامل كـ مشكلة تحكم في الحالة. ويؤكد المؤلفون أن السلامة القوية تتطلب تطهير الحالة قبل ضغطها في الذاكرة المستمرة، حيث إن التنظيف اللاحق للملخصات غالباً ما يكون متأخراً جداً لمنع التأثير الخفي.

يشير العمل إلى أن نماذج السلامة الحالية التي تركز فقط على تصفية المخرجات أو إلغاء تعلم المعلمات غير كافية للأنظمة متعددة الوكلاء حيث يتم إعادة استخدام السياق وضغطه. يوفر إطار العمل المقترح المرتكز على الحالة قيداً معمارياً ضرورياً لنشر الوكلاء الآمنين طويلي الأمد.