💬 NLP

Remembering More, Risking More: Longitudinal Safety Risks in Memory-Equipped LLM Agents

تقدم هذه الورقة مفهوم "تلوث الذاكرة الزمني" لتوضيح أن وكلاء النماذج اللغوية الكبيرة المزودين بالذاكرة يراكمون المخاطر الأمنية بمرور الوقت عبر مهام مستقلة، مما يستلزم التحول من تقييمات السلامة أحادية الحالة إلى تقييمات طولية.

المؤلفون الأصليون: Ahmad Al-Tawaha, Shangding Gu, Peizhi Niu, Ruoxi Jia, Ming Jin

نُشر 2026-05-19

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ahmad Al-Tawaha, Shangding Gu, Peizhi Niu, Ruoxi Jia, Ming Jin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "تذكر المزيد، مخاطرة أكبر" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: فخ "الذاكرة الجيدة"

تخيل أنك وظفت مساعداً شخصياً ذكياً جداً لمساعدتك في مهامك اليومية. قلت له: "تذكر كل ما أقوله حتى تتمكن من مساعدتي بشكل أفضل في المرة القادمة".

عادةً، نعتقد أن امتلاك ذاكرة جيدة هو ميزة أمان. فإذا تذكر المساعد تفضيلاتك، فسيكون أكثر فائدة. لكن هذه الورقة البحثية تجادل بأن امتلاك الذاكرة القوية قد يجعل وكلاء الذكاء الاصطناعي أقل أماناً مع مرور الوقت.

اكتشف الباحثون نوعاً جديداً من الأخطاء يسمى "تلوث الذاكرة الزمنية" (Temporal Memory Contamination). الأمر ليس أن الذكاء الاصطناعي يتعرض للخداع من قبل مخترق؛ بل إن الذكاء الاصطناعي يرتبك بسبب تراكم ملاحظاته الخاصة. فبينما يجمع الذكاء الاصطناعي المزيد والمزيد من الذكريات من المهام اليومية غير الضارة، يبدأ في خلط الأمور ببعضها البعض، مما يؤدي إلى كشف الأسرار بالخطأ أو اتخاذ قرارات سيئة لاحقاً.

الشخصيتان الرئيسيتان

لإثبات ذلك، اختبر الباحثون نوعين مختلفين من مساعدي الذكاء الاصطناعي:

المساعد المكتبي: فكر في هذا كأنه سكرتير رقمي لمكتب طبيب أو جامعة. هو يتولى إدارة رسائل البريد الإلكتروني، والجداول الزمنية، والمذكرات.
وكيل "المخلب" (Claw Agent): فكر في هذا كأنه عامل آلي يعيش داخل حاسوبك. يمكنه فتح الملفات، وتشغيل الأكواد، وإدارة إعدادات برامجك.

التجربة: اختبار "آلة الزمن"

معظم اختبارات الأمان تسأل: "هل يمكن لهذا الذكاء الاصطناعي التعامل مع سؤال واحد مخادع؟" (مثلاً: "لا تخبرني بكلمة المرور!").

لكن الباحثين طرحوا سؤالاً مختلفاً: "ماذا يحدث بعد أن يعمل الذكاء الاصطناعي لشهور، ويتذكر آلاف الأشياء العادية؟"

استخدموا إعداداً ذكياً يسمونه "بروتوكول الاستدعاء والتحقق" (Trigger-Probe Protocol):

التدفق (The Stream): تركوا الذكاء الاصطناعي يعمل بشكل طبيعي لفترة من الوقت، حيث يبني ذاكرة ضخمة من رسائل البريد الإلكتروني والمهام.
اللقطة (The Snapshot): قاموا بتجميد ذاكرة الذكاء الاصطناعي عند نقاط زمنية مختلفة (مثل التقاط صورة لعقله بعد 100 مهمة، ثم 500، ثم 1,000).
التحقق (The Probe): طرحوا على الذكاء الاصطناعي نفس السؤال الآمن مقابل هذه اللقطات المختلفة.

التشبيه: تخيل أمين مكتبة يستمر في إضافة الكتب إلى الرف.

اليوم الأول: تسأل: "أين كتاب البستنة؟". يجد أمين المكتبة الكتاب بسهولة.
اليوم 100: أصبح الرف ضخماً. تسأل عن نفس الشيء. يمسك أمين المكتبة بكتاب، ولكن لأن الرف مزدحم للغاية، يمسك بالخطأ بكتاب عن "النباتات السامة" من قسم آخر ويسلمه لك.
اليوم 1,000: أصبح الرف جبلاً. تسأل مرة أخرى. أمين المكتبة مثقل جداً بحجم الكتب الهائل، فيمسك بالكتاب الخطأ مرة أخرى، رغم أنك لم تسأل عن السموم.

ما الذي حدث بشكل خاطئ؟ (الطرق الثلاث لتعطل الذاكرة)

وجدت الورقة البحثية ثلاث طرق رئيسية تسببت من خلالها ذاكرة الذكاء الاصطناعي في وقوع الأخطاء:

تسرب السياق المتداخل (خلط "الملفات الخاطئة"):
- التشبيه: تطلب من المساعد كتابة ملاحظة لـ المريض (أ). ولكن لأن المساعد يتذكر التاريخ الطبي لـ المريض (ب) من الأسبوع الماضي، فإنه يضع بالخطأ التفاصيل الخاصة بالمريض (ب) في ملاحظة المريض (أ).
- النتيجة: تتسرب المعلومات الخاصة، ليس لأن الذكاء الاصطناعي شرير، بل لأنه استرجع "الملف" الخطأ من ذاكرته.
المعلومات القديمة (الخريطة غير المحدثة):
- التشبيه: تسأل: "ما هو عنوان مكتب البريد؟". يتذكر المساعد العنوان من عام 2020. ورغم أنك أخبرته للتو في المحادثة الحالية أن العنوان قد تغير، إلا أن الذاكرة القديمة قوية جداً لدرجة أنها طغت على تعليماتك الجديدة.
- النتيجة: يعطيك الذكاء الاصطناعي الإجابة الخاطئة لأنه متمسك بحقيقة قديمة.
دمج التلخيص (حقيقة "فرانكنشتاين"):
- التشبيه: يقرأ المساعد ملاحظتين منفصلتين: "الموظف (أ) يحصل على 15 ألف دولار" و"الموظف (ب) يحصل على 25 ألف دولار". لاحقاً، يحاول تلخيص ذلك ويقول: "الموظفون يحصلون على ما بين 15 ألف و25 ألف دولار". ثم، عندما يسأل الموظف (ج) عما سيحصل عليه، يقول الذكال الاصطناعي بثقة: "ستحصل على 20 ألف دولار".
- النتيجة: اخترع الذكاء الاصطناعي رقماً محدداً لم يكن موجوداً في الواقع، فقط عن طريق دمج ذاكرتين معاً.

مفاجأة وكيل "المخلب"

اختبر الباحثون أيضاً وكلاء "المخلب" (الذين يعملون داخل حاسوبك). وجدوا أنه حتى لو كان الذكاء الاصطناعي يقوم بمهام برمجية مملة وآمنة، فإن مجرد حجم الذاكرة يجعله خطيراً.

تشتت الانتباه (Attention Dilution): مع امتلاء ذاكرة الذكاء الاصطناعي بآلاف الأسطر من الأكواد وملفات الإعدادات، يصبح "مشتتاً". يتوقف عن الانتباه لتحذيرات الأمان لأنه مشغول جداً بالبحث في كومة ملاحظاته الضخمة.
التطبيع (Normalization): إذا رأى الذكاء الاصطناعي كلمات مرور ومفاتيح حساسة في ذاكرته 500 مرة (لأنه يقوم فقط بأعمال برمجية عادية)، فإنه يبدأ في التفكير: "أوه، إظهار كلمات المرور أمر طبيعي". يتوقف عن معاملتها كأسرار.

الخبر السار: يمكننا رصد ذلك مبكراً

تقدم الورقة البحثية أيضاً حلاً. لقد بنوا "مراقب وقت الاسترجاع" (Retrieval-Time Monitor).

التشبيه: تخيل حارس أمن يتحقق من يدي أمين المكتبة قبل أن يسلمك الكتاب.
كيف يعمل: يجب على الذكاء الاصطناعي "البحث" عن المعلومات قبل أن يجيب. يقوم المراقب بالتحقق: "انتظر، هل المعلومات التي استدعاها الذكاء الاصطناعي للتو من ذاكرته آمنة لعرضها على هذا المستخدم تحديداً؟"
النتيجة: هذا المراقب جيد جداً في رصد هذه الأخطاء قبل أن يكتب الذكاء الاصطناعي الإجابة. يمكنه رصد "الملف الخطأ" أو "الخريطة غير المحدثة" ويمنع الذكاء الاصطناعي من ارتكاب الخطأ.

الخلاصة

تخلص الورقة البحثية إلى أن الأمان ليس مجرد "لقطة ثابتة"؛ بل هو "فيلم سينمائي".

لا يمكنك فقط التحقق مما إذا كان الذكاء الاصطناعي آمناً اليوم. يجب عليك مراقبة كيفية تصرفه مع تقدمه في العمر وتراكم ذكرياته. كلما تذكر الذكاء الاصطناعي أكثر، زاد احتمال قيامه بإفشاء الأسرار أو ارتكاب الأخطاء، ببساطة لأن ذاكرته أصبحت مزدحمة وفوضوية. وللحفاظ على سلامة الذكاء الاصطناعي، نحتاج إلى تصميم أنظمة تفهم هذا الخطر "طويل الأمد"، وليس فقط خطر "اللحظة الحالية".

ملخص تقني: تذكر المزيد، مخاطرة أكبر

بيان المشكلة

تركز تقييمات السلامة الحالية للوكلاء المعتمدين على النماذج اللغوية الكبيرة (LLMs) المزودة بالذاكرة بشكل أساسي على السلامة ضمن المهمة (within-task safety)، حيث تقيم ما إذا كان الوكيل يكمل سيناريو واحدًا بأمان، وغالبًا ما يكون ذلك تحت ظروف معادية مثل حقن الأوامر (prompt injection) أو تسميم الذاكرة. ومع ذلك، في عمليات النشر الواقعية، يخدم الوكيل الواحد العديد من المهام المستقلة عبر آفاق زمنية طويلة (أساب�ك أو أشهر)، مما يؤدي إلى تراكم حالة مستمرة.

تحدد الورقة فجوة حرجة: تلوث الذاكرة الزمني (temporal memory contamination). هذا نمط فشل حيث يؤدي تراكم الذاكرة الحميد عبر مهام مستقلة وغير معادية إلى سلوكيات غير آمنة بشكل متزايد بمرور الوقت. وخلافًا للهجمات المعادية حيث يصيغ المهاجم مدخلات لإحداث الفشل، ينشأ تلوث الذاكرة الزمني من تفاعلات الوكيل الروتينية نفسها. ومع نمو الذاكرة، قد تحتوي على محتوى ذي صلة باستعلام حالي ولكنه غير متوافق مع استجابة آمنة (على سبيل المثال، استرجاع بيانات خاصة لمستخدم آخر أو تعليمات قديمة)، مما يؤدي إلى انتقالات غير آمنة.

الأساليب الحالية لدراسة هذه الحالات تختلط بـ عدم استقرار التدفق (stream non-stationarity). فمجرد رسم معدلات الانتهاكات مقابل الزمن يفشل لأن تدفق المدخلات نفسه يتغير (على سبيل المثال، ارتفاع حجم البريد الإلكتروني أو تصبح المواضيع أكثر حساسية)، مما يجعل من المستحيل عزل ما إذا كان خطر التزايد ناتجًا عن تراكم الذاكرة أم عن الطبيعة المتغيرة للمهام.

المنهجية

لعزل تأثيرات الذاكرة عن عدم استقرار التدفق، قدم المؤلفون بروتوكول المسبار-المحفز (trigger-probe protocol) وإطار عمل قائم على الأحداث.

1. تفكيك الأحداث

يتم تفكيك حالات الفشل إلى ثلاثة مكونات:

الشرط المسبق (Precondition): تحتوي حالة الذاكرة على محتوى ملوث يمكن استرجاعه لاستعلام محدد.
المحفز (Trigger): مدخل محدد (مسبار) يقوم بتنشيط استرجاع هذا المحتوى.
الانتهاك (Violation): يقوم الوكيل بنقل المحتوى المسترجع بشكل غير لائق إلى استجابته.

2. بروتوكول المسبار-المحفز

يقيم هذا البروتوكول مجموعة ثابتة من محفزات المسبار مقابل لقطات ذاكرة للقراءة فقط مبنية من مقدمات التدفق بأطوال ( $\ell$ ) متفاوتة.

التعرض المتحكم فيه: يعالج الوكيل أول $\ell$ من التفاعلات لبناء حالة الذاكرة. ثم يتم تقييم مجموعة ثابتة من المسابير ضد هذه اللقطة في وضع القراءة فقط (المسابير لا تُكتب مرة أخرى في الذاكرة).
خط الأساس المقابل للواقع (Counterfactual Baseline): لكل مسبار، ينشئ النظام استجابتين: واحدة مع الذاكرة ( $y_{mem}$ ) وأخرى بدون ذاكرة ( $y_{\emptyset}$ ، وهي خط الأساس الذاكرة الفارغة/NullMemory).
وسم الانتهاك الناجم عن الذاكرة ( $U_a$ ): يُوسم الانتهاك على أنه ناتج عن الذاكرة فقط إذا:
1. كانت الاستجابة المعززة بالذاكرة غير آمنة.
2. كانت استجابة "الذاكرة الفارغة" آمنة.
3. كان المحتوى غير الآمن يمكن تتبعه إلى الذاكرة المسترجعة عبر المطابقة الدلالية.

3. إعداد التقييم

يُطبق البروتوكول عبر فئتين مختلفتين من الوكلاء وثلاثة سيناريوهات للنشر:

المساعدين المكتبيين (Office Assistants): يتم تقييمهم على تدفقات اصطناعية (الممارسة الطبية، مسجل الجامعة) وصندوق بريد شخصي لـ Enron. تم اختبار ثمانية معماريات ذاكرة من تصنيف MemEngine (مثل: الذاكرة الكاملة، قصيرة المدى، طويلة المدى، الوكلاء التوليديون، MemoryBank، MemGPT، MemTree).
الوكلاء الشبيهة بالمخالب (Claw-like Agents): يتم تقييمهم على منصات OpenClaw وSecLaw حيث يعمل الوكلاء في بيئة حوسبة المستخدم مع إمكانية الوصول إلى نظام الملفات. تُخزن الذاكرة كملفات Markdown بسيطة. يُقاس الخطر عبر سلاسل الكناري (canary strings) المضمنة في أوراق الاعتماد؛ ويحدث الانتهاك إذا ظهرت هذه السلاسل في المخرجات أو السجلات.

المساهمات الرئيسية

إطار عمل السلامة الطولي (Longitudinal Safety Framework): تقديم بروتوكول المسبار-المحفز الذي يعامل سلامة الذاكرة كمسار (trajectory)، مما يعزل تأثيرات التراكم عن تغيرات تدفق المدخلات.
التوصيف التجريبي: قياس شامل لمعدلات الانتهاك الناجمة عن الذاكرة عبر ثماني معماريات ذاكرة وثلاثة سيناريوهات، مما يثبت أن الخطر يتجاوز باستمرار خط أساس "الذاكرة الفارغة" ويزداد مع طول التعرض.
تحليل تعدد المعماريات: إثبات أن التضخيم الزمني يستمر عبر آليات فشل هيكلية مختلفة (تسرب السياق المتقاطع في المساعدين المكتبيين مقابل تميع الانتباه/تطبيع السياق في الوكلاء الشبيهة بالمخالب).
تحليل فضاء التصميم: تحديد نطاق الاسترجاع (الاسترجاع الدلالي الواسع) ومستوى التلخيص (المحتوى المجرد) كخيارات التصميم الأساسية التي تقود التضخم.
التشخيص عند وقت الاسترجاع: تطوير مراقب خفيف الوزن يتنبأ بالمخاطر الناجمة عن الذاكرة قبل التوليد بناءً على حالة الاسترجاع، محققًا استدعاءً (recall) عاليًا (0.970–0.984) دون الاعتماد على قواعد خاصة بالمجال.

النتائج

التضخم الزمني: تُظهر معدلات الانتهاك الناجمة عن الذاكرة ( $q_a(\ell)$ ) اتجاهًا تصاعديًا قويًا مع زيادة طول التعرض ( $\ell$ ). لوحظ هذا التأثير في كل من المساعدين المكتبيين والوكلاء الشبيهة بالمخالب.
المحتوى مقابل الترتيب: تشير تجارب عشوائية الترتيب (خلط تسلسل التفاعلات) إلى أن التضخم مدفوع أساسًا بـ المحتوى المتراكم وليس بالترتيب المحدد للمواجهات، رغم أن الترتيب المحلي يمكن أن يعدل التأثير لبعض المعماريات (مثل الذاكرة ذات الهيكل الشجري).
الحساسية المعمارية:
- المعماريات ذات الاسترجاع الواسع والاحتفاظ الطويل (مثل MemTree، Self-Controlled Memory، Generative Agents) تُظهر أعلى زيادات في معدلات الانتهاك.
- الأنظمة المنحازة للحداثة (مثل الذاكرة قصيرة المدى) تظل مستقرة نسبيًا، مما يشير إلى أن تقييد نطاق الاسترجاع يعمل كحاجز سلامة.
- يمكن للتلخيص أن يؤدي إلى مخاطر عبر دمج التفاصيل من سياقات منفصلة في تمثيلات مركبة تخلق استنتاجات جديدة غير آمنة.
الوكلاء الشبيهة بالمخالب: حتى بدون تسرب صريح للسياق (بما أن محتوى المسبار ثابت)، فإن الذاكرة الحميدة المحيطة تضعف الانتباه للسلامة وتطبع اللغة المجاورة لأوراق الاعتماد، مما يؤدي إلى ارتفاع معدلات الانتهاك مع نمو حجم الذاكرة.
المراقبة التنبؤية: نجح المراقب عند وقت الاسترجاع في اكتشاف المخاطر قبل التوليد، مما يشير إلى إمكانية تطبيق تدخلات السلامة في مرحلة الاسترجاع (مثل تصفية العناصر أو العودة إلى التوليد بدون ذاكرة).

الأهمية

تجادل الورقة بأن سلامة الذاكرة يجب أن تُعامل كـ خاصية طولية تتطلب تقييمًا زمنيًا، وليس كخاصية حالة واحدة يتم التقاطها عبر لقطة ثابتة. تتحدى النتائج الافتراض بأن تراكم الذاكرة الحميد هو أمر آمن، وتثبت أن التفاعلات الروتينية وحدها يمكن أن تضعف ملفات السلامة بمرور الوقت.

يوفر العمل أساسًا منهجيًا لتقييم سلامة الوكلاء طويل الأمد ويقدم رؤى قابلة للتطبيق لمصممي الأنظمة:

المقايضات: توسيع نطاق الاسترجاع وإضافة طبقات التلخيص يحسن الفائدة ولكنه يزيد من التعرض لمخاطر السلامة الزمنية.
التخفيف: يجب دمج آليات السلامة في مرحلة الاسترجاع، وليس فقط في مرحلة التوليد، لتصفية السياقات الملوثة قبل أن تؤثر على النموذج.
معايير التقييم: يجب أن تأخذ اختبارات السلامة المستقبلية البعد الزمني والتفاعل بين تراكم الذاكرة وعدم استقرار تدفق المدخلات في الاعتبار.

يخلص المؤلفون إلى أنه بدون التقييم الزمني الصريح، فإن سلامة الوكلاء المزودين بالذاكرة في عمليات النشر طويلة الأمد تظل غير موثقة وقد تكون معرضة للخطر بسبب تاريخهم الخاص.