💬 NLP

Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory

تقدم هذه الورقة Evo-Memory، وهو معيار وإطار عمل شامل للبث المصمم لتقييم وتعزيز قدرات الذاكرة ذاتية التطور لوكلاء النماذج اللغوية الكبيرة (LLM) في بيئات المهام المستمرة والديناميكية، والتي تتميز بمسار ReMem المقترح الذي يدمج الاستنتاج، والأفعال، وتحديثات الذاكرة من أجل التحسين المستمر.

المؤلفون الأصليون: Tianxin Wei, Noveen Sachdeva, Benjamin Coleman, Zhankui He, Yuanchen Bei, Xuying Ning, Mengting Ai, Yunzhe Li, Jingrui He, Ed H. Chi, Chi Wang, Shuo Chen, Fernando Pereira, Wang-Cheng Kang, Derek Zhiy

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tianxin Wei, Noveen Sachdeva, Benjamin Coleman, Zhankui He, Yuanchen Bei, Xuying Ning, Mengting Ai, Yunzhe Li, Jingrui He, Ed H. Chi, Chi Wang, Shuo Chen, Fernando Pereira, Wang-Cheng Kang, Derek Zhiyuan Cheng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً عبقرياً يمكنه حل الألغاز المعقدة، أو كتابة الأكواد البرمجية، أو التنقل داخل منزل افتراضي. في الوقت الحالي، معظم هؤلاء المساعدين الذكيين يشبهون العباقرة فاقدي الذاكرة. فهم في غاية الذكاء في اللحظة الراهنة، ولكن بمجرد انتهاء المحادثة أو إنجاز المهمة، ينسون كل ما تعلموه للتو. إذا طلبت منهم حل مشكلة مماثلة في اليوم التالي، سيتعين عليهم البدء من الصفر، ويرتكبون نفس الأخطاء ويكتشفون نفس الحلول مجدداً.

تقترح ورقة بحثية بعنوان "Evo-Memory" طريقة لإصلاح ذلك عبر منح هؤلاء المساعدين ذاكرة حية ونابضة تتطور بمرور الوقت.

إليك تفصيل للأفكات الجورية للورقة باستخدام تشبيهات بسيطة:

1. المشكلة: "السمكة الذهبية" مقابل "المتدرب"

تعمل معظم ذاكرات الذكاء الاصطناዊ الحالية مثل أرشيف المكتبة. إذا طرحت سؤالاً، يبحث الذكاء الاصطناعي عن حقيقة محددة خزنها سابقاً (مثل "ما هي عاصمة فرنسا؟") ويقرأها مرة أخرى. وهذا ما يسمى الاستدعاء الحواري (Conversational Recall).

لكن المؤلفين يجادلون بأن هذا ليس كافياً. فالذكاء الحقيقي يتطلب إعادة استخدام الخبرة (Experience Reuse).

السمكة الذهبية: تتذكر ماذا حدث (مثلاً: "حاولت فتح الباب وكان مغلقاً").
المتدرب: يتذكر كيف يتعامل مع الأمر في المرة القادمة (مثلاً: "في المرة القادمة التي أرى فيها باباً مغلقاً، يجب أن أبحث عن مفتاح أو أحاول تحريك المقبض أولاً").

تقول الورقة إن أنظمة الذكاء الاصطناعي الحالية عالقة في دور السمكة الذهبية؛ فهي تتذكر الحقائق لكنها لا تتعلم الاستراتيجيات من إخفاقاتها ونجاحاتها السابقة.

2. الحل: "دفتر ملاحظات ذاتي التطور"

قدم المؤلفون Evo-Memory، وهي طريقة جديدة لاختبار وبناء وكلاء ذكاء اصطناعي يعملون مثل المتدرب.

تخيل أن لدى وكيل الذكاء الاصطناعي دفتراً للملاحظات.

الطريقة القديمة: بعد كل مهمة، يقوم الذكاء الاصطناعي بمجرد لصق المحادثة بأكملها في الدفتر. يصبح الدفتر ضخماً، فوضوياً، وصعب القراءة.
طريقة Evo-Memory: بعد كل مهمة، يقوم الذكاء الاصطناعي بثلاثة أشياء:
1. التفكير: "ماذا فعلت للتو؟ هل نجح الأمر؟"
2. التنفيذ: إنهاء المهمة الحالية.
3. التحسين: "حسناً، هذا الحل نجح. سأكتب قاعدة قصيرة وواضحة في دفتري حول كيفية حل هذه المشكلة، وسأتخلص من الأجزاء الفوضوية التي لم تكن مهمة".

مع مرور الوقت، لا يصبح هذا الدفتر أكبر فحسب؛ بل يصبح أذكى وأكثر تنظيماً. فهو يحول التجارب الخام إلى استراتيجيات قابلة لإعادة الاستخدام.

3. الاختبار: "الامتحان المستمر"

لإثبات نجاح ذلك، أنشأ الباحثون معياراً جديداً يسمى Evo-Memory.

فكر في هذا الأمر كأنه ماراثون وليس سباقاً قصيراً.

الاختبارات القديمة: تعطِي الذكاء الاصطناعي مسألة رياضية واحدة، ثم مسألة أخرى، ثم أخرى. هي مسائل غير مترابطة، والذكاء الاصطناعي يحلها واحدة تلو الأخرى فقط.
اختبار Evo-Memory: تعطِي الذكاء الاصطناعي تدفقاً مستمراً من المهام، مثل مستوى في لعبة فيديو يزداد صعوبة باستمرار.
- المهمة 1: حل معادلة بسيطة.
- المهمة 2: حل معادلة أصعب قليلاً باستخدام نفس المنطق.
- المهمة 3: توجيه روبوت للعثور على طماطم، ثم وضعها في الميكروويف.
- المهمة 4: توجيه روبوت للعثور على كوب، ثم وضعه على الطاولة.

يتحقق الاختبار من: هل يصبح الذكاء الاصطناعي أسرع وأفضل في المهمة رقم 4 لأنه تعلم من المهمة رقم 3؟ إذا كان الذكاء الاصطناعي "متطوراً" حقاً، فيجب أن يستخدم ذاكرته لتجاوز الخطوات وحل المشكلات بكفاءة أكبر مع استمرار التدفق.

4. النتائج: وكيل "ReMem"

اختبرت الورقة أنواعاً عديدة من أنظمة الذاكرة. ووجدوا أن:

الذاكرة الثابتة (Static Memory): الوكلاء الذين يخزنون الدردشات الماضية فقط (مثل روبوتات الدردشة القياسية) لم يتحسنوا كثيراً بمرور الوقت؛ فقد ظلوا يرتكبون نفس الأخطاء.
وكيل "ReMem": هذا هو أسلوب الورقة الجديد. إنه يفكر بنشاط في ذاكرته. يسأل نفسه: "هل هذه الذاكرة القديمة مفيدة؟ هل يجب أن أحذف الأشياء السيئة؟ كيف يمكنني استخدام هذا لحل المشكلة الجديدة؟"

التشبيه:

الوكلاء القدامى يشبهون طالباً يؤدي اختباراً، يحصل على درجة سيئة، ثم ينسى الاختبار فوراً، ليأخذ الاختبار التالي بنفس الارتباك.
ReMem يشبه طالباً يؤدي اختباراً، يراجع أخطاءه، يكتب "ورقة غش" تحتوي على الصيغ الصحيحة، ويستخدم تلك الورقة ليتفوق في الاختبار التالي.

5. النتائج الرئيسية

التعلم من الفشل: لم يتذكر أفضل الوكلاء النجاحات فحسب؛ بل تعلموا من الإخفاقات أيضاً. إذا حاول الوكيل فتح باب وكان مغلقاً، يقوم وكيل "ReMem" بتحديث ذاكرته ليتذكر "افحص المفاتيح أولاً"، بدلاً من مجرد تذكر "حاولت فتح الباب".
الكفاءة: استغرق الوكلاء الذين يمتلكون هذه الذاكرة المتطورة خطوات أقل لحل المشكلات. لم يضيعوا الوقت في إعادة اختراع العجلة.
يعمل في كل مكان: حدث هذا التحسن سواء كان الذكاء الاصطناعي يقوم بالرياضيات، أو كتابة الكود، أو التنقل داخل منزل افتراضي.

الملخص

تجادل الورقة بأنه لكي يكون الذكاء الاصطناعي مفيداً حقاً في العالم الحقيقي (حيث المهام مستمرة ومعقدة)، فإنه يحتاج إلى ما هو أكثر من مجرد قرص صلب لتخزين الحقائق. إنهم بحاجة إلى نظام ذاكرة ديناميكي يقوم بمراجعة وتنظيم وترقية معرفته باستمرار، محولاً "ما حدث" إلى "كيفية القيام بالأمر بشكل أفضل في المرة القادمة".

لقد بنوا اختباراً جديداً (Evo-Memory) لقياس هذا، وأظهروا أن طريقتهم الجديدة (ReMem) هي الأولى التي تجعل وكلاء الذكاء الاصطناه يتعلمون ويتحسنون أثناء عملهم، بدلاً من مجرد الانتظار ليتم إعادة تدريبهم من قبل البشر لاحقاً.

ملخص تقني: الذاكرة المتطورة (Evo-Memory)

بيان المشكلة

تمتلك وكلاء النماذج اللغوية الكبيرة (LLM) قدرات كبيرة في التفكير، والتخطيط، واستخدام الأدوات، ومع ذلك، لا تزال قدرتها على الحفاظ على الحالة والتطور من خلال التفاعل أمراً غير مستكشف بشكل كافٍ. تعمل أنظمة الذاكرة الحالية بشكل أساسي كمستودع سلبي للاستدعاء الحواري الثابت، حيث تسترجع الحقائق الماضية للإجابة على الاستفسارات دون التعلم بنشاط من التجارب المتراكمة لتحسين اتخاذ القرار في المستقبل. وبينما عالجت الاختبارات المرجعية الأخيرة التعلم التسلسلي أو الاتساق طويل الأمد، إلا أنها غالباً ما تفشل في تقييم قدرة الوكيل على إعادة استخدام استراتيجيات التفكير وتكييف هياكل الذاكرة عبر تدفقات مهام متطورة في سيناريوهات النشر في العالم الحقيقي. هناك فجوة حرجة في الأطر الموحدة التي تختبر ما إذا كان بإمكان النماذج اللغوية الكبيرة استرجاع وتكامل وتحديث الذاكرة باستمرار أثناء النشر—وهي عملية تُسمى التطور أثناء وقت الاختبار (test-time evolution).

المنهجية

معيار Evo-Memory

لمعالجة هذه الفجوة، قدم المؤلفون Evo-Memory، وهو معيار شامل وتدفق لتقييم الذاكرة ذاتية التطور لوكلاء النماذج اللغوية الكبيرة.

إعادة هيكلة تدفق المهام: على عكس المعايير الثابتة، يعيد Evo-Memory هيكلة مجموعات البيانات إلى تدفقات مهام تسلسلية. يعالج الوكلاء المدخلات $\{x_1, \dots, x_T\}$ حيث تتطور حالة الذاكرة $M_t$ بعد كل تفاعل.
صياغة موحدة: يصيغ الإطار الوكيل المعزز بالذاكرة كزوج مرتب $(F, U, R, C)$ $(F, U, R, C)$ ، حيث $F$ $F$ هو النموذج اللغوي الأساسي، و $U$ $U$ هو مسار التحديث، و $R$ $R$ هو وحدة الاسترجاع، و $C$ $C$ يقوم ببناء السياق. يعمل الوكيل في دورة:
1. البحث: استرجاع مدخلات الذاكرة ذات الصلة $R_t$ بناءً على المدخل الحالي $x_t$ .
2. التركيب: بناء سياق عمل $\tilde{C}_t$ من العناصر المسترجعة.
3. التطور: توليد المخرج $\hat{y}_t$ ، واستقبال التغذية الراجعة $f_t$ ، وتحديث حالة الذاكرة $M_{t+1} = U(M_t, m_t)$ ، حيث تلتقط $m_t$ التجربة الجديدة.
نطاق مجموعة البيانات: يمتد المعيار عبر مجالات متنوعة تشمل المعرفة الواقعية (MMLU-Pro, GPQA-Diamond)، والتفكير الرياضي (AIME-24/25)، واستخدام الأدوات (ToolBench)، والتفاعلات المجسدة متعددة الجولات (AlfWorld, BabyAI, ScienceWorld, PDDL).

الأطر المقترحة

ينفذ البحث ويقيم عدة بنيات ذاكرة، مقدماً طريقتين محددتين لسد الفجوة بين الاستدعاء الثابت والتطور النشط:

ExpRAG (استرجاع وتجميع الخبرات): طريقة أساسية تعامل الذاكرة كـ سياق معزز بالاسترجاع. تقوم بتشفير المهام الماضية كخبرات مهيكلة وتسترجع أفضل- $k$ من الأمثلة المتشابهة لتهيئة النموذج، مما يؤدي فعلياً إلى إعادة استخدام الخبرة بضربة واحدة عبر التعلم داخل السياق.
ReMem (صقل الذاكرة): إطار متقدم يوحد التفكير، والعمل، وصقل الذاكرة في حلقة قرار واحدة. على عكس وكلاء ReAct القياسيين، يقدم ReMem عملية "صقل" (Refine) إلى جانب "التفكير" (Think) و"العمل" (Act). يتيح ذلك للوكيل إجراء تفكير ميتا (Meta-reasoning) على ذاكرته الخاصة—عبر التقييم النشط، وتقليم الضجيج، وإعادة تنظيم الخبرات المخزنة لدعم المهام المستقبلية بشكل أفضل. هذا يخلق عملية قرار ماركوفية حيث تتضمن الحالة المدخل الحالي، وحالة الذاكرة، وآثار التفكير.

النتائج الرئيسية

قيم المؤلفون أكثر من عشر وحدات ذاكرة تمثيلية (بما في ذلك SelfRAG, Mem0, Dynamic Cheatsheets, و Agent Workflow Memory) عبر عائلات نماذج Gemini-2.5 و Claude.

مكاسب الأداء: تفوقت بنيات الذاكرة ذاتية التطور باستمرار على النماذج الأساسية الثابتة. في مهام التفكير أحادية الجولة والأسئلة والأجوبة، حقق ReMem متوسط تطابق تام قدره 0.65 ودقة واجهة برمجة تطبيقات (API accuracy) بلغت 0.85/0.71 على Gemini-2.5 Flash. في البيئات المجسدة متعددة الجولات، حقق ReMem معدلات نجاح بلغت 0.92/0.96 في BabyAI و 0.78/0.91 في ScienceWorld (باستخدام Claude 3.7 Sonnet)، متفوقاً بشكل كبير على النماذج غير المتطورة.
الكفاءة: أظهرت طرق الذاكرة المتطورة تحسناً في كفاءة الخطوات. قلل ReMem متوسط عدد الخطوات المطلوبة لإكمال المهام (على سبيل المثال، من 22.6 إلى 11.5 خطوة في AlfWorld)، مما يشير إلى أن صقل الذاكرة يؤدي إلى تفكير أكثر تركيزاً.
تشابه المهام والنقل: ارتبطت مكاسب الأداء بقوة مع تشابه المهام داخل مجموعة البيانات (معامل بيرسون $r=0.717$ ). استفاد الوكلاء بشكل أكبر في البيئات ذات التماسك الهيكلي العالي (مثل PDDL و AlfWorld)، مما يشير إلى أن هياكل المهام المتكررة تسهل إعادة استخدام الذاكرة بفعالية.
المتانة تجاه الصعوبة والفشل:
- ترتيب التسلسل: حافظ ReMem على أداء قوي بغض النظر عن ترتيب صعوبة المهام (سهل ← صعب مقابل صعب ← سهل)، بينما أظهرت الطرق الأساسية تبايناً كبيراً.
- التعامل مع الضجيج: عند التعرض لتجارب ناجحة وفاشلة على حد سواء، ظل ReMem متيناً من خلال صقل الذاكرات المخزنة بنشاط، بينما أدى التراكم الساذج للإخفاقات إلى تدهور أداء النماذج الأساسية.
استقلالية النموذج: لوحظت فوائد الذاكرة المتطورة عبر كل من النماذج الكبيرة (Sonnet, Pro) والصغيرة (Hkaiku, Flash-Lite)، حيث أظهرت النماذج الصغيرة تحسينات نسبية كبيرة بشكل خاص.

الأهمية والادعاءات

يزعم البحث أن Evo-Memory يضع منصة موحدة لتقييم "الذكاء مدى الحياة" لوكلاء النماذج اللغوية الكبيرة، محولاً التركيز من الاستدعاء الحواري السلبي إلى إعادة استخدام الخبرة النشطة.

سد الفجوة: يسلط العمل الضوء على أنه بينما يمكن للوكلاء تذكر ما قيل، فإنهم غالباً ما يفشلون في تعلم ما تم تعلمه. يوفر Evo-Memory أول إطار منهجي لقياس كيفية تراكم الوكلاء للاستراتيجيات وصقلها عبر تدفقات المهام.
رؤى التصميم: تشير النتائج إلى أن الاستخدام الصريح على مستوى المهمة وإعادة التنظيم المستمر للذاكرة أمران حاسمان للتكيف. يشير نجاح ReMem إلى أن دمج صقل الذاكرة مع التفكير والعمل هو نموذج واعد لإنشاء وكلاء ذاتيي التحسين.
الاتجاه المستقبلي: يضع المؤلفون هذا العمل كحجر أساس لتطوير نماذج لغوية كبيرة ذات ذاكرة موثوقة ومتطورة باستمرار، مشيرين إلى أنه بينما تبدو الطرق الحالية واعدة، فإن الاستقرار وإعادة الاستخدام الإجرائي يظلان من المجالات التي تتطلب مزيداً من البحث.

يختتم البحث بالإعلان عن إطلاق الكود والإعدادات لتعزيز قابلية التكرار، بهدف توحيد تقييم التعلم أثناء وقت الاختبار والذاكرة ذاتية التطور في مجتمع البحث الأوسع.