🤖 machine learning

Mem-T: Densifying Rewards for Long-Horizon Memory Agents

يقدم Mem-T وكيل ذاكرة ذاتي التشغيل تم تدريبه عبر إطار عمل MoT-GRPO، والذي يعمل على تكثيف المكافآت المتفرقة طويلة المدى من خلال الانتشار العكسي الموجه بالشجرة لتحقيق أداء وكفاءة متفوقين مقارنة بأنظمة إدارة الذاكرة الحالية.

المؤلفون الأصليون: Yanwei Yue, Boci Peng, Xuanbo Fan, Jiaxin Guo, Qiankun Li, Yan Zhang

نُشر 2026-03-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yanwei Yue, Boci Peng, Xuanbo Fan, Jiaxin Guo, Qiankun Li, Yan Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم مساعد آلي ذكي جداً ولكنه نساي، كيف يتعامل مع محادثة ضخمة تمتد لسنوات طويلة. المشكلة هي أن الروبوت لديه "ذاكرة عمل" ضئيلة (مثل ورقة ملاحظات لاصقة) لا يمكنها استيعاب سوى بضع جمل في كل مرة. إذا طالت المحادثة كثيراً، ينسى الروبوت البداية، ويصاب بالارتباك، ويبدأ في اختلاق معلومات من عنده.

تقدم هذه الورقة البحثية Mem-T، وهي طريقة جديدة لتعليم الروبوتات كيفية بناء واستخدام ذاكرة طويلة المدى بفعالية. إليك التفاصيل باستخدام تشبيهات بسيطة.

المشكلة: يانصيب "الجائزة الواحدة"

في السابق، عندما كان الباحثون يحاولون تدريب هذه الروبوتات، كانوا يستخدمون طريقة تشبه اليانصيب.

كيف كانت تعمل: كان الروبوت يمر بمئات الخطوات (القراءة، التفكير، البحث، كتابة الملاحظات) طوال المحادثة بأكملها. وفقط في النهاية، بعد أن يطرح الإنسان سؤالاً نهائياً، يحصل الروبوت على مكافأة: "أحسنت!" (نقطة واحدة) أو "إجابة خاطئة" (صفر نقطة).
العيب: لم يكن لدى الروبوت أي فكرة عن أي خطوة محددة أدت إلى الفوز. هل فاز لأنه تذكر اسم "جينا" في الخطوة العاشرة؟ أم لأنه بحث في قاعدة البيانات الصحيحة في الخطوة الخمسين؟ لقد كان الأمر لغزاً. وهذا ما يسمى بمشكلة "المكافأة الشحيحة" (Sparse Reward). كان الروبوت يخمن في الظلام.

الحل: Mem-T (أمين المكتبة الذكي)

ابتكر المؤلفون Mem-T، وهو روبوت يعمل مثل أمين مكتبة فائق التنظيم لديه ثلاثة أنواع متميزة من الأرفف:

الذاكرة الواقعية: حقائق صلبة (مثلاً: "ولدت جينا في عام 1990").
الذاكرة التجريبية: الدروس المستفادة (مثلاً: "إذا كانت جينا متعبة، فهي تفضل الاجتماعات القصيرة").
الذاكرة الخام: النسخة غير المحررة من نص المحادثة (للاحتياط فقط).

Mem-T لا يقوم بالتخزين فحسب؛ بل يقرر بنشاط ما الذي يكتبه، وما الذي يحدّثه، وما الذي يتخلص منه، كل ذلك أثناء سير المحادثة.

السر الكامن: MoT-GRPO (شجرة الخيارات)

السحر الحقيقي ليس مجرد أرفف الذاكرة؛ بل هو كيفية تدريب الروبوت. لقد اخترعوا طريقة تدريب جديدة تسمى MoT-GRPO.

تخيل أن الروبوت يحاول العثور على كتاب معين في مكتبة ضخمة للإجابة على سؤال.

الطريقة القديمة: يختار الروبوت مساراً واحداً، ويمشي في ممر، وإذا فشل، تظهر له إشارة "انتهت اللعبة". إنه لا يتعلم شيئاً عن سبب فشله.
طريقة Mem-T (الشجرة):
1. التفرع: بدلاً من مجرد السير في مسار واحد، يتخيل الروبوت ثلاث نسخ مختلفة من نفسه تسير في ثلاثة ممرات مختلفة في نفس الوقت.
2. المكافآت الكثيفة: بينما تسير كل نسخة، تحصل على مكافآت صغيرة للعثور على أدلة مفيدة على طول الطريق (مثلاً: "أحسنت، لقد وجدت قسم الحقائق!").
3. الرجوع إلى الوراء (Backtracking): إذا أدى أحد المسارات إلى طريق مسدود، ينظر النظام إلى المسارات الأخرى. يقول: "آه، النسخة التي بحثت في رف الخبرات أولاً هي التي وجدت الإجابة!".
4. الائتمان المتأخر (Hindsight Credit): يقوم النظام بعد ذلك بالعودة إلى البداية تماماً ويخبر الروبوت: "لقد كنت محقاً في البحث في رف الخبرات أولاً. كانت تلك هي الخطوة المفتاحية".

هذا يحول "الجائزة الكبرى الواحدة في النهاية" إلى تدفق مستمر من التغذية الراجعة، مما يعلم الروبوت بالضبط أي الأفعال هي المهمة.

النتائج: أذكى وأقل تكلفة

بما أن Mem-T يعرف بالضبط أي الخطوات هي المهمة:

إنه أذكى: يتفوق على أنظمة الذاكرة الرائدة السابقة بفارق كبير (يصل إلى 15% أفضل) في الأسئلة المعقدة وطويلة المدى.
إنه فعال: لا يهدر الطاقة في البحث في كل مكان. فهو يعرف تماماً أين يبحث، مما يوفر حوالي 24% من قدرة الكمبيوتر (الرموز/Tokens) المطلوبة للإجابة على سؤال.

الخلاصة

فكر في Mem-T على أنه ترقية للروبوت من سمكة ذهبية (تنسى كل شيء بعد 10 ثوانٍ) إلى محقق محنك (يحتفظ بملف قضية مفصل، ويعرف كيفية الربط بين الأدلة، ويتعلم من كل خطأ).

من خلال استخدام "شجرة الخيارات" لمنح الروبوت تغذية راجعة مستمرة بدلاً من الانتظار حتى النهاية لقول "أحسنت"، نجح الباحثون في حل مشكلة تعليم الذكاء الاصطناعي كيفية تذكر القصة الطويلة، وليس فقط الجملة الأخيرة.

إليك ملخص تقني مفصل لورقة البحث "Mem-T: تكثيف المكافآت للوكلاء ذوي الذاكرة طويلة الأمد (Long-Horizon)."

1. بيان المشكلة

تعالج الورقة عقبة حرجة في تطوير وكلاء الذكاء الاصطناي المستقلين ذوي الذاكرة طويلة الأمد: الإسناد الزمني للمكافأة (Temporal Credit Assignment) في المهام طويلة الأمد.

المكافآت الشحيحة والمتأخرة: تعتمد وكلاء الذاكرة القابلة للتدريب حالياً (مثل Memory-R1 و Mem- $\alpha$ ) غالباً على التعلم التعزيزي (RL). ومع ذلك، في سيناريوهات السياق الطويل (مئات الدورات)، يقوم الوكلاء بمئات عمليات الذاكرة (الإنشاء، التطور، الاسترجاع) قبل تلقي مكافأة نهائية ثنائية (0/1) بناءً على دقة الإجابة النهائية.
فشل التحسين: هذا الشح الشديد يجعل من الصعب عزو النجاح أو الفشل إلى إجراءات وسيطة محددة. الطرق الحالية تنشر المكافأة النهائية بشكل غير مدروس عبر جميع الخطوات، مما يؤدي إلى تحسين غير فعال لسياسات بناء واسترجاع الذاكرة.
محدودية القواعد التجريبية (Heuristics): تعتمد الأنظمة الموجودة مسبقاً (مثل MemGPT و Mem0) على مطالبات (prompts) مصممة يدوياً وقواعد ثابتة، وهي مقيدة بقدرات النموذج الأساسي على اتباع التعليمات وتفتقر إلى القدرة على التكيف.

2. المنهجية

يقترح المؤلفون Mem-T، وهو وكيل ذاكرة هرمي، يتم تدريبه عبر MoT-GRPO (تحسين السياسة النسبي الجماعي الموجه بشجرة عمليات الذاكرة).

أ. بنية Mem-T

يعمل Mem-T على تدفق معلومات مستمر ويحافظ على حالة ذاكرة هرمية $M_t$ تتكون من أربعة مكونات:

الذاكرة العاملة ( $M^{work}$ ): ملخص موجز على مستوى الجلسة يتم تحديثه بشكل تكراري.
الذاكرة الواقعية ( $M^{fact}$ ): معرفة تقريرية (حقائق، كيانات) مع نوافذ زمنية لصلاحيتها.
الذاكرة التجريبية ( $M^{exp}$ ): معرفة إجرائية (استراتيجيات، دروس مستفادة).
الذاكرة الخام ( $M^{raw}$ ): أرشيفات من دورات الحوار الخام.

يقوم الوكيل بمرحلتين متوازيتين:

بناء الذاكرة المستمر: استخراج الحقائق والتجارب وتحديث الملخصات بشكل استباقي من تدفق المدخلات باستخدام سياسات التشكيل والتطور ( $\pi_{form}, \pi_{evol}$ ).
استرجاع الذاكرة عند الطلب: عندما يظهر استعلام، ينفذ الوكيل بحثاً متعدد الدورات عبر وحدات الذاكرة لتوليد إجابة.

ب. إطار العمل التدريبي MoT-GRPO

لحل مشكلة شح المكافأة، قدم المؤلفون إطار عمل تعلم تعزيزي موجه بالشجرة يعمل على تكثيف المكافآت من خلال الانتشار العكسي (Backpropagation) والإسناد اللاحق للمسؤولية (Hindsight Credit Assignment).

1. بناء شجرة عمليات الذاكرة (MoT):

بدلاً من مسار واحد، يولد الوكيل مجموعة من الأشجار $G$ .
التوسع المتكرر للفروع (Iterative Branching Rollout): بدءاً من عقدة الجذر، تقوم السياسة بأخذ عينات عشوائية من عقد محورية وتوسيعها إلى فروع جديدة (rollouts). هذا يخلق شجرة من مسارات الاسترجاء المتنوعة لاستعلام واحد.

2. الانتشار العكسي للمكافأة على مستوى العقدة (للاسترجاع):

المكافآت الكثيفة: يتم تخصيص مكافأة كثيفة $R(v)$ $R (v)$ لكل عقدة $v$ $v$ في الشجرة، وليس فقط للعقد الطرفية (leaf nodes).
- $R(v) = \mathbb{I}_{fmt}(v) \cdot (\alpha \cdot \text{Evid}(v) + \text{Perform}(v))$
- معدل إصابة الأدلة (Evidence Hit Rate): يقيس الاسترجاع الفوري للأدلة.
- الأداء المتوقع: بالنسبة للعقد الطرفية، هو الدقة/F1 النهائي. بالنسبة للعقد الداخلية، هو متوسط أداء أبنائها.
تقدير الميزة ثنائي المقياس:
- الميزة داخل الشجرة (Intra-Tree Advantage): تطبيع المكافآت ضمن شجرة واحدة لتحديد المسارات المثلى محلياً.
- الميزة بين الأشجار (Inter-Tree Advantage): تطبيع المكافآت عبر المجموعة بأكملها لتشجيع الاستكشاف العالمي.
- تجمع الميزة الإجمالية $A_{total}$ بين كليهما لتوجيه تحديث السياسة.

3. الإسناد اللاحق للمسؤولية (للبناء):

بما أن بناء الذاكرة يحدث قبل الاستعلام، فإن المكافآت تكون متأخرة. يقوم إطار العمل بنشر إشارات الميزة من أشجار الاسترجاع الناجحة إلى إجراءات البناء السابقة.
معامل الائتمان ( $\rho$ ): يتلقى إجراء بناء الذاكرة ائتماناً إذا:
1. توافق الأدلة: تحتوي الذاكرة المبنية على الأدلة الحقيقية المطلوبة للإجابة.
2. أثر الاسترجاع: تم استرجاع الذاكرة المبنية واستخدامها فعلياً في المسار الناجح.
التحسين غير المتصل (Offline Optimization): يتم اختيار إجراءات البناء ذات الدرجات العالية وتنسيقها في مجموعة بيانات $D^*_{mem}$ لضبط سياسة البناء عبر التعلم الخاضع للإشراف (تعظيم الاحتمالية اللوغاريتمية)، مما يؤدي فعلياً إلى استخلاص "الحكمة اللاحقة".

3. المساهمات الرئيسية

إطار عمل ذاكرة موحد (Mem-T): وكيل مبسط يدمج الذاكرة الواقعية والتجريبية والعاملة مع تنسيق وكيل لدورة حياة الذاكرة الكاملة (التشكيل، التطور، الاسترجاع).
نموذج MoT-GRPO: نهج تعلم تعزيزي مبتكر يحول المكافآت النهائية الشحيحة إلى إشراف كثيف خطوة بخطوة. إنه يحل مشكلة الإسناد الزمني للمكافأة عبر:
- الانتشار العكسي للمكافأة الموجه بالشجرة للاسترجاع.
- الإسناد اللاحق للمسؤولية للبناء.
أداء رائد (SOTA): يثبت أن التحسين المشترك للبناء والاسترجاع يحقق نتائج متفوقة مقارنة بالأسالوات المفككة أو القائمة على القواعد التجريبية.

4. النتائج التجريبية

قيم المؤلفون Mem-T على أربعة اختبارات مرجعية: LoCoMo (محادثة طويلة الأمد)، LongMemEval، HotpotQA، و NarrativeQA.

مكاسب الأداء:
- في LoCoMo، حقق Mem-T (مع MoT-GRPO) F1 إجمالي قدره 58.65، متفوقاً على SOTA السابق (GAM) بنسبة 14.92% (باستخدام نفس نموذج Qwen3-4B الأساسي).
- تفوق على النماذج المرجعية غير المدربة (مثل RAG و MemGPT) بفوارق كبيرة، كما هزم الطرق المدربة الأخرى (Memory-R1, MemAgent).
- التعميم عبر المجالات: حافظ Mem-T على أداء SOTA في المهام خارج النطاق (HotpotQA, NarrativeQA)، محققاً تحسناً متوسطاً بنسبة 13.52% عن الطرق الأخرى.
الكفاءة (جبهة باريتو):
- يعمل Mem-T على جبهة تفضيلية بين الدقة والكفاءة.
- مقارنة بـ GAM، قلل Mem-T عدد توكنات الاستدلال لكل استعلام بنسبة ~24.45% مع تحقيق دقة أعلى.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة وحدة الذاكرة الواقعية (Factual Memory) إلى أكبر انخفاض في الأداء، مما يبرز دورها الحاسم.
- أدت إزالة أي من مكونات تحسين الاسترجاع أو تحسين البناء في MoT-GRPO إلى تدهور الأداء بشكل كبير، مما يثبت ضرورة التدريب المشترك.
- وُجد أن الميزة بين الأشجار (Inter-tree advantage) كانت أكثر أهمية من الميزة داخل الشجرة لاستقرار التدريب.

5. الأهمية

تحول في النموذج: تنقل هذه الورقة إدارة الذاكرة من الأنظمة الثابتة القائمة على القواعد التجريبية إلى أنظمة قابلة للتعلم بالكامل ومركزة على الإسناد.
حل مشكلة RL طويلة الأمد: توفر حلاً قوياً لمشكلة "المكافأة الشحيحة" في الوكلاء ذوي السياق الطويل، مما يسمح بالتحسين الشامل (end-to-end) لخطوات الذاكرة المعقدة ومتعددة المراحل.
القابلية للتوسع: من خلال تكثيف المكافآت، يسمح Mem-T للنماذج الأصغر (مثل Qwen3-4B) بالتفوق على النماذج الأكبر غير المدربة أو الأنظمة القائمة على القواعد، مما يجعل وكلاء الذاكرة عالية الأداء أكثر سهولة وتكلفة.
مستقبل الوكلاء: يضع هذا العمل حجر الأساس لوكلاء قادرين على التطور الذاتي والتعلم مدى الحياة، حيث يواصل الوكيل صقل استراتيجيات الذاكرة الخاصة به باستمرار بناءً على نتائج المهام.