MemBuilder: Reinforcing LLMs for Long-Term Memory Construction via Attributed Dense Rewards

إليك ملخص تقني مفصل لورقة البحث بعنوان: "MemBuilder: تعزيز النماذج اللغوية الكبيرة (LLMs) لبناء الذاكرة طويلة المدى عبر المكافآت الكثيفة المنسوبة".

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) صعوبة في الحفاظ على الاتساق في الحوارات طويلة المدى بسبب عدم قدرة آليات الاسترجاع القياسية (مثل RAG) على التقاط التطور الزمني للحالات التاريخية. وبينما توجد أطر عمل مدعومة بالذاكرة، تواجه النهج الحالية ثلاثة قيود حرجة:

1. التشغيل مفتوح الحلقة (Open-Loop Operation): تعمل الأنظمة القائمة على التلقين (مثل MemGPT وMem0) دون الحصول على تغذية راجعة حول ما إذا كانت الذاكرات التي تم بناؤها تفيد بالفعل المهام اللاحقة.
2. التبعية للنماذج (Model Dependency): تعتمد هذه الأنظمة بشكل كبير على نماذج مغلقة المصدر ومكلفة لبناء الذاكرة، مما يجعلها غير مجدية اقتصادياً عند التوسع في النطاق.
3. اختناقات التدريب (Training Bottlenecks): تعاني طرق التدريب الحالية من:
   • المكافآت المتفرقة على مستوى المسار (Sparse Trajectory-Level Rewards): توفر مكافأة واحدة في نهاية حوار طويل إشارة غير كافية لتحديد أي عمليات ذاكرة معينة في الجلسات المتوسطة ساهمت في النجاح النهائي.
   • غموض الإسناد متعدد الأبعاد (Multi-Dimensional Attribution Ambiguity): في أنظمة الذاكرة متعددة المكونات (مثل الذاكرة العرضية والذاكرة الدلالية)، تفشل المكافأة العالمية في تمييز المساهمة المحددة لكل مكون، مما يؤدي إلى تحديثات ضوضائية للتدرج (gradient updates).

2. المنهجية: إطار عمل MemBuilder

يقدم MemBuilder إطار عمل للتعلم التعزيزي (RL) مصمم لتدريب نماذج خفيفة الوزن (تحديداً نموذج بـ 4 مليارات معلمة) لإدارة بناء الذاكرة متعدد الأبعاد.

أ. بنية الذاكرة متعددة الأبعاد

يقوم النظام بتفكيك تاريخ المحادثة إلى أربعة أنواع متخصصة من الذاكرة، يدير كل منها "تلقين" (prompt) مخصص للدور:

1. الذاكرة الجوهرية ($M_{core}$): ملف تعريف مستخدم ثابت (الهوية، التفضيلات، العلاقات). تُخزن ككتلة ثابتة الحجم مع ضغط تلقائي.
2. الذاكرة العرضية ($M_{epi}$): سجلات أحداث مختومة زمنياً ("ماذا حدث ومتى").
3. الذاكرة الدلالية ($M_{sem}$): معرفة واقعية حول الكيانات (الأشخاص، الأماكن، المفاهيم).
4. الذاكرة الإجرائية ($M_{proc}$): عمليات وروتينات خطوة بخطوة.

مساحات العمل (Action Spaces): يتعلم النموذج عمليات محددة لكل نوع (على سبيل المثال، APPEND و REPLACE و REWRITE للذاكرة الجوهرية؛ و ADD و UPDATE و MERGE للذاكرة العرضية). ومن الجدير بالذكر أن عملية UPDATE تنشئ إدخالاً جديداً يشير إلى القديم بدلاً من الكتابة فوقه، مما يحافظ على التاريخ الزمني.

ب. مسار التدريب

تتكون عملية التدريب من مرحلتين:

1. الضبط الدقيق الخاضع للإشراف (SFT): يستخدم مسارات الخبراء (التي تم إنشاؤها بواسطة Claude 4.5 Sonnet) لتعليم نموذج الـ 4B تنسيق JSON الصحيح وهياكل العمليات، مما يحل مشكلة "البداية الباردة" حيث يفشل التعلم التعزيزي وحده بسبب المخرجات غير الصالحة.
2. تحسين سياسة المكافآت الكثيفة المنسوبة (ADRPO): وهو خوارزمية التعلم التعزيزي الأساسية التي تعالج العقبتين المذكورتين أعلاه.

ج. الابتكارات التقنية الرئيسية في ADRPO

1. المكافآت الكثيفة على مستوى الجلسة عبر الأسئلة والأجوبة الاصطناعية:

   • بدلاً من انتظار مكافأة نهائية، يقوم النظام بتوليد أزواج (سؤال-جواب) اصطناعية لكل جلسة بناءً على حالة الذاكرة الحالية.
   • يقوم "حكم" (LLM Judge) بتقييم دقة الإجابات المسترجعة من بنك الذاكرة المرشح.
   • يوفر هذا إشارة تعلم كثيفة ($r_{task}$) بعد كل جلسة، مما يسمح للنموذج بتعلم أي عمليات الذاكرة كانت مفيدة فوراً.
   • التنظيم (Regularization): تتضمن المكافأة النهائية بوابة صلاحية (مكافأة صفرية لملفات JSON غير الصحيحة) وعقوبة طول لمنع تخزين ذاكرة لفظية غير مفيدة.

2. توزين التدرج الواعي بالمساهمة (Contribution-Aware Gradient Weighting):

   • بما أن جميع مكونات الذاكرة تشترك في مكافأة جلسة عالمية، فلا يمكن للنظام معرفة أي مكون هو الذي دفع النجاح بشكل متأصل.
   • تقوم الطريقة بتوزين تحديثات التدرج ديناميكياً بناءً على تكرار الاسترجاع. إذا تم استرجاع نوع معين من الذاكرة (مثل الذاكرة العرضية) بشكل متكرر للإجابة على الأسئلة، يتم تضخيم تحديثات التدرج الخاصة به ($\alpha > 1$).
   • يحل هذا مشكلة "تخصيص الائتمان" (credit assignment) في بيئات الوكلاء المتعاونين، مما يضمن أن المكونات التي تساهم أكثر في أداء الأسئلة والأجوبة اللاحقة تتلقى تعزيزاً أقوى.

3. المساهمات الرئيسية

• خوارزمية ADRPO: إطار عمل جديد للتعلم التعزيزي يجمع بين المكافآت الكثيفة على مستوى الجلسة وتوزين التدرج الواعي بالمساهمة لتحسين بناء الذاكرة طويلة المدى.
• تصميم الذاكرة متعدد الأبعاد: نهج مهيكل (جوهرية، عرضية، دلالية، إجرائية) ينقل العبء الحسابي من معالجة الرموز (tokens) المتشابكة إلى استرجاع قطع "مهضومة مسبقاً".
• الأداء مع النماذج خفيفة الوزن: يثبت أن نموذج 4B مفتوح المصدر يمكنه التفوق على أطر عمل التلقين (prompting) المتطورة والمغلقة المصدر.
• الأسئلة والأجوبة الاصطناعية للمكافآت الكثيفة: آلية لتوليد إشارات تعلم متوسطة في المهام ذات الأفق الطويل حيث تفشل المكافآت المتفرقة التقليدية.

4. النتائج التجريبية

تم تقييم إطار العمل على ثلاثة اختبارات حوار طويلة المدى: LoCoMo، و LongMemEval، و PerLTQA.

• الأداء:
  • حقق MemBuilder (نموذج 4B) نسبة 84.23% في LoCoMo، متفوقاً على أفضل خط أساس قائم على التلقين (MIRIX بنسبة 77.48%)، بل وتفوق حتى على Claude 4.5 Sonnet (82.61%) المستخدم كباني للذاكرة.
  • حقق 85.75% في LongMemEval و 93.14% في PerLTQA.
• التعميم: على الرغم من التدريب حصرياً على LongMemEval، فقد تعمم النموذج بفعالية على اختبارات خارج نطاق التوزيع (OOD) ذات هياكل حوار مختلفة (إنسان-إنسان مقابل مستخدم-مساعد).
• دراسات الاستئصال (Ablation Studies):
  • توزين التدرج: تم تحقيق الأداء الأمثل مع معامل وزن $\alpha=4$، مما يؤكد أن تضخيم التحديثات لأنواع الذاكرة المهيمنة يحسن النتائج.
  • كثافة المكافأة: أدت المكافآت المتفرقة (مكافأة 1/8 من الجلسات فقط) إلى تدهور الأداء إلى ما دون خط الأساس لـ SFT، مما يثبت ضرورة التغذية الراجعة الكثيفة على مستوى الجلسة.
  • كفاءة النموذج: تفوق نموذج 4B المدرب بشكل كبير على Memory-R1 (الذي استخدم نموذج 8B) وعلى النماذج المغلقة المصدر.

5. الأهمية

يمثل MemBuilder تحولاً في نموذج إدارة الذاكرة طويلة المدى للنماذج اللغوية الكبيرة:

1. كفاءة التكلفة: يثبت أن النماذج خفيفة الوزن ومفتوحة المصدر يمكن أن تحل محل واجهات برمجة التطبيقات (APIs) المغلقة والمكلفة لبناء الذاكرة إذا تم تدريبها بأهداف التعلم التعزيزي الصحيحة.
2. القابلية للتوسع: من خلال حل مشكلتي المكافأة المتفرقة والنسب، فإنه يتيح تدريب أنظمة ذاكرة قوية للحوارات الممتدة دون الاعتماد على التلقين "مفتوح الحلقة".
3. القابلية للتفسير والتحكم: يوفر نهج الذاكرة متعدد الأبعاد والمهيكل قدرة أفضل على التفسير والتحكم الدقيق فيما يتم تخزينه وكيفية تطوره، مقارنة بالذاكرة الكامنة أو أساليب RAG الخام.

باختدال، يثبت MemBuilder أنه باستخدام المكافآت الكثيفة المنسوبة، يمكن للنماذج الصغيرة بناء ذاكرات مهيكلة عالية الجودة طويلة المدى تتفوق على الأنظمة الأكبر حجماً أو غير المدربة أو القائمة على التلقين.