ملخص تقني: ElasticMem

بيان المشكلة

تعد الذاكرة طويلة المدى أمراً بالغ الأهمية لتمكين وكلاء النماذج اللغوية الكبيرة (LLMs) من التفكير بشكل متماسك عبر التفاعلات الممتدة، وتخصيص الاستجابات، وإعادة استخدام الخبرات السابقة. ومع ذلك، تتعامل أنظمة تعزيز الذاكرة الحالية مع الذاكرة كـ مورد ثابت، مما يخلق عدم توافق بين المنفعة المعتمدة على الاستعلام وبين التخصيص الثابت لسعة الذاكرة.

تنقسم النهج الحالية إلى فئتين، كلتاهما تعاني من قيود كبيرة:

1. أساليب الفضاء النصي (Text-Space Methods): تقوم باسترجاع سجلات باللغة الطبيعية ودمجها في نافذة السياق. ورغم أنها قابلة للتفسير، إلا أنها تتسبب في تكاليف باهظة من حيث عدد الرموز (tokens)، وتكون حساسة للبيانات الصاخبة أو المتكررة، حيث تستهلك الذكريات غير ذات الصلة رموز السياق بغض النظر عن فائدتها.
2. أساليب الفضاء الكامن (Latent-Space Methods): تقوم بضغط الذكريات في نواقل مستمرة (vectors) أو رموز ناعمة (soft tokens) لتقليل التكاليف النصية. ومع ذلك، فهي تعتمد عادةً على آليات استرجاع جامدة (مثل تشابه جيب التمام الثابت) وواجهات ذات سعة ثابتة حيث يتلقى كل جزء مسترجع ميزانية كامنة موحدة. هذا يفشل في التمييز بين الأجزاء التي تحتوي على أدلة حاسمة وتلك التي هي مجرد متشابهة لغوياً ولكنها غير مفيدة.

التحدي الجوهي هو أن فائدة الذاكرة تعتمد بشدة على الاستعلام وعلى المهمة، ومع ذلك، غالباً ما يتم تحديد الاسترجاع وتخصيص السعة من خلال خيارات تصميم ثابتة بدلاً من تعلمها من نتائج المهام.

المنهجية: ElasticMem

يقترح المؤلفون ElasticMem، وهو إطار عمل يعامل الذاكرة كـ مورد كامن مرن وقابل للتعلم. بدلاً من الاسترجاع الثابت والتخصيص الموحد، يتعلم ElasticMem استرجاع الذكريات بشكل تكيفي بناءً على الحالة الداخلية للمُستنتج (reasoner) وتخصيص ميزانيات كامنة متغيرة لها بناءً على فائدتها اللاحقة.

يتكون الإطار من أربع مراحل رئيسية:

1. بناء بنك الذاكرة الكامنة

يتم بناء بنك ذاكرة كامن "خارج الخط" (offline) لمرة واحدة ويظل ثابتاً أثناء التدريب. يتم ترميز كل جزء من الذاكرة $m_i$ بواسطة مشفر نموذج لغوي كبير (LLM) أساسي ثابت لإنتاج:

• مفتاح استرجاع ($k_i$): الحالة المخفية النهائية للجزء.
• ذاكرة محتوى مؤقتة ($C_i$): آخر $N_c$ من الحالات المخفية للجزء.
  يسمح هذا بالاسترجاع الفعال دون الحاجة لإعادة ترميز المتن الكامل أثناء الاستدلال.

2. الاسترجاع المشروط بالاستعلام

على عكس الأنظمة القياسية التي تستخدم مسترجعاً منفصلاً وثابتاً، يستمد ElasticMem استعلام الاسترجاع من الحالة المخفية للمُستنتج نفسه.

• يقوم المُستنتج (المكيف باستخدام تقنية LoRA) بأخذ عينة من رمز التحكم في الاسترجاع $a$ بناءً على الاستعلام $q$.
• يعالج المُستنتج $(q, a)$ لتوليد حالة الاستعلام $h_q$.
• يتم استرجاع الذكريات بناءً على تشابه جيب التمام بين $h_q$ ومفاتيح الاسترجاع المخزنة $k_i$. يتيح ذلك للاسترجاع التكيف مع التفسير الداخلي للنموذج للاستعلام بدلاً من الاعتماد فقط على المطابقة الدلالية السطحية.

3. تخصيص الميزانية الكامنة المرنة

بعد استرجاع أفضل $Z$ من الأجزاء المرشحة، يقوم سياسة ميزانية Transformer خفيفة الوزن ($\pi_\phi$) بتعيين عدد متغير من الرموز الكامنة ($b_j$) لكل جزء.

• يتم أخذ العينة للميزانية $b_j$ من توزيع منفصل $\{0, 1, \dots, B_{max}\}$.
• تسمح الميزانية $b_j=0$ للنموذج بقمع الأجزاء المسترجعة التي تكون متشابهة ولكن غير مفيدة.
• تأخذ السياسة ميزات تشمل حالة الاستعلام، ومفاتيح الذاكرة، ودرجات الاسترجاع، وتضمينات الرتب المتعلمة، باستخدام آلية الانتباه الذاتي لمقارنة الذكريات ببعضها البعض قبل تخصيص السعة.
• تحصل الأجزاء المفيدة على ميزانيات أكبر، بينما يتم ضغط أو قمع الأجزاء المتكررة أو المضللة.

4. حقن الذاكرة الكامنة والتحسين

يتم إسقاط الحالات المخفية المختارة من الذاكرة المؤقتة للمحتوى إلى رموز ذاكرة ناعمة عبر مسقط كامن متعلم ($P_\psi$) وحقنها في تسلسل مدخلات المُستنتج.

• التدريب: يتم تحسين العملية بأكملها (التحكم في الاسترجاع، تخصيص الميزانية، الإسقاط، والتوليد) بشكل مشترك باستخدام تحسين السياسة النسبية للمجموعة (GRPO).
• تعمل إشارة المكافأة (مثل الدقة أو نجاح المهمة) على الإشراف ليس فقط على الإجابة النهائية، بل أيضاً على قرارات الاسترجاع وتخصيص الميزانية. وهذا يمكن النموذج من تعلم أي الذكريات يجب استرجاعها وكم من القدرة التمثيلية تستحق بناءً على نتائج المهام الفعلية.

المساهمات الرئيسية

1. الذاكرة الكامنة المرنة: نموذج جديد ينقل الذاكرة من واجهة نصية أو كامنة ثابتة إلى مورد مرن وقابل للتعلم حيث يتم تخصيص السعة ديناميكياً بناءً على المنفعة.
2. الاسترجاع المتكيف بحالة المُستنتج: آلية استرجاع مشروطة بالحالة الداخلية للمُستنتج ورمز تحكم مأخوذ بالعينة، مما يتجاوز المطابقة الدلالية الجامدة.
3. سياسة ميزانية واعية بالمنفعة: سياسة متعلمة تعين ميزانيات كامنة متغيرة للأجزاء المسترجعة، مما يسمح للنموذج بإعطاء الأولوية للأدلة المفيدة وقمع الضجيج.
4. التحسين من الطرف إلى الطرف: إطار تدريب يحسن الاسترجاء، والتخصيص، والتوليد بشكل مشترك عبر مكافآت المهام اللاحقة، مما يربط إدارة الذاكرة بمنفعة المهمة.

النتائج التجريبية

تم تقييم ElasticMem على MemorySuite، والذي يغطي الأسئلة والأجوبة كثيفة الذاكرة (PersonaMem, LoCoMo, LongMemEval) واتخاذ القرار الوكيل المجسد (ALFWorld)، باستخدام نماذج خلفية Qwen2.5-3B و Qwen2.5-7B.

• مكاسب الأداء:
  • مهام الأسئلة والأجوبة: حسن ElasticMem متوسط الدقة الموزون بنسبة 26.2% (Qwen2.5-3B) و 24.6% (Qwen2.5-7B) مقارنة بأقوى النماذج المرجعية.
  • المهام الوكيلية (ALFWorld): حسن ElasticMem متوسط معدل النجاح الموزون بنسبة 66.3% (Qwen2.5-3B) و 27.2% (Qwen2.5-7B).
• الكفاءة: حقق ElasticMem أقل تكلفة للرموز في مهمة ALFWorld بين جميع الطرق المقارنة، مما يثبت أن مكاسب الأداء لم تكن بسبب مسارات تفاعل أطول أو استخدام مفرط للذاكرة.
• دراسات الاستبعاد (Ablation Studies):
  • سياسة الميزانية: تفوقت سياسة الميزونة القائمة على Transformer بشكل كبير على استراتيجيات التخصيص العشوائية، الموحدة، والقائمة على MLP، مما يؤكد قيمة تعلم التفاعلات بين الذكريات.
    ඉතා
  • الاسترجاع: تفوق الاسترجاع القائم على حالة الاستعلام مع رمز تحكم على الاسترجاع الدلالي والاسترجاع بالحالة الثابتة، مما يبرز أهمية تكييف الاسترجاع مع الحالة الداخلية للمُستنتج.
  • حدود السعة: حقق حد الميزانية المتوسط لكل جزء ($B_{max}=20$) أفضل النتائج، مما يشير إلى أن الميزانيات الكبيرة جداً يمكن أن تؤدي إلى تراجع الأداء عبر تخصيص السعة لأجزاء أقل فائدة.

الأهمية والادعاءات

يزعم البحث أن ElasticMem يعالج عدم التوافق الجوهري في أنظمة الذاكرة الحالية: الطبيعة الثابتة لتخصيص الذاكرة مقابل الطبيعة الديناميكية لمنفعة الذاكرة. من خلال معاملة الذاكرة كمورد قابل للتعلم، يُمكّن الإطار الوكلاء من:

• إعطاء الأولوية للأدلة المفيدة والخطط القابلة للنقل حتى لو لم تكن الأكثر تشابهاً لغوياً مع الاستعلام.
• قمع الذكريات الصاخبة أو المتكررة التي قد تستهلك السياق أو السعة الكامنة.
• تحقيق أداء فائق في كل من مهام الاستنتاج واتخاذ القرار مع الحفاظ على كفاءة عالية في عدد الرموز.

يخلص المؤلفون إلى أن الذاكرة الكامنة المرنة هي اتجاه واعد لبناء وكلاء نماذج لغوية كبيرة أكثر كفاءة، وتكيفاً، وطويلة الأمد، متجاوزين قيود السياق الثابت وأنماط الاسترجاع الجامدة.