Adaptive Memory Admission Control for LLM Agents

إليك ملخص تقني مفصل لورقة البحث بعنوان "التحكم التكيفي في قبول الذاكرة للوكلاء القائمين على النماذج اللغوية الكبيرة" (A-MAC)، المنشورة في ورشة عمل MemAgent في مؤتمر ICLR 2026.

1. بيان المشكلة

تعتمد الوكلاء (Agents) القائمة على النماذج اللغوية الكبيرة (LLM) بشكل متزايد على الذاكرة طويلة المدى لدعم الاستنتاج والتفاعل عبر جلسات متعددة. ومع ذلك، تفتقر الأنظمة الحالية إلى التحكم الفعال في قبول الذاكرة (أي اتخاذ القرار بشأن المعلومات التي يجب الاحتفاظ بها). تعاني النهج الحالية من قصورين رئيسيين:

• الأساليب القائمة على الاستدلال (Heuristic-based methods): (مثل MemGPT وMemoryBank) تعتمد على وظائف تسجيل نقاط مصممة يدويًا (مثل الحداثة، والصلة)، والتي تفتقر إلى آليات مبدئية لمنع دخول الحقائق المهلوسة أو البائدة إلى الذاكرة.
• الأساليب الأصلية للنماذج اللغوية (LLM-native methods): (مثل A-mem وMem0) تفوض عملية القبول بالكامل للنماذج اللغوية الكبيرة. وبينما هي فعالة في الاستدعاء، إلا أنها تتسبب في تكاليف حوسبة عالية، وتفتقر إلى التفسيرية، وتجعل عملية التدقيق صعبة.

التحدي الجوهري هو إنشاء نظام لقبول الذاكرة يكون فعالاً، وقابلاً للتفسير، وواعياً بالهلوسة، ومتكيفاً مع المجالات المختلفة دون الحاجة إلى ضبط يدوي.

2. المنهجية: إطار عمل A-MAC

يقترح المؤلفون التحكم التكيفي في قبول الذاكرة (A-MAC)، والذي يعامل قبول الذاكرة كمسألة قرار مهيكلة بدلاً من كونها نتاجاً ضمنياً لعملية التوليد. يقوم إطار العمل بتقييم الذاكرة المرشحة قبل دخولها إلى التخزين طويل المدى باستخدام نهج هجين.

2.1 خمس إشارات قيمة قابلة للتفسير

يقوم A-MAC بتفكيك قيمة الذاكرة إلى خمسة أبعاد متكاملة، يتم تجميعها في درجة مركبة $S(m)$:

$$S(m) = w_1 \cdot U(m) + w_2 \cdot C(m) + w_3 \cdot N(m) + w_4 \cdot R(m) + w_5 \cdot T(m)$$

1. المنفعة ($U$): تقدير احتمالية الصلة المستقبلية. يتم حسابها عبر استدعاء واحد للنموذج اللغوي (درجة الحرارة 0) لتقييم ما إذا كانت المعلومة قابلة للتنفيذ أو تدعم الأسئلة اللاحقة.
2. الثقة ($C$): تقيس الدعم الواقعي للحد من الهلوسة. تُحسب باستخدام محاذاة ROUGE-L بين المرشح والمقاطع الداعمة في سجل المحادثة.
3. الحداثة ($N$): تمنع التخزين الزائد عن الحاجة. تُحسب كـ $1 - \max(\text{cosine similarity})$ مقابل الذاكرات الموجودة باستخدام تضمينات Sentence-BERT.
4. الحداثة الزمنية ($R$): تأخذ في الاعتبار الاضمحلال الزمني باستخدام دالة اضمحلال أسي ($\lambda = 0.01$ لكل ساعة).
5. أولوية النوع ($T$): تشفر المعرفة بالمجال حول استمرارية المعلومات. تستخدم مطابقة الأنماط القائمة على القواعد (وسوم أجزاء الكلام - POS tags) لتخصيص أوزان أعلى للحقائق المستقرة (مثل التفضيلات، والهوية) وأوزان أقل للحالات العابرة.

2.2 البنية الهجينة وتعلم السياسة

• الكفاءة: يستخدم النظام استخراجاً خفيفاً قائماً على القواعد لأربعة سمات ($C, N, R, T$) ويخصص استدلال النموذج اللغوي المكلف فقط لسمة المنفعة الدلالية ($U$).
• قاعدة القرار: يتم قبول المرشح إذا كان $S(m) \geq \theta$ (عتبة مُتعلمة). إذا تعارض المرشح مع ذاكرة موجودة (تشابه عالٍ ولكن بمحتوى مختلف)، يقوم النظام بدمجهما، مع الاحتفاظ بالنسخة ذات الدرجة الأعلى.
• التحسين: يتم تعلم متجه الأوزان $\mathbf{w}$ والعتبة $\theta$ عبر التحقق المتقاطع خماسي الطيات (5-fold cross-validation) على بيانات تدريب مصنفة، مما يؤدي إلى تعظيم مقياس F1. وهذا يسمح للسياسة بالتكيف مع مجالات محادثة مختلفة دون تدخل يدوي.

3. المساهمات الرئيسية

1. صياغة المشكلة: تحديد قبول الذاكرة كمسألة تحكم حرجة وغير محددة بدقة، وتحليل المقايضات بين النهج القائمة على الاستدلال والنهج المدفوعة بالكامل بالنماذج اللغوية.
2. إطار عمل A-MAC: تقديم إطار عمل قابل للتفسير يستخدم خمس إشارات متميزة لالتقاط القيمة، والموثوقية، والاستمرارية بشكل مشترك.
3. تصميم هجين فعال: يجمع بين حساب السمات القائم على القواعد مع الحد الأدنى من استدلال النموذج اللغوي، محققاً توازناً بين الدقة والكفاءة الحوسبية.
4. التحقق التجريبي: إثبات الأداء المتفوق على معيار LoCoMo مع دراسات استئصال توضح الدور المحدد لكل عامل قبول.

4. النتائج التجريبية

أُجريت التجارب على معيار LoCoMo (225 عينة اختبار عبر مجالات شخصية، وتقنية، وبحثية).

4.1 مقارنة الأداء

تفوق A-MAC على النماذج المرجعية المتطورة (MemGPT, MemoryBank, A-mem):

• مقياس F1: بلغ 0.583 (مقابل 0.541 لـ A-mem، وهو أفضل مستوى سابق).
• الدقة (Precision): بلغت 0.417 (الأعلى بين الطرق القائمة على النماذج اللغوية)، مما قلل بشكل كبير من تضخم الذاكرة.
• الاستدعاء (Recall): بلغ 0.972 (شبه مثالي، ومقارب لـ 1.0 في A-mem).
• زمن الاستجابة (Latency): بلغ 2644 مللي ثانية لكل مرشح، وهو انخفاض بنسبة 31% مقارنة بـ A-mem (3831 مللي ثانية). ويعود ذلك إلى أن A-MAC يستخدم استدعاءً واحداً فقط للنموذج اللغوي، بينما يتطلب A-mem عدة استدعاءات متتالية لتوليد السمات.

4.2 دراسة الاستئصال (Ablation Study)

كشف حذف السمات الفردية عن أهميتها النسبية:

• أولوية النوع ($T$): كانت العامل الأكثر تأثيراً. أدى حذفها إلى أكبر انخفاض في F1 ($\Delta F1 = -0.107$)، مما خفض الأداء إلى مستوى خط الأساس "الأوزان المتساوية". وهذا يؤكد أن التمييز بين أنواع المحتوى المستمرة (التفضيلات/الهوية) والحالات العابرة أمر بالغ الأهمية.
• العوامل الأخرى: قدمت الحداثة، والمنفعة، والثقة، والحداثة الزمنية تحسينات تدريجية ($\Delta F1$ بين -0.013 و -0.028).

4.3 التعميم

• عبر المجالات: تعمت الأوزان المتعلمة بفعالية عبر المجالات "الشخصية" و"المهنية" دون إعادة ضبط، وإن كان الأداء أعلى قليلاً في المحادثات الشخصية (حيث تتوافق بيانات التفضيلات الصريحة جيداً مع سمة أولوية النوع).
• حساسية العتبة: أظهر النظام متانة في نطاق العتبة $[0.50, 0.60]$، حيث ظل مقياس F1 مرتفعاً.

5. الأهمية والخاتمة

يؤكد A-MAC أن التحكم الصريح والقابل للتفسير في القبول هو مبدأ تصميم حاسم للوكلاء القائمين على النماذج اللغوية الكبيرة القابل للتوسع.

• الموثوقية: من خلال النمذجة الصريحة للثقة ونوع المحتوى، يمنع A-MAC انتشار الهلوسات والحقائق البائدة.
• الكفاءة: يثبت التصميم الهجين أن ليس كل قرار ذاكرة يتطلب استدلالاً كاملاً للنموذج اللغوي، مما يوفر تسريعاً بنسبة 31% مقارنة بالنهج العصبية البحتة.
• الشفافية: على عكس أنظمة الذاكرة العصبية "الصندوق الأسود"، يسمح نموذج التسجيل الخطي في A-MAC للمطورين بفحص أوزان السمات والدرجات، مما يسهل عمليات التصحيح وتدقيق السياسات.

تخلص الورقة إلى أن معاملة قبول الذاكرة كمسألة قرار مهيكلة ومدفوعة بالبيانات ينتج نظاماً أكثر موثوقية وكفاءة وقدرة على التكيف من الحلول الحالية المتطورة.