MemAdapter: Fast Alignment across Agent Memory Paradigms via Generative Subgraph Retrieval

ملخص تقني: MemAdapter: المحاذاة السريعة عبر نماذج ذاكرة الوكيل عبر الاسترجاع التوليدي للرسوم البيانية الفرعية

1. بيان المشكلة

تعتمد وكلاء النماذج اللغوية الكبيرة (LLM) الحديثة على آليات الذاكرة للتعامل مع المهام طويلة الأمد. عادةً ما تكون أنظمة ذاكرة الوكيل الحالية معزولة في ثلاثة نماذج متميزة:

• الذاكرة الصريحة (Explicit Memory): وحدات منفصلة وهيكلية (مثل السجلات النصية أو الرسوم البيانية) يتم استرجاعها عبر التشابه الدلالي أو الطوبولوجي.
• الذاكرة البارامترية (Parametric Memory): المعلومات المضمنة داخل معاملات النموذج (مثل استخدام LoRA أو الضبط الدقيق).
• الذاكرة الكامنة (Latent Memory): التمثيلات الموزعة التي يتم الحفاظ عليها في الحالات الداخلية للنموذج (مثل مخازن KV cache أو مساحات التضمين الكامنة).

التحدي الجوهري هو أن هذه النماذج "مقترنة بشدة" بطرق الاسترجاع الخاصة بها. هذا الاقتران يمنع الاندماج عبر النماذج (دمج أنواع مختلفة من الذاكرة) ويجعل تكييف نظام الاسترجاع مع نوع جديد من الذاكرة عملية مكلفة للغاية من حيث الموارد، مما يتطلب غالباً إعادة تصميم هيكلي واسع النطاق وإعادة تدريب تؤدي إلى النسيان الكارثي.

2. المنهجية

يقترح المؤلفون MemAdapter، وهو إطار عمل يوحد نماذج الذاكرة غير المتجانسة من خلال الاسترجاع التوليدي المستقل عن النموذج. يتكون النهج من مرحلتين أساسيتين:

المرحلة الأولى: الاسترجاء التوليدي للرسم البياني الفرعي عبر تقطير النموذج

• مساحة ذاكرة موحدة: بدلاً من استرجاع النصوص أو التضمينات، يهدف MemAdapter إلى توليد رسم بياني فرعي صريح (عقد وحواف) من مساحة كامنة موحدة ومستقلة عن النموذج.
• تقطير المعلم-الطالب (Teacher-Student Distillation): نظراً لندرة الرسوم البيانية الفرعية كاملة الحقيقة واسعة النطاق، استخدم المؤلفون نموذج معلم قوياً (Qwen2.5-32B) للقيام بخطوتين: (1) بناء رسم بياني كامل للذاكرة من المستندات، و(2) استخراج رسم بياني فرعي للأدلة مشروط بالاستعلام.
• التدريب: يتم تدريب نموذج طالب (Qwen2.5-1.5B) باستخدام خسارة تقطير تباعد KL على مستوى الرمز (token-level) لمحاكاة قدرة المعلم على توليد رسوم بيانية فرعية مهيكلة وذات صلة بالمهمة.

المرحلة الثانية: المحاذاة السريعة عبر النماذج عبر التعلم التبايني

• وحدات المحاذاة: لتكييف النظام مع نماذج ذاكرة غير مرئية (على سبيل المثال، الانتقال من الذاكرة الصريحة إلى الذاكرة الكامنة)، قدم المؤلفون وحدات محاذاة خفيفة الوزن وخاصة بكل نموذج ($\text{Align}(\tau)$).
• التعلم التبايني (Contrastive Learning): باستخدام نموذج مرجعي (مثل ذاكرة الرسم البياني الصريح) كمرجع، يتم رسم خرائط لحالات ذاكرة النموذج المستهدف إلى مساحة الذاكرة الموحدة. يتم تحسين الوحدة باستخدام خسارة شبيهة بـ InfoNCE، والتي تقلل المسافة بين التمثيل المرجعي وتمثيل النموذج المستهدف لنفس الحالة، بينما تزيد المسافة من العينات السلبية.
• الكفاءة: تتطلب هذه المرحلة حوالي 2,500 عرض توضيحي فقط، ويمكن إكمالها في حوالي 13 دقيقة على وحدة معالجة رسومات واحدة.

الاستدلال والدمج:
عند الاستدلال، يتم إسقاط حالات الذاكرة المختلفة في المساحة الموحدة ويمكن دمجها باستخدام أخذ العينات بالخفض البسيط (مثل max-pooling). يسمح هذا للوكيل بإجراء دمج صفري المعرفة (zero-shot fusion) للذاكرات الصريحة والبارامترية والكامنة.

3. المساهمات الرئيسية

• أول إطار عمل موحد: هو أول إطار عمل لاسترجاع الذاكرة مصمم لتوحيد نماذج الذاكرة غير المتجانسة المتعددة.
• نهج الرسم البياني الفرعي التوليدي: من خلال التحول من الاسترجاع القائم على التشابه إلى بناء الرسم البياني الفرعي التوليدي، فإنه يحسن كلاً من المرونة وقابلية التفسير للأدلة المسترجعة.
• كفاءة عالية: يحقق محاذاة عبر النماذج باستخدام أقل من 5% من الموارد الحسابية المطلوبة لضبط مسترجعات الذاكرة الأصلية.
• دمج "وصّل وشغّل" (Plug-and-Play): يتيح التكامل السلس للمعلومات المتكاملة من أنواع الذاكرة المختلفة.

4. النتائج التجريبية

تم تقييم إطار العمل على ثلاثة اختبارات معيارية (WikiMultiHopQA، وNarrativeQA، وMuSiQue) عبر أحجام وكلاء مختلفة (1.5B، و3B، و7B).

• أداء متفوق: تفوق MemAdapter باستمرار على خمسة من النماذج المرجعية المتطورة (بما في ذلك A-Mem، وMem0، وMemoryLLM، وStreamingLLM، وCARE) عبر جميع الاختبارات وأحجام النماذج.
• محاذاة فعالة: عند تكييف الأنظمة الحالية (على سبيل المثال، تحويل MemoryLLM إلى MemAdapter)، أظهر إطار العمل تحسينات كبيرة في درجات F1 وROUGE-1، مما يثبت أن تحويل الذاكرة الضمنية إلى رسوم بيانية فرعية صريحة يعزز الاستنتاج.
• كفاءة الذاكرة: قلل MemAdapter متوسط طول الذاكرة بأكثر من 50% مقارنة بالنماذج المرجعية، مما أدى بفعالية إلى ضغط السياق طويل الأمد في رسوم بيانية فرعية مدمجة وذات صلة بالمهمة.
• دمج قوي: أظهرت التجارب أنه كلما تمت إضافة المزيد من قطع الذاكرة غير المتجانسة، تحسن الأداء بشكل مطرد، مما يدل على تكوين موثوق للمعلومات.

5. الأهمية

يمثل MemAdapter خطوة هامة نحو بنى وكلاء نمطية وقابلة للتوسع. من خلال فصل تخزين الذاكرة (النموذج) عن استرجاع الذاكرة (الرسم البياني الفرعي التوليدي)، فإنه يسمح للمطورين بخلط واستخدام تقنيات ذاكرة مختلفة دون التكلفة الباهظة لإعادة التدريب. وهذا يمهد الطريق لوكلاء أكثر ذكاءً، يعملون بنظام "وصّل وشغّل"، وقادرين على الاستفادة من مصادر معرفية متنوعة لحل مهام الاستنتاج المعقدة ومتعددة الخطوات.