ملخص تقني: ENGRAM

1. بيان المشكلة

تتطلب النماذج اللغوية الكبيرة (LLMs) المنشورة في التطبيقات الموجهة للمستخدمين اتساقاً طويل الأمد: أي القدرة على تذكر التفاعلات السابقة، واحترام تفضيلات المستخدم، وتأصيل الاستنتاج في الأحداث الماضية. ومع ذلك، فإن النماذج اللغوية الكبيرة القياسية تعود إلى وضعها الأصلي بمجرد تجاوز المدخلات لنطاق سياقها، مما يؤدي إلى سلوكيات هشة مثل النسيان، أو التناقضات، أو الاعتماد على بيانات التدريب المسبق.

بينما حاولت الجهود السابقة توسيع نطاقات السياق أو بناء أنظمة ذاكرة معقدة، تعتمد النهج المعاصرة غالباً على بنيات متطورة تتضمن رسوماً بيانية للمعرفة (knowledge graphs)، أو مسارات استرجاع متعددة المراحل، أو مجدولات تشبه أنظمة التشغيل. ويرى المؤلفون أن هذه التصاميم تزيد من التعقيد الهندسي، وتحديات إعادة الإنتاج، وزمن الاستجابة (latency)، مما يحجب الآليات الأساسية المطلوبة للذاكرة طويلة الأمد الفعالة.

2. المنهجية: بنية ENGRAM

يُقترح ENGRAM كنظام ذاكرة خفيف الوزن وعالي الأداء يعتمد على البساطة بدلاً من التعقيد البنيوي. يقوم بتنظيم المحادثة إلى ثلاثة أنواع ذاكرة أساسية — الحدثية (episodic)، الدلالية (semantic)، والإجرائية (procedural) — تُدار عبر موجه (router) واحد ومسترجع (retriever) واحد.

يعمل النظام من خلال خمس مراحل متميزة (موضحة في الشكل 1 من الورقة البحثية):

1. التوجيه (Routing): يقوم الموجه بتحليل كل عبارة واردة من المستخدم ويحدد أيّاً من حاويات الذاكرة الثلاث (الحدثية، أو الدلالية، أو الإجرائية) يجب تحديثها. يتم تمثيل ذلك كقناع (mask) مضغوط مكون من ثلاث بتات.
2. الاستخراج والتمثيل (Extraction & Embedding): لكل حاوية مختارة، يقوم مستخرج خفيف الوزن بتحويل العبارة إلى سجل معياري ذي مخطط (schema) محدد:
   • الحدثية: تشفر الأحداث المرتبطة بالزمن (الحقول: العنوان، الملخص، المرتكز الزمني، والتمثيل الشعاعي/embedding).
   • الدلالية: تحفظ الحقائق المستقرة أو التفضيلات (الحقول: نص الحقيقة، المرتكز الزمني، والتمثيل الشعاعي).
   • الإجرائية: تحتفظ بالتعليمات أو سير العمل (الحقول: العنوان، المحتوى المعياري، المرتكز الزمني، والتمثيل الشعاعي).
     تُقرن هذه السجلات بتمثيلات شعاعية كثيفة (dense vector embeddings) وتُحفظ في قاعدة بيانات SQLite محلية.
3. الاسترجاع الكثيف (Dense Retrieval): عند وقت الاستعلام، يقوم النظام بتمثيل الاستعلام شعاعياً واسترجاع أفضل $k$ من العناصر (بناءً على تشابه جيب التمام/cosine similarity) من كل متجر من المتاجر الثلاثة بشكل مستقل.
4. التجميع والتقليم (Aggregation & Truncation): يتم دمج النتائج المسترجعة من المتاجر الثلاثة، وإزالة التكرار، وتقليمها لتناسب ميزانية ثابتة (على سبيل المثال، $K=25$ سجلاً إجمالياً). تضمن استراتيجية تجميع المجموعات تمثيل أنواع الأدلة غير المتجانسة (الأحداث، الحقائق، التعليمات) قبل تمريرها إلى النموذج.
5. توليد الإجابة (Answer Generation): يتم تسلسل السجلات المختارة مع مرتكزاتها الزمنية وحقنها في "المطالبة" (prompt) جنباً إلى جنب مع الاستعلام. وللتعامل مع الحوارات متعددة المتحدثين، يحافظ النظام على بنوك خاصة بكل متحدث لمنع اختلاط الأصوات.

3. المساهمات الرئيسية

• نموذج ذاكرة تبسيطي: تتحدى الورقة البحثية التوجه نحو أنظمة ذاكرة تعتمد على الرسوم البيانية المعقدة أو المجدولات الثقيلة. وتثبت أن التقسيم النوعي للذاكرة (فصل البيانات الحدثية والدلالية والإجرائية) جنباً إلى جنب مع الاسترجاع الكثيف المباشر كافٍ لتحقيق نتائج رائدة.
• الفصل النوعي: من خلال تقسيم الذاكرة إلى مخازن نوعية، يقلل ENGRAM من التنافس عند الاسترجاع. وهذا يمنع العناصر غير ذات الصلة من الفئات المختلفة من التنافس في تصنيف عالمي واحد، مما يضمن الحفاظ على أنواع الأدلة المتنوعة.
• قابلية إعادة الإنتاج والبساطة: صُمم النظام ليكون قابلاً للتفسير، وسهل الاستبدال، وقابلاً لإعادة الإنتاج. فهو يستخدم موجهاً ومسترجعاً واحداً، متجنباً "درجات الحرية" الموجودة في المسارات متعددة المراحل.
• تقييم شامل: قدم المؤلفون تنفيذاً كاملاً وهيكل تقييم، بما في ذلك دراسات الاستئصال (ablation studies) والمقارنات مع خطوط أساس متنوعة.

4. النتائج

تم تقييم النظام على معيارين: LoCoMo (الأسئلة والأجوبة الحوارية متعددة الجلسات) و LongMemEval (الأسئلة والأجوبة الحوارية ذات الأفق الممتد).

• أداء LoCoMo:

  • حقق ENGRAM أعلى صحة دلالية إجمالية (درجة LLM-as-Judge: 77.55%) بين جميع خطوط الأساس، بما في ذلك Mem0، وMemOS، وLangMem، وZep، وضوابط السياق الكامل.
  • أظهر تفوقاً قوياً بشكل خاص في الاستنتاج متعدد الخطوات (79.79%) والاستنتاج في النطاق المفتوح (72.92%).
  • الكفاءة: استخدم ENGRAM متوسط 916 توكن لسياق الأدلة، مما يمثل انخفاضاً بنسبة >35% مقارنة بمعظم خطوط الأساس، مع الحفاظ على دقة متفوقة.
  • زمن الاستجابة: مع متوسط زمن استجابة إجمالي قدره 1.487 ثانية، كان ENGRAM أسرع بكثير (انخفاض بنسبة 85% تقريباً) من خطوط الأساس ذات السياق الكامل (9.94 ثانية) مع التفوق عليها في الدقة.

• أداء LongMemEval (التوسع):

  • عند اختباره على LongMemEvalS (حيث تكون التواريخ أطول بعدة مراتب عشرية)، تفوق ENGRAM على خط الأساس ذي السياق الكامل بـ 15 نقطة مطلقة (71.40% مقابل 56.20%).
  • والأهم من ذلك، حقق ذلك باستخدام ~1% فقط من التوكنات (1.0–1.2K مقابل 101K) المطلوبة من نهج السياق الكامل.
    وهذا يشير إلى أن البنية تعمل كعنق زجاجة فعال للمعلومات، حيث تبرز الأحداث والحقائق عالية الإشارة بدلاً من إجبار النموذج على البحث عبر سياقات ضخمة ومشتتة.

5. الأهمية والادعاءات

تفترض الورقة البحثية أن التوجه السائد نحو زيادة التعقيد البنيوي في أنظمة الذاكرة هو أمر غير ضروري. ويدعي المؤلفون أن الفصل النوعي للذاكرة والاسترجاع الكثيف المباشر كافيان للحفاظ على الاستنتاج طويل الأمد.

• تحدي التعقيد: تتحدى النتائج مباشرة الافتراض بأن الذاكرة طويلة الأمد تتطلب مجدلات معقدة أو بناء رسوم بيانية ثقيلة.
• القابلية للتوسع: يثبت النظام أن التصميم البسيط يمكن أن يعمم على آفاق قصوى (LongMemEval) دون تدهور في الأداء، مما يخفف بفعالية من تأثيرات "الضياع في المنتصف" (lost-in-the-middle) عبر تصفية التاريخ إلى مجموعة أدلة مدمجة وعالية الإشارة.
• العملية: من خلال تقليل ميزانية التوكنات وزمن الاستجابة مع تحسين الدقة، يقدم ENGRAM أساساً قابلاً للتطبيق للنشر في العالم الحقيقي في السيناريوهات ذات القيود الصارمة على الكفاءة.

يخلص المؤلفون إلى أن ENGRAM يعمل كخط أساس شفاف وقابل لإعادة الإنتاج ينقل حدود الدقة والكفاءة، مما يثبت أن البساطة يمكن أن تتفوق على التنسيق المعقد في مجال ذاكرة المحادثة.