MEMAUDIT: An Exact Package-Oracle Evaluation Protocol for Budgeted Long-Term LLM Memory Writing

ملخص تقني لـ MEMAUDIT

بيان المشكلة
تواجه الوكلاء الذين يعتمدون على النماذج اللغوية الكبيرة (LLM agents) على المدى الطويل تحدي ضغط تدفقات التفاعلات الماضية في ذاكرة مستمرة قبل معرفة الاستعلامات المستقبلية. عادةً ما تقيس بروتوكولات التقييم الحالية دقة الإجابة على الأسئلة (QA) النهائية، ويرى المؤلفون أن هذا النهج معيب لأنه يخلط بين ثلاثة أنماط فشل متميزة: كتابة الذاكرة (الاختيار والتمثيل)، والاسترجاع، واستنتاج القارئ. قد يفشل النظام لأنه خزن الذاكرة الخاطئة، أو لأن المسترجع أغفل ذاكرة جيدة، أو لأن القارئ تجاهل الأدلة؛ دقة الإجابة على الأسئلة النهائية وحدها لا يمكنها عزل أي طبقة هي التي فشلت. علاوة على ذلك، غالبًا ما تخزن الأنظمة المنشورة عناصر بأشكال تتجاوز الميزانية المستهدفة، أو تفشل في اختيار التمثيل الأمثل (مثل: النص الخام مقابل الحقيقة المستخرجة مقابل شاهد القبر/Tombstone) من بين مجموعة من المرشحين.

المنهجية: بروتوكول MEMAUDIT
يقدم البحث بروتوكول MEMAUDIT، وهو بروتوكول تقييم "الحزمة-الأوراكل" (package-oracle) دقيق مصمم لتقييم طبقة كتابة الذاكرة بمعزل عن غيرها. الوحدة الأساسية للتقييم هي حزمة MEMAUDIT، التي تحول مشكلة اختيار الذاكرة إلى مشكلة تحسين محدودة وقابلة للتدقيق ذات مقام موثق.

• تعريف الحزمة: تُعرف الحزمة $P$ من خلال تدفق خبرات ثابت، ومجموعة من تمثيلات الذاكرة المرشحة (مثل: النص الخام، الحقائق، الملخصات، شواهد القبور)، وتكاليف التخزين، ووحدات الأدلة الدلالية، ومتطلبات الاستعلام المستقبلي، وميزانية تخزين $B$.
• قيود الجدوى: يجب أن يستوفي مخزن الذاكرة الممكن $X$ قيدين:
  1. قيد حقيبة الظهر (Knapsack Constraint): إجمالي التكلفة $\sum c_u \le B$.
  2. قيد ماترويد التقسيم (Partition Matroid Constraint): يتم اختيار تمثيل واحد فقط لكل خبرة ($|X \cap G_i| \le 1$)، مما يفرض اختيار تمثيل بدلاً من الاحتفاظ بجميع المتغيرات.
• دالة الهدف: تُعرَّف منفعة المخزن من خلال هدف تغطية دلالية "مقعر فوق وحدوي" (concave-over-modular):
  $$F(X) = \sum_{r \in R} w_r h_r \left( \sum_{u \in X} a_{ur} \right)$$
  حيث $R$ هي وحدات الأدلة، و$w_r$ هي أوزان الأهمية، و$a_{ur}$ هو تغطية الوحدة $r$ بواسطة الذاكرة $u$، و$h_r$ هي دالة مقعرة غير متناقصة (تكون افتراضياً $\min(1, z)$). يضمن هذا الهيكل تضاؤل العوائد عند تكرار تغطية نفس وحدة الدليل.
• التحسين الدقيق: يقوم البروتوكول بحساب الأمثل للحزمة بدقة ($OPT_P(B)$) باستخدام حلول "الفرع والحد" (branch-and-bound)، ويوثق النتائج باستخدام البرمجة الخطية للأعداد الصحيحة المختلطة (MILP). يوفر هذا مقاماً حقيقياً (ground-truth denominator) يمكن من خلاله تقييم أي كاتب.
• مقام الاتحاد للأنظمة الخارجية: لتقييم الأنظمة الواقعية (مثل Mem0، Letta، A-Mem) التي قد تولد ذكريات خارج مجموعة المرشحين المحددة مسبقاً، يستخدم البروتوكول حزمة اتحادية (union package). يتم إضافة الذكريات المصدرة كمرشحين من الدرجة الأولى مع صفوف تغطية محكمة. النتيجة هي نسبة المنفعة التي حققها النظام إلى المنفعة المثلى التي يمكن تحقيقها بواسطة أي مجموعة فرعية من الاتحاد (المرشحين الأصليين + الصادرات من النظام). وهذا يميز بين جودة الاستخراج (كم من المحتوى المفيد تم إيجاده) وجودة الاختيار (مدى جودة اختياره تحت الميزانية).

المساهمات الرئيسية

1. تعريف أوراكل حزمة محدود: يحدد البحث إطاراً صارماً لكتابة الذاكرة الميزانية مع مقام قابل لإعادة الإنتاج وموثق، مما يفصل جودة وقت الكتابة عن الاسترجاع والاستنتاج اللاحق.
2. هيكل التغطية الدلالية: يقوم بتجسيد هيكل تغطية "مقعر فوق وحدوي" معروف لنمذجة الحفاظ على الذاكرة الدلالية، مع التعامل صراحة مع حالات الصلاحية (مثل: شواهد القبور لإبطال الحقائق القديمة) كوحدات أدلة إيجابية بدلاً من عقوبات سلبية.
3. المحللات الدقيقة والخطوط المرجعية: يقدم المؤلفون الحلول المثلى الدقيقة للحزم عبر "الفرع والحد" وتوثيق MILP. كما يقدمون خطاً مرجعياً يسمى قيمة العتبة الجماعية (GVT) يستخدم الهوامش الدقيقة لمعايرة النظام، ويوضحون أن خواربات الكثافة فقط (density-only heuristics) يمكن أن تكون سيئة للغاية.
4. مجموعة أدوات MEMAUDIT: إصدار من مجموعات البيانات والأدوات بما في ذلك:
   • حزم دقيقة محكومة: بيئات اصطناعية (MEMAUDIT-Small) مع رسوم بيانية مخفية للأحداث لاختبار خيارات التمثيل.
   • اختبارات الضغط الكثيفة الصلاحية: سيناريوهات مصممة خصيصاً لاختبار الحفاظ على الحقيقة الحالية مقابل الحقائق القديمة (مثل: سلاسل التحديث، والفترات الزمنية).
   • حزم طبيعية ومصدرة: مجموعة فرعية "Natural-87" خضعت لمراجعة بشرية ومشتقة من شرائح محادثة واقعية، وذكريات مصدرة من Mem0 وA-Mem وLetta تم تقييمها تحت نفس البروتوكول.

النتائج

• فصل الطبقات: في التجارما المضبطة، نجح MEMAUDIT في عزل جودة التمثيل. على سبيل المثال، تفشل خواربية "الكثافة فقط" (التي تختار أعلى قيمة مقابل التكلفة) بشكل منهجي في الحفاظ على وحدات حالة الصلاحية (شواهد القبور)، حيث تحقق 26-36% فقط من الـ OPT الدقيق، بينما يظل خط مرجع GVT قريباً من الأمثل.
• أهمية مرشحي الصلاحية: يؤدي إزالة مرشحي "شاهد القبر" أو "التحديث المركب" من مجموعة المرشحين إلى تقليل المنفعة القصوى القابلة للتحقيق (OPT) بهوامش كبيرة (على سبيل المثال، الانخفاض إلى ~52-81% من الـ OPT الكامل اعتماداً على الميزانية)، مما يثبت أن اختناقات توليد المرشحين تختلف عن اختناقات الاختيار.
• تشخيص الأنظمة الخارجية: عند تطبيقه على المخازن المصدرة:
  • Mem0: يظهر حداً علوياً مرتفعاً (مما يشير إلى استخراج جيد للأدلة المفيدة) ولكن بنسبة مخزن مختار أقل، مما يحدد الاختيار الواعي بالميزانية كعنق الزجاجة الرئيسي.
  • Letta: يحقق نسب اتحاد قوية من حيث البروز (salience)، مما يشير إلى الاختيار الفعال للمحتوى ذي الصلة.
  • A-Mem: يحافظ على الأدلة في ملاحظات غنية، لكن الحجم المتسلسل غالباً ما يتجاوز الميزانيات الصارمة، مما يؤدي إلى نتيجة صفرية لعروض المخزن الكامل ما لم يتم ضغطه.
• الاستقرار: البروتوكول قوي تجاه تغيرات نموذج التكلفة (مثل عدد الكلمات مقابل عبء البايتات) وضوضاء التوسيم، حيث تحافظ التصنيفات المعتمدة بشرياً على الترتيب مقارنة بالتصنيفات التي تعتمد على النماذج.

الأهمية والادعاءات
يزعم البحث أن MEMAUDটি يوفر أداة تشخيص ضرورية لطبقة كتابة الذاكرة لا يمكن لتقييم (QA) الشامل تقديمه. من خلال تجميد مجموعة المرشحين، والتكاليف، ووحدات الأدلة، فإنه يجيب على السؤال المحدد: "بالنظر إلى هذه الحزمة، كم من القيمة الدلالية الممكنة للحزمة حافظ عليها الكاتب؟"

يؤكد المؤلفون أن هذا تشخيص لوقت الكتابة، وليس بديلاً لتقييم المساعد الشامل. تكمن أهميته في:

1. التحديد الموضعي: يحدد ما إذا كان الفشل ناتجاً عن توليد المرشحين، أو اختيار التمثيل، أو الاختيار الواعي بالميزانية، بدلاً من الخلط بينهم وبين أخطاء الاسترجاع أو القارئ.
2. قابلية التكرار: يقدم مقاماً دقيقاً وقابلاً للتدقيق (الـ OPT الدقيق) بدلاً من الاعتماد على QA عشوائي لاحق.
3. القابلية للمقارنة: يسمح للأنظمة غير المتجانسة (ذات التمثيلات الداخلية المختلفة) بأن تُقيم بناءً على حقيقة دلالية مشتركة عبر مقام الاتحاد.

يظل البحث متواضعاً، مشيراً إلى أن Natural-87 هي "أول حزمة طبيعية مدققة" ومقطوعة لدعم التشخيص، وليست كمعيار نهائي لكامل "كومة القش". هو لا يدعي حل مشكلة الذاكرة طويلة المدى بالكامل، بل يوفر "أوراكل الحزمة الدقيق" اللازم لتقييم مكونات الضغط والاختيار بصرامة.