ملخص تقني: LongMemEval-V2

بيان المشكلة

تعد الذاكرة طويلة المدى أمراً ضرورياً لوكلاء النماذج اللغوية الكبيرة (LLMs) الذين يعملون في بيئات ويب متخصصة ومخصصة، حيث يعتمد النجاح على استرجاع خصائص واجهة المستخدم، وديناميكيات الحالة، وسير العمل، وأنماط الفشل المتكررة. ومع ذلك، تركز معايسات الذاكرة الحالية بشكل أساسي على سجلات الدردشة للمستخدمين، أو المسارات القصيرة، أو معدلات نجاح المهام النهائية. وتفشل هذه المعايسات في تقييم ما إذا كانت أنظمة الذاكرة قادرة بفعالية على استيعاب الخبرة الخاصة بالبيئة المتراكمة عبر آفاق زمنية طويلة. وتحديداً، هناك فجوة في تقييم ما إذا كان بإمكان الوكيل الانتقال من مستخدم "غير خبير" إلى "زميل خبير" يمتلك معرفة عميقة وقابلة لإعادة الاستخدام بخصوصيات وإجراءات بيئة معينة.

المنهجية

بناء المعيار: LongMemEval-V2 (LME-V2)

قدم المؤلفون LME-V2، وهو معيار مصمم لتقييم ما إذا كانت أنظمة الذاكرة تساعد الوكلاء على اكتساب الخبرة اللازمة ليصبحوا زملاء ذوي معرفة في البيئات المخصصة.

• مصدر البيانات: تم جمع المسارات من WebArena (OneStopShop, CMS, Reddit) و WorkArena/WorkArena++ (ServiceNow)، باستخدام مكتبة AgentLab2. تتضمن مجموعة البيانات 1,540 مساراً (599 من WebArena، و941 من WorkArena) بمتوسط 28.1 حالة لكل مسار.
• صياغة الأسئلة: تغطي 451 سؤالاً تم إعدادها يدوياً خمس قدرات أساسية للذاكرة:
  1. استرجاع الحالة الثابتة: تذكر المعالم، والتخطيطات، والاختلافات الدقيقة.
  2. تتبع الحالة الديناميكية: فهم كيفية تغير البيئة بناءً على الحالات والأفعال (نمذجة العالم).
  3. معرفة سير العمل: معرفة الخطوات اللازمة للمهام الشائعة.
  4. عثرات البيئة: الوعي بالمشكلات المتكررة وأنماط الفشل.
  5. الوعي بالفرضيات: إدراك الافتراضات التي تكون صحيحة في بيئات أخرى ولكنها خاطئة في البيئة الحالية.
• نطاق السياق: يتميز المعيار بوجود "أكوام قش" (haystacks) من مسارات التاريخ. يستخدم LME-V2-Small سياقاً مشتركاً مكوناً من 100 مسار (25 مليون توكن)، بينما يستخدم LME-V2-Medium سياقات خاصة بكل سؤال مكونة من 500 مسار (115 مليون توكن).
• صياغة التقييم: يستخدم المعيار صياغة جمع السياق. يتلقى نظام الذاكرة تسلسلاً من المسارات، ويقوم بإدراجها، ثم يجيب على استعلام عن طريق إرجاع سياق أدلة متعدد الوسائط وموجز. بعد ذلك، يقوم نموذج لغوي قارئ ثابت (Qwen3.5-9B) بالإجابة على السؤال بناءً على هذا السياق المختصر.

النماذج المرجعية المقترحة: AgentRunbook

لمعالجة تحدي تنظيم مسارات الوكيل الصاخبة، اقترح المؤلفون طريقتين للذاكرة:

1. AgentRunbook-R (القائم على RAG): خط معالجة فعال لتعزيز التوليد باسترجاع المعلومات. يحافظ على ثلاثة مستودعات معرفية منفصلة يتم تحديثها عند الإدراج:
   • شرائح الحالة الخام: ملاحظات واجهة المستخدم المحلية والأفعال.
   • أحداث انتقال الحالة: أوصاف لكيفية تغيير الأفعال للبيئة.
   • ملاحظات الإجراءات/التلميحات: سير عمل قابل لإعادة الاستخدام عالي المستوى وعثرات خاصة بالبيئة.
     عند وقت الاستعلام، يقوم متحكم لغوي بتوليد استعلامات محددة لكل مستودع، واسترجاع أفضل (k) من النتائج، وتجميع سياق متعدد الوسائط.
2. AgentRunbook-C (القائم على وكيل البرمجة): طريقة تعامل مع إدارة الذاكرة كمسألة إدارة ملفات. يتم تخزين المسارات مباشرة كملفات. عند وقت الاستعلام، يتم استدعاء وكيل برمجة جاهز (Codex) داخل بيئة معزولة (sandbox) تحتوي على:
   • وثائق سير العمل التي توجه الوكيل حول كيفية جمع الأدلة.
   • آثار (artifacts) توضيحية تلخص تخطيط الذاكرة.
   • سكربتات مساعدة للفحص الفعال للمسارات.
     يقوم الوكيل بتجميع مجموعة أدلة موجزة، والتي تُمرر بعد ذلك إلى القارئ.

النتائج الرئيسية

أُجريت التجارب على كل من مستويات LME-V2-Small و LME-V2-Medium.

• أداء النماذج المرجعية: حققت طرق RAG البسيطة التي تسترجع شرائح الحالة دقة تبلغ حوالي 40% فقط. حقق وكيل البرمجة Codex الجاهز دقة تنافسية بلغت 69.3% ولكنه عانى من زمن انتقال مرتفع (~182 ثانية لكل استعلام).
• AgentRunbook-R: حسّن الأداء ليصل إلى متوسط دقة 57.8% مع زمن انتقال أقل بكثير (~26 ثانية) مقارنة بنهج وكيل البرمجة. أظهرت دراسات الاستئصال أن مستودع الحالة الخام ضروري للأسئلة الثابتة، بينما تعد مستودعات الأحداث والملاحظات حيوية لأسئلة الديناميكية وسير العمل.
• AgentRunbook-C: حقق أفضل أداء إجمالي بدقة متوسطة بلغت 72.5% في المستوى المتوسط، متفوقاً على نموذج Codex الأساسي (69.3%) وأقوى نموذج RAG مرجعي (48.5%). والأهم من ذلك، كان AgentRunbook-C أسرع بنسبة 32% من وكيل Codex الأساسي (139.9 ثانية مقابل 185.8 ثانية في المستوى المتوسط) بفضل هيكله الخفيف (تعليمات سير العمل، والآثار، والسكربتات المساعدة) الذي قلل من الاستكشاف غير الضروري.
• جبهة الدقة والزمن (Accuracy-Latency Frontier): يدفع AgentRunbook-C جبهة باريتو للأمام، حيث يقدم مقايضة متفوقة بين الدقة وزمن انتقال الاستعلام مقارنة بالطرق الموجودة.

الأهمية والادعاءات

يزعم البحث أن LME-V2 يضع معياراً جديداً لتقييم ذاكرة الوكيل من خلال تحويل التركيز من مجرد الاسترجال البسيط إلى تراكم الخبرة.

• الخبرة كذاكرة: يفترض المعيار أن نظام الذاكرة عالي الجودة يجب أن يمكن الوكيل من التصرف كـ "زميل خبير" يستوعب ديناميكيات البيئة الخاصة، وليس فقط الحقائق.
• عمق السياق: يدفع LME-V2 عمق سياق معاييس الذاكرة إلى أكثر من 100 مليون توكن، مما يكشف أن مناهج RAG القياسية تعاني من الضجيج والتعقيد في مسارات الوكيل الخام.
• وكلاء البرمجة كمتحكمات: تشير النتائج إلى أن وكلاء البرمجة العامين، عند تعزيزهم بتوجيهات سير عمل محددة وأدوات نظام الملفات، يعملون كمتحكمات ذاكرة فعالة للغاية، متفوقين على خطوط أنابيب RAG التقليدية في كل من الدقة والكفاءة لهذا المجال المحدد.
• الاتجاه المستقبلي: بينما يدفع AgentRunbook-C حدود الحالة الراهنة، يشير المؤلفون بتواضع إلى أنه لا تزال هناك مساحة كبيرة للتحسين، لا سيالما في تقليل تكاليف زمن الانتقال مع الحفاظ على الدقة العالية.

يوفر هذا العمل اختباراً ملموساً لتطوير وحدات الذاكرة التي تجعل الوكلاء الذين يعملون لفترات طويلة أكثر موثوقية، وتكيفاً، وفائدة في البيئات الواقعية والمتخصصة.