ECHO: A Cognitively Inspired, Auditable Memory Plane for Long-Horizon Agents
إنَّ ECHO هي بنية ذاكرة مستوحاة معرفيًا وقابلة للتدقيق للوكلاء ذوي الأفق الطويل، تحقق أداء استرجاع عاليًا في مجموعات البيانات المرجعية مع التأكيد على إمكانية التحقق من المصدر ومقاييس التطوير الشفافة، رغم القيود الموجودة في استقلالية تقييمها الحالية.
المؤلفون الأصليون:Yu Qian, Hong Miao, Boyang Guo, Tingyi Jiang, Shan Zhao, Tianxing Le, Lintian Li, Meng Liu
تخيل مساعداً رقمياً يتذكر كل ما أخبرته به على الإطلاق. لكي يكون هذا المساعد مفيداً حقاً، لا يمكنه ببساطة تخزين قائمة من الحقائق كأنها موسوعة ثابتة؛ بل يجب عليه أن يفهم القصة الكامنة وراء تلك الحقائق. إذا أخبرته أن عنوانك هو شيء ما، ثم أخبرته لاحقاً أنك انتقلت إلى عنوان آخر، يجب أن يدرك النظام ليس فقط العنوان الجديد، بل أيضاً أن العنوان القديم قد استُبدل، ومتى حدث ذلك، ولماذا. يحتاج النظام إلى التمسك بالمحادثة الأصلية التي حدث فيها التصحيح، حتى إذا سألته عن ماضيك، يمكنه إظهار دليل التغيير بدلاً من مجرد إعطائك الإجابة الحالية. إن هذه القدرة على الاحتفاظ بسجل تجربة آمن وقابل للتحقق، مع معرفة أي قطعة من المعلومات هي الصالحة للحظة زمنية محددة، هي التحدي المركزي للجيل القادم من الوكلاء الأذكياء.
لقد بنى الباحثون في "إكس دريم روبوتيكس" (XDream Robotics) نظاماً جديداً يسمى "إيكو" (ECHO) لمعالجة هذه المشكلة. لم يصمموه عبر محاولة تقليد الدماغ البيولوجي، بل عبر الاستلهام من كيفية عمل الذاكرة البشرية في خطوطها العريضة: كيف نسجل حدثاً، وكيف ننظم ذلك الحدث في معرفة، وكيف نقرر ما هو صحيح في الوقت الحالي. أنشأ الفريق "مستوى ذاكرة" رقمياً يعامل كل قطعة من المعلومات كأرشيف دائم. وبدلاً من الكتابة فوق البيانات القديمة ببيانات جديدة، يحتفظ النظام بالسجل القديم ويضيف ملاحظة جديدة تشرح هذا التغيير. وهذا يخلق خطاً زمنياً حيث لكل حقيقة تاريخ واضح. كما يفصل النظام بين عملية إيجاد قطعة من المعلومات وعملية تقرير ما إذا كانت هي الصحيحة للاستخدام. فهو يجمع العديد من الإجابات المحتملة من ذاكرته، لكن كتاب قواعد صارم هو الذي يحدد أي منها صالح بالفعل بناءً على وقت حدوثه وما إذا كان قد تم استبداله بتحديث لاحق.
ولاختبار مدى فاعلية هذا النهج، أجرى الباحثون اختبارات صارمة للنظام باستخدام آلاف الأسئلة المستندة إلى محادثات طويلة. في المجموعة الأولى من الاختبارات، والتي تضمنت 1,536 سؤالاً حول مواضيع متنوعة، نجح النظام في العثور على الجزء ذي الصلب من المحادثة بنسبة 96.29% من المرات. وعندما تطلبت الأسئلة إيجاد تفاصيل محددة عبر تاريخ طويل يمتد لـ 500 جلسة محادثة مختلفة، وجد المعلومة الصحيحة بنسبة 97.60% من المرات. تشير هذه الأرقام إلى أن النظام بارع جداً في تحديد الأدلة الخام اللازمة للإجابة على سؤال ما. ومع ذلك، فقد كان الباحثون حذرين في النظر إلى ما هو أعمق من مجرد العثور على الصفحة الصحيحة في كتاب؛ فقد تحققوا مما إذا كان النظام قد وجد كل القطع الضرورية من الأدلة. وفي اختبار محدد واحد تضمن محادثة واحدة طويلة، وجد النظام الإجابة الصحيحة في كل مرة، لكنه أغفل العديد من التفاصيل الداعمة المطلوبة لشرح تلك الإجابة بشكل كامل. وقد كشف هذا عن فجوة: كان بإمكان النظام العثء على الحقيقة الرئيسية، لكنه كان يفشل أحياناً في جمع القصة الكاملة الكامنة وراءها.
بعد ذلك، اختبر الفريق نظام "إيكو" على مجموعة جديدة من خمس محادثات مختلفة لم يسبق له رؤيتها، لمعرفة ما إذا كان بإمكانه تعميم مهاراته. كان هذا الاختبار أصعب بكثير؛ حيث وجد النظام الإجابة الصحيحة في حوالي 79% فقط من الحالات، وأغفل جزءاً كبيراً من التفاصيل الداعمة. كانت هذه النتيجة إشارة واضحة إلى أن قدرة النظام على إيجاد المعلومات ليست مثالية وتعتمد بشكل كبير على نوع المحادثة التي يقرؤها. وفي مقارنة مباشرة مع نظام ذاكرة شهير آخر يسمى "ميم 0" (Mem0)، سأل الباحثون كلا النظامين للإجابة على 91 سؤالاً محدداً. حصل النظام الآخر على الإجابة الصحيحة بنسبة 64.84% من المرات، بينما حصل "إيكو" على الإجابة الصحيحة بنسبة 41.76% فقط. كانت هذه الفجوة ذات دلالة إحصائية، مما أظهر أنه بينما يتفوق "إيكو" في تنظيم واسترجاع الأدلة الخام، فإنه حالياً أقل فعالية من النظام الآخر في تحويل تلك الأدلة إلى إجابة نهائية صحيحة.
إن أهم نتيجة لهذا العمل ليست في كون النظام مثالياً، بل في كونه شفافاً. لقد صمم الباحثون "إيكو" بحيث يمكن تدقيق كل خطوة من خطوات تفكيره. إذا ارتكب النظام خطأً، أو إذا قرر أنه لا يملك معلومات كافية للإجابة، فيمكنه توضيح السبب بدقة. يمكنه الإشارة إلى جولات المحادثة المحددة التي اطلع عليها، والقواعد التي استخدمها لتقرير أي المعلومات هي الحالية، والأدلة التي جمعها. هذا المستوى من الوضوح نادر في الذكاء الاصطناعي، حيث تعمل الأنظمة غالباً كـ "صناديق سوداء" تقدم إجابات دون إظهار طريقة عملها. تثبت الدراسة أنه من الممكن بناء نظام ذاكرة يحتفظ بسجل تفصيلي غير قابل للتغيير للماضي، ويفصل بوضوح بين عملية البحث عن المعلومات وعملية تقرير ما هو صحيح. وبينما لا يزال النظام بحاجة إلى تحسين لمضاهاة دقة الأدوات الأخرى في تقديم الإجابات النهائية، فإنه يوفر طريقة جديدة وموثوقة لرؤية كيف يتذكر الوكيل الماضي وكيف يستنتج منه. ويخلص الباحثون إلى أن قيمة هذا العمل تكمن في جعل عملية الذاكرة مرئية وقابلة للتحقق، بدلاً من مجرد السعي وراء تحقيق درجة عالية في اختبار.
تتطلب الوكلاء ذات الأفق الطويل أنظمة ذاكرة تتجاوز مجرد الفهرسة المتجهية البسيطة. يجب أن يمتلك مستوًى ذاكري متين القدرة ليس فقط على استرجاع التجارب الماضية ذات الصلة، بل وأيضًا على حل المراجعات الزمنية، والحفاظ على أصل المعلومات، والتمييز بين الماضي المخزن والحالة الراهنة الصالحة. غالبًا ما تخلط الاختبارات المعيارية الحالية (مثل LoCoMo وLongMemEval وBEAM) بين نجاح الاسترجاع وصحة الإجابة، مما يحجب الإخفاقات في اكتشاف المرشحين، أو الحل الزمني، أو حزم الأدلة، أو تحقيق الإجابة. علاوة على ذلك، تفشل المقاييس القياسية مثل Hit@k في الكشف عما إذا كان قد تم استرداد كامل الأدلة المشروحة المطلوبة لاتخاذ قرار ما.
التحدي الجوهري الذي يتم معالجته هو غياب بنية تحتية ذاكرية قابلة للتدقيق تفصل صراحة بين:
التقاط التجربة المستدام (الأحداث غير القابلة للتغيير).
تطور الحالة (المراجعات المهيكلة).
الاكتشاف الحساس للسياق (الاسترجاع).
التحقيق المنضبط (توليد الإجابة).
2. المنهجية: بنية ECHO
ECHO (تنسيق السياق والتاريخ المتجسد) هي بنية ذاكرة مستوحاة من المبادئ الإدراكية الوظيفية (الترميز العرضي، التوطيد، إعادة التوطيد، الاستدعاء السياقي، والتحكم التنفيذي) ولكن تم تنفيذها كالتزامات هندسية صريحة بدلاً من التكافؤ العصبي.
أ. المكونات الأساسية
تدفق الأحداث غير القابل للتغيير: يستوعب النظام تدفقًا من الأحداث (E) لا يمكن تعديله، مما يحافظ على هوية المصدر، والترتيب، والطوابع الزمنية.
دفتر حسابات ثنائي الزمن: يدير مكون السلطة المركزية سجلات الحالة (s) باستخدام محورين زمنيين:
الزمن الصالح (τv): متى يكون الاقتراح صحيحًا في العالم النموذجي.
زمن المعاملة (τt): متى يقوم النظام بتسجيل المعلومة.
يدعم دفتر الحسابات المراجعات (الإحلال، الإلغاء) دون الكتابة فوق الآثار التاريخية، مما يضمن أن "الحداثة" تُحدد بالمنطق الزمني، وليس بالتشابه الدلالي.
الإسقاط وإعادة التوطيد: يتم إسقاط الأحداث الخام إلى مقترحات محددة النوع. تُلحق المراجعات (إعادة التوطيد) بدلاً من الكتابة فوق البيانات، مما يحافظ على مسار تدقيق كامل.
اكتشاف المرشحين: يجمع خط أنابيب استرجاع هجين بين المطابقة اللفظية (BM25)، والاسترجاع الدلالي، وتوجيه الحالة المحددة النوع. ومن الأهمية بمكان أن التشابه الدلالي يقترح المرشحين فقط؛ ولا يحدد السلطة الواقعية.
إغلاق المصدر (Provenance Closure): يقوم "المُجمِّع" (Packer) ببناء مجموعات أدلة ذرية مطلوبة للتحقق من نتيجة ما (مثل كلا الطرفين للحسابات الزمنية). يضمن أن الاستنتاجات لا تُقدم أبدًا بدون تبعاتها الداعمة، مع مراعاة ميزانيات الرموز (Tokens).
البوابة التنفيذية: يفصل حد صارم بين الاشتقاق الداخلي والإجابة المرئية. يمتنع النظام (يعيد INSUFFICIENT_EVIDENCE) إذا كانت الأدلة مفقودة أو إذا كانت التضاربات غير محلولة، بدلاً من التخمين بناءً على التشابه.
ب. بروتوكول التقييم
تستخدم الدراسة بروتوكول تقييم صارم ومنفصل المراحل:
التشغيلات الوصفية المجمدة: مقاييس الاسترجاع على LoCoMo وLongMemEval-S.
النماذج التجريبية التطويرية: نموذج BEAM أحادي التاريخ.
مقارنة الأسئلة والأجوبة المتطابقة: مقارنة جنباً إلى جنب مع Mem0 OSS على عينة ثابتة مكونة من 91 سؤالاً باستخدام نفس المجيبين والمحكمين.
تدقيقات التسرب: تقوم المحولات العامة بإزالة الإجابات الذهبية وحقول المراجع؛ ومع ذلك، كشف تدقيق لاحق أنه احتوت قواعد توسيع الاستعلام على عبارات خاصة بالمصدر كانت مرئية أثناء التطوير، مما يصنف درجات الاسترجاع تلك كتشخيصات تطويرية وليست تأكيدًا مستقلًا.
3. المساهمات الرئيسية
الترجمة المنهجية للمبادئ الإدراكية: تترجم الورقة الآثار العرضية، والتوطيد الدلالي، والتحكم التنفيذي إلى التزامات نظام قابلة للاختبار مع تنويه صريح ضد التكافؤ العصبي.
السلطة ثنائية الزمن المحددة النوع: تحديد مكون دفتر حسابات حيث يكون الزمن الصالح، وزمن المعاملة، وحالة المراجعة صريحة، مما يضمن أن التشابه الدلالي لا يمكنه تجاوز الحداثة الواقعية.
خط أنابيب استرجاع قابل للتدقيق: تنفيذ خط أنابيب موجه للعمال يقيم الاسترجاع، وإغلاق المصدر، وسلوك السياق المحدود عند حدود نظام صريحة.
التقرير التجريبي الشامل:
آثار استرجاع وصفية لـ LoCoMo وLongMemEval-S.
نموذج تجريبي محدود لـ BEAM.
فشل بوابة BEAM المسجلة مسبقًا بخمسة تواريخ، مما يوفر دليلًا سلبيًا.
مقارنة متطابقة مع Mem0 OSS، بما في ذلك الإحصاءات المقترنة وعقود القابلية للملاحظة.
معايير القابلية للملاحظة: بروتوكول يمنع تخصيص مقاييس المصدر للقواعد المرجعية التي لا تعرض تسلسل المصدر.
4. النتالئج
تُعرض النتائج بحدود واضحة بين قدرة الاسترجاع ودقة الإجابة النهائية (End-to-End).
ملاحظة: غالبًا ما تتعايش درجات Hit@10 العالية مع تغطية أدلة غير مكتملة (مثل فقدان الدعم متعدد الدورات)، مما يسلط الض الضوء على الفجوة بين إيجاد دور (Turn) ذي صلة وإيجاد كل الأدلة الضرورية.
فشل التعميم (بوابة BEAM)
فشلت بوابة BEAM المسجلة مسبقًا بخمسة تواريخ في تحقيق العتبات (الهدف: Hit@10 ≥85%، Turn Recall ≥50%).
الاستنتاج: لم يتعمم الـ Hit@10 المثالي الذي لوحظ في النموذج أحادي التاريخ. عُزي الفشل إلى مشاكل في تغطية المرشحين والترتيب، خاصة فيما يتعلق بترتيب الأحداث والتلخيص.
مقارنة الأسئلة والأجوبة المتطابقة (ECHO مقابل Mem0 OSS)
في عينة ثابتة من 91 سؤالاً (8 تواريخ)، تفوق Mem0 OSS على ECHO في دقة الأسئلة والأجوبة الثنائية (64.84% مقابل 41.76%).
تنبيه: فاصل حساسية عنقود التاريخ يمر عبر الصفر ([−25.5,+25.0])، مما يعني أن النتيجة تشير إلى عجز في هذه العينة المحددة ولكنها لا تثبت تفوقًا على مستوى المجتمع الإحصائي.
حد القابلية للملاحظة: لا يكشف Mem0 عن تسلسل المصدر والدور الكامل، مما يجعل مقاييس المصدر الخاصة بـ ECHO (مثل Hit@10 وTurn Recall) غير قابلة للملاحظة لجانب Mem0.
دراسات الاستئصال (Ablation Studies)
توسيع الاستعلام: أدى إزالة توسيع الاستعلام (الذي احتوى على عبارات خاصة بالمصدر) إلى انخفاض كبير في الأداء (انخفض Hit@10 بمقدار 16.67 نقطة)، مما يشير إلى الاعتماد على هذه القواعد المحددة بدلاً من فائدة عامة.
التزامن (Concurrency): بلغت إنتاجية العامل ذروتها عند 4 عمال للمكونات ذات الحالة (TopicBucket) ولكنها استمرت في التوسع لعمليات إعادة التصنيف بلغة C++ (ROSE).
5. الأهمية والادعاءات
تضع الورقة ECHO ليس كنظام قد حل مشكلة الذاكرة طويلة الأفق، بل كـ مساهمة معمارية ومنهجية لكيفية بناء وتقييم أنظمة الذاكرة.
بنية تحتية قابلة للتدقيق: القيمة الأساسية هي الفصل بين الاكتشاف (الاسترجاع) والسلطة (حل دفتر الحسابات). هذا يجعل الإخفاقات (الإجابات القديمة، التضاربات غير المحلولة، الدعم المفقود) فئات يمكن ملاحظتها بدلاً من كونها مجرد "انخفاض في الصلة".
ادعاءات متواضعة: يذكر المؤلفون صراحة أن درجات الاسترجاع المبلغ عنها هي "قياسات تطوير وصفية" بسبب تلوث توسيع الاستعلام وفشل بوابة التاريخ الجديد. هم لا يدعون أن ECHO يتفوق على الأنظمة الموجودة بشكل عام؛ في الواقع، تظهر نتائج الأسئلة والأجوبة المتطابقة أن Mem0 OSS أكثر دقة حاليًا في العينة المختبرة.
الصرامة المنهجية: تدعو الورقة إلى الإبلاغ عن تغطية الأدلة على المستوى الدقيق (Turn/Session Recall) جنبًا إلى جنب مع Hit@k، وفصل التطوير المجمد عن التعميم الجديد، ومعاملة نقص القابلية للملاحظة في خطوط الأساس كقصور في البروتوكول وليس كدرجة صفر.
باختصار، يوضح ECHO أن مستوًى ذاكريًا مستوحىً إدراكيًا وثنائي الزمن يمكن أن يوفر تغطية أدلة عالية وتحقيقًا صارمًا للمصدر، ولكنه يوضح أيضًا أن مثل هذه البنية لا تضمن تلقائيًا دقة إجابة متفوقة دون استرجاع قوي وتكامل مع "المجيب". تكمن المساهمة في جعل "المستوى الذاكري" قابلًا للتدقيق والاختبار، ومتميزًا عن "القارئ" الذي يستهلكه.