D2ACCI: A Dual-Loop Diagnostic Protocol for Evidence-Preserving Agent Memory
تقدم هذه الورقة D2ACCI، وهو بروتوكول تشخيصي ثنائي الحلقة يعزز موثوقية أنظمة ذاكرة وكلاء النماذج اللغوية الكبيرة (LLM) من خلال تمكين تقييم قابل للتتبع، ومستند إلى أسس إحصائية، ومعبأ بوعي بالتراجع، لتحديد مواقع الإخفاقات بدقة والتحقق من صحة التدخلات عبر مراحل الاستيعاب، والاسترجاع، والتصفية، والتوليد.
المؤلفون الأصليون:Xule Liu, Yijun Liu, Chao Li, Shao Kun
في عالم الذكاء الاصطناي، يبرز نوع جديد من المساعدين: نوع لا يكتفي بالإجابة على سؤال واحد ثم ينساه، بل يتذكر محادثة طويلة، ويتعلم عادات المستخدم، ويسترجع حقائق من شهور مضت. ولجعل هذا ممكناً، بنى الباحثون أنظمة ذات "ذاكرة مستمرة"، وهي تخزين رقمي يحتفظ بالمعلومات عبر تفاعلات مختلفة عديدة. ومع ذلك، فإن بناء هذه الأنظمة صعب بشكل مفاجئ. فعندما يرتكب المساعد خطأً، غالباً ما يكون من المستحيل معرفة أين حدث الخطأ. هل فشل النظام في حفظ الحقيقة في المقام الأول؟ هل استرجع قطعة المعلومات الخاطئة؟ هل قام بتصفية تفصيل حاسم عن طريق الخطأ؟ أم أنه فشل ببساطة في كتابة الإجابة بشكل صحيح؟ وبدون معرفة المرحلة المحددة التي حدث فيها الفشل، يضطر المطورون إلى التخمين، وغالباً ما يقومون بإجراء تغييرات تحسن جزءاً من النظام بينما تكسر جزءاً آخر عن طريق الخطأ.
قدم فريق من الباحثين في "شاومي" (Xiaomi) طريقة جديدة تسمى "D2ACCI" لحل مشكلة الفشل الخفي هذه. فبدلاً من مجرد النظر إلى الدرجة النهائية للاختبار، يعمل البروتوكول الخاص بهم مثل مسجل طيران تفصيلي لذاكرة الذكاء الاصطناي. فهو يفكك كل خطوة من العملية، من اللحظة التي يتحدث فيها المستخدم إلى اللحظة التي يجيب فيها الذكاء الاصطناي، ويسجل بالضبط ما حدث في كل مرحلة. ومن خلال مقارنة نسختين من النظام جنباً إلى جنب — نسخة تحتوي على ميزة جديدة وأخرى بدونها — يمكنهم تحديد التغيير الذي تسبب بالضبط في التحسن أو الخطأ. يسمح هذا النهج لهم باتخاذ القرارات بناءً على أدلة واضحة بدلاً من التخمين، مما يضمن أن التحديثات لنظام الذاكرة آمنة وفعالة ومفيدة حقاً.
جوهر هذا العمل هو حلقة مكونة من جزأين تحاكي تجربة علمية دقيقة. الجزء الأول هو "الحلقة الداخلية"، حيث يعمل الذكاء الاصطناي بالفعل، فيخزن الذكريات، ويبحث عن المعلومات، ويولد الإجابات. أما الجزء الثاني فهو "الحلقة الخارجية"، والتي تعمل كقاضٍ صارم. هذا القاضي لا ينظر فقط إلى ما إذا كانت الإجابة النهائية صحيحة أم خاطئة، بل يفحص السجلات التفصيلية، أو "الآثار"، التي خلفتها كل خطوة من العملية. إنه يطرح أسئلة محددة: هل تم العثور على الذاكرة الصحيحة؟ هل تم الاحتفاظ بالمعلومات الصحيحة؟ هل تم تجاهل المعلومات الخاطئة بشكل صحيح؟ إذا أظهرت السجلات أن تغييراً ما قد حسن الإجابة ولكنه لم يترك أثراً واضحاً لكيفية حدوث ذلك، فإن النظام يرفض التغيير. وهذا يضمن أن كل تحسن ليس ناجحاً فحسب، بل أيضاً مفهوماً وقابلاً للتكرار.
لاختبار هذه الطريقة، بنى الباحثون نظام ذاكرة يسمى "MemStack" وأجروا عليه ثلاثة اختبارات عامة مصممة لتحدي الذاكرة طويلة المدى. غطت هذه الاختبارات مجموعة واسعة من السيناريوهات، من تذكر التفاصيل في المحادثات الطويلة إلى استرجاع تفضيلات شخصية محددة وتحديث الحقائق بمرور الوقت. كانت النتائج واضحة؛ فقد حقق النظام درجات دقة عالية، حيث وصل إلى 93.59 بالمائة في أحد الاختبارات الرئيسية، و90.93 بالمائة في اختبار آخر، و57.20 بالمائة في اختبار ثالث. والأهم من ذلك، كشف البروتوكول الجديد عن الميزات المحددة المسؤلة فعلياً عن هذه المكاسب. فقد وجدوا أن إضافة ميزة لاستخراج تفاصيل إضافية من المحادثات الطويلة حسنت الأداء بنسبة تقارب ثلاث نقاط مئوية. كما اكتشفوا أن استرجاع الذكريات من الجلسات الماضية ساعد في الأسئلة المتعلقة بالوقت، وأن "حارس النسيان" المحدد الذي يمنع الذكاء الاصطناي من استخدام المعلومات التي طلب المستخدم حذفها قد حسن الدقة بنسبة تقارب نقطتين مئويتين.
وعلى نحو حاسم، استبعد البروتوكول أيضاً أفكاراً قد تبدو مفيدة للوهلة الأولى. فقد تم اختبار طريقة شائعة للبحث في النصوص، تُعرف باسم "BM25"، ووُجد أنها لا تقدم أي فائدة ذات دلالة إحصائية. في التقييم التقليدي، كان من الممكن التغاضي عن هذا أو اعتباره مشكلة بسي، لكن البروتوكول الجديد صنفها كميزة لا ينبغي الترويج لها، مما وفر على المطورين إضاعة الوقت في طريق مسدود. إن القدرة على التمييز بين التحسينات الحقيقية والضوضاء العشوائية هي قوة رئيسية لهذا المنهج. كما قاس الباحثون مدى قدرتهم على تتبع سبب الأخطاء؛ فعندما استخدموا سجلاتهم التفصيلية، تمكنوا من تحديد السبب الجذري للخطأ في كل مرة تقريباً. وفي المقابل، عندما نظروا فقط إلى الإجابة النهائية دون السجلات، لم يتمكنوا من تحديد سبب الخطأ على الإطلاق.
توضح الدراسة أن بناء ذاكرة موثوقة للذكاء الاصطناي يتطلب أكثر من مجرد السعي وراء درجات أعلى؛ إنه يتطلب نظاماً يمكنه شرح إخفاقاته. ومن خلال استخدام نهج الحلقة المزدوجة هذا، أظهر الباحثون أن بإمكانهم التطوير في نظامهم بثقة، عبر الترويج فقط للتغييرات المدعومة بأدلة صلبة ورفض تلك التي لا تدعمها. يحول هذا المنهج تطوير ذاكرة الذكاء الاصطناي من عملية قائمة على التجربة والخطأ إلى ممارسة منضبطة قائمة على الأدلة. والنتيجة هي نظام لا يؤدي بشكل أفضل فحسب، بل هو أيضاً أسهل في الفهم، وتصحيح الأخطاء، والتحسين بمرور الوقت، مما يمهد الطريق لمساعدين يمكنهم حقاً التذكر والتعلم منا دون أن يفقدوا طريقهم.
تعد الذاكرة المستمرة قدرة حاسمة للوكلاء الذين يعملون بنماذج اللغات الكبيرة (LLMs) عبر آفاق زمنية طويلة، مما يتيح الاستدعاء، والمراجعة، والتخصيص عبر الجلسات. ومع ذلك، تتضمن أنظمة الذاكرة مسار عمل معقدًا متعدد المراحل (الاستيعاب، الاسترجاع، التصفية، التوليد) حيث يصعب تحديد مكان الفشل. تعتمد طرق التقييم الحالية بشكل كبير على الدقة الإجمالية من البداية إلى النهاية، والتي تكشف عن حدوث خطأ ما ولكنها تفشل في عزوه إلى مرحلة محددة (مثل فشل الاستخراج مقابل الاسترجاع غير ذي الصلة). علاوة على ذلك، تفتقر التقييمات الحالية غالبًا إلى المقارنات الإحصائية المزدوجة، وفحوصات عدم التراجع للشرائح المحمية، أو آثار التشخيص على مستوى المرحلة. هذا الغموض يجعل تطوير الذاكرة مخاطرة عند النشر بدلاً من كونها عملية هندسية محكومة، حيث يمكن للتحديثات أن تؤدي إلى تدهور الأداء بصمت في شرائح مهام معينة (مثل الاستدلال الزمني أو دقة التفضيلات) أو تقدم مقايضات غير رتيبة تحجبها المقاييس الإجمالية.
المنهجية: بروتوكول D2ACCI
يقترح المؤلفون D2ACCI (التكرار المتحكم به القائم على الأدلة والتشخيص والآثار - Diagnostic-Driven Artifact-based Closed-loop Controlled Iteration)، وهو بروتوكول ثنائي الحلقة مصمم لتحويل تطوير نظام الذاكرة إلى عملية قابلة للتكرار وقائمة على الأدلة.
1. التفكيك ثنائي الحلقة
الحلقة الداخلية (وقت التشغيل): تنفذ الوكيل المعزز بالذاكرة. وهي تعالج تفاعلات المستخدم من خلال مراحل مميزة بـ "أعلام الميزات" (feature-flagged stages): الاستيعاب (استخراج الذاكرات المرشحة)، التخزين متعدد التدرج (حقائق ذرية، تجميعات، ملفات تعريف)، الاسترجاع (هجين/متجه/BM25)، تصفية القيود (حراس النسيان)، تجميع السياق، والتوليد. والأهم من ذلك، أن كل حد بين المراحل يصدر أثرًا تشخيصيًا محدد النوع (معرفات، طبقات، رتب، فلاتر، ميزانية، قاضٍ).
الحلقة الخارجية (التشخيص): تقيم التغييرات المرشحة مقابل خط الأساس باستخدام الآثار المزدوجة. فهي تقارن تشغيلًا يحمل سمة ميزة مع عملية استئصال (ablation)، وتتحقق من الأهمية الإحصائية وأداء الشرائح المحمية، وتفحص الآثار لتحديد مرحلة فقدان الأدلة الأولى. بناءً على ذلك، تقرر الترقية، أو وضع علامة الميزة، أو رفض التدخل.
2. عقد القرار ومنطق البوابة
يفرض البروتوكول عقد قرار صارم (الخوارزمية 2) يربط قرارات البوابة بـ:
الأدلة الإحصائية المزدوجة: باستخدام اختبارات McNemar وفترات الثقة لـ Bootstrap لتحديد ما إذا كانت التحسينات ذات دلالة إحصائية.
مراقبة الشرائح المحمية: مراقبة الشرائح المحددة مسبقًا (مثل تعدد الخطوات، الزمن، التفضيلات الحساسة) لمنع التراجعات في الفئات الحرجة.
قابلية التحديد على مستوى الأثر: تتطلب القرارات أن تظل الإخفاقات قابلة للتشخيص.
3. المقاييس والآثار الرئيسية
معدل التغطية التشخيصية (DCR): مقياس متدرج يقيس ما إذا كانت الإخفاقات تحتفظ بأدلة كافية على مستوى المرحلة للفحص. وهو يحصي عدد "المراحل القابلة للإجراء" في الأثر (مثل وجود معرفات دورات المصدر للاستيعاب، درجات top-k للاسترجاع). النظام الذي يتمتع بدقة عالية ولكن بـ DCR منخفض يعتبر صعب الإصلاح.
D2ACCI-Eval: أداة تقييم قابلة لإعادة الاستخدام تعالج ملفات JSONL المزدوجة لحساب الفروقات الإجمالية/للشرائح، وتصدير قوائم عدم التطابق، وتشغيل الاختبارات الإحصائية، وتوليد طوابير تدقيق الأسباب الجذرية. وهي تدعم إعادة تشغيل البوابة بشكل حتمي.
4. تجسيد النظام: MemStack
يتم تجسيد البروتوكول في MemStack، وهو نواة ذاكرة قابلة للتشخيص تتميز بـ:
تخزين متعدد التدرج: فصل L0 (الحقائق الذرية)، وL1 (تجميعات المواضيع)، وL2 (ملفات تعريف المستخدم) لعزل أنماط الفشل.
استرجاع مميز بأعلام الميزات: تبديل مستقل لاستخراج المكملات، واسترجاع ذاكرة الجلسة، وحراس النسيان، من أجل عمليات استئصال مزدوجة رخيصة.
إصدار الآثار: تسجيل مهيكل عند كل حد بين المراحل لتغذية منطق DCR والبوابة.
المساهمات الرئيسية
بروتوكول D2ACCI وعقد القرار: إطار عمل يربط الأوليات المألوفة (التشغيلات المزدوجة، الآثار، أعلام الميزات) بمعايير قبول صارمة. وهو يتيح اتخاذ قرارات لا يمكن للاستدلال القائم على المجموعات فقط تحقيقها، مثل رفض مكون يحسن الدرجات الخام ولكنه يفتقر إلى دعم الأثر أو يتسبب في تراجع في شريحة محمية.
أداة D2ACCI-Eval ومقياس DCR: أداة قابلة لإعادة الاستخدام للتحليل الإحصائي المزدوج وتحليل الفروقات، وتعمل كمقياس متدرد لـ DCR الذي يحدد قابلية تشخيص الفشل، ويميز بين الأنظمة "غير القابلة للملاحظة" والأنظمة "غير المحسنة".
دراسة حالة MemStack: عرض للبروتوكول على ثلاثة معايير عامة، يوضح كيف يحدد التكرار الموجه بالأثر أنماط فشل محددة (مثل الإفراط في دمج الاستيعاب) ويتحقق من التحسينات بصرامة إحصائية.
النتائج التجريبية
تم تقييم النظام على ثلاثة معايﻴات عامة: LoCoMo (الاستفسار الحواري طويل الأمد)، LongMemEval (الذاكرة التفاعلية)، و PersonaMem-V2 (ذاكرة الشخصية الضمنية).
الأداء: حقق MemStack نسبة 93.59% في LoCoMo، و90.93% في LongMemEval، و57.20% في PersonaMem-V2.
الاستئصال المزدوج: كشفت خمس عمليات استئصال مزدوجة عن مكاسب ذات دلالة إحصائية لمكونات محددة:
استخراج المكملات: +2.71 نقطة مئوية في LoCoM (p≤.003).
استرجاع ذاكرة الجلسة: +3.67 نقطة مئوية في LongMemEval (p≤.003).
حارس النسيان: +1.92 نقطة مئوية في PersonaMem-V2 (p≤.003).
BM25/RRF: لم تظهر تحسنًا ذا دلالة إحصائية وتم الإبقاء عليها فقط كعلم ميزة مراقب، وهو تمييز لا يمكن رؤيته في التقييم القائم على المجموعات فقط.
التغطية التشخيصية: حققت الآثار التشخيصية 98–100% DCR@3، بينما حققت سجلات النتائج فقط 0%.
الاتفاق على السبب الجذري: حقق إعادة تسمية الآثار المعززة بواسطة نموذج لغة كبيرة معامل كوهين κ قدره 0.571 (دقيق) مقارنة بـ 0.258 لإعادة التسمية القائمة على النتائج فقط، مما يؤكد أن الآثار تحول تحليل السبب الجذري من التخمين إلى مهمة قابلة للتدقيق.
إعادة تشغيل البوابة المؤتمتة: أعاد سكربت الحلقة الخارجية قرارات الإنسان في الحلقة (بما في ذلك الرفض) بدقة 100% في أقل من ثانية واحدة لكل مرشح، مما يثبت قدرة البروتوكول على أتمتة التطوير دون مراجعة يدوية.
الأهمية والادعاءات
يزعم البحث أن تكرار نظام الذاكرة القوي يتطلب أدلة قابلة للتتبع، ومؤسسة إحصائيًا، وواعية بالتراجع. يسد D2ACCI الفجوة بين مقاييس الأداء الإجمالية والواقع الهندسي لنشر أنظمة ذاكرة متطورة.
التحول من المعيار إلى النشر: يعامل البروتوكول تطوير الذاكرة كمسألة نشر، مما يضمن أن التحديثات لا تدهور تجربة المستخدم أو شرائح المهام المحددة بصمت.
الأدلة فوق الحدس: من خلال اشتراط الأدلة المزدوجة وقابلية التحديد عبر الآثار، يمنع البروتوكول ترقية المكونات التي قد تحسن الدرجات الإجمالية من خلال تنسيق مطالبة محظوظ أو أنماط غير قابلة للتعميم.
التشخيص القابل للإجراء: يضمن تقديم DCR أن الأنظمة ليست دقيقة فحسب، بل قابلة للتشخيص أيضًا، مما يسمح للمطورين بالتمييز بين الفشل الناتج عن "عدم التخزين أبدًا" والفشل الناتج عن "التخزين ولكن التجاهل".
يخلص المؤلفون إلى أنه بينما يمكن نقل البروتوكول إلى أي مكدس ذاكرة يصدر معرفات وآثارًا مستقرة، فإن قيمته الأساسية تكمرج في وضع معيار لـ تطور الذاكرة القابل للتدقيق وغير المتراجع الذي يتجا- مجرد مطاردة المعايير البسيطة.