Ask Only When Needed: Proactive Retrieval from Memory and Skills for Experience-Driven Lifelong Agents

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان "الاسترجاع الاستباقي من الذاكرة والمهارات للوكلاء المستمرين مدى الحياة القائمين على الخبرة" (PROACTAGENT).

1. بيان المشكلة

تواجه وكلاء التعلم المستمر عبر الإنترنت الحاليون عائقين حرجين في الاستفيد من الخبرات السابقة:

1. الاسترجاع السلبي: تعتمد الطرق الحالية استرجاع الذاكرة بناءً على قواعد ثابتة (مثل: عند بدء المهمة فقط)، أو استدلالات مستمرة (كل خطوة)، أو نماذج بوابات خارجية. تفتقر الوكلاء إلى القدرة الجوهرية على إدراك الفجوات المعرفية أثناء التفاعل واتخاذ قرار استباقي بشأن متى وماذا يسترجعون. يؤدي هذا إلى فرط في سياق المعلومات، أو التكرار، أو ضياع فرص التوجيه.
2. التطور المنفصل: تعامل معظم الأنظمة تراكم الذاكرة النصية (تخزين الحقائق/الحلقات) وتحسين السياسة (تحديث معاملات اتخاذ القرار للوكيل) كعمليات مستقلة. إن تحديث عملية واحدة فقط يحد من قدرة الوكيل على التحسن المستمر، حيث أن السياسة الأفضل تولد بيانات أفضل للذاكرة، والذاكرة الأفضل يجب أن توجه سياسة أفضل.

التحدي الجوهري هو تمكين الوكيل من تحديد متى تكون معرفته الحالية غير كافية بشكل استباقي، واسترجاع الخبرة المهيكلة الأكثر صلة، وتطوير الذاكرة والسياسة معاً لتحسين الأداء المستقبلي.

2. المنهجية: PROACTAGENT

يقترح المؤلفون إطار عمل PROACTAGENT، وهو إطار يوحد الاسترجاع الاستباقي مع التطور عبر الإنترنت المعزز بالخبرة فوق قاعدة خبرة مهيكلة. ويتكون من مكونين مترابطين وثيقاً:

أ. التطور عبر الإنترنت المعزز بالخبرة (EXPONEVO)

ينشئ هذا المكون حلقة مغلقة حيث يعزز كل من الفعل، وتراكم الخبرة، وتحسين السياسة بعضهم البعض.

• قاعدة الخبرة المهيكلة: بدلاً من الذاكرة المتجانسة، يتم تنظيم قاعدة الخبرة ($D$) في خمس مستودعات مصنفة:
  • الذاكرة ($M$): الذاكرة الواقعية ($M_f$) والذاكرة الحلقية ($M_e$).
  • المهارات ($S$): مهارات النجاح ($S_+$)، مهارات الفشل ($S_-$)، والمهارات المقارنة ($S_\Delta$).
  • الفائدة: تعيد استعلاماً واحداً أدلة متكاملة (حقائق) وتوجيهاً قابلاً للتنفيذ (مهارات)، مما يقلل من التكرار.
• التطور المشترك: يقوم الوكيل بتحديث كل من الذاكرة الخارجية (استخلاص مدخلات جديدة من المسارات) والسياسة الداخلية ($\pi_\theta$) في وقت واحد.

ب. الاسترجاع القائم على التعلم التعزيزي الاستباقي (PROACTRL)

يصيغ هذا المكون الاسترجاع كفعل سياسة صريح ($A_{ret}$) ويتعلم التوقيت والمحتوى الأمثل للاسترجاع عبر مكافآت عملية الفروع المزدوجة.

• تفرع المسار المزدوج: عندما يتم تفعيل إجراء الاسترجاع عند الخطوة $t_b$، يقوم النظام بشكل تكيفي بأخذ عينتين من الاستمرارية من نفس سوابق التفاعل المتطابقة:
  1. فرع الاسترجاع ($\tau_{ret}$): يستمر مع السياق المسترجع.
  2. فرع عدم الاسترجاع ($\tau_{no-ret}$): يكبح إجراء الاسترجاع ويستمر باستخدام السياسة الأصلية.
• المكافأة العملية ($r_{proc}$): يقارن النظام نتائج الفرعين.
  • إذا تفوق $\tau_{ret}$ على $\tau_{no-ret}$، يتم تخصيص مكافأة إيجابية، مما يعزز أن الاسترجاع كان ضرورياً.
  • إذا كان أداء $\tau_{ret}$ أقل من $\tau_{no-ret}$، يتم تخصيص مكافأة سلبية، مما يعلم الوكيل أن الاسترجاع كان زائداً عن الحاجة أو ضاراً.
• عقوبة الكفاءة: يتم تطبيق عقوبات إضافية على تكرار الاستعلامات أو اتخاذ مسارات أطول من الضروري.
• التحسين: يتم تحديث السياسة باستخدام تحسين السياسة النسبي الجماعي (GRPO) مع هذه المكافآت العملية على مستوى الخطوة، مما يسمح للوكيل بتعلم متى يسترجع وماذا يستعلم.

3. المساهمات الرئيسية

1. إطار الاسترجاع الاستباقي: قدم PROACTAGENT، وهو أول إطار يعامل الاسترجاع كفعل سياسة جوهري ومتعلم بدلاً من كونه آلية استدلالية أو ثابتة، مما يمكن الوكلاء من التشخيص الذاتي للفجوات المعرفية.
2. قاعدة الخبرة المهيكلة: صمم مستودعاً مصنفاً (حقائق، حلقات، مهارات نجاح/فشل/مقارنة) يوفر كلاً من الأدلة والتوجيه السلوكي، مما يمنع فرط سياق المعلومات.
3. مكافآت عملية الفروع المزدوجة: طور آلية RL مبتكرة تستخدم عمليات التفرع المضادة (مقارنة الاسترجاع مقابل عدم الاسترجاع من نفس السابقة) لتوفير إشراف على مستوى الخطوة لقرارات الاسترجاع، مما يحل مشكلة تخصيص الائتمان لأفعال الاسترجاع.
4. التطور المشترك: أثبت أن توحيد تنقية الذاكرة وتحسين السياسة يحقق أداءً أفضل بكثير مما لو تم تطوير أي منهما بمعزل عن الآخر.

4. النتائج التجريبية

تم تقييم إطار العمل على ثلاثة اختبارات مرجعية تفاعلية: SciWorld، و AlfWorld، و StuLife.

• مكاسب الأداء:
  • SciWorld: حقق معدل نجاح (SR) بنسبة 73.50%، وهو تحسن بمقدار 18 نقطة عن خط الأساس القوي GRPO+Reflexion (55.50%).
  • AlfWorld: حقق معدل نجاح (SR) بنسبة 71.28%، متفوقاً على جميع خطوط الأساس عبر الإنترنت.
  • StuLife: حقق أداءً منافساً للنماذج المملوكة، مما أظهر فعالية في سيناريوهات الاعتماد المتبادل طويلة الأمد وعبر المهام.
• الكفاءة:
  • قلل جولات التفاعل بنسبة 33.2% في SciWorld و 22.5% في AlfWorld مقارنة بخطوط الأساس.
  • قلل استهلاك الرموز (tokens) بشكل كبير (على سبيل المثال، 0.43k رمز مقابل 0.95k لخطوط الأساس في SciWorld).
• توسع النموذج: نموذج بـ 3 مليارات معلمة مجهز بـ PROACTAGENT كاد أن يضاهي أداء نموذج أساسي بـ 7 مليارات معلمة (GRPO+Reflexion)، مما يشير إلى أن الاسترجاع الاستباقي يمكن أن يعوض جزئياً فجوات السعة.
• دراسات الاستئصال (Ablation Studies): أكدت أن إزالة إما قاعدة الخبرة المهيكلة أو آلية مكافأة الفروع المزدوجة تسببت في انخفاض كبير في الأداء، مما يثبت ضرورة كلا المكونين.

5. الأهمية

يمثل هذا العمل تحولاً في النموذج المعرفي للتعلم مدى الحياة للوكلاء:

• من السلبي إلى النشط: ينقل الاسترجاع من آلية ثابتة أو قائمة على القواعد إلى قدرة متعلمة وتكيفية حيث يقرر الوكيل إذا كان سيسترجع وماذا سيسترجع بناءً على الاحتياجات الفورية.
• الكفاءة مقابل السعة: يثبت أنه بالنسبة للمهام طويلة الأمد، فإن تعلم التحكم في الاسترجاع أكثر أهمية من مجرد زيادة حجم معلمات النموذج. يحقق الوكلاء الاستباقيون نجاحاً أكبر بخطوات أقل وحوسبة أقل.
• حلقة تعزيز ذاتي: من خلال تطوير الذاكرة والسياسة معاً، يخلق النظام دورة فضيلة حيث تولد السياسات الأفضل بيانات أفضل، والتي بدورها تصقل الذاكرة لتوجيه السياسات المستقبلية بشكل أكثر فعالية.

ختاماً، يرسخ PROACTAGENT حقيقة أن الوكلاء الفعالين مدى الحياة لا يجب أن يكتفوا بتراكم الخبرة فحسب، بل يجب عليهم أيضاً تعلم كيفية الاسترجاع الاستباقي والتطور المشترك لمعارفهم واستراتيجيات اتخاذ القرار لديهم للعمل بكفاءة في البيئات المعقدة والديناميكية.