Learning to Forget -- Hierarchical Episodic Memory for Lifelong Robot Deployment

إليك ملخص تقني مفصل لورقة البحث بعنوان "تعلم النسيان – الذاكرة العرضية الهرمية للنشر الروبوتي طويل الأمد".

1. بيان المشكلة

تولد الروبوتات التي تعمل في بيئات التعاون طويل الأمد بين الإنسان والروبوت (النشر طويل الأمد) تدفقاً مستمراً من البيانات الحسية متعددة الوسائط. وللتفاعل بشكل طبيعي، يجب أن تكون قادرة على التعبير اللفظي عن التجارب الماضية (التعبير اللفظي للذاكرة العرضية، أو EMV) استجابةً لاستفسارات المستخدمين (على سبيل المثال: "أين وضعت مفاتيحي؟").

ومع ذلك، فإن الحفاظ على ذاكرة كاملة وغير محدودة لجميع التجارب يفرض ثلاثة تحديات حرجة:

1. حدود التخزين: يؤدي تراكم البيانات المستمر في النهاية إلى تجاوز سعة الأجهزة.
2. زمن انتقال الحوسبة (Latency): تزيد عملية الاستعلام في شجرة ذاكرة متنامية باستمرار من تكلفة الرموز (tokens) وزمن الانتقال لنماذج اللغة الكبيرة (LLMs) أثناء الإجابة على الأسئلة.
3. غموض الصلة: لا يوجد تعريف عالمي لما هو "ذو صلة" ليتم تذكره؛ إذ تختلف الصلة باختلاف المستخدم، والمهمة، والسياق. وغالباً ما تتخلص آليات النسيان الثابتة (مثل الاضمحلال القائم على الوقت) من معلومات قد يعتبرها المستخدمون مهمة لاحقاً.

تجادل الورقة بأن النسيان الانتقائي، المتكيف مع مفاهيم الصلة الخاصة بالمستخدم من خلال التعلم التدريجي، ضروري لجعل الذاكرة الروبوتية قابلة للتوسع ومخصصة.

2. المنهجية: إطار عمل H2-Emv

يقترح المؤلفون H2-Emv، وهو إطار عمل يمكّن الروبوتات البشرية من تعلم ما يجب تذكره من خلال التفاعل. يعتمد النظام على هيكل ذاكرة عرضية (EM) هرمي قائم على الشجرة، ويقدم ثلاثة ابتكارات أساسية:

أ. بناء الذاكرة الهرمية عبر الإنترنت (Online)

على عكس الأنظمة السابقة التي تبني أشجار الذاكرة بأثر رجعي (بعد انتهاء التسجيل)، يقوم H2-Emv ببناء الذاكرة أثناء حدث الواقع (online) مع وقوع الأحداث.

• الهيكل: الذاكرة عبارة عن شجرة تحتوي على نماذج من رسوم بيانية للمشهد (scene graphs) في المستوى الأدنى ($\ell=1$)، وملخصات للأحداث ($\ell=2$)، وملخصات للأهداف ($\ell=3$)، وتجريدات بمستويات أعلى ($\ell>3$).
• التجميع التدريجي الواعي بالوقت: عند وصول ملاحظة جديدة، يقوم نموذج لغة كبير (LLM) بعملية تجميع وتلخيص تدريجية. ومن الأهمية بمكان أن النظام يستخدم حدود قطع الرؤية القائمة على الوقت لمنع دمج الأحداث المتباعدة زمنياً (مثل منع دمج حالة "الليل" للروبوت مع أنشطة اليوم التالي)، مما يضمن بقاء الهيكل ذا معنى دلالي رغم الفجوات في تدفق البيانات.

ب. النسيان القائم على الاضمحلال مع تقدير الصلة

لمنع النمو غير المحدود، يستخدم النظام آلية نسيان حيث تمتلك العقد عمراً افتراضياً ($\tau$).

• فحص انتهاء الصلاحية: عندما تنتهي صلاحية عقدة ما، لا يتم حذفها فوراً. بدلاً من ذلك، يقوم نموذج لغة كبير (LLM) بتقدير عامل الصلة ($\alpha$).
• قواعد الصلة: يتم توجيه نموذج اللغة بناءً على مجموعة من قواعد الصلة المكتوبة باللغة الطبيعية. إذا كانت الصلة المقدرة عالية، يتم تمديد عمر العقدة ($\tau_{new} = \tau_{old} + \alpha \cdot \Delta t$). وإذا كانت منخفضة، يتم استبدال العقدة بنموذج "منسي" (يحتفظ فقط بالنطاق الزمني وعنوان ملخص) للحفاظ على هيكل الشجرة دون تخزين التفاصيل الكاملة.
• الآلية: يعمل هذا كآلية اضمحلال زمني قائمة على الوقت ومعززة بعامل أهمية مستمد من نموذج اللغة الكبير.

ج. التعلم التدريجي للصلة

بما أن الصلة مسألة ذاتية، يتعلم النظام قواعد الصلة ديناميكياً من ردود فعل المستخدم.

• حلقة التغذية الراجعة: إذا طرح المستخدم سؤالاً ولم يستطع الروبوت الإجابة (بسبب نسيان التفاصيل)، يمكن للمستخدم تقديم ملاحظات (على سبيل المثال: "يجب أن تتذكر دائماً أين تضع المفاتيح").
• تحديث القواعد: يقوم نموذج لغة كبير بمعالجة هذه الملاحظات لتحديث أو إضافة أو إزالة قواعد الصلة المكتوبة باللغة الطبيعية.
• الانتشار: تؤثر هذه القواعد المحدثة فوراً على كل من تقدير الصلة أثناء عملية النسيان وعلى عملية التلخيص أثناء بناء الذاكرة عبر الإنترنت، مما يسمح للروبوت بتكييف استراتيجية الاحتفاظ بالذاكرة لتناسب أولويات المستخدم المحدد.

3. المساهمات الرئيسية

1. بناء الذاكرة العرضية عبر الإنترنت: الانتقال من البناء بأثر رجعي (offline) إلى البناء التدريجي (online) للشجرة، مما يقلل من زمن انتقال الاستعلام عن طريق نقل العبء الحسابي إلى الخلفية.
2. النسيان القابل للتعلم: تقديم آلية حيث لا يكون النسيان ثابتاً بل مدفوعاً بتقدير الصلة القائم على نموذج اللغة الكبير والمشروط بقواعد محددة من قبل المستخدم.
3. التكيف المدفوع بالتغذية الراجعة: إثبات أن الروبوت يمكنه تحسين استراتيجية الاحتفاظ بالذاكرة بمرور الوقت بناءً على الحد الأدنى من ملاحظات المستخدم، مما يخصص الذاكرة العرضية بفعالية لمستخدمين محددين.
4. النشر في العالم الحقيقي: التحقق من صحة النظام على الروبوت البشري Armar-7 على مدار عدة أسابيع، مع التعامل مع 20.5 ساعة من البيانات متعددة الوسائط من العالم الحقيقي.

4. النتائج التجريبية

تم تقييم النظام باستخدام مهام منزلية محاكية (مجموعة بيانات TEACh) وتسجيلات من العالم الحقيقي من Armar-7.

• الكفاءة: قلل H2-Emv حجم الذاكرة بنسبة 45% وتكلفة الحوسبة عند الاستعلام (تكلفة رموز LLM) بنسبة 35% مقارنة بالنماذج المرجعية التي لا تستخدم النسيان.
• تطور الأداء:
  • الجولة الأولى: أدت الأنظمة التي تستخدم النسيان أداءً أسوأ في البداية من الأنظمة التي لا تستخدمه (كما هو متوقع، بسبب فقدان المعلومات).
  • الجولة الثانية: بعد تلقي ملاحظات حول العناصر المنسية، زادت دقة H2-Emv بنسبة 70% في استفسارات الجولة الثانية. لقد نجح في التكيف مع أولويات المستخدم، متفوقاً على النماذج المرجعية التي لا تستخدم النسيان في الجولة الثانية على بيانات العالم الحقيقي.
• دراسات الاستئصال (Ablation Studies):
  • الهيكل الهرمي: فشلت النماذج المرجعية غير الهرمية (المسطحة) في التوسع، حيث عانت من انفجار تكاليف الرموز وضعف دقة الاسترجاع مع زيادة طول التاريخ.
  • عبر الإنترنت مقابل بأثر رجعي: كان البناء عبر الإنترنت (online) مع النسيان أفضل من البناء بأثر رجعي (offline) مع النسيان على المدى الطويل، حيث تدهورت الأشجار التي بنيت بأثر رجعي بشدة بسبب النسيان الأولي القائم على الوقت قبل أن يتمكن تعلم الصلة من التأثير.
  • تعلم الصلة: الأنظمة التي تفتقر إلى تعلم الصلة شهدت ركوداً أو تراجعاً في الأداء بمرور الوقت، مما يؤكد أن القواعد الثابتة غير كافية للنشر طويل الأمد.

5. الأهمية والعمل المستقبلي

الأهمية:
يعالج هذا العمل عقبة أساسية في الروبوتات طويلة الأمد: المقايضة بين سعة الذاكرة وفائدة الاسترجاع. من خلال معاملة النسيان ليس كقيد، بل كعملية قابلة للتعلم والتكيف، يُمكّن H2-Emv الروبوتات من الحفاظ على بصمة ذاكرة يمكن إدارتها مع تحسين قدرتها على الإجابة على أسئلة المستخدمين بمرور الوقت. إنه يسد الفجوة بين نماذج الذاكرة النظرية والنشر العملي طويل الأمد على الأجهزة المادية.

الاتجاهات المستقبلية:

• التغذية الراجعة متعددة الوسائط: دمج الإشارات البصرية (مثل إيماءات رضا المستخدم) جنباً إلى جنب مع الملاحظات النصية.
• سيناريوهات تعدد المستخدمين: التعامل مع تعريفات الصلة المتضاربة عندما يتفاعل مستخدمون متعددون مع نفس الروبوت.
• الإلهام المعرفي: دمج مفاهيم العلوم المعرفية، مثل إعطاء الأولوية للأحداث "المفاجئة" أو الجديدة والسياق العاطفي، لتنقيح تقدير الصلة.
• نماذج اللغة الكبيرة في الوقت الفعلي: تحسين النظام للعمل مع نماذج تأسيسية أصغر وأسرع لتقليل زمن الانتقال في التفاعلات في الوقت الفعلي.

في الختام، يثبت H2-Emv أن تعلم النسيان لا يقل أهمية عن تعلم التذكر لنجاح نشر الوكلاء المستقلين في البيئات الديناميكية طويلة الأمد التي يقطنها البشر.