A Machine With Human-Like Memory Systems

ملخص تقني: آلة ذات أنظمة ذاكرة شبيهة بالبشر

بيان المشكلة
في العلوم المعرفية، تُفترض الذاكرة الصريحة البشرية بأنها تتكون من نظامين متميزين: الذاكرة الدلالية (المعرفة العامة بالعالم، مثل "الحواسيب المحمولة توضع على المكاتب") والذاكرة العرضية (التجارب الشخصية المرتبطة بطابع زمني، مثل "كان حاسوب كارين على مكتبها في الساعة 10:00 صباحاً"). وبينما تركز النماذج الحسابية الحالية غالباً على نظام واحد أو تستخدم تضمينات عددية غامضة، هناك نقص في التجارب الحسابية التي تدمج كلا النظامين معاً بشكل صريح لتقييم آثارهما التآزرية. تعالج هذه الورقة تحدي تصميم وكيل يمكنه ترميز وتخزين واسترجاع الذكريات بفعالية من كل من الأنظمة الدلالية والعرضية لتعظيم المكافآت في بيئة ديناميكية.

المنهجية
يقترح المؤلفون إطار عمل يرتكز على بيئة مخصصة وبنيات وكلاء محددة:

1. بيئة الغرفة (The Room Environment):

• بيئة مخصصة متوافقة مع OpenAI Gym، حيث يراقب عدد ($N_{agents}$) من الوكلاء عدد ($N_{people}$) من الأشخاص وهم ينقلون الأشياء بين عدد ($N_{locations}$) من المواقع.
• يتم هيكلة الملاحظات ($x(t)$) والأسئلة ($q(t)$) كرباعيات أو ثلاثيات تشبه لغة RDF (على سبيل المثال: <الموضوع، العلاقة، الكائن، الطابع الزمني/القوة>) لتسهيل القراءة من قبل الإنسان والآلة والتكامل مع الرسوم البيانية للمعرفة مثل ConceptNet.
• تتضمن البيئة عوامل عشوائية: قد توضع الأشياء في مواقع منطقية (بناءً على ConceptNet) أو مواقع عشوائية؛ كما تتغير مواقع الأشياء، وأنواع الأشياء، ومواقع البشر احتماليًا بمرور الوقت.

2. أنظمة الذاكرة:

• الذاكرة العرضية ($M_E$): تخزن ملاحظات محددة كرباعيات تتضمن طابعاً زمنياً (مثل: <قطة كارين، في_موقع، مكتب كارين، 21>).
• الذاكرة الدلالية ($M_S$): تخزن معرفة عامة كرباعيات حيث يمثل العنصر الأخير "القوة" (تكرار الملاحظة) بدلاً من الطابع الزمني (مثل: <حاسوب محمول، في_موقع، مكتب، 10>). الذكريات الدلالية لا ترتبط بشخص معين.
• القيود: تمتلك كلا الأنظمة سعات محدودة، مما يجبر الوكيل على تعلم ما يجب نسيانه وكيفية ضغط الملاحظات العرضية إلى تعميمات دلالية.

3. سياسات الوكيل (مصممة يدوياً):
   تقيم الدراسة أربع استراتيجيات محددة مصممة يدوياً لوضع خطوط أساس:

• المصمم يدوياً 1: ذاكرة عرضية فقط (نسيان الأقدم، الإجابة بالأحدث).
• المصمم يدوياً 2: ذاكرة دلالية فقط (نسيان الأضعف، الإجابة بالأقوى).
• المصمم يدوياً 3: كلا النظامين (ضغط الذكريات العرضية المتشابهة في ذاكرة دلالية؛ إعطاء الأولوية لأحدث ذكرى عرضية، ثم لأقوى ذكرى دلالية).
• المصمم يدوياً 4: كلا النظامين مع معرفة دلالية مسبقة التدريب (مبدئية بـ ConceptNet والمعرفة العامة).

4. الذكاء الهجين:
   تدعم البيئة إعدادات متعددة الوكلاء حيث يمكن للوكلاء التعاون، ومشاركة أنظمة الذاكرة المدمجة لديهم للإجابة على الأسئلة.

المساهمات الرئيسية

1. النمذجة الصريحة: ينمذج المؤلفون صراحةً وكيلاً يمتلك كلا نظامي الذاكرة الدلالية والعرضية، مما يثبت أن الجمع بينهما يتفوق على الوكلاء الذين يمتلكون نوعاً واحداً فقط من الأنظمة.
2. بيئة جديدة: إصدار "الغرفة" (The Room)، وهي بيئة صعبة ومتوافقة مع OpenAI Gym مصممة خصيصاً لاختبار استراتيجيات ترميز وتخزين واسترجاع الذاكرة.
3. إثبات الذكاء الهجين: تقديم دليل على أن التعاون بين وكيلين (أو بشر وآلات) يحقق أداءً أفضل من وكيل واحد يعمل بمفرده، وذلك بسبب التغطية التكميلية للذاكرة.
4. المصدر المفتوح: تم إتاحة الكود والبيئة كمصدر مفتوح لتسهيل المزيد من الأبحاث.

النتائج

• فعالية السياسة: تتفوق السياسات المصممة يدوياً التي تستخدم استراتيجيات نسيان وإجابة مهيكلة بشكل كبير على السياسات العشوائية (التي تنسى وتجيب بشكل عشوائي موحد).
• سعة الذاكرة مقابل النوع:
  • مع سعة ذاكرة منخفضة، يؤدي الوكلاء الذين يمتلكون ذاكرة عرضية فقط أداءً أفضل لأن البيانات غير كافية لتعلم المعرفة العامة للعالم.
  • مع زيادة سعة الذاكرة، يتفوق الوكلاء الذين يمتلكون ذاكرة دلالية (أو كلاهما) على الوكلاء ذوي الذاكرة العرضية فقط، حيث يمكنهم تعميم المعرفة بالعالم.
  • يحقق المصمم يدوياً 4 (الدلالي مسبق التدريب) باستمرار أعلى أداء، حيث يمكن للوكيل التركةيز بسعته العرضية المحدودة على التفاصيل المحددة وغير الشائعة.
• التعاون: في مقارنة عادلة (حيث يتم تثبيت إجمالي سعة الذاكرة)، يحقق وكيلان متعاونان مكافآت إجمالية أعلى من وكيل واحد. ويُعزى ذلك إلى استكشاف الوكلاء للغرفة في اتجاهات مختلفة، مما يؤدي إلى تغطية مساحة أكبر والوصء إلى مجموعة أوسع من الذكريات.

الأهمية والادعاءات
تدعي الورقة أن النمذجة الصريحة لنظامي الذاكرة الدلالية والعرضية تؤدي إلى أداء متفوق في مهام الإجابة على الأسئلة مقارنة بالنماذج التي تستخدم نظاماً واحداً فقط. علاوة على ذلك، تؤكد أن التدريب المسبق للوكلاء بمعرفة المنطق العام (الذاكرة الدلالية) يسمح لهم باستخدام الذاكرة العرضية بكفاءة أكبر. كما تسلط الدراسة الض الضوء على إمكانات الذكاء الهجين، موضحة أن الوكلاء المتعاونين يمكنهم التغلب على قيود الذاكرة الفردية.

يضع المؤلفون هذا العمل كجسر بين نظرية العلوم المعرفية والتجريب الحسابي، مشيرين إلى أنه بينما توجد نماذج نظرية مثل ACT-R وSoar، إلا أنها غالباً ما تفتقر إلى التحقق الحسابي، بينما تفشل الأعمال الحسابية الأخرى غالباً في نمذجة كلا نوعي الذاكرة في آن واحد أو تستخدم تضمينات عددية غير قابلة للتفسير. وتختتم الورقة بتواضع، مقترحة أن العمل المستقبلي يجب أن يستكشف وكلاء التعلم المعزز لمعرفة ما إذا كانت النهج القائمة على البيانات يمكن أن تضاهي هذه الخطوط الأساسية المصممة يدوياً، وتطوير البيئة لتشمل تفاعلات بشرية أكثر تعقيداً وديناميكيات الثقة.