Ego-Foresight: Self-supervised Learning of Agent-Aware Representations for Improved RL

إليك ملخص تقني مفصل لورقة البحث بعنوان "EGO-FORESIGHT: SELF-SUPERVISED LEARNING OF AGENT-AWARE REPRESENTATIONS FOR IMPROVED RL".

1. بيان المشكلة

تعاني وكلاء التعلم المعزز العميق (Deep RL)، لا سيما تلك التي تعمل من مدخلات بكسلية خام، من ضعف كفاءة العينات، مما يتطلب كميات هائلة من بيانات التدريب لتعلم سياسات فعالة. وتتمثل العقبة الرئيسية في صعوبة التمييز بين ديناميكيات الوكيل الخاصة (التغيرات الحسية الناتجة عن أفعاله) وديناميكيات البيئة (الأحداث الخارجية).

• القيود الحالية: تعتمد النهج السابقة التي تحاول الفصل بين معلومات الوكيل والبيئة (مثل SEAR) بشكل كبير على إشارات تحت إشراف، مثل أقنعة التجزئة المستمدة من المعرفات الهندسية، أو نماذج CAD، أو شبكات التجزئة الدقيقة. هذه الطرق هشة، ويصعب نشرها في البيئات الواقعية حيث لا تتوفر مثل هذه الأقنعة، ولا يمكنها التكيف عندما يتغير "مخطط الجسم" للوكيل (على سبيل المثال، عند التقاط أداة).
• الإلهام البشري: يتعلم البشر التمييز بين الذات والبيئة من خلال التنبؤ الحركي (التنبؤ بالنتائج الحسية للأوامر الحركية الخاصة بهم) دون إشراف صريح. تهدف هذه الورقة إلى محاكاة هذه القدرة في الأنظمة الاصطناعية لتحسين كفاءة التعلم المعزز.

2. المنهجية: Ego-Foresight (EF)

يقترح المؤلفون Ego-Foresight (EF)، وهو إطار عمل للتعلم ذاتي الإشراف يعمل على فك الارتباط بين تمثيلات الوكيل وتمثيلات البيئة بناءً على الحركة والتنبؤ.

البنية الأساسية

يستخدم EF بنية المُشفّر-المفكك (Encoder-Decoder) مع كتلة متكررة:

1. المدخلات: تسلسل من إطارات RGB السياقية ($x_{t_0:t_c}$) وتسلسل من الأفعال المخطط لها ($a_{t_c+1:t_k}$).
2. فك ارتباط الميزات: يقوم المُشفّر البصري ($E_\psi$) برسم خرائط لإطارات السياق إلى متجه ميزات كامن $h$. يتم تقسيم هذا المتجه إلى مكونين:
   • ميزات المشهد ($h_s$): تشفر المعلومات البيئية الثابتة أو الخارجية.
   • ميزات الوكيل ($h_a$): تشفر تكوين الوكيل.
   • القيد: يتم تقييد بُعد $h_a$ ليكون جزءًا صغيرًا من الفضاء الكامن الإجمالي، مما يخلق عنق زجاجة (bottleneck) يجبر النموذج على التركيز فقط على الديناميكيات الأكثر قابلية للتنبؤ (الوكيل نفسه).
3. التنبؤ: تقوم شبكة متكررة بالتنبؤ بميزات الوكيل المستقبلية ($\hat{h}_a$) بناءً على ميزات الوكيل الحالية وتسلسل الأفعال.
4. إعادة البناء: يتم دمج ميزات الوكيل المستقبلية المتوقعة مع ميزات المشهد المجمدة (من السياق) وتمريرها إلى مفكك لإنشاء إعادة بناء للإطار المستقبلي ($\hat{x}_k$).

هدف التدريب

يتم تدريب النموذج لتقليل خطأ إعادة البناء بين الإطار المستقبلي المتوقع والإطار المستقبلي الفعلي:
$$L_{ef} = \mathbb{E}_{\tau \sim D} [\|\hat{x}_k - x_k\|_2^2]$$
بما أن ميزات المشهد يتم "تقديمها سريعًا" من السياق، فإن النموذج يُجبر على تعلم ديناميكيات الوكيل لإعادة بناء الأجزاء المتحركة من الصورة. إذا التقط الوكيل أداة، فإن حركة الأداة تصبح قابلة للتنبؤ من خلال أفعال الوكيل، ويتعلم النموذج تضمين الأداة في تمثيل الوكيل.

التكامل مع التعلم المعزز (RL)

يتم دمج EF كمهمة إضافية (auxiliary task) في خوارزميات التعلم المعزز الحالية (تحديدًا DrQ-v2 للنماذج غير القائمة على النموذج و TD-MPC2 للنماذج القائمة على النموذج).

• المُشفّر المشترك: يتم مشاركة المُشفّر البصري بين سياسة/ناقد RL ومهمة تنبؤ EF.
• التحسين المشترك: إجمالي الخسارة هو مجموع مرجح لخسارة RL وخسارة إعادة بناء EF:
  $$L_{total} = L_{RL} + \beta L_{ef}$$
• التململ الحركي (Motor Babbling): لضمان استكشاف الوكيل لحركات متنوعة في المراحل المبكرة (عندما قد يكتفي فقط بزيادة المكافأة بطريقة محدودة)، تم تقديم مرحلة "تململ حركي" حيث تكون الأفعال عشوائية، مما يجبر على تعلم الخريطة الحسية الحركية.

3. المساهمات الرئيسية

1. فك الارتباط ذاتي الإشراف: طريقة مبتكرة لفصل تمثيلات الوكيل والبيئة دون الحاجة إلى أقنعة تجزئة أو إشراف خارجي.
2. القدرة على التكيف مع تغيرات مخطط الجسم: تنجح الطريقة في التكيف مع التغييرات الديناميكية في تجسد الوكيل، مثل التقاط واستخدام الأدوات، من خلال معاملة الأداة كجزء من ديناميكيات الوكيل القابلة للتنبؤ.
3. تحسين كفاءة العينات: أظهرت إضافة EF كمهمة إضافية تحسنًا ملحوظًا في كفاءة العينات والأداء النهائي لخوارزميات التعلم المعزز الحديثة.
4. القابلية العامة للتطبيق: النهج مستقل عن البنية (architecture-agnostic) وقد تم اختباره بنجاح على كل من الخوارزميات غير القائمة على النموذج (DrQ-v2) والقائمة على النموذج (TD-MPC2).

4. النتائج التجريبية

أُجريت التجارب على معيارين تحديين: Meta-World (للمناولة الروبوتية) و DMC (للحركة والمناولة)، واللذان تم تنفيذهما باستخدام MuJoCo.

• التحقق من فك الارتباط:
  • أظهرت رؤية التدرجات (gradients) أنه مع تقدم التدريب، تتخصص ميزات الوكيل ($h_a$) في جسم الروبوت والأدوات، بينما تتعامل ميزات المشهد ($h_s$) مع الخلفية والأشياء الثابتة.
  • في مهام "المطرقة" (Hammer)، تنبأ النموذج بشكل صحيح بحركة المطرقة كجزء من الوكيل بمجرد الإمساك بها. في مهام "فتح الباب" (Door Open)، ظل الباب ثابتًا في التنبؤ (عُومل كبيئة) لأن حركته لم تكن محددة بالكامل بأفعال الوكيل.
• أداء التعلم المعزز (RL):
  • DrQ-v2-EF: تفوق على النموذج المرجعي DrQ-v2 في 21 مهمة من أصل 26. لقد قلل بشكل كبير من عدد الخطوات المطلوبة للوصات إلى 95% من الأداء الأقصى.
  • استخدام الأدوات: كانت الفجوة في الأداء بين النماذج المعززة بـ EF والنماذج المرجعية هي الأكبر في المهام التي تتطلب استخدام الأدوات، مما يؤكد قدرة الطريقة على دمج الأدوات في مخطط جسم الوكيل.
  • TD-MPC2-EF: حسن الأداء في 8 من أصل 10 مهام مقارنة بـ TD-MPC2 الأصلي.
  • المقارنة: تفوقت النماذج المعززة بـ EF على النموذج المرجعي الخاضع للإشراف SEAR وعلى نموذج التعلم التبايني CURL، وكانت منافسة لنموذج Dreamer-v3 المتطور.
• دراسات الاستئصال (Ablation Studies):
  • يعمل الوزن $\beta$ الخاص بخسارة EF كمنظم (regularizer)؛ حيث إن وجوده ضئيل جدًا لا يؤثر، ووجوده الزائد يقلل الأداء.
  • يجب أن يكون بُعد ميزات الوكيل صغيرًا؛ حيث تسمح الأبعاد الأكبر للنموذج بـ "الغش" عبر التنبؤ بديناميكيات البيئة، مما يقلل من فك الارتباط.
  • وُجد أن أفق التنبؤ ($H$) المكون من 10 إطارات هو الأمثل للموازنة بين الأداء والتكلفة الحسابية.

5. الأهمية والخاتمة

يمثل Ego-Foresight خطوة مهمة نحو التعلم الروبوتي في العالم الحقيقي من خلال إزالة الاعتماد على أقنعة التجزئة الخاضعة للإشراف، والتي غالبًا ما تكون غير متوفرة أو غير عملية في البيئات الفيزيائية.

• الأثر النظري: يؤكد أن التنبؤ الحركي هو آلية قوية لتعلم تمثيلات واعية بالوكيد، مما يحاكي العمليات التنموية البشرية.
• الأثر العملي: من خلال تحسين كفاءة العينات، يقلل EF من التكاليف الحسابية والزمنية لتدريب وكلاء التعلم المعزز. إن قدرته على التكيف مع أدوات جديدة دون إعادة تدريب أو إعادة إشراف تجعله مناسبًا للغاية للروبوتات عامة الأغراض.
• الاتجاهات المستقبلية: يقترح المؤلفون إمكانية استبدال إعادة البناء على مستوى البكسل بخسائر تباينية (contrastive losses) لتجنب نمذجة التفاصيل غير المرتبطة بالمهمة، واستكشاف التوسع إلى بيانات عالية الدقة في العالم الحقيقي باستخدام بنيات Transformer.

باختًا، يوفر Ego-Foresight إطار عمل قويًا ذاتي الإشراف يُمكّن وكلاء التعلم المعزز من "معرفة أنفسهم"، مما يؤدي إلى تعلم أسرع وتعميم أفضل في البيئات المعقدة والديناميكية.