ملخص تقني: محاذاة التمثيل بين المعلم والطالب للتعلم بالتقليد المدفوع بالتعلم التعزيزي

بيان المشكلة

يُستخدم التعلم بالتقليد (Imitation Learning - IL) بشكل متكرر للتغلب على تعقيد العينات و"لعنة الأبعاد" المرتبطة بالتعلم التعزيزي (Reinforcement Learning - RL) في مساحات الملاحظة عالية الأبعاد، مثل تلك الموجودة في الروبوتات. يتمثل أحد النماذج الشائعة في تدريب "معلم" قائم على التعلم التعزيزي باستخدام تمثيلات حالة تحليلية منخفضة الأبعاد، ثم نقل (تقطير) هذا السلوك إلى سياسة "طالب" تعمل على ملاحظات عالية الأبعاد (مثل الصور).

ومع ذلك، تبرز مشكلة كبيرة عندما يتم تدريب المعلم والطالب بشكل منعزل. فالمعلم غالبًا ما يعتمد على "معلومات مميزة" (متغيرات حالة متاحة للمعلم ولكن لا يمكن استنتاجها من ملاحظات الطالب، مثل إحداثيات الهدف الدقيقة أو مواقع الأشياء المخفية). وهذا يخلق فجوة تقليد غير قابلة للحل: حيث يتعلم المعلم سياسة مثالية لرؤيته المميزة، ولكنها مستحيلة التقليد من قبل الطالب بسبب فقدان المعلومات الضرية من مدخلات الطالب.

تقليديًا، تتم معالجة هذه الفجوة عن طريق إضافة مرحلة ضبط دقيق (fine-tuning) بالتعلم التعزيزي للطالب بعد عملية التعلم بالتقليد. ومع ذلك، فإن هذا يعيد إدخال التعقيد العالي في عينة التدريب وعدم الاستقرار المرتبط بالتعلم التعزيزي. وبدلاً من ذلك، تقوم بعض الطرق بتعديل دالة مكافأة المعلم أو مساحة الأفعال لفرض قابلية التقليد، لكن هذه النهج غالبًا ما تتطلب هندسة ميزات كثيفة، وتدخل معاملات فائقة (hyperparameters) صعبة الضبط، أو تؤدي إلى تدهور أداء المعلم في المهمة.

المنهجية

يقترح المؤلفون خوارزمية جديدة مستقلة عن المهمة تتعلم مساحة تمثيل مشتركة لسد فجوة التقليد عن طريق التصميم. بدلاً من تعديل المكافآت أو إجراء ضبط دقيق للطالب لاحقًا، تضمن هذه الطة أن يتعلم المعلم سياسة قابلة للتقليد بطبيعتها من قبل الطالب.

البنية الأساسية

يستخدم هذا النهج إطار عمل لتعلم التمثيل متعدد الرؤى حيث يلاحظ المعلم والطالب نفس حالة البيئة الأساسية $s_t$ من خلال وسائط مختلفة ($o_T$ و $o_S$). ويتم نمذجة هذه الملاحظات على أنها تحتوي على:

1. مكونات مشتركة ($c_t$): معلومات مشتركة بين كلا الوكيلين (مثل المواقع النسبية للعوائق).
2. مكونات خاصة ($p_T, p_S$): معلومات خاصة بكل وكيل (مثل إحداثيات الهدف الدقيقة للمعلم).

الهدف هو تعلم مشفر (encoder) يربط كل من $o_T$ و $o_S$ بمساحة كامنة تحتوي فقط على $c_t$، مما يؤدي فعليًا إلى إخفاء المعلومات الخاصة عن المعلم أثناء تدريب التعلم التعزيزي الخاص به.

مراحل التدريب

يعمل النظام في مراحل متبادلة تتضمن وحدتين:

1. تعلم التمثيل التبايني (وحدة التضمين):

   • الهدف: تعلم رسم خرائط من ملاحظات المعلم والطالب إلى مساحة كامنة مشتركة.
   • الآلية: يستخدم فقدان التباين InfoNCE؛ حيث تُعامل الملاحظات المزدوجة $(o_T, o_S)$ من نفس الخط الزمني كأزواج إيجابية، بينما تعمل الملاحظات غير المزدوجة في الدفعة (batch) كأزواج سلبية.
   • فقدان المحاذاة ($L_{alignment}$): يعمل صراحةً على تعظيم التشابه بين التضمينات المزدوجة لضمان أن شبكة السياسة ترى تمثيلات متسقة لكلا الوكيلين.
   • فقدان الاستقرار ($L_{stability}$): يمنع الانحرافات الكبيرة في المساحة الكامنة أثناء التدريب من خلال معاقبة التحولات في الـ (logits) الخام لشبكة السياسة بالنسبة للحالات السابقة. وهذا أمر بالغ الأهمية لأن سياسات التعلم التعزيزي حساسة للتحولات الطفيفة في التضمين.
   • عزل التدرج: من المهم ملاحظة أن التدرجات من سياسة التعلم التعزيزي (المرحلة 2) لا يتم تمريرها عكسيًا عبر شبكات المشفر. هذا يمنع السياسة من "الغش" عبر تعلم استخراج المعلومات الخاصة من ملاحظات المعلم الخام لتعظيم المكافآت.

2. التعلم التعزيزي (وحدة السياسة):

   • يتم تدريب سياسة المعلم ($\pi_T$) باستخدام تحسين السياسة القريبة (PPO) لتعظيم مكافأة المهمة.
   • ومع ذلك، تعمل السياسة فقط على التضمينات الكامنة المتعلمة.
   • نظرًا لأن التضمينات تفتقر إلى المعلومات الخاصة، يُجبر المعلم على تعظيم المكافأة من خلال استغلال المعلومات المشتركة المتاحة للطالب فقط.

الاختلافات الجوهرية عن الأعمال السابقة

• على عكس SITT [8]، الذي يعاقب المعلم على زيارة الحالات غير القابلة للتقليد عبر حد تباعد (KL-divergence) في المكافأة، فإن هذه الطريقة لا تعدل دالة المكافأة ولا تقدم معاملات مقايضة ($\alpha$).
• على عكس الطرق التي تتطلب معرفة بالمجال لاختيار الأزواج التباينية، فإن هذا النهج مستقل تمامًا عن المهمة ويعتمد على المحاذاة الزمنية لمسارات المعلم والطالب.

النتائج التجريبية

تم تقييم الطريقة في بيئتين للمحاكاة صُممتا لإبراز فجوة التقليد:

1. CollectHealth: مهمة ملاحة ثلاثية الأبعاد حيث يعرف المعلم مواقع الصناديق الدقيقة، بينما يمتلك الطالب مجال رؤية (FOV) محدودًا ويجب عليه تغيير اتجاهه للعثور على الأهداف.
2. TunnelVision: مهمة ملاحة في عالم شبكي حيث يرى المعلم جميع الخلايا المحيطة، بينما يرى الطالب ثلاث خلايا فقط في اتجاهه الأمامي.

مقاييس الأداء

قارنت الدراسة الطريقة المقترحة مع:

• التعلم بالتقليد السلوكي (BC): التعلم بالتقليد القياسي باستخدام معلم تم تدريبه بمعزل عن الطالب.
• SITT: خط الأساس الأحدث الذي يعاقب سلوكيات المعلم غير القابلة للتقليد.

النتائج الرئيسية:

• تقليل فجوة التقليد: حققت الطريقة المقترحة فجوة تقليد تقترب من الصفر ($\Delta \approx 0.00$ إلى $0.01$) في كلتا البيئتين، متفوقة بشكل كبير على BC (فجوة$\approx 0.53-0.81$) و SITT (فجوة$\approx 0.19-0.43$).
• أداء الطالب: حققت سياسات الطالب المستخلصة معدلات نجاح بلغت 1.00 (في TunnelVision) و 0.98 (في CollectHealth)، وهو ما يطابق أو يتجاوز أداء المعلم دون الحاجة إلى ضبط دقيق بالتعلم التعزيزي.
• أداء المعلم: على عكس SFT، الذي عانى من انخفاض في أداء المعلم بسبب تعديل المكافأة، حافظت الطريقة المقترحة على أداء عالٍ للمعلم (1.00 و 0.99) لأن دالة المكافأة الأصلية ظلت دون تغيير.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة فقدان المحاذاة إلى انخفاض ملحوظ في أداء الطالب، خاصة في CollectHealth، مما يؤكد الحاجة إلى تشابه التضمين الصريح.
  • أدت إزالة فقدان الاستقرار إلى انخفاض كبير في TunnelVision (وهي بيئة عالية الحساسية)، مما يدل على أن التضمينات المستقرة ضرورية لمنع انهيار السياسة في الإعدادات الحساسة.

الأهمية والمساهمات

تدعي الورقة تقديم المساهمات التالية:

1. طريقة مبتعة مستقلة عن المهمة: تقدم نهجًا جاهزًا للاستخدام (plug-and-play) لسد فجوة التقليد عبر تعلم تمثيل كامن مشترك، مما يلغي الحاجة إلى تعديل دالة المكافأة أو هندسة الميزات المعقدة.
2. بناء قابلية التقليد: من خلال تقييد المعلم بالعمل على مساحة تضمين مشتركة عبر التعلم التبايني، تضمن الطريقة أن يتعلم المعلم سلوكيات قابلة للتكرار بطبيعتها من قبل الطالب، مما يتجنب الفجوة غير القابلة للحل الناتجة عن المعلومات المميزة.
3. أداء تجريبي متفوق: تتفوق الطريقة باستمرار على خطوط الأساس القوية (BC و SITT) من حيث معدلات نجاح الطالب وتقليل فجوة التقليد مع الحفاظ على الأداء الأمثل للمعلم للمهمة.
4. آليات الاستقرار: يعالج إدخال فقدان المحاذاة والاستقرار صراحةً حساسية سياسة التعلم التعزيزي تجاه تحولات التمثيل، مما يسمح بتدريب قوي دون الحاجة لضبط دقيق لاحق.

يخلص المؤلفون إلى أن هذه الطريقة توفر حلاً قويًا لتقطير السياسات عالية الأبعاد من معلمين ذوي معلومات مميزة، مما يجعلها مناسبة للدمج في أطر التعلم بالتقليد الحالية دون تغيير الهيكل الأساسي للمكافأة في المهمة.