Pretraining in Actor-Critic Reinforcement Learning for Robot Locomotion

إليك ملخص تقني مفصل لورقة البحث "Pretraining in Actor-Critic Reinforcement Learning for Locomotion" (التدريب المسبق في التعلم المعزز من نوع "الممثل-الناقد" للحركة) من إعداد جيالي فان وآخرون.

1. بيان المشكلة

في مجال حركة الروبوتات، حقق التعلم المعزز (RL)، وتحديداً باستخدام خوارزمية تحسين السياسة القريبة (PPO)، تحكماً قوياً في الحركة. ومع ذلك، تعاني النهج الحالية من مشكلتين رئيسيتين:

• عدم كفاءة العينات: خوارزميات التعلم المعزز غير كفؤة عموماً في استخدام العينات، حيث تتطلب كميات هائلة من بيانات التفاعل للتعلم.
• تدريب "اللوح الفارغ" (Tabula Rasa): حتى بالنسبة للروبوتات التي تمتلك نفس التجسيد الفيزيائي (على سبيل المثال، نفس الروبوت رباعي الأرجل)، يتم تعلم كل مهمة جديدة (مثل المشي، التسلق، القفز) عادةً من الصفر باستخدام تهيئة عشوائية للشبكة. وهذا يتجاهل حقيقة أن المعرفة الأساسية المتعلقة بكينماتيكا الروبوت، وديناميكياته، واستقراره مشتركة عبر جميع المهام.

بينما أحدث التدريب المسبق ثورة في الرؤية الحاسوبية ومعالجة اللغات الطبيعية، فإن تطبيقه على حركة الروبوتات يواجه تحديات لأن:

1. تختلف المهام اللاحقة بشكل كبير في مساحات الملاحظة، والأوامر، وهياكل المكافآت.
2. تتطلب طرق "من التدريب غير المتصل إلى المتصل" (offline-to-online) الحالية غالباً مجموعات بيانات موسومة بالمكافآت أو عروضاً خبيرة خاصة بالمهمة المستهدفة، وهي أمور غير متوفرة للمهام الجديدة وغير المعروفة.
3. تعتمد أساليب التعلم بالتقليد غالباً على منصات مستقرة وتفتقر إلى القدرة على التعامل مع عدم الاستقرار الديناميكي أو الاضطرابات الخارجية.

الهدف: يقترح المؤلفون نموذج تدريب مسبق مستقل عن المهمة يقوم بتلخيص المعرفة الخاصة بالتجسيد (الديناميكا والكينماتيكا) في شبكة عصبية. تعمل هذه الشبكة كـ "بداية دافئة" (warm start) لخوارزميات الممثل-الناقد (actor-critic)، مما يحسن كفاءة العينات والأداء النهائي دون الحاجة إلى بيانات خاصة بالمهمة أو إشارات مكافأة خلال مرحلة التدريب المسبق.

2. المنهجية

تتكون الطريقة المقترحة من ثلاث مراحل متميزة: جمع البيانات القائم على الاستكشاف، التدريب المسبق، والبداية الدافئة للتعلم المعزز.

أ. جمع البيانات القائم على الاستكشاف

بدلاً من جمع عروض الخبراء، يقوم المؤلفون بتوليد مجموعة بيانات مستقلة عن المهمة من خلال محاكاة مرحلة "التعثر" (stumbling) التي يمر بها الروبوت أثناء التعلم من الصفر.

• الاستراتيجية: يتم تدريب سياسة الاستكشاف باستخدام خوارزمية PPO.
• الحافز: يتم توجيه السياسة بواسطة مجموعة من نماذج الديناميكا العكسية الحسية (PIDMs). تتلقى السياسة مكافأة داخلية بناءً على "الاختلاف" (عدم اليقين الإبستيمي) بين تنبؤات مجموعة نماذج PIDM. وهذا يشجع الروبوت على استكشاف الحالات التي يكون فيها فهم النموذج للديناميكا ضعيفاً.
• البيانات: يجمع النظام انتقالات $(x_t, a_t, x_{t+1})$ تمثل الحالات الحسية (proprioceptive states) والأفعال. تلتقط هذه البيانات السلوكيات الاستكشافية المتقطعة النموذجية لمراحل التعلم المبكرة للتعلم المعزز، وتغطي المفاهيم الأساسية مثل كينماتيكا الأطراف والاستقرار عبر مختلف التضاريس (المستوية والخشنة) وعمليات التغيير العشوائي للمجال (كتلة، احتكاك، اضطرابات).

ب. التدريب المسبق لنموذج الديناميكا العكسية الحسية (PIDM)

باستخدام البيانات التي تم جمعها، يتم تدريب PIDM عبر التعلم الخاضع للإشراف.

• البنية: بنية قائمة على MLP (Perceptron متعدد الطبقات) نمطية.
  • المدخلات: تاريخ من الأفعال ($a_{t-K:t-1}$) والملاحظات الحسية ($x_{t-K:t+1}$).
  • المخرجات: الفعل المطلوب ($a_t$) لتحقيق تغيير مستقبلي منشود في الحالة $\Delta x^*_{t+1}$.
  • الخسارة: خسارة L1 بين الفعل المتنبأ به والفعل المطلوب للوصول إلى الحالة المستهدفة.
• الميزة الرئيسية: يعتمد النموذج حصرياً على الإدراك الحسي (مواقع المفاصل، السرعات، بيانات IMU) ولا يتطلب معلومات مميزة (مثل خرائط التضاريس الحقيقية). إنه يتعلم رسم الخرائط للديناميكا العكسية: $I(a_t | x_{t-K:t+1}, a_{t-K:t-1})$.
• التعزيز: يتم تعزيز البيانات بتحويلات التماثل والضجيج لتحسين المتانة.

ج. البداية الدافئة للتعلم المعزز (Warm-Starting RL)

يتم دمج أوزان PIDM المدربة مسبقاً في شبكات الممثل والناقد القياسية لـ PPO.

• التكامل:
  • العمود الفقري لـ PIDM (Backbone): (المدرب على الديناميكا) يتم الإبقاء عليه مجمدًا في البداية ولكنه يظل قابلاً للتدريب.
  • الوحدات الخاصة بالمهمة: تُضاف وحدات مهيأة عشوائياً:
    • مشفر النوايا (Intention Encoder): يعالج ملاحظات المهمة المحددة (الأوامر، الإدراك الخارجي) لتوليد حالة تغير مستهدفة.
    • مُصنّع الأفعال (الممثل) / مُصنّع القيم (الناقد): يربط الميزات المدمجة بالأفعال أو تقديرات القيم.
• الآلية: يوفر العمود الفقري المدرب مسبقاً (backbone) أولوية قوية على الديناميكا الفيزيائية للروبوت. تسمح وحدات "مشفر النوايا" و"المُصنّع" المهيأة عشوائياً للشبكة بالتكيف مع أهداف مهام محددة (مثل "المشي بسرعة" مقابل "القفز") مع الاستفادة من الديناميكا المتعلمة.
• التوافق: هذه عملية "استبدال مباشر" (drop-in replacement). لا تتطلب أي تغييرات في قواعد تحديث PPO، أو دوال المكافأة، أو المعلمات الفائقة (hyperparameters).

3. المساهمات الرئيسية

1. نموذج تهيئة خاص بالتجسيد: إطار عمل مبتكر للتدريب المسبق لشبكات الممثل-الناقد باستخدام بيانات استكشافية مستقلة عن المهمة لالتقاط المعرفة الفيزيائية المشتركة (الكينماتيكا/الديناميكا) لتجسيد روبوت محدد.
2. القابلية للتطبيق بغض النظر عن المهمة: الأوزان المدربة مسبقاً ليست مرتبطة بمكافآت أو مساحات ملاحظة محددة. يمكن تطبيقها على أي عملية ماركوف لاتخاذ القرار جزئية الملاحظة (POMDP) تتعلق بنفس الروبوت، بغض النظر عن تعقيد المهمة (مثل المشي على أرض مستوية مقابل رياضة الباركور).
3. لا تتطلب بيانات خبير: على عكس التعلم بالتقليد، لا تتطلب هذه الطريقة عروضاً من الخبراء أو مجموعات بيانات موسومة بالمكافآت للتدريب المسبق، مما يجعلها قابلة للتوسع لمهام جديدة.
4. بنية نمطية: يتم دمج العمود الفقري لـ PIDM بسلاسة في شبكات الممثل-الناقد القائمة على MLP، مما يسمح بالضبط الدقيق (fine-tuning) من البداية إلى النهاية.

4. النتائج التجريبية

تم التحقق من صحة الطريقة عبر 9 بيئات تعلم معزز مختلفة باستخدام 3 تجسيدات روبوتية مختلفة (الروبوت رباعي الأرجل ANYmal-D، والروبوت رباعي الأرجل Unitree Go1، والروبوت البشري Unitree G1).

• مقاييس الأداء:
  • الأداء النهائي: أدى النهج المدرب مسبقاً إلى تحسين الأداء النهائي للمهمة بمتوسط 7.3% مقارنة بالتهيئة العشوائية لنفس البنية.
    ിയത് كفاءة العينات: قللت من عدد التكرارات المطلوبة للوصول إلى 90% من الأداء الأقصى بنسبة 36.9%.
  • المقارنة مع الخطوط المرجعية: تفوق نموذج PIDM المدرب مسبقاً على شبكات MLP المكونة من 4 طبقات (المهيأة عشوائياً) في 7 من أصل 9 مهام.
• نتائج محددة:
  • نجحت الطريقة في نقل المعرفة من التدريب المسبق على التضاريس المستوية إلى مهام معقدة مثل "مشية الباركور" (Parkour Walk)، و"الصعود" (Climb Up)، و"الهبوط" (Climb Down).
  • دراسات الاستئصال (Ablation Studies):
    • أدى التدريب المسبق لكل من الممثل والناقد معاً إلى أفضل النتائج؛ بينما أدى التدريب المسبق لأحدهما فقط إلى عدم الاستقرار.
    • كان جمع البيانات القائم على الاستكشاف متفوقاً على استخدام البيانات من المراحل الأولية لتدريب مهمة معينة، حيث وفر تغطية أوسع لمساحة الحالة.
  • ديناميكيات التحسين: أظهر تحليل النماذج المدربة مسبقاً تحديثات أصغر في الأوزان خلال تكرارات التعلم المعزز الأولية، مما يشير إلى أنها تبدأ بالقرب من الحد الأدنى المحلي المرغوب فيه.

5. الأهمية والتأثير

يجسر هذا العمل الفجوة بين نجاح التدريب المسبق في الذكاء الاصطناعي (مثل النماذج اللغوية الكبيرة) وتحديات التحكم الروبوتي.

• الكفاءة: من خلال تقليل تعقيد العينات بنسبة ~37%، فإنه يقلل بشكل كبير من التكلفة الحسابية والوقت المطلوب لنشر مهارات حركة جديدة على روبوتات حقيقية.
• التعميم: يثبت أن الروبوت يمكنه "تعلم كيفية التحرك" بشكل عام قبل تعلم "كيفية أداء مهمة محددة"، وهو ما يحاكي التطور الحركي البشري.
• العملية: الطبيعة "القابلة للتركيب والتشغيل" (plug-and-play) للطريقة تعني أنه يمكن اعتمادها في خطوط أنابيب التعلم المعزز الحالية دون إعادة تصميم دوال المكافأة أو المناهج التعليمية.
• الاتجاه المستقبلي: تشير الدراسة إلى التحول من تعلم كل شيء من الصفر إلى تعلم "أولوية فيزيائية" (physical prior) لتجسيد معين، والتي يمكن بعد ذلك تكييفها بسرعة مع بيئات متنوعة ومعقدة وديناميكية.