Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies

تخيل أنك تعلم روبوتًا التنقل في عالم لا يبقى على حاله أبدًا. في مجال الروبوتات والذكاء الاصطناعي، يعد هذا لغزًا هائلًا. إذا علمت روبوتًا المشي فقط على رصيف مسطح وناعم، فمن المرجح أن يتعثر بمجرد اصطدامه ببقعة عشب أو منحدر شديد. هنا يأتي دور التعلم التعزيزي (Reinforcement Learning - RL). فكر في التعلم التعزيزي كأنه لعبة تجربة وخطأ رقمية، حيث يتعلم "الوكيل" من خلال تجربة الأفعال والحصول على مكافآت للتحركات الجيدة أو عقوبات للتحركات السيئة. ولكن هناك مشكلة: إذا كان عالم التدريب سهلاً للغاية، فقد لا يتعلم الروبوت كيفية التعامل مع المواقف المعقدة ويفشل في العالم الحقيقي. وإذا كان صعبًا جدًا منذ البداية، فسيشعر الروبوت بالإحباط ولا يتعلم شيئًا.

لحل هذه المشكلة، يستخدم العلماء التعلم المنهجي (Curriculum Learning). إنه يشبه معلمًا بشريًا لا يلقي بطالب في امتحان التفاضل والتكامل في اليوم الأول؛ بل يبدأ بالجمع البسيط، ثم ينتقل إلى الجبر، وأخيرًا يتصدى للتفاضل والتكامل مع تحسن مستوى الطالب. الهدف هو زيادة صعوبة بيئة التدريب ببطء حتى يتعلم الروبوت أن يكون "قويًا" (robust)—بمعنى أنه يمكنه التعامل مع أي شيء، من الأرضيات الزلقة إلى العوائق المفاجئة. ومع ذلك، فإن تحديد بالضبط السرعة التي يجب بها رفع مستوى الصعوبة، وما هي التحديات المحددة التي يجب إضافتها تاليًا، هو أمر صعب للغاية. إذا أخطأت في التقدير، فقد يعلق الروبوت في حلقة مفرغة من الفشل، أو قد لا يتعلم أبدًا المهارات الأكثر صعوبة.

تقدم هذه الورقة البحثية طريقة جديدة وأكثر ذكاءً لتصميم هذه المناهج التدريبية للروبوتات. تقترح المؤلفة، بريشيتا راي وزملاؤها، طريقة تسمى توليد المنهج بإعادة التوصيف (Reparameterized Curriculum Generation). بدلاً من التخمين العشوائي للبيئات المراد اختبارها أو تحديد مستويات الصعوبة يدويًا، يستخدم نظامهم "ناقدًا" (مراقبًا ذكيًا) يراقب مدى جودة أداء الروبوت. وبناءً على هذه التغذية الراجعة، يستخدم النظام الرياضيات لضبط بارامترات (معايير) بيئة التدريب—مثل انحدار التل أو عدد العوائق—بزيادة أو نقصان بطريقة دقيقة تعتمد على "التدرج" (gradient-based). لقد اختبروا ذلك على تحديين كلاسيكيين يشبهان ألعاب الفيديو: سيارة تسابق عبر مسارات مليئة بالعوائق، ومشي ثنائي الأرجل (bipedal walker) يحاول البقاء واقفًا على تضاريس وعرة. وتشير النتائج إلى أن هذه الطريقة تساعد الروبوتات على التعلم بشكل أسرع والتعامل مع مجموعة أوسع من المواقف الصعبة بشكل أفضل من الطرق القديمة أو العشوائية أو المصممة يدويًا.

قصة المنهج الدراسي الذكي

تخيل أنك تدرب شخصية في لعبة فيديو لتقود سيارة. في الأيام الخوالي، ربما كنت تختار مسارًا عشوائيًا في كل مرة تلعب فيها. أحيانًا يكون المسار طريقًا سريعًا مستقيمًا وخاليًا؛ وأحيانًا أخرى يكون متاهة فوضوية من الجدران. يُسمى هذا أخذ العينات العشوائي (Random Sampling)، وهو أمر فوضوي وغير فعال. أو قد تجرب منهجًا يدويًا (Manual Curriculum)، حيث تقرر: "حسنًا، في الساعة الأولى، سأستخدم فقط المسارات المسطحة. ثم سأضيف بعض النتوءات. ثم سأضيف المنحنيات". هذا أفضل، لكنه جامد. ماذا لو كان الشخصية جاهزة للمنحنيات ولكنها ليست جاهزة للنتوءات؟ أو ماذا لو كان يعاني من النتوءات رغم أن المسار مسطح؟ أنت تخمن، وقد تضيع الوقت.

سألت مؤلفة هذه الورقة: هل يمكننا بناء نظام يحدد تلقائيًا منحنى الصعوبة المثالي للروبوت، لحظة بلحظة؟

لقد بنوا إطار عمل يطلقون عليه اسم Reparam. فكر فيه كأنه مصمم مستويات في لعبة فيديو وهو أيضًا مدرب شخصي. لهذا المدرب وظيفتان رئيسيتان:

1. السياسة (الطالب): هذا هو عقل الروبوت، الذي يتعلم كيفية توجيه السيارة أو جعل المشي ثنائي الأرجل مستقرًا.
2. الناقد (المدرب): هذا هو الجزء الخاص في الطريقة الجديدة. الناقد لا يكتفي بمراقبة الروبوت فحسب؛ بل يغير بيئة التدريب بنشاط.

إليك كيف يحدث السحر. تحتوي بيئة التدريب على "مقابض" أو بارامترات. بالنسبة للسيارة، تتحكم هذه المقابض في مدى انحناء الطريق ($\kappa$) وعدد العوائق التي تظهر ($p$). وبالنسبة للمشي ثنائي الأرجل، تتحكم المقابض في مدى زلق الأرض ($f$)، وعدد الحفر في الطريق ($\rho$)، ومدى انحدار المنحدرات ($s$).

ينظر الناقد إلى أداء الروبوت. إذا كان الروبوت يسحق المستوى الحالي، يستخدم الناقد أداة رياضية تسمى التحسين القائم على التدرج (gradient-based optimization) لتدوير المقابض قليلاً نحو "الأصعب". وإذا كان الروبوت يفشل فشلًا ذريعًا، يقوم الناقد بتدويرها نحو "الأسهل". ولكن إليك المفاجأة: الناقد لا يخمن فحسب؛ بل يحسب الاتجاه الدقيق لتدوير المقابض لجعل الروبوت يتعلم بأكبر قدر من الكفاءة. إنه مثل نظام GPS لا يكتفي بقول "اتجه يسارًا"، بل يحسب الزاوية الدقيقة لتدوير عجلة القيادة لتجنب الحفرة.

السر الخفي: إبقاء الروبوت هادئًا

كانت هناك مشكلة في الطرق السابقة. عندما تتغير بيئة التدريب بسرعة كبيرة أو بشكل جامح، يصاب الروبوت بالارتباك. في عالم الذكاء الاصطناعي، يسمى هذا انزياح التوزيع (distribution shift). تخيل أنك تتعلم القيادة، وفي دقيقة كنت على طريق سريع جاف، وفي الدقيقة التالية وجدت نفسك على بحيرة متجمدة. سيعاني عقلك للتكيف لأن "قواعد" الطريق تغيرت بشكل جذري.

لحل هذه المشكلة، أضافت المؤلفة هدفًا للتنظيم (regularization objective). فكر في هذا كقاعدة "للتهدئة". إنها تخبر الناقد: "مهلًا، يمكنك جعل المستوى أصعب، ولكن لا تغيره كثيرًا عن المستوى السابق". هذا يضمن أن يتعلم الروبوت خطوة بخطوة، مما يحافظ على استقرار بيئة التدريب بما يكفي لبناء أساس متين من المهارات. كان هذا مهمًا بشكل خاص لمهمة سباق السيارات، حيث كان على الروبوت معالجة الصور (ما "يراه") بالإضافة إلى الأرقام. ساعدت قاعدة "التهدئة" هذه الروبوت على فهم العالم البصري بشكل أفضل، مما منعه من الارتباك بسبب التغيرات المفاجئة والصادمة في المشهد.

السباق والمشي

اختبر الفريق فكرتهم في تحديين مختلفين تمامًا باستخدام OpenAI Gym، وهي مجموعة أدوات شهيرة لتدريب الروبوتات.

1. تحدي سباق السيارات:
كان على الروبوت قيادة سيارة عبر مسار مليء بالعوائق. تم التحكم في الصعوبة من خلال مدى انحناء الطريق وعدد العوائق الموجودة فيه.

• النتيجة: كانت الطريقة الجديدة (تحديدًا النسخة التي تحتوي على قاعدة "التهدئة"، وتسمى Reparam-M) بطلة. فقد حققت متوسط مكافأة قدره 650 (بانحراف معياري قدره 134)، متفوقة على جميع الطرق الأخرى.
• لماذا كان ذلك مهمًا: لم يكتفِ الروبوت بإنهاء السباق فحسب؛ بل اصطدم بالعوائق بمعدل أقل بكثير. بينما اصطدم الروبوت "العادي" (الذي تدرب على مسارات سهلة فقط) بمعدل 1.85 مرة في المتوسط، اصطدم روبوت Reparam-M بمعدل 0.60 مرة فقط. كما قضى وقتًا أقل في القيادة خارج المسار على العشب، مما أظهر أنه تعلم البقاء في المسار حتى عندما يصبح المسار صعبًا.

2. تحدي المشي ثنائي الأرجل (Bipedal Walker):
كان هذا روبوتًا ذا ساقين يحاول المشي للأمام دون السقوط في الحفر أو الانزلاق على المنحدرات.

• النتيجة: من المثير للاهتمام أن قاعدة "التهدئة" لم تكن ضرورية هنا. فعقل الروبوت الخاص بالمشي كان أبسط (لم يكن بحاجة لمعالجة الصور، بل مجرد مستشعرات للجسم). النسخة التي بدون القاعدة الإضافية (Reparam) كانت هي الأفضل، حيث سجلت متوسط مكافأة قدره 127.
• لماذا كان ذلك مهمًا: قطع هذا الروبوت 128 خطوة في المتوسط، مقارنة بـ 110 خطوات للروبوت "العادي". كما سقط في الحفر بمعدل أقل.

ما تعلموه (وما لم يتعلموه)

تتسم الورقة بالحذر في الإشارة إلى ما ينجح وما لا ينجح. لقد اختبروا عدة متغيرات لفكرتهم:

• التحديثات ثنائ الاتجاه (Reparam-A): حاولوا السماح للناقد بجعل المستوى أسهل إذا كان الروبوت يؤدي بشكل جيد جدًا، آملين في إبقائه في "منطقة التعلم". لكن هذا أدى في الواقع إلى إبطاء العملية. اتضح أنه بمجرد أن يصبح الروبوت مستعدًا لمستوى أصعب، فإن جعله أسهل مجددًا يمثل إضاعة للوقت.
• المنهج العكسي (Reparam-R): حاولوا البدء بالمستويات الأصعب والعمل نحو الخلف. لم يعمل هذا بشكل جيد مثل البدء بالسهل ثم الانتقال للأصعب.
• المناهج اليدوية والعشوائية: كما هو متوقع، تفوقت عليهم هذه الأنظمة الآلية الذكية.

وجدت المؤلفة أن طريقتها تتميز بـ كفاءة العينات (sample-efficient)، مما يعني أنها تتعلم بشكل أسرع وتحتاج إلى محاولات أقل لإتقان المهمة. أجروا هذه التجارب خمس مرات مع بذور عشوائية مختلفة للتأكد من أن النتائج لم تكن مجرد حظ. وكانت النتائج ثابتة: الطريقة الجديدة تتفوق باستمرار على الطرق القديمة.

ومع ذلك، فإن الورقة متواضعة. فقد أشاروا إلى أنه على الرغم من نجاح الطريقة في عوالم المحاكاة هذه، إلا أنها لا تزال مجرد محاكاة. لم يختبروها بعد على روبوت حقيقي في غرفة معيشة حقيقية. واقترحوا أن العمل المستقبلي سيحتاج لمعرفة ما إذا كان هذا "المنهج الذكي" يمكنه التعامل مع متغيرات العالم الحقيقي الأكثر تعقيدًا.

الخلاصة

لا تتعلق هذه الورقة باختراع روبوت جديد أو لعبة جديدة. بل تتعلق باختراع معلم أفضل. من خلال استخدام نظام ذكي يعتمد على الرياضيات لتعديل صعوبة بيئات التدريب أثناء العمل، أظهرت المؤلفة أن الروبوتات يمكنها التعلم لتكون أكثر قوة، وأكثر قدرة على التكيف، وأقل عرضة للاصطدام. سواء كانت سيارة تتنقل في مسار فوضوي أو ماشيًا يعبر طريقًا وعرًا، فإن الدرس واضح: أفضل طريقة لتعليم الروبوت ليست بإلقائه في العمق، بل بتوجيهه عبر رحلة مدروسة من التحديات، خطوة بخطوة.