Bi-Level Reinforcement Learning Pathway for Sim-to-Real Optimality

تخيل أنك تحاول تعليم روبوت كيف يمشي، لكن لا يمكنك جعله يتدرب على الأرض الحقيقية لأنه قد يكسر أرجله أو يقلب مزهريات باهظة الثمن. لذا، تقوم ببناء عالم لعبة فيديو — محاكاة (Simulation) — حيث يمكن للروبوت أن يسقط ألف مرة دون عواقب. هذا هو جوهر التعلم التعزيزي (Reinforcement Learning - RL): يتعلم الوكيل (Agent) من خلال التجربة والخطأ للحصول على أفضل نتيجة ممكنة. عادةً، نقوم بتدريب الروبوت في هذه الساحة الرقمية المثالية، ثم نأمل أن يعمل بنفس الكفاءة عندما نقوم بتوصيله في العالم الحقيقي.

لكن هنا تكمن المشكلة: عالم لعبة الفيديو ليس أبداً مطابقاً تماماً للواقع. ربم تكون الجاذبية مختلفة قليست، أو أن الأرض زلقة قليلاً في العالم الحقيقي ولكنها ليست كذلك في اللعبة. يُطلق على هذا الفرق اسم "فجوة المحاكاة إلى الواقع" (Sim-to-Real Gap). عندما يخرج الروبوت من اللعبة، غالباً ما يتعثر ويسقط لأنه تعلم المشي على أرض لا وجود لها. السؤال الكبير الذي يطرحه العلماء هو: كيف نصلح عالم اللعبة بحيث يصبح الروبوت، الذي تدرب بداخلها، بارعاً في المشي في العالم الحقيقي؟

هذه الورقة البحثية، بعنوان "مسار التعلم التعزيزي ثنائي المستوى لتحقيق الأمثلية من المحاكاة إلى الواقع"، تقترح طريقة ذكية جديدة لإصلاح تلك الفجوة. فبدلاً من مجرد محاولة جعل عالم لعبة الفيديو يبدو أكثر واقعية (وهو أمر صعب وغالباً ما يخطئ الهدف)، يقترح المؤلفون أننا يجب أن نغير فيزياء اللعبة خصيصاً لجعل أداء الروبوت في العالم الحقيقي أفضل. إنهم يعاملون إعدادات المحاكاة كـ "مقبض مخفي" يمكننا تدويره. ومن خلال تحليل كيف تؤثر التغييرات الطفيفة في قواعد اللعبة على "دماغ" الروبوت، طوروا طريقة لضبط تلك القواعد تلقائياً. لقد اختبروا هذه الفكرة باستخدام محاكاة حاسوبية لطائرة بدون طيار (Drone)، ووجدوا أنه من خلال تعديل معايير المحاكاة، تعلمت الطائرة الطيران بشكل مثالي في العالم الحقيقي، رغم أن المحاكاة بدأت بفيزياء خاطئة.

المشكلة: اللعبة "المثالية" مقابل الواقع الفوضوي

فكر في تدريب روبوت في محاكاة كأنك تُعلم طالباً للاختبار باستخدام كتاب تدريبات. من الناحية المثالية، يجب أن يتطابق كتاب التدريبات مع الاختبار الحقيقي تماماً. لكن في عالم الروبوتات، "كتاب التدريبات" (المحاكاة) عادة ما يكتبه مهندسون يريدون منه أن يتنبأ بالمستقبل بدقة. يريدون أن تقول المحاكاة: "إذا دفعت هذه الكتلة، فستنزلق مسافة مترين".

ومع ذلك، فإن الروبوت (الطالب) لا يهتم بالتنبؤ بالمستقبل؛ هو يهتم بالفوز في اللعبة. يريد أن يعرف: "إذا دفعت هذه الكتلة، هل سأحصل على درجة عالية؟"

هنا يحدث عدم التطابق: المحاكاة مبنية لتكون متنبئاً (فيزياء دقيقة)، لكن الروبوت يتم تدريبه ليكون مؤدياً (تعظيم المكافأة). في بعض الأحيان، النموذج الأكثر دقة للفيزياء يؤدي إلى أسوأ أداء. على سبيل المثال، إذا كانت المحاكاة مثالية للغاية، فقد يتعلم الروبوت طريقة مشي محددة وهشة تفشل بمجرد أن تحتوي الأرض الحقيقية على نتوء صغير. يجادل المؤلفون بأننا لا ينبغي فقط محاولة جعل المحاكاة "أكثر دقة"؛ بل يجب أن نحاول جعل المحاكاة "أفضل لمهمة الروبوت المحددة".

الحل: رقصة مستويين

يقدم المؤلفون مفهوماً يسمى التعلم التعزيزي ثنائي المستوى (Bi-Level Reinforcement Learning). تخيل رقصة مع شريكين يتحركان بسرعات مختلفة:

1. المستوى الداخلي (الطالب): هذا هو الروبوت الذي يتعلم المشي داخل المحاكاة. يحاول الحصول على أفضل درجة بناءً على القواعد الحالية للعبة.
2. المستوى الخارجي (المعلم): هذا هو الجزء الذي يغير المحاكاة نفسها. يراقب كيفية أداء الروبوت في العالم الحقيقي ويتساءل: "مهلاً، إذا قمنا بتعديل الجاذبية أو الاحتكاك في اللعبة قليلاً، فهل سيؤدي الروبوت بشكل أفضل؟"

يحدث السحر لأن المؤلفين اكتشفوا كيفية حساب كيف يتغير "دماغ" الروبوت (سياسة التصرف الخاصة به - Policy) عندما تقوم بتعديل فيزياء المحاكاة. هم يسمون هذا تحليل الحساسية (Sensitivity Analysis). الأمر يشبه معرفة مدى تغير درجة اختبار الطالب بالضبط إذا قمت بتعديل صعوبة أسئلة التدريب بنسبة 1%.

عادةً، لمعرفة هذا، سيتعين عليك إيقاف الروبوت، وتغيير اللعبة، وإعادة تدريب الروبوت من الصفر، ثم رؤية ما سيحدث. وهذا يستغرق وقتاً طويلاً جداً. الاختراق الذي حققه المؤلفون هو اختصار رياضي (باستخدام ما يسمى مبرهنة الدالة الضمنية - Implicit Function Theorem) يسمح لهم بالتنبؤ بكيفية تحول "دماغ" الروبوت دون الحاجة إلى إعادة تدريبه في كل مرة. يمكنهم حساب "التدرج" (الاتجاه الذي يجب تدوير المقبض نحوه) فوراً.

كيف يعمل الأمر في الممارسة العملية

تقترح الورقة حلقة تبدو كالتالي:

1. التدريب في المحاكاة: يتدرب الروبوت في المحاكاة حتى يصبح جيداً نوعاً ما.
2. الاختبار في الواقع: يجرب الروبوت حركاته في العالم الحقيقي.
3. حساب الإزاحة: يستخدم النظام الرياضيات من الورقة البحثية لمعرفة: "إذا غيرنا كتلة أو احتكاك المحاكاة، فكيف ستتغير درجة الروبوت في العالم الحقيقي؟"
4. تعديل المحاكاة: يقوم النظام بتعديل معايير المحاكاة لجعل درجة الروبوت في العالم الحقيقي ترتفع.
5. التكرار: يعود الروبوت إلى المحاكاة التي أصبحت الآن مختلفة قليلاً ليتعلم مرة أخرى، ولكن هذه المرة القواعد أقرب لما يحتاجه في العالم الحقيقي.

النتائج: طائرة بدون طيار تتعلم الطيران

لإثبات نجاح ذلك، أجرى المؤلفون بضعة تجارب.

• الألعاب البسيطة: بدأوا بألعاب أساسية ومجردة للغاية (مثل عالم شبكي بـ 3 حالات) حيث يمكنهم التحقق من الرياضيات بشكل مثالي. أظهرت النتائج أن طريقتهم حددت بشكل صحيح كيفية تغيير قواعد اللعبة لتحسين درجة الروبوت.
• الطائرة بدون طيار (Quadcopter): كان الاختبار الكبير هو مهمة استقرار طائرة بدون طيار ثنائية الأبعاد. قاموا بإعداد محاكاة كانت فيها كتلة الطائرة خاطئة (اعتقدوا أنها نصف وزنها الحقيقي). عندما قاموا بتدريب الطائرة في هذه المحاكاة الخاطئة فقط، كانت تتحطم أو تطير بشكل سيء في العالم الحقيقي.
  • الإصلاح: باستخدام طريقتهم ثنائية المستوى، قام النظام بتعديل معلمة الكتلة في المحاكاة ببطء.
  • النتيجة: تعلمت الطائرة سياسة (Policy) في المحاكاة، وعند تطبيقها في العالم الحقيقي، استقرت بشكل مثالي. ومن المثير للاهتمام أن المحاكاة لم تنتهِ بالضرورة بامتلاك الكتلة الحقيقية بالضبط (0.033 كجم)؛ بل وجدت "نقطة مثالية" (قيمة كتلة مختلفة قليلاً) تجعل اتخاذ القرار لدى الروبوت يعمل بشكل أفضل. هذا يثبت أنك لا تحتاج إلى نموذج مثالي للواقع؛ أنت فقط بحاجة إلى نموذج ينتج القرارات الصحيحة.

ماذا يعني هذا (وما لا يعنيه)

يؤكد المؤلفون أن هذا ليس عصا سحرية تحل كل المشكلات.

• إنه محلي (Local): تجد الطريقة أفضل إعدادات المحاكاة بالقرب من المكان الذي بدأت منه. هي لا تضمن العثور على الحل المطلق الأفضل في كامل الكون من الاحتمالات، لكنها جيدة جداً في إيجاد "الأمثلية المحلية".
• يحتاج إلى محاكيات قابلة للاشتقاق (Differentiable Simulators): يجب أن تكون المحاكاة "قابلة للاشتقاق"، مما يعني أنه يمكنك رياضياً تتبع كيف يؤثر تغيير بسيط في المدخلات على المخرجات. هذا أصبح أكثر شيوعاً في محركات الفيزياء الحديثة، لكنه شرط أساسي.
• إنه محاكاة أولاً: تعتمد النتائج المقدمة على محاكاة حاسوبية للعالم الحقيقي. وبينما الرياضيات صارمة والتقارب مثبت نظرياً، فإن اختبارات الأجهزة في العالم الحقيقي محدودة بتجربة الطائرة بدون طيار المحددة في الورقة.

تقدم لنا الورقة باختصار أداة جديدة: بدلاً من محاربة جعل المحاكاة تبدو تماماً مثل الواقع، يمكننا الآن ضبط المحاكة لتكون "أرض التدريب" المثالية للعالم الحقيقي. الأمر يشبه إدراك أنه لتعليم سباح كيفية النجاة في المحيط، لا تحتاج إلى مسبح يشبه المحيط تماماً؛ بل تحتاج فقط إلى مسبح تشعر فيه المياه بأنها "مثالية تماماً" ليتعلم السباح الضربات التي يحتاجها للنجاة.