تخيل أنك تحاول تعليم كلب آلي كيف يركض عبر حقل. لديك معلمان مختلفان تمامًا لهذه المهمة. المعلم الأول هو منظر نظرية التحكم (Control Theorist). إنه يشبه مهندسًا دقيقًا يعرف بالضبط كيف بُنيت أرجل الكلب. يقوم ببناء حزام أمان ومجموعة من القواعد لضمان عدم تعثر الكلب، حتى لو أصبحت الأرض طينية أو أصبح أحد الأرجل متصلبًا قليلاً. هدفه الرئيسي هو السلامة والاستقرار؛ فهو يريد للكلب أن يقف ثابتًا أو يمشي في خط مستقيم دون أن يسقط، بغضًا عما يحدث. أما المعلم الثاني فهو خبير التعلم المعزز (Reinforcement Learning Expert). إنه يشبه مدربًا مرحًا لا يهتم بتشريح جسم الكلب. بدلاً من ذلك، يلقي بالكلب في الحقل ويقول له: "اركض! إذا ركضت بسرعة، ستحصل على مكافأة. وإذا سقطت، فلن تحصل على شيء". ومن خلال ملايين المحاولات، يتعلم الكلب كيف يركض بسرعة فائقة عبر اكتشاف ما ينجح من خلال التجربة والخطأ.

لعقود من الزمن، عمل هذان المعلمان في مدرستين منفصلتين. كان المهندسون يخشون أن يكون "المدرب المرح" خطيرًا للغاية وقد يكسر الروبوت. بينما اعتقد "المدرب المرح" أن المهندسين كانوا جامدين للغاية ولا يمكنهم تعليم الروبوت القيام بأي شيء مذهل. ولكن الآن، بدأ كلا المجالين يدركان أنهما بحاجة إلى بعضهما البعض. روبوتات المستقبل تحتاج أن تكون سريعة وذكية، ولكنها تحتاج أيضًا أن تكون آمنة وألا تنهار عندما يتغير العالم. هذه الورقة هي دليل إرشادي ودي يشرح كيفية تقديم هذين المعلمين لبعضهما البعض، موضحًا كيف يمكن لأسلوبيهما المختلفين أن يعملا معًا في الواقع لجعل الروبوت بطلاً في الجري ومسافرًا آمنًا في آن واحد.

الفكرة الكبرى للورقة: مزج حزام الأمان مع المدرب المرح

هذه الورقة، التي كتبها فريق من الخبراء من جامعات ومعاهد بحثية في ألمانيا وكندا والولايات المتحدة، تعمل كجسر بين عالمي نظرية التحكم والتعلم المعزز. يرى المؤلفون أنه على الرغم من اختلاف تاريخ ولغة هذين المجالين، إلا أنهما يحاولان في الواقع حل نفس المشكلة: كيف نجعل الآلة تتحرك وتتصرف بذكاء عندما لا نعرف كل شيء عن كيفية عملها.

ولشرح ذلك، يستخدم المؤلفون مثالاً جارياً، وهو روبوت محاكى يسمى "نصف الفهد" (Half-Cheetah). تخيل فهدًا روبوتيًا بستة مفاصل (مثل الركب والأوراك) يحتاج إلى الجري لأبعد مسافة وبأقصى سرعة ممكنة.

المنهجان
تقسم الورقة أولاً كيف يتعامل كل مجال عادةً مع "نصف الفهد":

1. طريقة نظرية التحكم (التحكم التكيفي المرجعي للنموذج أو MRAC):
   فكر في هذا الأمر كإعطاء الروبوت "مشية مستهدفة". يقول المهندس: "يجب أن تتحرك ساقك اليسرى هكذا، وساقك اليمنى هكذا". إنهم يبنون "نموذجًا مرجعيًا" — نسخة مثالية وخيالية لكيفية تحرك الروبوت يُفترض أن يتحرك بها. إذا بدأ الروبوت الحقيقي في الترنح لأن مفاصله أصبحت زلقة أو ثقيلة، فإن نظام MRAC يعمل مثل طيار آلي ذكي. فهو يتحقق باستمرار من الفرق بين الروبوت الحقيقي والنموذج المثالي، ثم يعدل المحركات في الوقت الفعلي لإصلاح الأمر. إنه بارع في الحفاظ على استقرار الروبوت وتتبع مسار محدد، حتى لو تغير وزن الروبوت أو أصبحت الأرض زلقة. ومع ذلك، فهو مصمم لـ التكيف منخفض المستوى، مما يعني أنه يتفوق في ضبط القوى للوصقة إلى هدف معين، لكنه لا يبتكر استراتيجيات عالية المستوى أو أساليب جري معقدة من تلقاء نفسه.

2. طريقة التعلم المعزز (خوارزميات الممثل-الناقد - Actor-Critic):
   هذا هو نهج "المدرب المرح". هنا، يحاول الروبوت (الممثل) الجري، ويراقبه "ناقد" ليقول له: "عمل جيد!" أو "كان ذلك بطيئًا". يتعلم الروبوت من الصفر، دون أي قواعد مكتوبة مسبقًا حول كيفية تحريك أرجله. إنه يكتشف أساليب جري معقدة وعالية السرعة قد لا تخطر ببال مهندس بشري أبدًا. في عمليات المحاكاة التي أجرتها الورقة، تعلمت خوارزمية شهيرة تسمى "الناقد-الممثل الناعم" (Soft Actor-Critic - SAC) جعل "نصف الفهد" يجري بسرعة كبيرة. ولكن هناك مشكلة: إذا تغيرت بيئة الروبوت فجأة (مثل انخفاض الاحتكاك في مفاصله إلى النصف)، يصاب روبوت SAC بالارتباك ويبدأ في التعثر لأنه تعلم أسلوب جري محدد يعمل فقط على الأرض القديمة "اللزجة".

الحل الهجين الجديد
تتمثل المساهمة الرئيسية للورقة في طريقة جديدة لدمج هذين المعلمين. يقترح المؤلفون استخدام التعلم المعزز لـ "التفكير عالي المستوى" والتحكم التكيفي لـ "التحكم العضلي منخفض المستوى".

إليك كيف يعمل ذلك في تجربتهم:

• الدماغ عالي المستوى (RL): تتعلم خوارزمية SAC استراتيجية ما. بدلاً من إخبار الروبوت بالضبط بمقدار عزم الدوران (القوة) الذي يجب تطبيقه على المحركات، فإنها تتعلم اختيار مجموعة من الزوايا المرغوبة للمفاصل. الأمر يشبه قول المدرب: "أريد ركبتك منحنية بزاوية 45 درجة"، بدلاً من "ادفع المحرك بقوة 5 نيوتن".
• العضلات منخفضة المستوى (MRAC): بمجرد أن يقرر الدماغ الزاوية المرغوبة، يتولى نظام MRAC المهمة. إنه يعمل كذاكرة عضلية. فهو يحدد بالضبط مقدار القوة المطلوبة للوصة المفصل إلى تلك الزاوية في هذه اللحظة، حتى لو كان المفصل زلقًا أو ثقيلاً. إذا تغير الاحتكاك، يقوم نظام MRAC فورًا بتعديل القوة لضمان وصول المفصل إلى الزاوية المستهدفة.

ماذا وجدوا؟
في عمليات المحاكاة، اختبر المؤلفون هذا النظام الهجين على "نصف الفهد".

• أولاً، قاموا بتدريب روبوت SAC للجري على سطح عادي. وقد تعلم أسلوب جري رائع.
• بعد ذلك، قاموا بـ نشر السياسة المتعلمة في البيئة. بعد أن ركض الروبوت لمدة 1.2 مليون خطوة، قاموا فجأة بتغيير الفيزياء: جعلوا المفاصل أكثر انزلاقًا بمرتين (تقليل معامل التخميد بمعامل قدره 2).
• النتيجة: فشل روبوت RL النقي (SAC وحده) تمامًا وبدأ في الانهيار لأنه لم يكن يعرف كيفية التعامل مع المفاصل الزلقة. أما المتحكم التكيفي النقي (MRAC وحده) فقد استطاع تتبع مسار بسيط ولكنه لم يستطع الجري بسرعة أو بأسلوب معقد.
• الفائز الهجين: استمر النظام الهجين (SAC + MRAC) في الجري بسلاسة. استمر "الدماغ" في اختيار زوايا الجري الجيدة نفسها، وقامت "العضلات" (MRAC) تلقائيًا بتعديل القوى للتعامل مع الظروف الجديدة الأكثر انزلاقًا. لم يسقط الروبوت؛ بل استمر في الجري فحسب.

لماذا هذا مهم؟
تشير الورقة إلى أنه ليس علينا الاختيار بين "الهندسة الآمنة والجامدة" وبين "التعلم الذكي والمرن". من خلال دمجهما في طبقات، يمكننا الحصول على أفضل ما في العالمين. يمكن لجزء التعلم المعزز (RL) تعلم استراتيجيات معقدة وعالية المستوى (مثل كيفية الجري بسرعة أو تسلق تلة)، بينما يتعامل جزء التحكم التكيفي مع الواقع المادي المتغير والفوضوي (مثل الرياح، أو الأرضيات الزلقة، أو الأجزاء المكسورة).

يلاحظ المؤلفون بعناية أن هذا هو محاكاة على نموذج روبوت في الكمبيوتر، وليس روبوتًا حقيقيًا يركض في مختبر حقيقي بعد. كما يشيرون إلى أنه على الرغم من أن هذا النهج الهجين نجح في اختبارهم المحدد، إلا أنه ليس حلاً سحريًا لكل مشكلة. على سبيل المثال، لا يزال جزء RL بحاجة إلى تعلم الاستراتيجية أولاً، ويحتاج الجزء التكيفي إلى نموذج مرجعي جيد لتتبعه.

في النهاية، تعد هذه الورقة دعوة للعمل لعلماء كلا المجالين للتوقف عن العمل في صوامع منعزلة. فهي توضح أنه من خلال فهم أدوات بعضهم البعض — مثل كيفية ارتباط "دوال ليابونوف" (طريقة رياضية لإثبات الاستقرار) بـ "دوال القيمة" (طريقة رياضية لقياس النجاح) — يمكننا بناء روبوتات ليست ذكية وسريعة فحسب، بل قوية أيضًا بما يكفي للتعامل مع العالم غير المتوقع. ويجادلون بأن مستقبل الروبوتات يكمن في هذا التعاون.