Sample-Based Hybrid Mode Control: Asymptotically Optimal Switching of Algorithmic and Non-Differentiable Control Modes

1. بيان المشكلة

غالبًا ما تتطلب الأنظمة الروبوتية الرشيقة الحديثة (مثل الروبوتات ذات الأرجل) التبديل الديناميكي بين أوضاع تشغيل منفصلة (مثل حالة التلامس مقابل عدم التلامس، أو مراحل مشي مختلفة) لتخليق سلوكيات معقدة مثل الحركة والتلاعب.

• التحدي: تعاني طرق التحكم المستمر التقليدية من صعوبة في التعامل مع عمليات تبديل الأوضاع المفاجئة، مما يؤدي إلى عدم الاستقرار. ومن ناحية أخرى، تواجه نظرية التحكم الهجين القياسية تعقيداً توافقياً (Combinatorial Complexity) عند تحسين تسلسل وتوقيت ومدة التبديلات، خاصة عندما تتضمن الأوضاع متحكمات غير قابلة للاشتقاق (مثل التحكم التنبئي بالنماذج MPC، أو السياسات المتعلمة، أو الحلول القائمة على التلامس).
• الفجوة: تعتمد الطرق الموجودة إما على تسلسلات أوضاع محددة مسبقاً (مما يحد من القدرة على التكيف) أو على ديناميكيات مبسطة (مما يفقد النظام قدرات الجسم الكامل). علاوة على ذلك، غالباً ما تعامل طرق التحكم القائمة على العينات مدخلات التحكم كمتغيرات مستقلة في كل خطوة زمنية، متجاهلة البنية الهجينة المتأصلة، مما يعاني من نمو مساحة البحث بشكل أسي مع زيادة أفق التخطيط.

2. المنهجية

يقترح المؤلفون إطار عمل للتحكم الهجين القائم على العينات (Sample-Based Hybrid Mode Control) يعيد صياغة مشكلة التحكم الهجين كمسألة تحسين قائمة على الأعداد الصحيحة.

أ. صياغة المشكلة

• إعادة الصياغة في الزمن المنفصل: تم تحويل مشكلة التبديل غير المنقطعة في الزمن المستمر إلى صيغة زمنية منفصلة. يتم تعريف تطور الحالة بـ $x_{k+1} = F_m(x_k, k)$، حيث يمكن أن يكون $F_m$ أي وضع (سواء كان قابلاً للاشتقاق، أو غير قابل للاشتقاق، أو خوارزمياً).
• متغيرات القرار: بدلاً من تحسين مدخلات التحكم المستمرة، تقوم الطريقة بتحسين ثلاثة متغيرات صحيحة منفصلة لكل انتقال بين الأوضاع:
  1. الوضع ($m$): أي سياسة تحكم سيتم تطبيقها.
  2. وقت البدء ($\mu$): متى يتم التبديل إلى هذا الوضع.
  3. المدة ($\nu$): كم من الوقت سيتم الحفاظ على هذا الوضع.
• الهدف: تقليل دالة التكلفة التراكمية $J$ عبر أفق تخطيط من خلال إيجاد التسلسل الأمثل للثنائيات $(m, \mu, \nu)$.

ب. التحسين التكراري والقائم على العينات

بما أن مساحة البحث للحلول المثالية عبر البحث الشامل تتوسع أسياً ($O(M^T)$)، فقد قدم المؤلفون نهجاً تكرارياً يعتمد على العينات:

1. التحسين التكراري: يتم تقسيم المشكلة إلى مشكلة فرعية وهي "التبديل الواحد". بالنظر إلى تسلسل أوضاع افتراضي، تبحث الخوارزمية عن انتقال واحد للوضع $(m, \mu, \nu)$ الذي، عند إدراجه، يقلل التكلفة الإجمالية.
2. البحث القائم على العينات (الخوارزمية 2): بدلاً من البحث الشامل في كامل مساحة الانتقالات الممكنة، تقوم الطريقة بأخذ عينات منتظمة لمجموعة فرعية من مساحة الانتقال (بدون إرجاع).
   • تقوم بتقييم $N$ من العينات العشوائية لـ $(m, \mu, \nu)$.
   • إذا قللت العينة من التكلفة مقارنة بأفضل نتيجة حالية، يتم قبولها وتحديث التسلسل.
   • تتكرر هذه العملية حتى لا يتم العثاق على أي تقليل إضافي في التكلفة (الوصা لـ "الأمثلية المحلية").
3. الضمانات النظرية:
   • التقارب التقاربي: تثبت النظرية 1 أن العملية التكرارية تتقارب نحو النتيجة المثلى المحلية.
   • احتمالية المثالية: تثبت النظرية 2 أن احتمال إيجاد انتقال الوضع الواحد الأمثل هو $P = N/Z$ (حيث $Z$ هو حجم مساحة البحث الكلية)، مما يضمن أنه مع كفاية أخذ العينات، يمكن الوصول إلى الحل الأمثل العالمي للمشكلة المنفصلة.

ج. التعامل مع الأوضاع غير القابلة للاشتقاق

الابتكار الرئيسي هو أن الطريقة لا تتطلب اشتقاقات لأوضاع التحكم. فهي تعامل الأوضاع كـ "صناديق سوداء" (مثل سياسة الشبكة العصبية المتعلمة أو حلول MPC)، مما يجعلها قابلة للتطبيق على استراتيجيات التحكم المعقدة أو غير السلسة أو الخوارزمية التي لا تستطيع طرق تحسين المسار القائمة على الاشتقاق (مثل iLQR) التعامل معها مباشرة.

3. المساهمات الرئيسية

1. صياغة مبتكرة: صياغة تكرارية قائمة على العينات للتحكم في تسلسل الأوضاع الهجينة، حيث تعامل اختيار الوضع، ووقت البدء، والمدة كمتغيرات صحيحة منفصلة.
2. ضمانات نظرية: تقارب تقاربي مثبت نحو الأمثلية المحلية وضمانات احتمالية لإيجاد تسلسلات التبديل المثلى دون الحاجة إلى معلومات الاشتقاق.
3. القابلية للتوسع: من خلال إعادة تمثيل المشكلة، تصبح عدد متغيرات القرار مستقلة عن أفق الزمن، مما يخفف من النمو الأسي لمساحة البحث الشائع في الطرق القياسية القائمة على العينات.
4. التحقق من الواقع العملي: النشر الناجح على روبوت رباعي الأرجل حقيقي (Unitree Go2) لأداء مهام متعددة المراحل معقدة.

4. النتائج التجريبية

أ. المحاكاة: تأرجح العربة والعمود (Cartpole Swing-Up)

• المهمة: تأرجح العربة والعمود من وضع التدلي إلى وضع التوازن العمودي.
• المقارنة: تمت المقارنة مع طرق أخذ العينات الكلاسيكية وiLQR القائم على الاشتقاق.
• النتيجة: وجدت الط المقترحة باستمرار حلولاً مثالية عبر آفاق تخطيط متغيرة. في المقابل، فشلت طرق أخذ العينات الكلاسيكية في إيجاد حلول مثلى جيدة مع زيادة أفق التخطيط بسبب توسع مساحة البحث. أداء الطريقة كان قريباً جداً من iLQR لكنها تعاملت مع القيود غير القابلة للاشتقاق بمتانة أكبر.

ب. مهمة عالية الأبعاد: "الوقوف على اليدين" لروبوت رباعي الأرجل (Quadruped Handstand Flip)

• المهمة: يجب على روبوت Unitree Go2 الانتقال من الوقوف على القدمين $\to$ القيام بـ شقلبة خلفية (Jump Flip) $\to$ الهبوط في وضع الوقوف على اليدين والتوازن.
• الأوضاع:
  1. الوقوف على القدمين: سياسة متعلمة (PPO).
  2. الشقلبة الخلفية: تحكم تنبئي بالنماذج (MPPI).
  3. الوقوف على اليدين: سياسة متعلمة (PPO).
• النماذج المرجعية:
  • PPO فقط: فشل في تنفيذ الشقلبة (انهيار السياسة).
  • MPPI فقط: فشل في تحقيق الاستقرار في وضع الوقوف على اليدين.
  • التسلسل المحدد مسبقاً: استطاع القيام بالشقلبة لكنه فشل في التكيف مع وضع الوقوف على اليدين ديناميكياً.
  • الطريقة المقترحة: نجحت في تخليق التسلسل الكامل، والتبديل ديناميكياً بين الأوضاع لتحقيق السلوك المعقد.
• المقاييس: حققت الطريقة المقترحة تكلفة تراكمية أقل بكثير (13.52) مقارنة بالنماذج المرجعية (التي تراوحت بين 22.24 و 55.68).

ج. التجارب على الأجهزة (Hardware)

• المنصة: روبوت Unitless Go2 يعمل على معالج Intel i7 واحد (دورة تحكم 50 هرتز).
• الاستشعار: استخدم مستشعرات داخلية (IMIM، مشفرات المفاصل) مع مرشح كالمان الموسع (EKF)، دون الاعتماد على أنظمة التقاط الحركة الخارجية.
• النتيجة: نفذ الروبوت بنجاح تسلسل الوقوف على القدمين، والشقلبة، والوقوف على اليدين في الوقت الفعلي، مما أظهر متانة تجاه قياسات الحالة الضوضائية وكفاءة حسابية.

5. الأهمية والقيود

• الأهمية: يجسر هذا العمل الفجوة بين التحكم القائم على التعلم (المرونة، التعامل مع اللاخطية) والتحكم القائم على التخطيط (الهيكلية، التعامل مع القيود). فهو يُمكّن الروبوتات من تركيب سلوكيات متعددة الأوضاع معقدة عبر معاملة "متى" و"مدة" تطبيق التحكم كمتغيرات تحسين، بدلاً من كونها معاملات ثابتة. وهو مهم بشكل خاص للمهام التي تتطلب تبديلاً تفاعلياً بين التخطيط طويل الأمد والتحكم عالي التردد.
• القيود:
  • الاعتماد على النموذج: مثل معظم الطرق القائمة على العينات، تعتمد الطريقة على نموذج محاكاة دقيق لعمليات "التمرير الأمامي" (Forward Rollouts). قد يتدهور الأداء في البيئات غير المهيكلة حيث لا يمثل النموذج الواقع بدقة.
  • العمل المستقبلي: يقترح المؤلفون دمج نهج قائم على البيانات لا يتطلب نمذجة صريحة للتعامل مع السيناريوهات غير المهيكلة في العالم الحقيقي.