ملخص تقني: الإجراء الممكن للتحكم الأمثل (FAOC)

بيان المشكلة

تتطلب تشغيل الأنظمة الديناميكية المقيدة متحكمات يمكنها حل مهام معقدة مع فرض قيود السلامة والجدوى التكرارية بصرامة. وبينما أظهر التعلم المعزز (RL) قدرة على حل مشكلات التحكم المعقدة عبر مجالات متنوعة، إلا أنه يعاني من ضعف كفاءة العينات وعدم القدرة المتأصلة على ضمان استيفاء القيود بصرامة. وفي المقابل، يوفر التحكم الأمثل (OC)، وخاصة التحكم التنبؤي بالنماذج (MPC)، ضمانات سلامة صارمة من خلال فرض القيود بشكل صريح، لكنه يواجه صعوبة في القابلية الحسابية في المسائل غير المحدبة ذات الأفق الزمني الطويل، وغالبًا ما يتطلب ضبطًا مكثفًا لمساحات الأفعال.

تواجه النهج الهجينة الحالية التي تجمع بين التعلم المعزز (RL) والتحكم الأمثل (OC) مقايضة حرجة:

1. مشكلات الجدوى: عندما تختار وكلاء التعلم المعزز مباشرةً معاملات لمسألة تحكم أمثل (OCP)، فقد تؤدي أفعالهم إلى جعل مسألة التحكم غير قابلة للحل (Infeasible)، مما يتطلب متغيرات إضافية (slack variables) أو عقوبات استدلالية تؤدي إلى تدهور الأداء.
2. تصميم مساحة الفعل: لضمان الجدوى، استخدمت الأعمال السابقة مساحات أفعال ثابتة واستدلالية (مثل المكعبات الفائقة المحدودة) التي لا تأخذ في الاعتبار الطبيعة المعتمدة على الحالة لمجموعة المعاملات الممكنة لمسألة التحكم الأمثل (OCP). يؤدي هذا إلى تضمين أفعال غير ممكنة أو زائدة عن الحاجة، مما يجبر سياسة التعلم المعزز على تعلم حدود الجدوى المعقدة ضمنيًا، وهو ما يعيق كفاءة التعلم والأداء النهائي.

المنهجية: الإجراء الممكن للتحكم الأمثل (FAOC)

يقترح المؤلفون الإجراء الممكن للتحكم الأمثل (FAOC)، وهو إطار عمل هرمي يربط بين التعلم المعزز (RL) والتحكم الأمثل (OC) عبر خوارزمية رسم (mapping) تعتمد على التحسين وتتميز بالكفاءة الحسابية. الابتكار الجوهري هو وجود رسم متبادل (bijective mapping) يحول مخرجات وكيل التعلم المعزز من مجموعة أفعال مجردة ثابتة وبسيطة هندسيًا إلى مجموعة معاملات ممكنة تعتمد على الحالة لمسألة التحكم الأمثل (OCP).

بنية إطار العمل

1. سياسة التعلم المعزز عالية المستوى: يعمل وكيل التعلم المعزز ضمن مساحة أفعال مجردة ثابتة، متراصة، صلبة، ومحدبة $\bar{A}$ (مثل صندوق فائق). يقوم الوكيل بإخراج فعل خام، يتم تحويله إلى فعل مجرد $\bar{a} \in \bar{A}$.
2. خوارزمية الرسم (M): تقوم خوارزمية مبتكرة برسم $\bar{a}$ إلى معامل $p$ ينتمي إلى المجموعة الممكنة $P(x)$ المعتمدة على الحالة لمسألة التحكم الأمثل (OCP). يضمن هذا الرسم أن يكون $p$ دائمًا ممكنًا للحالة الراهنة للنظام $x$، مما يضمن بقاء مسألة التحكم الأمثل قابلة للحل.
3. التحكم الأمثل منخفض المستوى: يتم تغذية المعامل المُرسم $p$ (مثل هدف الحالة النهائية) في مسألة تحكم أمثل (OCP) مُعلمة. تقوم مسألة التحكم الأمثل بحل مسار التحكم الأمثل الخاضع للقيود الفيزيائية، مما يضمن السلامة والجدوى التكرارية.

المكونات الخوارزمية الرئيسية

يطور البحث عائلة من خوارزميات الرسم للتعامل مع التحول الهندسي بين المجموعة المجردة $\bar{A}$ والمجموعة المعتمدة على الحالة $P(x)$:

• التوصيف الطوبولوجي: يضع المؤلفون شروطًا هندسية مخففة (Lemma 1) تضمن أن مجموعة المعاملات الممكنة $P(x)$ لمسألة تحكم أمثل عامة هي مجموعة متراصة، صلبة، ومحدبة. وقد تم إثبات ذلك صراحةً في حالة التحكم التنبئي الخطي مع القيود النهائية (Corollary 1).
• الرسم الشعاعي القابل للعكس: الرسم الأساسي (Algorithm 1) هو خوارزمية قياس شعاعي تحول النقاط من $\bar{A}$ إلى $P(x)$ بشكل متبادل. يضمن هذا الرسم قابلية العكس، مما يسمح بإسقاط أي معامل ممكن مرة أخرى إلى مساحة الفعل المجردة، مما يمنع "تعدد الأفعال" (action aliasing).
• تخفيف التشوه الهندسي:
  • مطابقة المساحة ثنائية الأبعاد: بالنسبة للمساحات ثنائية الأبعاد، تم اشتقاق تحويل اتجاهي لمطابقة التوزيعات الزاوية الهامشية لمساحات المجموعات، مما يمنع تراكم النقاط في المناطق الضيقة من المجموعة المستهدفة (Propositions 2 & 3).
  • التحويل الخطي (لأبعاد تعسفية): بالنسبة للأبعاد الأعلى، يقترح المؤلفون استخدام بدائل تآلفية (تحديدًا المماسات المضمنة ذات الحجم الأقصى - Maximum Volume Inscribed Ellipsoids) لتقريب التشوه الهندسي. يسمح هذا بتحويل خطي قابل للتوسع يحافظ على كثافة التوزيع دون الحاجة إلى تمثيلات هندسية صريحة لـ $P(x)$ (Proposition 4).
• التعامل مع المجموعات الضمنية: أحد المساهمات الكبيرة هو القدرة على إجراء هذه الرسوم دون تمثيلات هندسية صريحة لـ $P(x)$. من خلال الاستفيد من بنية قيود مسألة التحكم الأمثل (OCP)، اشتق المؤلفون صيغًا قوية لحساب النقاط الداخلية ومصفوفات الشكل مباشرة من قيود التحسين (Propositions 6–8)، مما يتيح التنفيذ في الوقت الفعلي.

المساهمات الرئيسية

يحدد البحث خمس مساهمات رئيسية:

1. التوصيف الطوبولوجي: تحديد الشروط الهندسية التي تضمن أن مجموعة المعاملات المعتمدة على الحالة لمسألة تحكم أمثل عامة هي مجموعة متراصة، صلبة، ومحدبة.
2. رسم الأفعال الممكنة القابل للعكس: خوارزمية شعاعية فعالة حسابيًا ترسم الأفعال المجردة للتعلم المعزز إلى معاملات مضمونة الجدوى لمسألة التحكم الأمثل.
3. تخفيف التشوه الهندسي: تطوير تقنيات مطابقة المساحة (في 2D) والتحويل الخطي (في الأبعاد التعسفية) لمنع تراكم النقاط وتسريع التعلم.
4. القابلية الحسابية للمجموعات الضمنية: اشتقاق صيغ قوية لحساب مكونات الرسم الضرورية (النقاط الداخلية، مصفوفات الشكل) مباشرة من قيود مسألة التحكم الأمثل، وتجنب التمثيلات الهندسية الصريطة والمكلفة حسابيًا.
5. التحقق التجريبي: التطبيق على تخطيط الحركة في الوقت الفعلي لنظام تنس طاولة بروبوت ذو 8 درجات حرية، مما أظهر أداءً بمستوى احترافي.

النتائج التجريبية

تم تقييم إطار عمل FAOC على روبوت حقيقي بـ 8 درجات حرية يلعب تنس الطاولة، وهي مهمة تتطلب اتخاذ قرارات عالية السرعة والتزامًا صارمًا بالقيود الحركية (kinematic constraints).

• الإعداد: اختار وكيل التعلم المعزز (باستخدام Soft Actor-Critic) نقاط مسار (waypoints) ثنائية الأبعاد (الموقع والسرعة) لكل مفصل. قام ماسر FAOC بترجمة هذه النقاط إلى قيود نهائية ممكنة لمسألة تحكم أمثل (OCP) مُعلمة.
• النماذج المرجعية (Baselines): تمت مقارنة FAFA ضد:
  • متغيرات أحادية البعد (1D Variants): متحكمات حيث يختار وكيل التعلم المعزز فقط الموقع، أو السرعة، أو التسارع (قدرة تحكم محدودة).
  • 2Dsoft: متحكم يستخدم مساحة فعل ثابتة وغير معتمدة على الحالة مع تكاليف نهائية ناعمة للتعامل مع الأهداف غير الممكنة.
• الأداء:
  • كفاءة العينات: حقق FAOC أعلى كفاءة في العينات وأعلى أداء نهائي عبر جميع التجارب، متفوقًا على كل من نماذج 1D و 2Dsoft.
  • القدرة على التحكم: أظهر FAOC قدرة فائقة على التحكم، خاصة عند تقليل تردد قرار التعلم المعزز (لمحاكاة زمن انتقال أعلى). وبينما تدهورت أداء المتحكمات الأخرى بشكل كبير عند الترددات المنخفضة، حافظ FAFA على أدائه بفضل مساحة الفعل المعتمدة على الحالة التي تضمن أجزاء مسار ممكنة.
  • النجاح في العالم الحقيقي: مكّن إطار العمل الروبوت من المنافسة والفوز ضد لاعبين بشريين محترفين في مباريات رسمية تابعة للاتحاد الدولي لتنس الطاولة (ITTF).

الأهمية والادعاءات

يزعم البحث أن FAOC يحل مشكلات الجدونة والاستكشاف المستمرة الناتجة عن الجمع بين التعلم المعزز (RL) والتحكم الأمثل (OC). ومن خلال فصل وكيل التعلم المعزز عن القيود الفيزيائية، يسمح إطار العمل للسياسة بالتركيز فقط على اتخاذ القرارات الاستراتيجية بينما يتولى التحكم الأمثل (OC) التعامل مع القيود الحركية المحلية.

يؤكد المؤلفون أنه على عكس الأعمال السابقة، لا يتطلب FAOC مساحات أفعال مصممة من قبل خبراء ولا يضحي بصيغة التحكم الأمثل (OC) بسبب الأفعال غير الممكنة. يعمل إطار العمل على الجمع بفعالية بين الأمان المتوقع للتحكم الأمثل والمرونة التي يوفرها التعلم المعزز. ويعد النجاح في النشر على روبوت حقيقي في بيئة تنافسية عالية السرعة بمثابة إثبات لمفهوم أن هذا النهج يمكنه التعامل مع المسائل الاستراتيجية غير المحدبة (التي يعالجها RL) مع الحفاظ على الجدوى المحلية الصارمة (التي يعالجها OC). كما تم إتاحة خوارزمية الرسم وتنفيذ التحكم الأمثل كمصادر مفتوحة لتسهيل المزيد من الأبحاث.