⚡ electrical engineering

Trajectory-Regularized Stochastic Optimal Control via KL Divergence

تقدم هذه الورقة التحكم الأمثل العشوائي المنظم بالمسار (TRSOC)، وهو إطار عمل يدمج جزاء تباعد كولباك - ليبلر بين توزيعات المسارات المتحكم بها والمرجعية لتعديل التكلفة الجارية مع الحفاظ على بنية البرمجة الديناميكية، مما يؤدي إلى حلول ذات صيغة مغلقة في الإعدادات الخطية التربيعية ويسمح بموازنة قابلة للضبط بين الأداء والالتزام بالمسار المرجعي.

المؤلفون الأصليون: Mintae Kim, Koushil Sreenath

نُشر 2026-07-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mintae Kim, Koushil Sreenath

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيف يمشي عبر حديقة مزدحمة وممطرة. تريد من الروبوت أن يصل إلى مقعد محدد بأسرع ما يمكن، لكن الأرض زلقة والرياح غير متوقعة. هذا هو عالم التحكم الأمثل العشوائي (Stochastic Optimal Control - SOC). فكر في كلمة "عشوائي" (stochastic) ككلمة منمقة تعني "مليء بالمفاجآت العشوائية"، و"التحكم الأمثل" كعملية رياضية تُستخدم لإيجاد أفضل مسار عندما لا يمكنك التنبؤ بما سيحدث بدقة. عادةً، تهتم هذه المسائل الرياضية بشيء واحد فقط: الوصول إلى الهدف بأقل قدر من الجهد أو الوقت.

ومع ذلك، في العالم الحقيقي، غالباً ما يكون لدينا "شبح" لطريقة مفضلة في الحركة. ربد يكون الروبوت قد تدرّب على يد إنسان كان يمشي ببطء وحذر، أو ربما لدينا كومة من بيانات الفيديو القديمة التي تُظهر كيف كان يتصرف روبوت آمن في السابق. تتجاهل الرياضيات القياسية هذا "الشبح" غالباً، حيث تركز فقط على المسار الأسرع، مما قد يجعل سلوك الروبوت مضطرباً أو غير آمن. تسأل هذه الورقة سؤالاً بسيطاً: هل يمكننا تعليم الروبوت أن يكون سريعاً، ولكن أيضاً أن يلتزم بأدب بالقرب من الطريقة التي اعتاد التحرك بها؟ يقدم المؤلفون طريقة جديدة تسمى التحكم الأمثل العشوائي المنظم بالمسار (Trajectory-Regularized Stochastic Optimal Control - TRSOC). إنهم يستخدمون أداة رياضية تسمى تباعد KL (KL Divergence) (فكر فيها كـ "مقياس مسافة" للمسارات الكاملة، وليس فقط للخطوات الفردية) لتدفع حركات الروبوت العشوائية بلطف للبقاء قريبة من نمط مرجعي، دون إجباره على اتباع ذلك النمط تماماً.

الفكرة الكبرى للورقة: "الشبح" في الآلة

يقترح المؤلفان، مينتي كيم وكوشيل سريناث، طريقة ذكية لخلط رغبتين متنافستين: أداء المهمة جيداً (الأداء) والتصرف مثل النسخة القديمة والآمنة (المرجع). يسمون نظامهم الجديد TRSOC.

تخيل أنك تقود سيارة. هدف "الأداء" هو الوصول إلى البقالة في غضون 10 دقائق. وسلوك "المرجع" هو كيف تقود جدتك الحذرة: هي لا تسرع أبداً، وتستخدم إشارات الانعطاف دائماً، وتأخذ منعطفات واسعة. رياضيات القيادة القياسية ستخبرك بتجاهل جدتك والقيادة بأقصى سرعة تسمح بها قوانين المرور. ومع ذلك، يضيف TRSOC "غرامة أدب". فهو يقول: "يمكنك القيادة بسرعة، ولكن إذا بدأت في الانحراف بجنون أو تجاهل عادات جدتك، فستتعرض لغرامة".

الخدعة السحرية في هذه الورقة هي كيفية حساب تلك "الغرامة". عادةً، مقارنة مسارين كاملين (trajectories) أمر صعب للغاية، مثل محاولة مقارنة فيلمين كاملين إطاراً بإطار. لكن المؤلفين استخدموا نظرية رياضية شهيرة تسمى نظرية جيرسانوف (Girsanov's theorem) لتبسيط الأمر. لقد أظهروا أنه بدلاً من مقارنة الفيلم بأكمله، تحتاج فقط إلى النظر في الانجراف (drift) — أي الاتجاه الذي يحاول الروبوت الذهاب إليه في أي لحظة منفردة.

إذا حاول الروبوت دفع نفسه في اتجاه مختلف تماماً عن المرجع "الشبح"، فإن الرياضيات تضيف عقوبة تربيعية. فكر في هذا كأنه شريط مطاطي. إذا حاول الروبوت الابتعاد عن المسار المرجعي، يتمدد الشريط المطاطي، وتزدل التكلفة (أي "الغرامة") تزداد. كلما كان الشريط المطاطي أقوى (يتم التحكم فيه بواسطة رقم يسمى $\lambda$ )، زادت صعوبة انحراف الروبوت.

النتائج: إيجاد النقطة المثالية

لا تقترح الورقة هذه الفكرة فحسب؛ بل تثبت رياضياً أنها تعمل وتختبرها من خلال عمليات المحاكاة.

1. المقايضة حقيقية
يُظهر المؤلفون أنه من خلال تدوير مقبض "الشريط المطاطي" ( $\lambda$ )، يمكنك الانتقال بسلاسة بين طرفين متناقضين:

$\lambda = 0$ (لا يوجد شريط مطاطي): يعمل الروبوت بناءً على الأداء الصرف. يجد المسار الأسرع والأكثر كفاءة، ولكنه قد يبدو مضطرباً أو يتجاهل العادات الآمنة.
$\lambda = \text{ضخم}$ (شريط مطاطي مشدود للغاية): يصبح الروبوت مقلداً. يتبع المسار المرجعي بدقة تقريبية، حتى لو لم يكن ذلك المسار هو الأسرع.
في المنتصف: يجد الروبوت حلاً وسطاً سعيداً. ينجز المهمة ولكنه يحافظ على حركاته سلسة ومألوفة.

في تجاربهم، استخدموا روبوتاً كان عليه اتباع مسار على شكل رقم ثمانية. عندما رفعوا مستوى التنظيم، توقف الروبوت عن القيام بتصحيحات حادة وعدوانية وبدأ يتبع المسار المنحني والسلس للمرجع، رغم أن المسار "الأسرع" كان سيكون أكثر اضطراباً.

2. إنه يعمل مع بيانات "الشبح" أيضاً
أحد أروع الأجزاء هو أن "المرجع" لا يجب أن يكون صيغة رياضية مثالية. أظهر المؤلفون أنه يمكنك تغذية النظام بـ بيانات غير متصلة (offline data) — وهي تسجيلات لحركة روبوت حول — والرياضيات ستتعلم سلوك "الشبح" من تلك البيانات.

قاموا بتدريب شبكة عصبية صغيرة لتخمين كيفية تحرك الروبوت المرجعي.
ثم، تركوا نظام TRSOC يستخدم تخمينهم كدليل له.
النتيجة؟ تصرف الروبوت الجديد بشكل مشابه جداً للروبوت الموجود في التسجيلات، مما يثبت أن هذه الطريقة يمكنها التعلم من بيانات العالم الحقيقي، وليس فقط من المعادلات المثالية.

3. السلامة والاستقرار
تنظر الورقة أيضاً في ما إذا كان هذا "الشريط المطاطي" سيجعل الروبوت غير مستقر. ومن المثير للدهشة، وجدوا أن إضافة هذا التنظيم يمكن أن يجعل النظام في الواقع أكثر استقراراً. فمن خلال معاقبة الحركات العدوانية والجامحة، تمنع الرياضيات الروبوت طبيعياً من اتخاذ مخاطر قد تؤدي لفقدان السيطرة. في عمليات المحاكاة الخاصة بهم، ظل الروبوت ضمن حدود آمنة حتى عندما أصبحت الرياضيات معقدة.

ماذا يعني هذا للمستقبل

لا تدعي الورقة أنها حلت كل مشاكل التحكم في الكون. بدلاً من ذلك، هي تقدم أداة مرنة جديدة. إنها تُظهر أنه ليس عليك الاختيار بين "سريع ومخاطر" أو "آمن وبطيء". يمكنك الحصول على نظام يجمع بين الاثنين، وذلك عن طريق ضبط رقم واحد.

يشير المؤلفون إلى أن هذا قد يكون ضخماً للروبوتات التي تحتاج للتعلم من العروض البشرية (مثل ذراع روبوت تتعلم طي الملابس من فيديو) أو للسيارات ذاتية القيادة التي تحتاج لاحترام عادات القيادة المحلية أثناء التنقل في حركة المرور. باستخدام هذا "التنظيم المساري"، يمكن للمهندسين بناء روبوتات ليست فعالة فحسب، بل أيضاً متوقعة ومهذبة، تلتزم بـ "شبح" السلوك الجيد بينما تنجز المهمة في الوقت ذاته.

باختأصار، TRSOC يشبه منح الروبوت ضميراً. لا يزال يريد الفوز بالسباق، لكنه يتذكر كيف كان يتصرف سابقاً، ويحاول إيجاد مسار يرضي طموحه وتاريخه معاً.

ملخص تقني: التحكم الأمثل العشوائي المنظم بالمسار عبر تباعد KL

1. صياغة المشكلة

تتناول الورقة البحثية قصوراً في التحكم الأمثل العشوائي (SOC) القياسي، والذي يركز فقط على تقليل التكلفة التراكمية المتوقعة تحت تأثير عدم اليقين دون تقييد مدى انحراف ديناميكيات النظام الناتجة عن سلوك مرجعي منشود. في العديد من التطبيقات، تحمل السلوكيات المرجعية (مثل الديناميكيات السلبية، أو المتحكمات المرجعية، أو التوزيعات المستمدة من البيانات غير المتصلة/الخارجية) معلومات هيكلية قيمة؛ حيث يمكن أن تؤدي الانحرافات الكبيرة عن هذه المراجع إلى سياسات هشة.

يقترح المؤلفون التحكم الأمثل العشوائي المنظم بالمسار (TRSOC). يهدف هذا النهج إلى تقليل دالة التكلفة التي توازن بين أداء المهمة ومدى قرب توزيع المسار المتحكم فيه من توزيع المسار المرجعي. ويُقاس هذا القرب باستخدام تباعد كولباك - ليبلر (KL divergence) بين القوانين الاحتمالية للعملية المتحكم فيها ( $P_u$ ) والعملية المرجعية ( $P_0$ ).

يتم نمذجة النظام كعملية انتشار متحكم بها:
$dX_t = f(X_t, u_t)dt + \sigma(X_t)dW_t$
حيث يدخل التحكم $u_t$ من خلال الانجراف (drift). وتتشارك الديناميكيات المرجعية نفس مصفوفة الانتشار $\sigma$ ولكن بانجراف مختلف $f_0$ .

2. المنهجية

أ. اختزال تباعد KL للمسار إلى تكلفة محلية

تتمثل المساهمة النظرية المركزية في اختزال تباعد KL على مستوى المسار إلى تكلفة جارية محلية وقابلة للمعالجة.

مبرهنة جيرسانو (Girsanov's Theorem): تحت افتراض أن مصفوفة الانتشار $\sigma(x)$ قابلة للعكس وأن عدم تطابق الانجراف يحقق شرط نوفيكوف (Novikov's condition)، فإن مشتق رادون - نيكوديم بين المقاييس المتحكم فيها والمرجعية موجود.
التمهيدية 1 (Lemma 1): تم إثبات أن تباعد KL لـ $KL(P_u \| P_0)$ عبر أفق زمني محدود $[0, T]$ يساوي التكامل المتوقع لعقوبة تربيعية لانحراف الانجراف:
$KL(P_u \| P_0) = \frac{1}{2} \mathbb{E}_{P_u} \left[ \int_0^T \|\phi_t^u\|^2 dt \right]$
حيث $\phi_t^u = \sigma(X_t)^{-1}(f(X_t, u_t) - f_0(X_t))$ .
التكلفة الجارية المضافة: تسمح هذه النتيجة بدمج تنظيم المسار مباشرة في إطار عمل SOC القياسي كحد مضاف إلى التكلفة الجارية:
$L(x, u) = \ell(x, u) + \frac{\lambda}{2} \|\sigma(x)^{-1}(f(x, u) - f_0(x))\|^2$
حيث $\lambda \geq 0$ هو معامل التنظيم.

ب. البرمجة الديناميكية وبنية HJB

بما أن عقوبة KL تختزل إلى تكامل لتكلفة جارية، فإن TRSOC يحافظ على خاصية ماركوف (Markov property) ومبدأ البرمجة الدينامية (DP).

تحقق دالة القيمة $V(t, x)$ معادلة هاميلتون - جاقوبي - بلمان (HJB) القياسية:
$-\partial_t V(t, x) = \inf_{u \in U} \{ L(x, u) + \mathcal{L}_u V(t, x) \}$
حيث $\mathcal{L}_u$ هو المولد اللحظي للانتشار.
على عكس مناهج "التحكم بـ KL" التي تعمل على تحسين مقاييس المسارات مباشرة (مما يؤدي غالباً إلى أهداف حساسة للمخاطر وانحراف أسي)، يظل TRSOC مشكلة SOC قياسية بتكلفة مضافة، محتفظاً بتوقع خطي وتوصيف HJB قياسي.

ج. بنية التحكم الأمثل (في حالة الانجراف الخطي بالتحكم)

بالنسبة للأنظمة ذات الانجراف الخطي بالتحكم $f(x, u) = f_0(x) + B(x)u$ وتكاليف تحكم تربيعية، استنتج المؤلفون قانون تغذية راجعة أمثل صريح.

يعمل حد KL كعقوبة تحكم إضافية، مما يعدل مصفوفة وزن التحكم الفعالة:
$\bar{R}(x) = R(x) + \lambda B(x)^\top (\sigma(x)\sigma(x)^\top)^{-1} B(x)$
يُعطى التحكم الأمثل بـ:
$u^*(x) = -\bar{R}(x)^{-1} B(x)^\top \nabla V(x)$
تعني هذه الصيغة أن الضوابط التي تسبب تغييرات كبيرة في الانجراف في الاتجاهات ذات الضجيج المنخفض يتم معاقبتها بشكل أكبر.

د. التخصص الخطي التربيعي (LQ)

في الإطار الخطي التربيعي، تتحول المشكلة إلى منظم خطي تربيعي (LQR) مخصوم، حيث يتم تعديل وزن التحكم $\bar{R}$ . يتضمن الحل حل معادلة ريكاتي الجبرية (ARE) معدلة، حيث يؤثر معامل التنظيم $\lambda$ مباشرة على كسب التغذية الراجعة، مما يؤدي إلى تحكم أكثر تحفظاً مع زيادة $\lambda$ .

3. المساهمات الرئيسية

صياغة TRSOC: تقديم إطار عمل للتحكم العشوائي المنظم بالمسار يدمج السلوكيات المسبقة (المتحكمات الاسمية أو القواعد المستمدة من البيانات) عبر تباعد KL على مستوى المسار.
اختزال التكلفة المحلية: إثبات أنه تحت التحكم بالانجراف فقط مع انتشار غير منحل، يختزل تباعد المسار KL إلى عقوبة تربيعية لانحراف الانجراف. هذا يحافظ على بنية البرمجة الدينامية (DP) ويسمح بتوصيف HJB قياسي.
توصيف السياسة المثلى: اشتقاق قوانين تغذية راجعة مثلى صريحة للأنظمة ذات الانجراف الخطي بالتحكم وتحليل حالة LQ، مما يوضح كيف يعدل التنظيم تكلفة التحكم وخصائص الاستقرار.
تحليل الاستقرار: إثبات أن تنظيم المسار يمكن أن يحسن من تبدد (dissipativity) الانجراف في الحلقة المغلقة، مما يسهل متباينات ليابونوف ويضمن حدود المتوسط المربع لحالة النظام.

4. النتائج والتجارب

تتحقق الورقة من النتائج النظرية من خلال تجارب عددية على نظام مُكامل مزدوج عشوائي يتتبع مسار شكل الرقم ثمانية (figure-eight).

المفاضلة بين الأداء والانحراف: تُظهر التجارب أن معامل التنظيم $\lambda$ $λ$ يحدث مفاضلة مستمرة.
- عندما $\ت \to 0$ ، يتصرف المتحكم مثل SOC مدفوع بالأداء، محققاً تكلفة مهمة منخفضة ولكن مع احتمال الانحراف بشكل كبير عن المرجع.
- عندما $\ت \to \infty$ ، يجبر المتحكم الانجراف المستحث على التوافق مع الديناميكيات المرجعية، مما يقلل الانحراف على حساب أداء المهمة.
المرجع المستمد من البيانات: تم تطبيق إطار العمل بنجاح في سياق تكون فيه الديناميكيات المرجعية متعلمة من بيانات خارجية (باستاستخدام شبكة عصبية لتقريب التسارع المرجعي). تُظهر النتائج أن TRSOC يوازن بفعالية بين تحسين المهمة والالتزام بالسلوك المرجعي المتعلم.
هندسة المسار: تكشف التصورات المرئية للمسارات أن التنظيم يعمل على هندسة الديناميكيات المستحثة. تنتج المتحكمات المنظمة مسارات تقع بين التصحيحات الهجومية للمتحكم الأمثل غير المنظم والسلوك المرجعي الاسمي، خاصة في المناطق ذات الانحناء العالي.

5. الأهمية والادعاءات

يزعم المؤلفون أن TRSOC يوفر طريقة منهجية لدمج المعرفة المسبقة أو البيانات الخارجية في التحكم العشوائي دون التخلي عن إطار عمل DP/HJB القياسي.

الحفاظ الهيكلي: على عكس طرق تنظيم المسار الأخرى التي قد تتطلب التحسين عبر المقاييس أو تؤدي إلى أهداف حساسة للمخاطر غير قياسية، يحافظ TRSOC على بنية SOC القياسية، مما يجعله قابلاً للتطبيق على الديناميكيات غير الخطية العامة.
الاستكمال (Interpolation): يوفر إطار العمل عملية "تسكير" (scalarization) لمشكلة تحسين متعددة الأهداف (أداء المهمة مقابل الالتزام بالمرجع)، مما يسمح للممارسين بضبط سلوك المتحكم عبر معلمة واحدة $\lambda$ .
المتانة: أظهرت الطريقة أنها متينة تجاه أخطاء التقريب عندما يتم تعلم الديناميكيات المرجعية من البيانات، مما يشير إلى فائدة محتملة في سياقات التعلم المعزز من "خارج السياسة" (offline-to-online RL) وتعلم التقليد.

تخلص الورقة إلى أن تنظيم المسار يعمل كـ "تعديل واعٍ بالضجيج" لطاقة التحكم، حيث يعاقب تغييرات الانجراف بشكل أكبر في الاتجاهات التي يكون فيها النظام أقل عشوائية، مما يوفر آلية بديهية هندسياً للموازنة بين الأداء والسلامة/الاتساق.