ملخص تقني: الضغط الشعاعي الكروي الديناميكي المنفصل (DD-SRad)

1. بيان المشكلة

يتطلب نشر سياسات التعلم التعزيزي (RL) على الروبوتات الفيزيائية استيفاء قيود معدل المشغلات (actuator rate constraints): وهي حدود صلبة على سرعة تغير أمر موضع كل مفصل لكل خطوة تحكم ($|a^i_t - a^i_{t-1}| \le \delta^i$). هذه القيود متباينة هيكلياً؛ فبسبب الاختلافات في عطالة المحرك وصلابة النقل، يختلف حد المعدل $\delta^i$ بشكل كبير عبر المفاصل (على سبيل المثال، تسمح مفاصل الورك غالباً بمعدلات أعلى بكثير من مفاصل الكاحل).

تفشل الطرق الحالية في التعامل مع هذا التباين هندسياً:

• نهج MPC/QP: تسبب عبئاً حسابياً أثناء التشغيل وتعاني من عدم الاتساق بين التدريب والنشر، مما يمنع التحسين من البداية إلى النهاية (end-to-end).
• طرق MDP المقيدة (CMDP): (مثل CPO وFOCOPS) تقدم ضمانات من شكل التوقع فقط، مما يسمح بانتهاكات عابرة لكل خطوة يمكن أن تلحق الضرر بالأجهزة.
• طرق تمثيل الأفعال (Action parameterization): تفرض عادةً قيود كرة $\ell_2$ متناحية (مثل Spherical Radial Squashing، SRad). وتحت القيود المتباينة، فإن كرة $\ell_2$ بنصف قطر $R = \min_i \delta^i$ تغطي بشكل ضعيف جداً المجموعة المتاحة الحقيقية (وهي مستطيل فائق $\ell_\infty$). وتتدهور نسبة حجم كرة $\ell_2$ إلى المجموعة المتاحة الحقيقية أسياً مع الأبعاد والتباين، مما يؤدي فعلياً إلى ضغط مساحة الاستكشاف للمفاصل ذات الميزانية العالية.
• طرق قص $\ell_\infty$ (Clipping): (مثل BoxPre+) تغطي الهندسة الصحيحة ولكنها تقطع التدرجات عند الحدود، مما يفقد المعلومات الاتجاهية أثناء تحديث السياسة.

التحدي الجوهري هو تحقيق استيفاء القيود الصلبة لكل خطوة، تغطية $\ell_\infty$ دقيقة للمجموعة المتاحة، وانتشار التدرج من البداية إلى النهاية دون عبء حسابي أثناء التشغيل.

2. المنهجية: DD-SRad

تقترح الورقة البحثية الضغط الشعاعي الكروي الديناميكي المنفصل (DD-SRad)، وهو تمثيل تحليلي سلس لبارامترات الفعل يحل التباين الهندسي بين مخرجات السياسة وقيود المعدل المتباينة.

الآلية الجوهرية

خلافاً لـ SRad التي تستخدم نصف قطر عالمي واحد $R$، يقوم DD-SRad بحساب نصف قطر فعال متكيف مع الموقع $R^i_{\text{eff}}$ بشكل مستقل لكل بُعد للفعل $i$:
$$R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) = \begin{cases} \min(\delta^i, a^i_{\max} - a^i_{\text{prev}}) & \text{إذا كان } u^i > 0 \\ \min(\delta^i, a^i_{\text{prev}} - a^i_{\min}) & \text{إذا كان } u^i < 0 \\ \delta^i & \text{إذا كان } u^i = 0 \end{cases}$$

يقوم التحويل بتحويل الفعل الكامن $u \in \mathbb{R}^d$ إلى الفعل الفيزيائي $a$ عبر ضغط شعاعي مستقل لكل بُعد:
$$a^i = a^i_{\text{prev}} + R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) \cdot \frac{u^i}{\sqrt{1 + (u^i)^2}}$$

الخصائص الرئيسية

1. المحاذاة الهندسية: المجموعة القابلة للوصول لـ DD-SRad هي بالضبط المستطيل الفائق $\ell_\infty$ المحدد بحدود المعدل ونطاقات الموضع، مما يستعيد الحجم المفقود بواسطة نماذج $\ell_2$ المتناحية.
2. استيفاء القيود الصلبة: يضمن التحويل أن $|a^i - a^i_{\text{prev}}| \le \delta^i$ و $a^i \in [a^i_{\min}, a^i_{\max}]$ باحتمالية 1 لأي فعل كامن $u$.
3. الحفاظ على التدرج: التحويل سلس وتحليلي (باستثناء عند $u=0$، وهو حدث ذو قياس صفري). المصفوفة اليعقوبية (Jacobian) هي مصفوفة موجبة محددة قطرياً، مما يضمن انتقال معلومات التدرج الاتجاهية الكاملة من الناقد (critic) إلى السياسة دون قطع.
4. صفر عبء حسابي: كطبقة جاهزة للتركيب (plug-and-play)، لا تتطلب حلولاً وقت التشغيل (QP/MPC) وتتكامل مباشرة في البنى الأساسية غير المتصلة (off-policy) مثل SAC وTD3.

3. المساهمات الرئيسية

• المحاذاة الهندسية: يحقق DD-SRad تغطية $\ell_\infty$ دقيقة للمجموعة المتاحة عبر أنصاف أقطار متكيفة لكل بُعد، مما يستعيد بشكل منهجي الحجم المفقود بواسطة نماذج $\ell_2$ تحت القيود المتباينة.
• الضمانات النظرية: تثبت الورقة استيفاء القيود الصلبة لكل خطوة باحتمالية 1 وتضع حدوداً لعدد شرط المصفوفة اليعقوبية، مما يضمن تدرجات جيدة التكييف.
• التوافق من البداية إلى النهاية: يدعم الشكل التحليلي السلس انتشار تدرج السياسة الدقيق مع صفر عبء حسابي أثناء التشغيل، وهو متوافق مع خوارزميات التعلم غير المتصل (off-policy) القياسية.
• التحقق التجريبي: تُظهر التجارب المكثفة أن DD-SRad يحقق أعلى عائد مع صفر انتهاكات للقيود، متفوقاً على النماذج المرجعية في اختبارات MuJoCo ومحاكاة IsaacLab عالية الدقة.

4. النتائج التجريبية

قيم المؤلفون DD-SRad على MuJoCo (Ant, Humanoid, HalfCheetah, Hopper) و IsaacLab (روبوتات Humanoid من نوع Unitree H1 و G1).

اختبارات MuJoCo

• الأداء: تحت قيود متباينة ضيقة، حقق DD-SRad أعلى عائد عبر جميع تكوينات البيئة الثمانية (SAC وTD3)، وغالباً ما طابق أو تجاوز الحد الأعلى غير المقيد.
• استغلال القيود: أظهر DD-SRad تحسناً بنسبة 30%–50% في تغطية مساحة القيود مقارنة بالنماذج الشعاعية. وعلى عكس SRad-Strict التي عانت من انهيار هيكلي (مثلاً، 68.8% انتهاك للقيود في Ant-SAC)، حافظ DD-SRad على صفر انتهاكات.
• المقارنة: تفوق DD-SRad على طريقة القص $\ell_\infty$ (BoxPre+) بنسبة 5%–14% في العائد، مما يؤكد أن انتشار التدرج السلس يتفوق على قطع التدرج عند الحدود.

المحاكاة عالية الدقة (IsaacLab)

• المتانة: باستخدام مواصفات المفاصل الرسمية لـ Unitree H1 (تضاريس وعرة) و G1 (تضاريس مسطحة)، حقق DD-SRad حركة مثالية.
  • H1 (وعرة): حقق DD-SRad عائداً قدره 37.14 مع معدل سقوط 48.7%، متفوقاً بشكل كبير على BoxPre+ (عائد 23.11، سقوط 70.2%) و SRad-Strict (عائد 0.83، سقوط 100%).
  • G1 (مسطحة): حقق DD-SRad عائداً قدره 5473 مع معدل سقوط 0.3% وأقل خطأ في تتبع السرعة (0.138 م/ث).
• التخصيص التكيفي: أكدت المخططات الرادارية والرسوم المبعثرة أن DD-SRad يسمح بتخصيص ميزانيات المعدل بناءً على المهمة (مثلاً، استخدام مفاصل الورك للدفع مع تقليل حركة الكاحل في التضاريس المسطحة)، وهي قدرة كانت تعيقها التنشيطات الموحدة لطرق القص أو الضغط الهندسي للطرق الشعاعية.

5. الأهمية والادعاءات

تدعي الورقة توفير مسار منهجي من بيانات الأجهزة (datasheets) إلى النشر الآمن. من خلال تمثيل مساحة الفعل مباشرة من مواصفات معدل المفاصل الرسمية، يسمح DD-SRad لعملاء RL بتعلم سياسات مثالية تحترم الحدود الفيزيائية دون الحاجة لهندسة المكافآت أو مرشحات سلامة لاحقة.

يؤكد المؤلفون أن DD-SRad يحل عدم التطابق الهندسي الجوهري بين طبيعة $\ell_\infty$ لقيود المعدل وطبيعة $\ell_2$ لتمثيلات المعايير الشعاعية القياسية. وهذا يسمح بـ:

1. النشر الآمن: تضمن الضمانات الصلدة على حدود المشغلات عدم تجاهل الأوامر بصمت أو إلحاق الضرر بالأجهزة.
2. التعلم الفعال: من خلال الحفاظ على الهندسة الكاملة للمجموعة المتاحة، يمكن للعميل استكشاف النطاق الكامل للأفعال الممكنة فيزيائياً، مما يؤدي إلى تقارب أسرع وأداء أعلى.
3. القابلية للتوسع: تتوسع الطريقة لتشمل روبوتات Humanoid عالية الأبعاد (17+ مفصل) دون العبء الحسابي لمحللات QP.

تخلص الورقة إلى أنه بينما تضحي الطرق الموجودة إما بالسلامة، أو التغطية الهندسية، أو كفاءة التدريب، فإن DD-SRad يحقق الثلاثة معاً، مما يثبت فائدته للتحكم الروبوتي في العالم الحقيقي.