From LLM-Generated Specifications to Learned Quadruped Locomotion

ملخص تقني: من المواصفات المولدة بواسطة النماذج اللغوية الكبيرة إلى التحكم المكتسب في حركة الكائنات رباعية الأرجل

بيان المشكلة

مكّن التعلم التعزيزي العميق (RL) الروبوتات رباعية الأرائل من تعلم الحركة الرشيقة، ومع ذلك لا يزال الأداء يعتمد بشكل كبير على الهندسة اليدوية لدوال المكافأة (reward functions). يتطلب تصميم هذه المكافآت خبرة واسعة في المجال لموازنة المصطلحات المحلية (التتبع، الوضعية، الطاقة)، وغالبًا ما يعتمد على الضبط التجريبي بدلاً من المبادئ الأولية. علاوة على ذلك، تفشل المكافآت الرقمية المحلية في وصف السلوك الزمني العالمي المطلوب بشكل صريح، وهو أمر بالغ الأهمية خاصة في الحركة متعددة الأنماط (multi-gait locomotion) حيث تختلف أنماط المشي، والهرولة، والوثب من حيث توقيت التلامس وأنماط الدعم. وبينما توفر المواصفات الرسمية مثل المنطق الزمني الإشاري (STL) قابلية التفسير والمتانة الكمية، فإن كتابتها يدويًا لا تزال تتطلب خبرة كبيرة. ومن ناحية أخرى، فإن نهج النماذج اللغوية الكبيرة (LLMs) الحديثة التي تولد كود المكافأة مباشرة من اللغة الطبيعية غالبًا ما تفتقر إلى الصرامة الهيكلية اللازمة للقيود الزمنية المعقدة. تعالج هذه الورقة الفجوة المتمثلة في توليد مواصفات مكافأة قابلة للتفسير وذات بنية زمنية باستخدام النماذج اللغوية الكبيرة مع ربط بارامتراتها الرقمية ببيانات الخبراء.

المنهجية

يقترح المؤلفون مسار عمل يستفيد من النماذج اللغوية الكبيرة لتوليد بنية مواصفات المنطق الزمني الإشاري البارامتري (PSTL)، مع استخدام مسارات الخبراء لتعيين البارامترات وتصفية المخرجات.

1. توليد المواصفات بواسطة النموذج اللغوي الكبير:

   • يتم توجيه النماذج (GPT-5.5 و Qwen 3.6) باستخدام أهداف حركة باللغة الطبيعية وقواعد STL مقيدة.
   • من المهم أن النماذج اللغوية الكبيرة مُطالبة باقتراح البنية الرمزية (القوالب) فقط لتتبع الأوامر، والسلامة، وبنية المشية، مع ترك العتبات الرقمية والثوابت الزمنية كبارامترات رمزية ليتم تقديرها لاحقًا، مما يمنع النموذج من ابتكار قيم عشوائية.
   • تم استكشاف إعدادين:
     • المدرك للمشية (متعدد المشيات - Gait-Aware): يحدد التوجيه (prompt) ثلاثة أنظمة سرعة (مشية-هرولة، هرولة، وثب) بناءً على انتقالات رقم فروود (Froude number). يقوم النموذج بتوليد مواصفات متميزة لكل نظام.
     • غير المدرك للمشية (Gait-Agnostic): لا يفرض التوجيه مشيات محددة، مما يسمح للروبوت باكتشاف أنماط التلامس.

2. الربط بالبيانات وتصفية الاتساق مع الخبراء:

   • يتم تقدير البارامترات الرقمية لقوالب PSTL المولدة من مجموعة بيانات تضم 50 مسارًا للخبير لكل نظام.
   • يتم تطبيق آلية تصفية: يتم الاحتفاظ بالمواصفات المولدة فقط إذا كان وسيط المتانة (median robustness) عبر مسارات الخبراء غير سالب ($Q_{0.50}(R_\phi) \ge 0$). هذا يستبعد المواصفات التي يتم انتهاكها بشكل منهجي من قبل سلوك الخبير، مما يضمن توافق إشارة المكافأة مع الكفاءة الموضحة.

3. بناء المكافأة والتدريب:

   • يتم تحويل المواصفات المستبقاة إلى دوال مكافأة سلسة ذات تاريخ محدود باستخدام دلالات متانة STL.
   • يتم تجميع قيم المتانة للمواصفات النشطة باستخدام دالة (soft-min) ويتم تطبيعها عبر دالة $\tanh$ لمنع الهيمنة الناتجة عن القيم الكبيرة.
   • المكافأة القياسية النهائية هي مجموع موزون لمتطلبات السلامة، والتتبع، والأنماط.
   • يتم تدريب السياسات باستخدام خوارزمية (PPO) في بيئة محاكاة MuJoCo XLA (MJX) مع روبوت Barkour رباعي الأرجل.

المساهمات الرئيسية

1. هجين (النموذج اللغوي الكبير-الخبير): إطار عمل مبتكر حيث تولد النماذج اللغوية الكبيرة البنية الرمزية لمواصفات الحركة القابلة للتفسير، بينما تربط بيانات الخبراء البارامترات الرقمية.
2. فلتر الاتساق مع الخبير: آلية لاستبعاد المواصفات المولدة بواسطة النماذج اللغوية الكبيرة التي تتعارض مع سلوك الخبير الموضح (متوسط المتانة < 0)، مما يمنع إدخال قيود يتم انتهاكها بشكل منهجي إلى المكافأة.
3. التقييم المقارن للصياغات: دراسة حول كيفية تأثير تحديد بنية المشية صراحة (Gait-Aware) مقابل السماح بالسلوك الناشئ (Gait-Agnostic) على الحركة المتعلمة.
4. القياس المرجعي: مقارنة شاملة مقابل الهيورستيات (Heuristics) المصممة يدويًا، وكود المكافأة المولد مباشرة من النموذج اللغوي الكبير (Text2Reward)، و"أوراكل" تبديل الخبراء (expert-switching oracle).

النتائج

تقيم الدراسة الأداء عبر سرعات أمامية من 0.3 م/ث إلى 2.1 م/ث باستخدام مقاييس تشمل تكلفة النقل (CoT)، ومعدل البقاء، ونجاح الأمر، ومطابقة المشية.

• أداء غير مدرك للمشية (Gait-Agnostic):

  • حقق GPT-5.5 و Text2Reward (في وضع Gait-Agnostic) أقوى أداء كمي، مع الحفاظ على نسبة بقاء ونجاح أوامر بنسبة 100% عبر جميع السرعات مع تكلفة نقل (CoT) منخفضة.
  • ومع ذلك، كشف الفحص البصري عن خلل حرج: تعلمت هذه السياسات نمط تلامس يشبه "الوثب" (bound-like) عبر نطاق السرعة الكامل، بما في ذلك السرعات المنخفضة (0.3 م/ث). أدى ذلك إلى حركات أرجل غير طبيعية وعالية التردد وتذبذبات رأسية، مما يشير إلى أن درجات النجاح الكمي العالية لا تضمن تحكمًا مناسبًا ديناميكيًا.
  • فشل Qwen 3.6 (Gait-Agnostic) في البقاء عند سرعات $\ge 1.6$ م/ث.

• أداء مدرك للمشية (Gait-Aware - Multi-Gait):

  • Qwen 3.6 (Multi-Gait): حقق 100% في البقاء ونجاح الأوامر عبر نطاق السرعة الكامل (0.3–2.1 م/ث) ونجح في مطابقة مشية "الوثب" المستهدفة عند السرعات العالية.
  • GPT-5.5 (Multi-Gait): التقط المشيات منخفضة ومتوسطة السرعة بشكل جيد ولكنه فشل في تتبع الأوامر عند السرعات $\ge 1.9$ م/ث.
  • Text2Reward (Multi-Gait): فشل تمامًا عند السرعات العالية (1.9–2.1 م/ث)، حيث انتهى بكل عملية تشغيل (rollout) بالفشل.
  • المصمم يدويًا (Heuristic): فقد دقة التتبع عند أعلى السرعات (2.0–2.1 م/ث).

• دراسة الاستئصال على أفق المتانة ($H$):

  • أدت الآفاق الزمنية الأقصر ($H \in \{1, 5\}$) عمومًا إلى سياسات أكثر استقرارًا ونجاحًا.
  • الآفاق الأطول ($H=20, 30$) أدت غالبًا إلى تدهور الأداء، حيث تعتمد عملية "دائمًا" ($G$) في STL على أسوأ قيمة في النافذة، مما يبقي الانتهاكات الماضية في إشارة المكافأة لفترة أطول ويعقد عملية تخصيص الائتمان (credit assignment).

• مقارنة النماذج:

  • اعتمد الأداء النسبي لـ GPT-5.5 و Qwen 3.6 بشكل كبير على إعداد التحكم. تفوق GPT-5.5 في إعداد Gait-Agnostic، بينما تفوق Qwen 3.6 في إعداد Multi-Gait، خاصة عند السرعات العالية.

الأهمية والادعاءات

تدعي الورقة أن إدراج المنطق الزمني كوسيط تمثيلي بين توليد النماذج اللغوية الكبيرة وتعلم السياسة يوفر مزايا متميزة مقارنة بالتوليد المباشر لكود المكافأة، خاصة في الحركة عالية السرعة. نجح نهج STL (تحديدًا Qwen 3.6 في إعداد multi-gait) في تعلم مشية "الوثب" المطلوبة عند السرعات العالية حيث فشل التوليد المباشر للكود (Text2Reward).

ومع ذلك، يحافظ المؤلفون على موقف متواضع بشأن النتائج:

• لا وجود لسيادة عالمية: لا توجد صيغة مكافأة واحدة تهيمن عالميًا عبر كلا إعدادي المهمة (Gait-aware مقابل Agnostic) وجميع معايير التقييم.
• محدودية المقاييس الكمية: تسلط النتائج الضوء على أن نجاح تتبع الأوامر العالي لا يضمن استعادة هياكل المشية المقصودة أو الحركة الطبيعية، كما هو ملاحظ في سياسات Gait-agnostic التي تبنت مشية الوثب عند السرعات المنخفضة.
• قيد المحاكاة: يشير المؤلفون صراحة إلى أن التقييمات محصورة في المحاكاة (MJX). وبينما تم استخدام تنويع النطاق (domain randomization)، فإن قابلية نقل سلوكيات تعدد المشيات المتعلمة هذه إلى الأجهزة الحقيقية (sim-to-real) لم تثبت بعد على الأجهزة المادية.

يظهر العمل أن النماذج اللغوية الكبيرة يمكنها اقتراح بنية المواصفات الرسمية بفعالية، ولكن يجب ربط بارامترات وصحة هذه المواصفات بصرامة ببيانات الخبراء لإنتاج سياسات حركة قوية وقابلة للتفسير وفعالة.