💻 computer science

No More Marching: Learning Humanoid Locomotion for Short-Range SE(2) Targets

تقدم هذه الورقة نهجاً للتعلم التعزيزي مع دالة مكافأة مبتكرة قائمة على الكوكبة تُمكّن الروبوتات البشرية من الوصول بكفاءة ومتانة إلى وضعيات أهداف قصيرة المدى في فضاء (SE(2، متفوقةً بذلك على طرق تتبع السرعة التقليدية في كل من المحاكاة والأجهزة الواقعية.

المؤلفون الأصليون: Pranay Dugar, Mohitvishnu S. Gadde, Jonah Siekmann, Yesh Godse, Aayam Shrestha, Alan Fern

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pranay Dugar, Mohitvishnu S. Gadde, Jonah Siekmann, Yesh Godse, Aayam Shrestha, Alan Fern

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيف يمشي. لفترة طويلة، كانت أفضل طريقة لتعليم الروبوتات المشي هي إخبارها: "امشِ للأمام بسرعة 1 متر في الثانية". هذا يعمل بشكل رائع إذا كان على الروبوت عبور حقل كامل. ولكن ماذا لو كان على الروبوت فقط اتخاذ خطوتين إلى اليسار ليمسك كوبًا من القهوة؟

إذا قلت لروبوت "امشِ للأمام" بينما يحتاج فقط للتحرك لبضع بوصات، فسينتهي به الأمر بفعل شيء سخيف: يخطو خطوات ثابتة في مكانه، ثم يتوقف، ثم يدور مثل الدبابة، ثم يخطو مجددًا، ثم يتوقف. إنه أمر غير فعال، وخرق، ويستهلك الكثير من الطاقة. الأمر يشبه محاولة ركن سيارة عن طريق القيادة للأمام، ثم التوقف، ثم تدوير المقود بزاوية 90 درجة، ثم القيادة للخلف، وتكرار ذلك حتى تجد مكانك المناسب.

تقدم هذه الورقة البحثية طريقة جديدة لتعليم الروبوتات البشرية (مثل الروبوت "Digit") كيفية التحرك لمسافات قصيرة بكفاءة. بدلًا من إعطائهم أوامر بالمسير، علم الباحثون الروبوت أن يهدف إلى نقطة وزاوية محددتين، تمامًا كما يفعل الإنسان عندما يمشي باتجاه كرسي.

إليك تفصيل حلهم باستخدام تشبيهات بسيطة:

1. المشكلة: الروبوت "الماشي بانتظام"

معظم الروبوتات يتم تدريبها على اتباع أمر بالسرعة (مثل مثبت السرعة في السيارة). عندما تطلب منها الذهاب إلى نقطة محددة قريبة، فإنها لا تعرف كيف تتوقف أو تدور بسلاسة. هي فقط تستمر في "المشي بانتظام" حتى تتجاوز الهدف، ثم تضطر للرجوع للخلف والدوران.

التشبيه: تخيل جنديًا في عرض عسكري. إذا قلت له أن يتحرك إلى نقطة تبعد 3 أقدام، فقد يتخذ ثلاث خطوات ضخمة ومنتظمة، يتجاوز الهدف، ثم يضطر للدوران بشكل مربك. إنه سلوك جامد وغير طبيعي.

ze 2. الحل: "مكافأة الكوكبة"

استخدم الباحثون تقنية تسمى التعلم المعزز (التجربة والخطأ مع نظام المكافآت). السر يكمن في كيفية تصميم "المكافأة" التي يحصل عليها الروبوت عند أدائه لعمل جيد.

عادةً، قد تكافئ روبوتًا لأنه ضبط الموقع بشكل صحيح، وتكافئه بشكل منفصل لأنه ضبط الاتجاه بشكل صحيح. لكن الباحثين وجدوا أن الموازنة بين هذين الأمرين تشبه محاولة ضبط راديو أثناء القيادة بالسيارة؛ إنها عملية معقدة للغاية وتؤدي إلى عادات سيئة.

بدلاً من ذلك، ابتكروا مكافأة الكوكبة (Constellation Reward).

التشبيه: تخيل أن لدى الروبوت "هالة" من النقاط المتوهجة وغير المرئية تطفو حوله (مثل كوكبة من النجوم). والهدف أيضًا لديه "هالة" مطابقة من النقاط.
كيف تعمل: لا يحصل الروبوت على مكافأة لمجرد التحرك للأمام أو مجرد الدوران. بل يحصل على مكافأة بناءً على مدى تطابق "هالته" مع "هالة" الهدف.
- إذا كان بعيدًا جدًا، فلن تتطابق النقاط.
- إذا كان يواجه الاتجاه الخاطئ، فلن تتطابق النقاط.
- إذا كان في المكان الصحيح ولكنه يواجه الاتجاه الخاطئ، فستظل النقاط غير متطابقة.

هذا يجبر الروبوت على اكتشاف أفضل طريقة لتحريك قدميه لجعل النقاط تتطابق تمامًا. يتعلم الروبوت طبيعيًا أن يدور أثناء مشيه، بدلاً من التوقف للدوران. الأمر يشبه الراقص الذي يحرك قدميه ويدور بجسده في آن واحد للوصول إلى وضعية معينة، بدلاً من المشي إلى نقطة ثم الدوران في مكانه.

3. النتيجة: متحكم "GoTo"

قاموا بتدريب روبوت يسمى Digit باستخدام هذه الطريقة الجديدة.

في المحاكاة (لعبة فيديو): تعلم الروبوت المشي نحو الأهداف في نصف الوقت، وباستخدام نصف الطاقة، واتخاذ خطوات أقل من طرق "المشي المنتظم" القديمة. بدا حركته انسيابية وشبيهة بحركة البشر.
في العالم الحقيقي: وضعوا الكود البرمجي على روبوت حقيقي. وعلى الرغم من أن الأرضيات الحقيقية قد تكون زلقة والمستشعرات بها ضجيج، إلا أن الروبوت عمل بشكل جيد تقريبًا كما في لعبة الفيديو. لقد نجح في المشي نحو الأهداف، والدوران، والتوقف دون السقوف أو القيام برقصة "المشي-الدوران-المشي" الغريبة.

لماذا يهم هذا؟

تحل هذه الورقة مشكلة عملية للغاية. الروبوتات في العالم الحقيقي (في المستودعات، أو المنازل، أو المصانع) نادرًا ما تحتاج للمشي عبر حقل واسع. معظم احتياجاتها هي التحرك لبضع أقدام لالتقاط صندوق، ثم الدوران، ثم وضعه.

من خلال تغيير "المكافأة" من "استمر في المشي" إلى "طابق الكوكبة"، تعلم الروبوت أن يكون رشيقًا. توقف عن التصرف مثل جندي في عرض عسكري وبدأ يتصرف مثل شخص يريد الوصول إلى الثلاجة بسرعة وكفاءة.

باختصار: لقد توقفوا عن تعليم الروبوتات المشي بانتظام وبدأوا في تعليمهم كيفية التصويب نحو هدف، مما جعل الروبوت يتحرك بالكفاءة الانسيابية الطبيعية للإنسان.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "لا مزيد من السير في المكان: تعلم حركة الروبوتات البشرية للأهداف قصيرة المدى في فضاء SE(2)."

1. بيان المشكلة

تحتاج الروبوتات البشرية التي تعمل في بيئات العالم الحقيقي بشكل متكرر إلى أداء حركات قصيرة المدى مدفوعة بمهام محددة للوصول إلى وضعيات مستهدفة معينة في فضاء SE(2) (الموقع $x, y$ والاتجاه $\theta$ ).

التحدحدي: أنظمة التحكم في الحركة الحالية، وخاصة تلك القائمة على التعلم التعزيزي (RL)، مصممة عادةً لـ تتبع السرعة (توليد مشية إيقاعية طويلة المدى). وعند تطبيقها على مهام قصيرة المدى، تنتج هذه المتحكمات سلوكيات غير فعالة وغير طبيعية تشبه "السير في المكان" (مثل التوقف للدوران في المكان، ثم المشي للأمام).
الفجوة: هناك نقص في استراتيجيات التحكم التي تحسن الوصول إلى وضعية معينة بكفاءة مباشرة، وتوازن بين المقايضة بين التقدم الانتقالي والمحاذاة الدورانية دون فصل مرحلي صارم ومعد يدويًا (مثل "الالتفاف ثم التحرك").

2. المنهجية

يقترح المؤلفون إطار عمل للتعلم التعزيزي (RL) من الطرف إلى الطرف لتدريب متحكم "GoTo" يقوم برسم خرائط مباشرة من إزاحات هدف SE(2) إلى أفعال المفاصل.

أ. الابتكار الجوهري: مكافأة الكوكبة (Constellation Reward)

المساهمة المركزية هي دالة مكافأة مبتكرة قائمة على الكوكبة ( $r_{con}$ ) مصممة لتوحيد أهداف الانتقال والدوران.

المفهوم: بدلاً من معاملة الموقع والاتجاه كعنصرين منفصلين بوزن مستقل، يتم تمثيل قاعدة الروبوت بواسطة كوكبة نقاط ثنائية الأبعاد افتراضية (مجموعة من $N$ من النقاط المتصلة بالروبوت بشكل صلب).
الآلية: تُشتق المكافأة من التشابه الهندسي (متوسط مربع المسافة) بين كوكبة الروبوت الحالية والكوكبة المستهدفة.
- $d_{con} = \frac{1}{N} \sum \|p_i - p^*_i\|^2$
التفكيك: ينقسم مقياس المسافة طبيعيًا إلى خطأ انتقالي ( $d_p$ $d_{p}$ ) وخطأ دوراني ( $d_o$ $d_{o}$ ) ميزان بعزم القصور الذاتي ( $I_c$ $I_{c}$ ) للكوكبة:
- $d_{con} \approx d_p + I_c \cdot d_o$
الفائدة: يخلق هذا اقترانًا ضربيًا بين أخطاء الموقع والاتجاه. ومن خلال ضبط الامتداد المكاني للكوكبة (نصف القطر)، يقوم النظام ضمنيًا بموازنة المقايضة بين الوصول إلى الموقع المستهدف ومحاذاة الاتجاه، مما يلغي الحاجة إلى الضبط اليدوي للأوزان النسبية.
دالة المكافأة: المكافأة النهائية هي $r_{con} = e^{-w_c \cdot d_{con}}$ ، مما يشجع على التقليل المتناسق لكل من الخطأين.

ب. مكونات المكافأة الإضافية

مكافأة الأسلوب ( $r_{sty}$ ): تشجع على مشيات بشرية طبيعية، وارتفاع قاعدة مناسب، وزمن بقاء القدم في الهواء، ووضعية الذراع (مقتبسة من أعمال سابقة في المحاكاة إلى الواقع).
مكافأة التنظيم ( $r_{reg}$ ): تعاقب عزم الدوران العالي، وتسارع المفاصل المفرط، وتغيرات الأفعال لضمان كفاءة الطاقة وسلامة الأجهزة.

ج. البنية والتدريب

السياسة (Policy): شبكة LSTM بطبقتين (128, 128).
المدخلات: الحالة الحسية الخاصة (مواقع وسرعات المفاصل، وضعية الجذر) وأمر الإزاحة ( $\Delta x, \Delta y, \Delta \theta$ ) الذي يمثل الفرق بين الوضعية الحالية والمستهدفة.
المخرات: نقاط ضبط PD في فضاء المفاصل لـ 20 محركًا.
التدريب: خوارزمية تحسين السياسة القريبة (PPO) مع خسارة المرآة (mirror loss) لتحقيق التماثل، مدربة في بيئة NVIDIA IsaacLab على نموذج Agility Digit-V3.
المحاكاة إلى الواقع (Sim-to-Real): تم استخدام عشوائية النطاق (domain randomization) المكثفة (صلابة المفاصل، الكتلة، الاحتكاك، الضجيج، كسب PD) لضمان النقل القوي إلى الأجهزة.

3. المساهمات الرئيسية

مكافأة الكوكبة: دالة مكافأة موحدة ذات أساس هندسي تربط الانتقال والدوران بشكل طبيعي، مما يسمح بالوصب إلى أهداف SE(2) بكفاءة دون سلوكيات "السير في المكان".
التعلم من الطرف إلى الطرف: سياسة مباشرة ترسم خرائط من أهداف SE(2) إلى الأفعال، مما يلغي الحاجة إلى أوامر سرعة وسيطة أو تخطيط خطوات قدم صريح.
إطار عمل للمقارنة المعيارية: مجموعة تقييم صارمة تقيس خطأ الموقع، خطأ الاتجاه، الوقت للوصول إلى الهدف، عدد خطوات القدم، وكفاءة الطاقة عبر توزيع من أهداف SE(2).
التحقق من المحاكاة إلى الواقع: النشر الناجح على الروبوت البشري Digit v3 الفعلي، مما يثبت أن السياسة المتعلمة تنتقل بفعالية دون الحاجة لضبط دقيق.

4. النتائج

تم تقييم متحكم GoTo المقترح مقابل ثلاثة نماذج مرجعية:

آلة الحالة المحدودة (FSM): استراتيجية "الالتفاف ثم التحرك" المعدة يدويًا.
متحكمات Agility القائمة على النماذج: المخططات المقدمة من الشركة المصنعة (Agility-2 و Agility-3).
المتحكم الهرمي: سياسة عالية المستوى تخرج أوامر السرعة لمتحكم منخفض المستوى مدرب مسبقًا.

النتائج الكمية (نسبة إلى Agility-2):

كفاءة الطاقة: استهلك GoTo طاقة أقل بنسبة 37% (0.63 مقابل 1.0).
الوقت للوصول للهدف: كان GoTo أسرع بنسبة 44% (0.56 ثانية مقابل 1.0 ثانية).
عدد خطوات القدم: اتخذ GoTo خطوات أقل بنسبة 33% (0.67 مقابل 1.0).
الدقة: حقق GoTo دقة أفضل بنسبة 40% في الموقع ودقة أفضل بنسبة 58% في الاتجاه.
المتانة: أظهر Go-To انحرافات معيارية أقل في جميع المقاييس، مما يشير إلى موثوقية أعلى.

النتائج النوعية:

أظهرت النماذج المرجعية (FSM, Agility) سلوكيات جامدة ومجزأة (مثل التوقف للدوران، ثم المشي).
ولد متحكم GoTo حركة انسيابية تشبه حركة البشر حيث يحدث الدوران والانتقال في وقت واحد وبشكل عضوي، مع دمج التغييرات الاتجاهية في الحركة الأمامية.

الأداء في العالم الحقيقي:

حقق معدل نجاح قدره 90.23% على روبوت Digit v3 الفعلي عبر 72 مهمة قصيرة المدى متميزة.
اتجاهات الأداء في العالم الحقيقي طابقت نتائج المحاكاة عن كثب، مما يؤكد فعالية تصميم المكافأة وعشوائية النطاق.

5. الأهمية

يُظهر هذا العمل أن تصميم المكافأة الخاص بالمهمة أمر بالغ الأهمية للتحكم في الروبوتات البشرية العملية. من خلال الابتعاد عن نماذج تتبع السرعة واعتماد مكافأة هندسية متمحورة حول الوضعية (مكافأة الكوكبة)، حقق المؤلفون:

القضاء على "السير في المكان": يتعلم الروبوت التنقل بشكل طبيعي بدلاً من اتباع مراحل جامدة وغير فعالة.
الكفاءة: إن تقليل استهلاك الطاقة والوقت أمر بالغ الأهمية للروبوتات التي تعمل بالبطارية في تدفقات العمل الواقعية (مثل اللوجستيات أو نقل الصناديق).
القابلية للتوسع: يثبت هذا النهج أن التعلم التعزيزي من الطرف إلى الطرف يمكن أن ينجح في سد الفجوة بين المحاكاة والواقع لمهام الملاحة المعقدة قصيرة المدى على مورفولوجيا بشرية غير بسيطة (مثل الحلقات الحركية المغلقة في Digit).

تضع هذه الورقة معيارًا جديدًا للحركة البشرية قصيرة المدى، مما يشير إلى أن الأنظمة المستقبلية يجب أن تعطي الأولوية لأهداف الوصول المباشر للوضعية بدلاً من تتبع السرعة في البيئات المحصورة والموجهة بمهام محددة.