← أحدث الأبحاث
💻 علوم الحاسوب

Deep Reinforcement Learning for Quadruped Locomotion Controlled by Natural Language

تقدم هذه الورقة إطار عمل متكامل (end-to-end) يُمكّن الروبوتات رباعية الأرجل من تنفيذ أوامر لغوية طبيعية حرة الشكل عبر الجمع بين وحدة فهم لغة طبيعية (NLU) خفيفة الوزن وسياسة (PPO) مشروطة بالهدف وعملية تقطير (teacher-student distillation)، مما يحقق حركة قوية وتكيفية وموفرة للطاقة في كل من المحاكاة والتجارب الواقعية.

المؤلفون الأصليون: Shirin Ranjbaran, Yili Fu

نُشر 2026-09-14
📖 5 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Shirin Ranjbaran, Yili Fu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً لا يحتاج فيه الكلب الآلي إلى جهاز تحكم عن بعد، أو عصا تحكم، أو نص مبرمج مسبقاً ليعرف ما يجب فعله. بدلاً من ذلك، يستمع إلى صوت بشري. هذا هو أفق مجال يسمى الروبوتات، حيث يعلم المهندسون الآلات كيفية التحرك عبر عوالم معقدة وغير مستوية. لسنوات، كانت الطريقة الأكثر موثوقية لجعل الروبوت رباعي الأرجل يمشي هي إعطاؤه نموذجاً رياضياً صلباً لجسمه وللأرض تحته. وبينما يعمل هذا بشكل جيد على الأرضيات المستوية، فإنه غالباً ما ينهار عندما تصبح التضاريس فوضوية أو تتغير الظروف بشكل غير متوقع. لقد غير نهج أحدث، يُعرف باسم التعلم التعزيزي العميق، قواعد اللعبة. فبدلاً من الاعتماد على مجموعة ثابتة من القواعد، تتعلم هذه الروبوتات المشي من خلال التجربة والخطأ، تماماً مثل جرو يتعلم الوقوف، لتكتشف في النهاية طرقاً مستقرة للحركة لم يكن بإمكان أي مهندس بشري تصميمها يدوياً. ويظل التحدي المتبقي هو كيفية التحدث إلى هذه الأنظمة المتعلمة. إن إعطاء الروبوت أمراً بسيطاً مثل "تقدم للأمام" أمر سهل، ولكن طلب "المشي ببطء إلى اليسار مع تجنب نتوء" يتطلب جسراً بين اللغة البشرية والتحكم الحركي منخفض المستوى للروبوت.

لقد بنى باحثون في معهد هاربين للتكنولوجيا نظاماً يخلق هذا الجسر، مما يسمح لروبوت رباعي الأرجل باتباع أوامر اللغة الطبيعية الحرة. تعرض عملهم، المفصل في دراسة حديثة، منهجية حيث يستمع الروبوت إلى جملة، ويفهم ما يريده الشخص، ويعدل أسلوب مشيه فوراً ليتناسب مع تلك النية. لا يعتمد النظام على مكتبة مكتوبة مسبقاً من الحركات المحددة، مثل "الهرولة" أو "العدو"، التي يجب على الروبوت الاختيار من بينها. بدلاً من ذلك، يقوم بترجمة الكلمات مباشرة إلى تعديلات مستمرة للسرعة والاتجاه. عندما يقول المستخدم "امشِ للأمام ببطء"، يفهم دماغ الروبوت أنه يحتاج إلى تقليل سرعته الأمامية مع الحفاظ على توازنه، وينفذ هذا التغيير في الوقت الفعلي. ويتم تحقيق ذلك من خلال الجمع بين تقنيتين متميزتين: معالج لغة يفهم الكلام البشري، وخوارزمية تعلم تتحكم في عضلات الروبوت.

يعمل الجزء اللغوي من النظام كمترجم. فهو يأخذ جملة مثل "انعطف يساراً بحدة" ويقسمها إلى قطعتين من المعلومات: الهدف العام، وهو الدوران، والأرقام المحددة اللازمة للقيام بذلك، مثل مدى سرعة الدوران. استخدم الباحثون نسخة خفيفة من نموذج لغوي حديث لأداء هذه المهمة. وقد تم تدريب هذا النموذج على آلاف الأمثلة من الأوامر المقترنة بأفعال الروبوت الصحيحة. وهو مصمم ليكون سريعاً بما يكفي للعمل على الروبوت دون إبطائه. وبمجرد أن يفهم النظام الأمر، فإنه يمرر هذه المعلومات إلى دماغ التحكم الخاص بالروبوت. دماغ التحكم هذا هو شبكة عصبية تم تدريبها على المشي باستخدام طريقة تسمى "تحسين السياسة القريبة". تتضمن عملية التدريب هذه محاولة الروبوت المشي في محاكاة حاسوبية عالية الدقة، وتلقي مكافآت للبقاء منتصباً والتحرك بكفاءة، وتحسين استراتيجيته تدريجياً عبر ملايين المحاولات.

ما يجعل هذا النظام الجديد فريداً هو كيفية ربط مترجم اللغة بمتحكم المشي. فبدلاً من إجبار الروبوت على الاختيار من قائمة محدودة من السلوكيات المحددة مسبقاً، يستخدم النظام مدخلات اللغة لتدفع أهداف الروبوت ونظام المكافآت الخاص به بلطف. إذا كان الأمر هو التحرك ببطء، فإن النظام يعدل سرعة الروبوت المستهدفة ويغير الطريقة التي يقيم بها نجاحه، مما يجعل الخطوات البطيئة والحذرة تبدو أكثر مكافأة من الخطوات السريعة والمخاطرة. وهذا يسمح للروبوت بتكييف مشيته باستمرار. يمكنه المشي للأمام، ثم الإبطاء، ثم الانعطاف يساراً، وكل ذلك بناءً على تدفق واحد من التعليمات المنطوقة. ولضمان عمل هذا النظام ليس فقط في الحاسوب ولكن على آلة حقيقية، استخدم الباحثون استراتيجية تعليمية. فقد قاموا أولاً بتدريب روبوت "معلم" عالي القدرة في المحاكاة مع إمكانية الوصول إلى معلومات كاملة عن العالم، مثل الاحتكاك الدقيق للأرض. ثم قاموا بتدريب روبوت "طالب" لمحاكاة أفعال المعلم باستخدام بيانات المستشعرات الضخمة وغير المثالية التي قد تمتلكها روبوتات حقيقية. ساعدت هذه العملية الطالب على تعلم أن يكون قوياً ضد الواقع الفوضوي للعالم المادي.

اختبر الفريق نظامهم على نطاق واسع في المحاكاة وعلى روبوت Unitree A1 حقيقي، وهو آلة صغيرة رشيقة رباعية الأرجل. في عمليات المحاكاة الحاسوبية، اتبع الروبوت بنجاح مجموعة متنوعة من الأوامر، بما في ذلك التعليمات المعقدة مثل "امشِ ببطء إلى اليسار" أو "تنقل حول العائق بسرعة". أظهر النظام معدل نجاح عالٍ، حيث أكمل الروبوت المهام الأساسية مثل المشي للأمام أو الانعطاف يساراً أكثر من 96% من الوقت في المحاكاة. وعندما نقل الباحثون النظام إلى الروبوت الحقيقي، ظلت النتائج قوية. تمكن الروبوت من المشي للأمام، والدوران، والتوقف بناءً على الأمر بمعدل نجاح يتجاوز 93% لمعظم الأفعال. كما أثبت النظام كفاءته في استخدام الطاقة، حيث استهلك طاقة أقل لكل خطوة مقارنة بطرق التحكم التقليدية أو الأساليب الأخرى القائمة على التعلم التي لم تستخدم هذا النوع المحدد من التكييف اللغوي. وأشار الباحثون إلى أن الروبوت يمكنه تكييف حركاته في أقل من ثانية بعد تلقي أمر جديد، مما أظهر استجابة سلسة يصعب تحقيقها باستخدام طرق التحكم القديمة.

ومع ذلك، تسلط الدراسة أيضاً الضوء على حدود ما هو ممكن حالياً. يعمل النظام بشكل أفضل مع الأوامر الواضحة والمباشرة المتعلقة بالحركة والسرعة. وهو ليس مصمماً بعد للتعامل مع المحادثات الطويلة والمعقدة أو التعليمات الغامضة للغاية مثل "افعل شيئاً رائعاً". إذا أعطى المستخدم أمراً لا يستطيع الروبوت القيام به مادياً، مثل "طِر إلى القمر"، فإن النظام ليس ذكياً بما يكفي لطلب التوضيح أو شرح سبب استحالة الطلب. وجد الباحثون أنه بينما يعد الروبوت جيداً جداً في اتباع تعليمات الحركة المحددة، فإن قدرته على التعميم إلى أنواع جديدة تماماً من اللغة أو البيئات لا تزال محدودة بالبيانات التي تم تدريبه عليها. كما كانت الاختبارات في العالم الحقيقي قصيرة نسبياً وجرت في ظروف محكومة، مما يعني أن موثوقية النظام على المدى الطويل في البيئات الخارجية غير المتوقعة لم يتم إثباتها بالكامل بعد.

على الرغم من هذه القيود، يمثل هذا العمل خطوة مهمة نحو تفاعل أكثر طبيعية بين الإنسان والروبوت. فمن خلال إظهار أن الروبوت يمكنه تعلم المشي ثم التوجيه بواسطة الكلام البسيط دون الحاجة إلى مكتبة من الحيل المبرمجة مسبقاً، أثبت الباحثون مساراً نحو آلات أكثر سهولة في التعامل معها. لا يتطلب النظام من المستخدم تعلم كود جديد أو مجموعة محددة من الأوامر؛ فهو ببساً يستمع ويستجيب. إن نجاح طريقة تدريب "المعلم والطالب" في نقل المهارات من المحاكاة إلى العالم الحقيقي يشير إلى أن هذا النهج يمكن توسيعه ليشمل روبوتات أكثر تعقيداً في المستقبل. ومع نضوج هذه التكنولوجيا، قد تستمر الفجوة بين النية البشرية والعمل الآلي في التقلص، مما يسمح للروبوتات بأن تصبح شركاء حقيقيين في البيئات الديناميكية والمتحدية.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →