🤖 machine learning

SCDP: Learning Humanoid Locomotion from Partial Observations via Mixed-Observation Distillation

تقدم الورقة البحثية سياسات الانتشار المشروطة بالمستشعرات (SCDP)، وهو إطار عمل مبتكر يتيح حركة بشرية قوية باستخدام المستشعرات الموجودة على متن الروبوت فقط، وذلك من خلال تقطير المعرفة الكاملة للجسم المتميزة عبر تدريب الملاحظات المختلطة وتقنيات إزالة الضجيج المتخصصة، محققةً بنجاح أداءً يقارب الكمال في المحاكاة والانتشار في العالم الحقيقي على روبوت G1 دون تقدير صريح للحالة.

المؤلفون الأصليون: Milo Carroll, Tianhu Peng, Lingfan Bao, Chengxu Zhou, Zhibin Li

نُشر 2026-03-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Milo Carroll, Tianhu Peng, Lingfan Bao, Chengxu Zhou, Zhibin Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يمشي مثل البشر. عادةً، للقيام بذلك، تمنح الروبوت "قوة خارقة": رؤية مثالية ومطلقة للعالم. أنت تخبره بالضبط أين توجد قدماه، ومدى سرعة حركته، واتجاهه الدقيق في الفضاء. هذا يشبه امتلاك الروبوت لجهاز تحديد مواقع (GPS)، وعداد سرعة، وجيروسكوب مدمجين في عقل واحد مثالي.

المشكلة:
في العالم الحقيقي، لا تمتلك الروبات هذه القوى الخارقة. هي تمتلك فقط "مستشعرات داخلية" — ببساطة، يمكنها الشعور بحركة مفاصلها واستشعار الجاذبية، لكنها لا تستطيع "رؤية" سرعتها أو موقعها الدقيق دون كاميرات خارجية باهظة الثمن. إذا سحبت "الرؤية ذات القوة الخارقة" من متحكمات الروبوت الحالية، فإنها عادة ما تسقط فوراً. الأمر يشبه محاولة قيادة سيارة وأنت مغمض العينين، معتمداً فقط على الإحساس بعجلة القيادة.

الحل: SCDP (سياسات الانتشار المشروطة بالمستشعرات)
ابتكر الباحثون في جامعة UCL طريقة جديدة تسمى SCDP. فكر في الأمر كأنه "خدعة سحرية" لتعليم الروبوتات كيف تمشي باستخدام حواسها الداخلية فقط، دون الحاجة إلى تلك الرؤية الخارجية المثالية.

إليك كيف فعلوا ذلك، مقسماً إلى تشبيهات بسيطة:

1. لعبة "المعلم السري" (تقطير الملاحظات المختلطة)

تخيل أنك تتعلم لعب لعبة فيديو معقدة.

الطريقة القديمة: أنت تتدرب باستخدام ورقة غش تظهر لك موقع العدو وسرعته بدقة. عندما تحاول اللعب بدون ورقة الغش، تفشل لأنك لم تتعلم أبداً كيف تخمن مكان العدو.
طريقة SCDP: يلعب الروبوت لعبة حيث لا يرى سوى يديه وقدميه (المستشعرات). ومع ذلك، فإن "المعلم" (خوارزمية التدريب) يقيمه سراً بناءً على ورقة غش تُظهر بالفعل موقع العدو.
النتيجة: يُجبر الروبوت على النظر إلى رؤيته المحدودة (اليدين والقدمين) واستنتاج: "إذا كانت قدمي اليسرى تتحرك بهذه الطريقة وأشعر بهذا القدر من الرياح، فلا بد أنني أتحرك بسرعة مترين في الثانية". إنه يتعلم كيف يستنتج المعلومات المخفية (السرعة والموقع) بمجرد النظر إلى القرائن التي يمتلكها. يصبح محققاً في حركته الخاصة.

2. "الركض مع عصب العينين" (إزالة الضجيج المقيد)

أحد القرائن التي يعتمد عليها الروبوتات عادة هو "ما مدى سرعتي؟" (السرعة المتجهة). لكن الروبوتات الحقيقية سيئة في قياس سرعتها الخاصة بدقة.

الخدعة: أثناء التدريب، أخبر الباحثون الروبوت: "سأخبرك أين يجب أن تذهب، لكني سأقوم بإخفاء رقم السرعة من مدخلاتك".
التشبيه: تخيل أنك تركض في سباق وأنت معصوب العينين. يصرخ مدربك: "أسرع!"، لكنه لا يخبرك سرعتك الحالية. عليك أن تشعر بالرياح وعضلات ساقيك لتخمن مدى سرعة ركضك وتعدل مسارك بناءً على ذلك.
النتيجة: يتعلم الروبوت تقدير سرعته الخاصة من خلال "إحساس" حركته فقط، مما يجعله قوياً حتى لو كانت مستشعراته مشوشة أو غير مثالية.

3. "ذاكرة السفر عبر الزمن" (محاذاة توزيع السياق)

عند تعليم الروبوت، كان على الباحثين أن يكونوا حذرين حتى لا يخدعوه.

المشكلة: إذا دربت الروبوت باستخدام بيانات "مشوشة" (فوضوية) ثم تركته يعمل على بيانات "نظيفة" في العالم الحقيقي، فسيصاب بالارتباك. الأمر يشبه التدرب على كرة السلة بكرة زلقة، ثم محاولة اللعب بكرة جافة.
الحل: تأكدوا من أن الروبوت يتدرب بطريقة تطابق العالم الحقيقي تماماً. كما منحوا الروبوت "نافذة ذاكرة" (سياق) حيث يمكنه النظر إلى تاريخه القريب لفهم الحاضر.
التشبيه: بدلاً من النظر إلى إطار واحد مجمد من فيلم، يشاهد الروبوت الثواني القليلة الماضية من الفيلم لفهم الحبكة. هذا يساعده على التنبؤ بما سيحدث بعد ذلك، حتى لو لم يستطع رؤية المستقبل بأكمله.

النتائج: من المحاكاة إلى الحياة الواقعية

اختبر الفريق هذه الطريقة على Unitree G1، وهو روبوت بشري حقيقي يبدو كإنسان من المستقبل.

في الكمبيوتر: تعلم الروبوت المشي، والدوران، والتعافي من الدفع بنجاح يقترب من 100%، مطابِقاً الروبوتات التي تمتلك "قوى خارقة" (مستشعرات مثالية).
في العالم الحقيقي: وضعوا الروبوت في غرفة حقيقية. بدون أي كاميرات خارجية أو بدلات التقاط حركة، مشى الروبوت في الغرفة 50 مرة في الثانية (50 هرتز)، متفاعلاً مع الدفع واتباع الأوامر بسلاسة.

لماذا هذا مهم؟

قبل هذا، إذا أردت أن تجعل روبوتاً يمشي مثل البشر، كنت بحاجة إلى مختبر مليء بالكاميرات الباهظة لتتبع كل حركة له. SCDP يغير قواعد اللعبة. فهو يثبت أن الروبوت يمكنه تعلم كيف يكون "واعياً بذاته" أثناء المشي، حيث يستنتج سرعته وموقعه بمجرد الشعور بجسده، تماماً كما يفعل البشر عندما يغمضون أعينهم ويمشون.

باختصار: لقد علموا الروبوت كيف "يشعر" بطريقه في العالم، محولين آلة متعثرة وعمياء إلى ماشٍ واثق وواعٍ بذاته، باستخدام لعبة تدريب ذكية حيث كان عليه تخمين القواعد المخفية للفيزياء.

1. بيان المشكلة

تعتمد متحكمات حركة الهياكل البشرية الحالية، لا سيية تلك القائمة على نماذج الانتشار (Diffusion Models) والتقطير غير المتصل (Offline Distillation)، بشكل كبير على معلومات الحالة الكاملة للجسم المتميزة (privileged full-body state information) (مثل الموقع العالمي، والاتجاه، وسرعة القاعدة) أثناء التشغيل.

التحدي: في السيناريوهات الواقعية، لا تكون هذه الحالات المتميزة قابلة للملاحظة بشكل مباشر. ويتطلب الحصول عليها مسارات معقدة لتقدير الحالة، وغالبًا ما تكون غير موثوقة (مثل التقاط الحركة، أو SLAM، أو دمج المستشعرات).
النتيجة: يؤدي إزالة المدخلات المتميزة إلى انخفاض كارثي في أداء الأساليب الحالية، لأنها لا تستطيع استنتاج الحالات العالمية المخفية من الملاحظات الجزئية الموجودة على متن الروبوت (وهي عملية ماركوف لاتخاذ القرار جزئي الملاحظة، أو POMDP).
الهدف: تطوير سياسة قادرة على تعلم سلوكيات كاملة الجسم المعقدة من مجموعات البيانات غير المتصلة باستخدام مستشعرات داخلية فقط (مواضع المفاصل، السرعات، وبيانات وحدة قياس القصور الذاتي IMU) دون الحاجة إلى تقدير صريح للحالة.

2. المنهجية: سياسات الانتشار المشروطة بالمستشعرات (SCDP)

يقترح المؤلفون إطار عمل SCDP، وهو إطار يقوم بتقطير سياسة تعزيز التعلم (RL) الخبيرة إلى سياسة قائمة على الانتشار قادرة على العمل تحت ظروف الملاحظة الجزئية. الابتكار الجوهري هو التقطير المختلط للملاحظات (Mixed-Observation Distillation)، الذي يفصل بين الاستشعار وبين الإشراف.

المكونات الأساسية:

التدريب المختلط للملاحظات:
- الاشتراط (المدخلات): يتم اشتراط نموذج الانتشار فقط ببيانات المستشعرات الداخلية التاريخية ( $o_t$ ) وأوامر المهام.
- الإشراف (الهدف): يتم الإشراف على النموذج للتنبؤ بمسارات الحالة والعمل الكاملة والمتميزة للجسم ( $s_t, a_t$ )، بما في ذلك المواقع والسرعات العالمية التي لا تتوفر وقت التشغيل.
- الآلية: هذا التباين يجبر النموذج على تعلم تمثيل داخلي ضمني لديناميكيات الجسم العالمية، مما يجعله "يهلوس" معلومات الحالة المفقودة من تاريخ المستشعرات.
إزالة الضجيج المقيدة (Restricted Denoising):
- أحد التحديات المحددة هو التحكم في السرعة دون تغذية راجعة مباشرة للسرعة (لأن تقديرات السرعة على متن الروبوت تكون مشوشة).
- التقنية: خلال عملية إزالة الضجيج، يتم تزويد النموذج بمسارات تستثني السرعة الخطية للحوض ( $v_{pelvis}$ ). ومع ذلك، فإن هدف الإشراف يتضمن السرعة الحقيقية.
- الأثر: هذا يجبر النموذج على استنتاج السرعة فقط من سياق تاريخ المستشعرات وأوامر المهام، بدلاً من الاعتماد على التغذية الراجعة المباشرة المشوشة.
محاذاة توزيع السياق:
- غالبًا ما تستخدم تدريبات الانتشار القياسية حالات مشوشة ( $s_{noised}$ ) مشتقة من أفعال مشوشة، مما يخلق عدم تطابق في التوزيع مع الحالات النظيفة الملحوظة عند الاستنتاج.
- التقنية: يتم بناء سياق التدريب باستخدام أزواج $(s_{noised}, a_{noised})$ الناتجة عن تنفيذ أفعال مشوشة. وهذا يحاذي توزيع التدريب مع ظروف الاستنتاج، مما يقلل من انزياح التوزيع.
قناع الانتباه الواعي بالسياق (Context-Aware Attention Masking):
- على عكس الأعمال السابقة التي تستخدم أقنعة سببية صارمة، يتيح SCDP انتباهاً ثنائي الاتجاه ضمن نافذة السياق (الملاحظات الماضية).
- الأثر: يسمح هذا للنموذج بتجميع المعلومات التاريخية بشكل أكثر فعالية لاستنتاج الديناميكيات الكامنة، مع الحفاظ على القيود السببية فقط لأفق التنبؤ المستقبلي.
البنية الهيكلية:
- الخبير: سياسة تتبع الحركة المتعددة (MMP) مدربة عبر خوارزمية PPO على حركات مشي متنوعة (مجموعة بيانات AMASS).
- الطالب: سياسة انتشار قائمة على محول (Transformer) مكونة من 6 طبقات. تقوم بمعالجة تاريخ المستشعرات، والأوامر، والأفعال الماضية لإزالة الضجيج عن مسارات الحالة والعمل المستقبلية.

3. المساهمات الرئيسية

التقطير المختلط للملاحظات: صياغة تدريب مبتكرة تمكن سياسات الانتشار من تعلم الديناميكيات العالمية من بيانات مستشعرات جزئية عبر التنبؤ بالحالات المتميزة.
التحكم في السرعة بدون تغذية راجعة: تقديم تقنية إزالة الضجيج المقيدة، مما يتيح تحكماً قوياً في السرعة دون الاعتماد على مستشعرات سرعة مباشرة وغير موثوقة.
الانتشار الناجح في العالم الحقيقي: نشر ناجح على روبوت بشري من نوع Unitree G1 بتردد 50 هرتز، مما أظهر حركة قوية دون الحاجة إلى استشعار خارجي أو تقدير للحالة.
التحليلات الاستقصائية (Ablations): تحليل شامل لاستراتيجيات جمع البيانات (الضجيج/الدفع)، وطول السياق، والمكونات الهيكلية، والذي حدد أن التدريب المختلط للملاحظات هو المتطلب الأساسي للنجاح.

4. النتائج التجريبية

أداء المحاكاة (IsaacLab):

التحكم في السرعة: حقق نسبة نجاح تتراوح بين 99-100% في مهام التعافي من الاضطرابات، والملاحة، والتحكم عبر عصا التحكم.
المقارنة: حقق SCDP (باستخدام المستشعرات الداخلية فقط) أداءً مقارباً لـ النماذج المرجعية المتميزة (التي تملك وصولاً إلى الحالة الكاملة) وتفوق بشكل كبير على نماذج نسخ السلوك (BC) القياسية أو سياسات الانتشار القائمة على السياق فقط (التي فشلت بنسبة نجاح أقل من 10% في بعض المهام).
تتبع الحركة: حقق نسبة نجاح بلغت 93% في تتبع الحركات المرجعية من مجموعة اختبار AMASS، مع خطأ في الموقع العالمي (MPJUE-G) يبلغ حوالي 288 ملم، وهو أفضل بكثير من نماذج BC.

النشر في العالم الحقيقي (Unitree G1):

التردد: تعمل السياسة بتردد 50 هرتز على محطة عمل بعيدة (RTX 5090) باستخدام ONNX Runtime.
الأداء: أظهرت حركة مشي، ودوران، وتعافٍ من الاضطرابات في بيئة واقعية دون استشعار خارجي.
تتبع السرعة: أظهرت تتبعاً أكثر سلاسة للسرعة الخطية مع تقليل التذبذبات مقارنة بنموذج "BeyondMimic" المرجعي، وإن كان مع تأخير طفيف (~250-500 مللي ثانية) أثناء تغيير الاتجاه.

رؤى التحليل الاستقصائي (Ablation Insights):

التدريب المختلط للملاحظات: ضروري جداً. إزالته أدت إلى انخفاض معدلات النجاح إلى حوالي 1.4%.
محاذاة التمثيل: من المثير للدهشة أن محاذاة تمثيلات المستشعرات والحالة المتميزة بشكل صريح قد أضر بالأداء؛ فالنموذج يتعلم بشكل أفضل ضمنياً.
طول السياق: أدت السياقات الأقصر (4-8 خطوات) إلى أداء أفضل من التواريخ الطويلة (16 خطوة)، مما يشير إلى أن التواريخ الطويلة تزيد من تراكم الأخطاء في بيئات POMDP.

5. الأهمية

يعالج هذا العمل عقبة حرجة في روبوتات الهياكل البشرية: الفجوة بين السياسات المدربة في المحاكاة (التي تفترض معرفة مثالية بالحالة) والنشر في العالم الحقيقي (حيث يكون تقدير الحالة صعباً).

إلغاء تقدير الحالة: يثبت SCDP أن التحكم المعقد في الحركة يمكن تعلمه دون مسارات صريحة لتقدير الحالة، مما يجعل النشر أكثر قوة وقابلية للتوسع.
التحكم التوليدي: يوضح أن نماذج الانتشار، عندما تُدرب بشكل صحيح مع ملاحظات مختلطة، يمكنها حل مشكلات POMDP بفعالية للتحكم الروبوتي عالي الأبعاد.
النقل من المحاكاة إلى الواقع (Sim-to-Real): يؤكد النشر الناجح على Unitree G1 قدرة الإطار على الانتقال من المحاكاة إلى الواقع دون الحاجة إلى ضبط دقيق (fine-tuning) باستخدام البيانات المتميزة.

باخت ملخص، يوفر SCDP إطار عمل قوياً وقابلاً للتعميم لتدريب متحكمات الهياكل البشرية التي تعتمد حصرياً على المستشعرات الداخلية، مما يسد الفجوة بين التدريب عالي الأداء في المحاكاة والنشر العملي في العالم الحقيقي.