💻 computer science

Towards Dexterous Embodied Manipulation via Deep Multi-Sensory Fusion and Sparse Expert Scaling

تقدم هذه الورقة DeMUSE، وهو إطار عمل عميق متعدد الوسائط يدمج بيانات RGB والعمق والقوة سداسية المحاور عبر محول انتشار (Diffusion Transformer) مع تطبيع تكيفي وتوسيع خبير متفرق لتحقيق أداء فائق في التلاعب المجسم الماهر في كل من بيئات المحاكاة والبيئات الواقعية.

المؤلفون الأصليون: Yirui Sun, Guangyu Zhuge, Keliang Liu, Jie Gu, Zhihao xia, Qionglin Ren, Chunxu tian, Zhongxue Ga

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yirui Sun, Guangyu Zhuge, Keliang Liu, Jie Gu, Zhihao xia, Qionglin Ren, Chunxu tian, Zhongxue Ga

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية أداء مهام دقيقة، مثل صب الكولا في كوب دون سكبها، أو كنس الفتات إلى مكنسة يدوية دون قلب المكنسة.

لفترة طويلة، حاولنا تعليم الروبوتات بشكل أساسي من خلال عرض مقاطع فيديو عليها. نقول لها: "انظري إلى الصورة، وافعلي ما ترينه". هذا الأسلوب يعمل بشكل جيد في الأشياء البسيطة، لكنه يشبه محاولة قيادة سيارة وأنت ترتدي عصبة عين وتنظر فقط في المرآة الخلفية؛ فأنت ستفقد الشعور بعجلة القيادة، واهتزاز الطريق، والضغط على المكابح.

يقدم هذا البحث "دماغاً" جديداً للروبوت يسمى DeMUSE. فكر في DeMUSE ليس فقط كزوج من العيون، بل كـ دماغ فائق الحواس يجمع بين الرؤية واللمس و"الشعور" في عملية تفكير موحدة.

إليك كيف يعمل، مقسماً بتبسيط عبر التشبيهات:

1. المشكلة: الروبوت "الأعمى"

الروبوتات الحالية تشبه الطهاة الذين يعتمدون على الرؤية فقط. إذا طلبت منهم كسر بيضة، سينظرون إليها، ولكن إذا ضغطوا بقوة، فسوف يسحقونها. وإذا ضغطوا بنعومة، فلن يحدث شيء. إنهم لا "يشعرون" بكسر القشرة. إنهم يفتقرون إلى التغذية الراجعة للقوة (مدى قوة ضغطهم) وإدراك العمق (مدى بعد الأشياء بدقة).

2. الحل: الدماغ "فائق الحواس"

يعالج DeMUSE هذه المشكلة عن طريق تغذية الروبوت بثلاثة أنواع من المعلومات في وقت واحد، ممزوجة معاً مثل مكونات "السموذي":

RGB (العيون): ما يراه الربون (الألوان، الأشكال).
العمق (الرؤية ثلاثية الأبعاد): مدى بعد الأشياء (مثل خريطة ثلاثية الأبعاد).
القوة بـ 6 محاور (اللمس): مدى قوة دفع أو سحب الروبوت (مثل الشعور في أطراف أصابعك).

بدلاً من التعامل مع هذه كمسارات منفصلة (مسار للعين ومسار لليد)، يقوم DeMUSE بدمجها جميعاً في "تيار وعي" واحد. وهذا يسمح للروبوت بفهم أن رؤية إسفنجة ناعمة والشعور بانضغاطها هما جزء من حدث واحد.

3. السر الخفي: "التطبيع التكيفي" (مقبض التحكم في الصوت)

هذا جزء صعب: البيانات القادمة من الكاميرا ضخمة (ملايين البكسلات)، لكن البيانات من مستشعر القوة صغيرة جداً (مجرد أرقا قليلة). إذا مزجناهما مباشرة، فإن بيانات الكاميرا ستطغى على بيانات القوة، تماماً مثل محاولة سماع همس وسط زئير محرك نفاث.

يستخدم DeMUSE حيلة ذكية تسمى AdaMN (التطبيع التكيفي الخاص بكل نمط).

التشبيه: تخيل لوحة تحكم صوت في حفلة موسيقية. الكاميرا هي الطبول الصاخبة، ومستشعر القوة هو كمان هادئ. لوحة التحكم العادية ستكتفي برفع مستوى كل شيء إلى نفس الدرجة، مما يجعل صوت الكمان مشوهاً.
لوحة تحكم DeMUSE: لديها مهندس ذكي يستمع إلى الموسيقى ويقوم بتعديل مقبض الصوت لكل آلة بشكل مستقل تلقائياً. فهو يخفض صوت الطبول بما يكفي ليُسمع صوت الكمان بوضوح، دون فقدان الإيقاع. هذا يضمن أن ينتبه الروبوت إلى "اللمس" بقدر انتباهه لـ "الرؤية".

4. المحرك: "الخبراء المتفرقون" (الفريق المتخصص)

لجعل الروبوت ذكياً بما يكفي للتعامل مع المهام المعقدة، ستحتاج عادةً إلى دماغ حاسوبي ضخم. لكن الأدمغة الضخمة بطيئة، والروبوتات تحتاج إلى الاستجابة فوراً (في أجزاء من الثانية).

يستخدم DeMUSE بنية "خليط من الخبراء" (Mixture-of-Experts - MoE).

التشبيه: تخيل مستشفى ضخماً. بدلاً من وجود طبيب واحد يحاول معرفة كل شيء عن كل مرض (وهو أمر بطيء ومرهق)، لديك فريق من المتخصصين.
- عندما يرى الروبوت جسماً منزلقاً، فإنه يستدعي "خبير الاحتكاك".
- عندما يحتاج لتكديس المكعبات، فإنه يستدعي "خبير الجاذبية".
- عندما يحتاج للضغط على زر، فإنه يستدعي "خبير القوة".
السحر: فقط الخبير المحدد المطلوب للمهمة هو من يستيقظ ويقوم بالعمل. بقية الفريق ينام. هذا يجعل الروبوت ذكياً للغاية (لديه "فريق" ضخم من المعرفة) ولكنه سريع للغاية (يستخدم كمية صغيرة من الطاقة في أي لحظة).

5. التدريب: "تخيّل" المستقبل

يتم تدريب DeMUSE باستخدام طريقة تسمى "الانتشار" (Diffusion).

التشبيه: تخيل أن الروبوت يتعلم الرسم. في البداهلة، يرى لوحة مغطاة بضجيج عشوائي (بكسلات عشوائية). عليه أن يخمن كيف يجب أن تبدو الصورة النهائية.
DeMUSE لا يخمن الصورة فحسب، بل يخمن المستقبل. هو يسأل نفسه: "إذا حركت يدي بهذا الاتجاه، كيف سيبدو العالم بعد 0.5 ثانية؟". إنه يتدرب على "تخيل" النتيجة المستقبلية والحركة الفيزيلة في آن واحد. هذا يضمن أن ما "يتخيله" الروبوت عما سيحدث يتطابق مع ما يحدث فعلياً عند تحركه.

النتائج: من المحاكاة إلى الواقع

اختبر الباحثون DeMUSE في مهام صعبة:

ملء كوب بثلث كمية الكولا بالضبط (يتطلب توقفاً دقيقاً).
كنس الفتات إلى مكنسة يدوية (يتطلب تنسيق المكنسة مع الوعاء).
تنظيم الأدوات في درج (يتطلب الشعور بانزلاق الدرج).

النتيجة:

في محاكاة الكمبيوتر، نجح بنسبة 83% من المرات.
في العالم الحقيقي (مع روبوتات حقيقية وجاذبية حقيقية)، نجح بنسبة 72.5% من المرات.

هذه قفزة هائلة مقارنة بالروبوتات السابقة، التي كانت تفشل غالباً في هذه المهام لأنها لم تكن تستطيع "التحسس" أثناء حل المشكلة.

الملخص

DeMUSE هو دماغ روبوت تعلم أخيراً كيف يرى، ويلمس، ويفكر في آن واحد. من خلال معاملة اللمس والرؤية كشريكين متساويين، واستخدام مقابض تحكم ذكية لموازنة القوى، وتوظيف فريق من "الخبراء" المتخصصين للحفاظ على السرعة، يمكنه أداء مهام دقيقة تشبه المهام البشرية والتي كانت مستحيلة سابقاً على الآلات. إنه الفرق بين روبوت "ينظر" فقط إلى المهمة وروبوت "يفهمها" حقاً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "DeMUSE: Deep Multimodal Unified Sparse Experts for Dexterous Manipulation" (خبراء التباعد الموحد المتعددين للنماذج العميقة للمناورة الماهرة).

1. بيان المشكلة

تعاني أنظمة الذكاء الاصط��الالمتجسد الحالية، ولا سيما نماذج الرؤية واللغة والعمل (VLA) والسياسات القائمة على الانتشار (Diffusion-based policies)، من انحياز مركزي بصري. فهي غالبًا ما تعامل التفاعل الفيزيائي كمهمة بصرية بحتة، متجاهلة المدخلات الحسية غير البصرية الحرجة مثل العمق الهندسي وتغذية القوة/العزم سداسية المحاور (6-axis force/torque). يؤدي هذا إلى تحديين رئيسيين:

فشل المحاذاة متعددة الوسائط: تظهر الإشارات غير المتجانسة (صور RGB عالية الأبعاد مقابل بيانات قوة متفرقة ومنخفضة الأبعاد) تباينات إحصائية كبيرة. وغالبًا ما تؤدي طرق الدمج القياسية إلى كبت الإشارات الفيزيائية الحرجة بسبب عدم التوازن في التمثيل.
عدم الاتساق الفيزيائي: تفشل النماذج التقليدية المنفصلة في مزامنة "التخيل البصري" (التنبؤ بالحالات المستقبلية) مع "التنفيذ الحركي" (توليد الأفعال). وتسبب هذه عدم المحاذاة الزمنية حالات فشل في المهام عالية الدقة وطويلة الأمد التي تتطلب تفاعلات غنية بالاتصال.

2. المنهجية: إطار عمل DeMUSE

يقترح المؤلفون DeMUSE (الخبراء التباعد الموحد المتعددين للنماذج العميقة)، وهو بنية "ترانسفورمر انتشار" (Diffusion Transformer) موحدة مصممة لتوليف الإدراك والعمل من خلال دمج حسي عميق متعدد الوسائط.

أ. الترميز الموحد وإزالة الضجيج المشترك

تدفق المدخلات: يتم إسقاط صور RGB، وخرائط العمق، وإشارات القوة/العزم سداسية المحاور إلى فضاء كامن مشترك ودمجها في تدفق رموز متسلسل واحد.
الهدف المشترك: يستخدم النموذج نموذج إزالة الضجيج المشترك (Joint Denoising). فبدلاً من التنبؤ بالأفعال والمستقبلات البصرية بشكل منفصل، يقوم النموذج بتوليف التطور البيئي المستقبلي ( $z_{t+1:t+H}$ ) وتسلسل الأفعال ( $a_{t:t+K-1}$ ) في آن واحد. يضمن ذلك أن تكون الأفعال المولدة متسقة فيزيائياً مع التغيرات البصرية المتوقعة.

ب. التطبيع التكيفي الخاص بالوسائط (AdaMN)

لمعالجة عدم التجانس الإحصائي بين الوسائط:

الآلية: على عكس "التطبيع الطبقي التكيفي" (AdaLN) القياسي الذي يوسط الإحصائيات عبر جميع الرموز، يقوم AdaMN بتعيين مسارات خبراء مخصصة ( $\phi_m$ ) لكل وسيط.
الوظيفة: يقوم بتوليد عوامل مقياس ( $\gamma_m$ ) وإزاحة ( $\beta_m$ ) ديناميكية خاصة بكل وسيط، مشروطة بالسياق العالمي (التعليمات اللغوية والخطوة الزمنية للانتشار).
الفائدة: يمنع هذا الإشارات القوة المتفرقة من أن تطغى عليها الميزات البصرية الكثيفة، مما يضمن احتفاظ كل وسيط بخصوصية تنشيطه أثناء عملية الدمج العميق.

ج. خليط الخبراء المتفرق (MoE) مع الخبراء المشتركين

لتوسيع قدرة النموذج دون انتهاك قيود زمن الاستجابة للتحكم في الوقت الفعلي:

البنية: استبدال الشبكات الأمامية (FFNs) القياسية بطبقة خليط خبراء متفرق (Sparse MoE) تتميز بـ خبير مشترك متبقٍ (Residual Shared Expert).
التصميم:
- الخبير المشترك: فرع نشط بشكل دائم يلتقط المبادئ الفيزيائية الثابتة والميزات المتقاطعة العالمية.
- الخبراء الموجهون: فروع متخصصة يتم تفعيلها بشكل متفرق (توجيه Top-1) للتعامل مع ديناميكيات وسائط محددة (مثل قوى الاتصال).
الفائدة: يسمح هذا للنموذج بتخزين معرفة فيزيائية هائلة (زيادة عدد المعلمات) مع الحفاظ على عمليات حسابية (FLOPs) ثابتة وزمن استجافة منخفض، وهو أمر ضروري للتحكم الروبوتي في الوقت الفعلي.

د. بروتوكول التدريب

استراتيجية مرحلتين:
1. التدريب المسبق: تدريب واسع النطاق على مجموعة بيانات Open X-Embodiment (OXE) لاستخلاص المبادئ الفيزيائية العالمية.
2. الضبط الدقيق: التكيف مع نطاق محدد على معيار MetaWorld MT50 المعزز وعالي الدقة، بالإضافة إلى بيانات من العالم الحقيقي.

3. المساهمات الرئيسية

نموذج DeMUSE: "ترانسفورمر انتشار" مبتكر يحقق توليفاً عميقاً للإدراك والعمل عبر دمج الرموز وإزالة الضجيج المشترك، مما يضمن الاتساق الفيزيائي.
آلية AdaMN: تقنية تطبيع جديدة تعالج التفاوتات في المقياس العددي في الدمج متعدد الوسائط، مما يسمح بمحاذاة فعالة للإشارات غير المتجانسة (RGB، العمق، القوة).
التوسع الفعال: بنية MoE متفرقة مع خبراء مشتركين تعمل على توسيع قدرة النموذج للمناورة الفيزيائية المعقدة مع الحفاظ على سرعات الاستجابة في الوقت الفعلي.
البيانات والمعيار:
- إصدار معيار MetaWorld MT50 المعزز مع إشارات قوة وعمق متزامنة سداسية درجات الحرية.
- تطوير مسار قوي لجمع البيانات من العالم الحقيقي (ذراع UR10 + قابض قوة + كاميرا RealSense) مع محاذاة غير متزامنة مدفوعة بالأحداث لإنشاء مجموعات بيانات عالية الدقة.

4. النتائج التجريبية

قيم المؤلفون DeMUSE مقابل النماذج المرجعية الحديثة (Diffusion Policy, RT-2, PAD, ForceVLA, RDT-1B) في كل من المحاكاة والواقع.

المحاكاة (MetaWorld MT50):
- حقق متوسط معدل نجاح قدره 83.2%، متفوقاً على أفضل نموذج مرجعي تالٍ (RDT-1B بنسبة 77.9%) بمقدار 5.3 نقطة مئوية.
- أظهر مكاسب كبيرة في المهام "الصعبة" (69.8% مقابل 63.3% لـ RDT-1B)، مما يثبت قدرة فائقة على التعامل مع ديناميكيات الاتصال المعقدة.
تجارب العالم الحقيقي:
- حقق معدل نجاح قدره 72.5% عبر أربع مهام معقدة (درج الأدوات، ملء الكوب، توزيع المعقم، الكنس).
- تفوق على النماذج المرجعية بشكل كبير (على سبيل المثال، 72.5% مقابل 59.0% لـ RDT-1B)، مما جسر الفجوة بين المحاكاة والواقع.
مؤشرات الأداء الرئيسية:
- ديناميكيات الاتصال: قام DeMUSE بتفعيل تصحيحات الحركة في غض-ن ~80 مللي ثانية من الاتصال، محافظاً على امتثال مستقر (~10 نيوتن)، بينما عانت النماذج المرجعية من طفرات في القوة (>15 نيوتن).
- الدقة: في مهمة "ملء الكوب"، حقق دقة في مستوى السائل النهائية بلغت 0.33 ± 0.02.
دراسات الاستئصال (Ablation Studies):
- استراتيجية الدمج: تفوق الدمج العميق (تسلسل جميع الرموز) بشكل كبير على التعديل الشرطي (الحقن عبر AdaMN فقط)، مما يثبت ضرورة تطور الرموز معاً في مجال استقبال عالمي.
- التطبيع: قلل AdaMN من خطأ LPIPS (الخطأ الإدراكي) من 0.41 إلى 0.35 مقارنة بـ AdaLN القياسي.
- الكفاءة: حققت تهيئة MoE-4E نسبة نجاح 83.2% باستخدام 135 GFLOPs، وهو ما يمثل انخفاضاً بنسبة 42.6% في الحوسبة مقارنة بنموذج كثيف بـ 1.53 مليار معلمة (235 GFLOPs) ذو أداء أقل.

5. الأهمية

يمثل هذا العمل تحولاً جذرياً من المركزية البصرية إلى الذكاء المتجسد متعدد الحواس العميق. من خلال معاملة الرؤية والعمق والقوة كتدفق معرفي موحد بدلاً من مجرد قيود مساعدة، يحاكي DeMUSE التكامل "الدماغي" للإشارات الحسية غير المتجانسة الموجودة في الأنظمة البيولوجية.

تؤكد الورقة أن الدمج العميق متعدد الوسائط ليس مجرد أمر مفيد، بل هو ضروري للمناورة القوية وعامة الأغراض في البيئات غير المنظمة. توفر البنية المقترحة (AdaMN + Sparse MoE) مخططاً قابلاً للتوسع لنماذج التأسيس المستقبلية التي يجب أن توازن بين الاستدلال الفيزيائي عالي القدرة ومتطلبات زمن الاستجابة الصارمة للتحكم الروبوتي في الوقت الفعلي.