💻 computer science

MLA: A Multisensory Language-Action Model for Multimodal Understanding and Forecasting in Robotic Manipulation

تقدم هذه الورقة البحثية نموذج MLA، وهو نموذج لغوي-حركي متعدد الحواس يعزز التلاعب الروبوتي في البيئات المعقدة الغنية بالتلامس عبر إعادة توظيف النماذج اللغوية الكبيرة من أجل المحاذاة متعددة الوسائط الخالية من المشفرات وتوظيف استراتيجية توليد متعددة الحواس مستقبلية لتحسين نمذجة العالم الفيزيائي، مما يؤدي إلى مكاسب كبيرة في الأداء مقارنة بطرق الفعل-اللغة-الرؤية الحديثة.

المؤلفون الأصليون: Zhuoyang Liu, Jiaming Liu, Jiadong Xu, Nuowei Han, Chenyang Gu, Hao Chen, Kaichen Zhou, Renrui Zhang, Kai Chin Hsieh, Kun Wu, Zhengping Che, Jian Tang, Shanghang Zhang

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhuoyang Liu, Jiaming Liu, Jiadong Xu, Nuowei Han, Chenyang Gu, Hao Chen, Kaichen Zhou, Renrui Zhang, Kai Chin Hsieh, Kun Wu, Zhengping Che, Jian Tang, Shanghang Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية طهي وجبة. معظم الروبوتات الحالية تشبه الطهاة معصوبي الأعين الذين يمكنهم فقط قراءة وصفة (لغة) والنظر إلى صورة واحدة مسطحة للمطبخ (رؤية ثنائية الأبعاد). قد يخمنون ما يجب فعله، ولكن إذا حاولوا الإمساك ببيضة منزلقة أو استشعار حرارة المقلاة، فغالباً ما يفشلون لأنهم يفتقرون إلى "إحساس" حقيقي بالعالم المادي.

تقدم هذه الورقة البحثية MLA (نموذج اللغة والعمل متعدد الحواس)، وهو نوع جديد من عقول الروبوتات المصمم ليكون طباخاً فائق الحواس. بدلاً من مجرد النظر والقراءة، يتعلم MLA كيف يرى، ويلمس، ويشعر بالعالم في آن واحد، بل ويتنبأ بالمستقبل قبل حدوثه.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: عقل الروبوت "المسطح"

تستخدم الروبوتات الحالية نماذج "الرؤية-اللغة-العمل" (VLA). فكر فيها كمساعد ذكي يمكنه قراءة كتاب والنظر إلى صورة، لكنه يعاني عندما تتطلب المهمة اتصالاً جسدياً.

الفجوة: إذا طلبت من روبوت "مسح الطاولة"، فإن الروبوت القياسي يرى الطاولة ولكنه لا "يشعر" بمقاومة قطعة القماش أو الشكل ثلاثي الأبعاد للفتات. الأمر يشبه محاولة لعب لعبة فيديو باستخدام خريطة ثنائية الأبعاد بينما تحتاج إلى التنقل في متاهة ثلاثية الأبعاد.

2. الحل: عقل MLA "الكل في واحد"

يحل MLA هذه المشكلة عبر دمج ثلاث حواس في عقل واحد موحد:

العينان (صور ثنائية الأبعاد): ما تراه الكاميرا.
إدراك العمق (سحب النقاط ثلاثية الأبعاد): خريطة رقمية للأشكال ثلاثية الأبعاد للأجسام.
اللمس (مستشعرات اللمس): مستشعرات على أصابع الروبوت تشعر بالضغط والملمس.

الخدعة السحرية: لا حاجة لنظارات إضافية
عادةً، لإضافة هذه الحواس، يضطر المهندسون إلى بناء "نظارات" منفصلة (مشفرات) لكل حاسة، وهو أمر ثقيل وبطيء.

تشبيه MLA: بدلاً من إعطاء الروبوت نظارات جديدة، يقوم MLA بإعادة توظيف عقل الروبوت الحالي (نموذج لغة كبير) ليعمل كعين ومستشعرات لمس أيضاً. الأمر يشبه تعليم إنسان فهم الأشكال ثلاثية الأبعاد والملامس بمجرد النظر إليها، دون الحاجة إلى أدوات خاصة. إنه يربط بيانات "اللمس" ببيانات "الرؤية" بحيث يفهم الروبوت أن هذا البروز على الإصبع يتوافق مع تلك البقعة في الصورة.

3. السر الخفي: "أحلام اليقظة" عن المستقبل

هذا هو الجزء الأكثر إبداعاً. MLA لا يكتفي برد الفعل تجاه الحاضر؛ بل يتنبأ بالمستقبل.

التشبيه: تخيل أنك تلعب لعبة رمي الكرة. الروبوت العادي ينتظر حتى تصطدم الكرة بيده ليتفاعل. أما MLA فهو مثل رياضي محترف يتخيل مسار الكرة، والرياح، وإحساس الالتقاط قبل حدوث ذلك.
كيف يعمل: أثناء التدريب، يُطلب من MLA أن "يستحضر في خياله" (أحلام يقظة) كيف سيبدو المشهد، وكيف سيُشعر به، وماذا سيلمس بعد بضع ثوانٍ من الآن. هو يتنبأ بـ:
- كيف ستكون الصورة التالية.
- أين ستتحرك الأجسام ثلاثية الأبعاد.
- بماذا ستشعر أصابع الروبوت عند لمس الجسم.
لماذا يساعد هذا؟ من خلال ممارسة "أحلام اليقظة" المستقبلية هذه، يتعلم الروبوت فيزياء العالم (الجاذبية، الاحتكاك، الوزن). وعندما يؤدي المهمة فعلياً، يكون قد "عاش" النتيجة بالفعل في عقله، مما يجعل حركاته أكثر سلاسة ودقة.

4. عملية التدريب: من طالب إلى معلم

درب المؤلفون MLA في ثلاث مراحل، مثل طالب يتدرج في المدرسة:

ما قبل التدريب (المكتبة): يقرأ الروبوت ملايين الكتب ويشاهد فيديوهات لروبوتات تتحرك (باستخدام الصور والنصوص فقط) لتعلم اللغة العامة والمنطق العام.
الضبط الدقيق (المختبر): يتم منح الروبوت "النظارات الحسية" الجديدة (بيانات ثلاثية الأبعاد ولمس) وتعليمه كيفية ربطها بما يعرفه بالفعل.
ما بعد التدريب (المحاكاة): يمارس الروبوت "أحلام اليقظة" حول المستقبل. يتعلم التنبؤ بما سيحدث لاحقاً في عالم مادي، مما يصقل قدرته على التعامل مع المهام المعقدة التي تعتمد على التلامس.

5. النتائج: روبوت "يفهم" حقاً

عند اختباره في مهام من العالم الحقيقي (مثل مسح سبورة، أو وضع بيضة على خبز، أو فتح غطاء قدر)، تفوق MLA على المنافسين:

كان أفضل بنسبة 12% إلى 24% من أفضل الروبوتات الموجودة حالياً.
تعامل مع أجسام غير مرئية سابقاً وخلفيات فوضوية بشكل أفضل بكثير.
لماذا؟ لأنه لم يتكهن بناءً على صورة فحسب؛ بل فهم فيزياء الموقف من خلال حواسه المجتمعة وقدرته على التنبؤ بالمستقبل.

الملخص

فكر في MLA كروبوت تخرج من كونه "مراقباً لشاشة مسطحة" ليصبح "مشاركاً بكامل كيانه". من خلال تعليم الروبوت كيف يشعر بالعالم ويتخيل المستقبل، يمكنه أداء مهام دقيقة ومعقدة كانت مستحيلة سابقاً على الآلات. إنها خطوة كبيرة نحو روبوتات يمكنها حقاً مساعدتنا في حياتنا المادية الفوضوية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "MLA: نموذج لغوي-حركي متعدد الحواس للفهم والتنبؤ متعدد الوسائط في التلاعب الروبوتي."

1. بيان المشكلة

حققت نماذج الرؤية واللغة والحركة (VLA) الحالية نجاحًا كبيرًا في التلاعب الروبوتي من خلال الاستفادة من نماذج الرؤية واللغة (VLMs) المدربة مسبقًا. ومع ذلك، فهي تواجه عقبتين حرجتين في التفاعل الفيزيائي في العالم الحقيقي:

التمثيل الحسي غير الكافي: تعتمد معظم نماذج VLA بشكل أساسي على الصور ثنائية الأبعاد (2D)، والتي تفشل في التقاط التبعيات المكانية والتحركات الفيزيائية الضرورية للمهام المعقدة التي تتطلب تلامسًا وثيقًا. وبينما تدمج بعض النهج سحب النقاط ثلاثية الأبعاد (3D point clouds) أو الإشارات اللمسية، إلا أنها غالبًا ما تتطلب مشفرات خاصة بكل وسيط (modality-specific encoders) لم يتم تدريبها مسبقًا على بيانات روبوتية، مما يؤدي إلى ضعف المحاذاة مع العمود الفقري لنموذج اللغة الكبير (LLM) وانخفاض كفاءة الاستدلال.
الافتقار إلى الاستنتاج بالديناميكيات الفيزيائية: تعاني الطرق الحالية في التنبؤ بالحالات المستقبلية للعالم الفيزيائي (مثل تشوه الأجسام، أو قوى التلامس، أو التغيرات الهيكلية ثلاثية الأبعاد). وبدون القدرة على الاستنتاج حول الحالات الحسية المستقبلية، تفتقر النماذج إلى شروط قوية لتوليد أفعال دقيقة في البيئات الديناميكية.

2. المنهجية: إطار عمل MLA

يقترح المؤلفون MLA (النموذج اللغوي-الحركي متعدد الحواس)، وهو نموذج موحد مصمم للتعاون في إدراك الوسائط الحسية غير المتجانسة والتنبؤ بحالاتها المستقبلية. يتكون إطار العمل من ثلاثة مكونات أساسية:

أ. المحاذاة متعددة الوسائط الخالية من المشفرات (Encoder-Free)

بدلاً من استخدام مشفرات منفصلة للوسائط المختلفة (والتي تكون مكلفة حوسبيًا ويصعب محاذاتها)، يعيد MLA توظيف نموذج LLM نفسه كنموذج للإدراك.

الترميز (Tokenization): يتم تحويل المدخلات الخام (الصور ثنائية الأبعاد، سحب النقاط ثلاثية الأبعاد، والإشارات اللمسية) إلى تسلسلات رموز (tokens) مدمجة باستخدام أدوات ترميز خفيفة الوزن (على سبيل المثال: قائمة على الرقع/patches للصور، وقائمة على FPS/KNN لسحب النقاط، وMLP للبيانات اللمسية).
التطابق الموضعي (Positional Correspondence): لمحاذاة هذه الرموز غير المتجانسة ضمن مساحة تضمين (embedding space) نموذج LLM، يقوم النموذج بإسقاط مراكز سحب النقاط ثلاثية الأبعاد ومواضع القابض اللمسية (tactile gripper positions) على المستويات ثنائية الأبعاد للصور باستخدام معايير الكاميرا.
التعلم التبايني (Contrastive Learning): يتم تطبيق خسارة تباينية على مستوى الرمز (token-level contrastive loss). الرموز التي تتوافق مع نفس الموقع الفيزيائي عبر الوسائط المختلفة (على سبيل المثال، نقطة ثلاثية الأبعاد ورقعة صورة ثنائية الأبعاد المقابلة لها) تُعامل كأزواج إيجابية، بينما تُعامل الرموز الأخرى كأزواج سلبية. هذا يجبر نموذج LLM على تعلم تمثيل موحد للمعلومات الدلالية، والهندسية، واللمسية دون الحاجة لمشفرات خارجية.

ب. استراتيجية توليد المستقبل متعدد الحواس

لتعزيز فهم النموذج للديناميكيات الفيزيائية، يستخدم MLA استراتيجية ما بعد التدريب حيث يتنبأ بالحالات المستقبلية لجميع الوسائط في آن واحد.

البنية (Architecture): تأخذ أجهزة فك ترميز (decoders) خفيفة الوزن تعتمد على المحولات (transformer-based) الحالات الخفية النهائية لنموذج LLM وتولد الإطارات المفتاحية (keyframes) المستقبلية لكل من:
- الصور ثنائية الأبعاد: تركز على المناطق الأمامية (مع إزالة الخلفية عبر خرائط العمق).
- سحب النقاط ثلاثية الأبعاد: يتم إعادة بنائها باستخدام مبادئ الترميز التلقائي المقنع (masked autoencoder) عبر التنبؤ بالرقع المحلية.
- الإشارات اللمسية: التنبؤ ببيانات القوة والاتجاه المستقبلية.
الغرض: تجبر مهمة التنبؤ هذه النموذج على الاستنتاج حول العلاقات الدلالية، والهياكل الهندسية، والتفاعلات المتمحورة حول الأجسام، مما يوفر شروطًا غنية للميزات من أجل رأس توليد الفعل النهائي.

ج. مسار التدريب ثلاثي المراحل

التدريب المسبق واسع النطاق: يتم تدريب النموذج مسبقًا على حوالي 570 ألف مسار (صورة-لغة-حركة) (مثل Open-X-Embodiment) لإرساء أساس قوي.
الضبط الدقيق تحت الإشراف (SFT): يتم ضبط النموذج بدقة على مهام روبوتية محددة باستخدام آلية المحاذاة متعددة الوسائط الخالية من المشفرات لدمج البيانات ثلاثية الأبعاد واللمسية.
ما بعد التدريب (Post-Training): يخضع النموذج لتدريب توليد المستقبل متعدد الحواس لتعلم الديناميكيات الفيزيائية. ومن المهم ملاحظة أن خسائر التنبؤ المستقبلية هذه تُستخدم فقط أثناء التدريب؛ أما أثناء الاستدلال، فيقوم النموذج فقط بإخراج الأفعال، مما يحافظ على الكفاءة.

ك 3. المساهمات الرئيسية

الإدراك الموحد: قدم آلية محاذاة متعددة الوسائط خالية من المشفرات تستخدم كتل المحولات الأولية لنموذج LLM لتفسير ومحاذاة الصور ثنائية الأبعاد، وسحب النقاط ثلاثية الأبعاد، والإشارات اللمسية مباشرة عبر التعلم التبايني على مستوى الرمز.
الاستنتاج بالديناميكيات الفيزيائية: اقترح استراتيجية ما بعد تدريب توليد المستقبل متعدد الحواس التي تمكن النموذج من التنبؤ بالحالات المستقبلية عبر الوسائط البصرية، والهندسية، واللمسية، مما يحسن بشكل كبير من قوة توليد الأفعال.
نموذج التدريب التدريجي: وضع مسار تدريب (تدريب مسبق $\leftarrow$ ضبط دقيق SFT مع المحاذاة $\leftarrow$ ما بعد التدريب مع التنبؤ) الذي يجهز نماذج LLM بفعالية بقدرات الاستنتاج الفيزيائي في العالم الحقيقي.

4. النتائج التجريبية

قام المؤلفون بتقييم MLA في مهام معقدة تتطلب تلامسًا وثيقًا في الواقع وفي بيئات المحاكاة.

الأداء في العالم الحقيقي:
- تم الاختبار على 6 مهام تتضمن روبوتات Franka بذراع واحدة أو ذراعين (مثل مسح السبورة، وضع بيضة على الخبز، غرف الفشار).
- النتائج: تفوق MLA على نموذج $\pi_0$ (ثنائي الأبعاد) بنسبة 12% وعلى نموذج SpatialVLA (ثلاثي الأبعاد) بنسبة 24% في معدلات النجاح.
- التعميم: في سيناريوهات الأجسام والخلفيات غير المرئية، أظهر MLA متانة أعلى بكثير (على سبيل المثال، انخفاض بنسبة 15% فقط في معدل النجاح للأجسام غير المرئية مقابل 26% لـ $\pi_0$ ).
الأداء في المحاكاة (RLBench):
- تم التقييم على 10 مهام متنوعة.
- النتائج: حقق MLA متوسط معدل نجاح قدره 81%، متفوقًا على $\pi_0$ (65%) و SpatialVLA (46%).
- الكفاءة: أظهر النموذج أنه يمكن تحقيق أداء عالٍ حتى بدون مستشعرات لمسية في المحاكة، وإن كانت البيانات اللمسية حاسمة للمهام التي تتطلب تلامسًا وثيقًا في العالم الحقيقي.
دراسات الاستئصال (Ablation Studies):
- أكدت أن المحاذاة التباينية على مستوى الرمز (تحديدًا عند الطبقة الثامنة من المحول) تتفوق على مجرد الدمج (concatenation) أو المحاذاة على مستوى الصورة.
- أظهرت أن إزالة أي وسيط من مهمة توليد المستقبل يؤدي إلى تراجع الأداء، مما يثبت ضرورة التنبؤ الشامل متعدد الحواس.

5. الأهمية

يعالج هذا العمل فجوة أساسية في التعلم الروبوتي: الانتقال من الفهم البصري ثنائي الأبعاد إلى الاستنتاج الفيزيائي متعدد الحواس الحقيقي. من خلال إلغاء الحاجة إلى مشفرات منفصلة والاستفادة من قدرة نموذج LLM المتأصلة على المحاذاة والتنبؤ، يقدم MLA نموذجًا قابلًا للتوسع وفعالًا للتحكم الروبوتي. إن القدرة على التنبؤ بالحالات الفيزيائية المستقبلية (البصرية، والهندسية، واللمسية) تسمح للروبوتات بتوقع عواقب أفعالها بشكل أفضل، مما يؤدي إلى أداء متفوق في مهام التلاعب المعقدة التي تتطلب تلامسًا وثيقًا، والتي كان من الصعب على نماذج VLA التعامل معها سابقًا.