🤖 machine learning

MARVL: Multi-Stage Guidance for Robotic Manipulation via Vision-Language Models

تقدم الورقة البحثية إطار عمل MARVL، وهو إطار توجيه متعدد المراحل يعمل على الضبط الدقيق لنماذج الرؤية واللغة من أجل تحقيق الاتساق المكاني والدلالي لتوليد مكافآت كثيفة تلقائياً، مما يحسن بشكل كبير من كفاءة العينات والمتانة في مهام التعلم التعزيزي للروبوتات مقارنة بالطرق الحالية.

المؤلفون الأصليون: Xunlan Zhou, Xuanlin Chen, Shaowei Zhang, ShengHua Wan, Xiaohai Hu, Lei Yuan, De-chuan Zhan

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xunlan Zhou, Xuanlin Chen, Shaowei Zhang, ShengHua Wan, Xiaohai Hu, Lei Yuan, De-chuan Zhan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم ذراع آلي كيفية أداء مهمة معقدة، مثل الضغط على زر أو فتح درج. في عالم الروبوتات، يتعلم الروبوت من خلال التجربة والخطأ، وهي عملية تسمى التعلم المعزز (Reinforcement Learning). ولكي يتعلم بفعالية، يحتاج الروبوت إلى "معلم" يمنحه تغذية راجعة فورية: "مكافأة" (مثل تصفيق رقمي) عندما يفعل شيئًا صحيحًا، و"عقوبة" عندما يفعل شيئًا خاطئًا.

المشكلة هي أن كتابة قواعد المكافآت هذه يدويًا أمر صعب للغاية، ويستغرق وقتًا طويلاً، ولا يمكن التوسع به بشكل جيد. فإذا أردت للروبوت تعلم مهمة جديدة، عليك إعادة كتابة جميع القواعد من الصفر.

مؤخرًا، جرب العلماء استخدام نماذج الرؤية واللغة (VLMs) — وهي أنظمة ذكاء اصطناعي تفهم الصور والكلمات معًا — كمعلمين لها. كانت الفكرة بسيطة: اعرض على الذكاء الاصطناعي رؤية الروبوت الحالية والتعليمات النصية (مثل "اضغط على الزر")، ثم اطلب من الذكاء الاصطناعي إعطاء درجة بناءً على مدى مطابقة الصورة للتعليمات.

ومع ذلك، تجادل الورقة البحثية بأن استخدام هؤلاء المعلمين من الذكاء الاصطناعي "كما هم" يشبه توظيف دليل ذكي جدًا ولكنه مشتت بسهولة. حددت الورقة ثلاثة أسباب رئيسية لفشل هذا النهج الساذج:

مشكلة "زاوية الكاميرا" (ضعف التأسيس المكاني): يتشتت انتباه الذكاء الاصطناعي كثيرًا بما تنظر إليه الكاميرا. إذا تحركت الكاميرا قليلاً، يعتقد الذكاء الاصطناعي أن المهمة قد تغيرت تمامًا، رغم أن الروبوت يقوم بنفس الشيء بالضبط. الأمر يشبه معلمًا يغضب لأنك حركت رأسك، وليس لأنك أخطأت في الإجابة.
مشكلة "عدم التقدم" (نقص الوعي بالتقدم): تقفز درجة الذكاء الاصطناعي صعودًا وهبوطًا بشكل عشوائي. قد يكون الروبوت يقترب من الزر، لكن درجة الذكاء الاصطناعي قد تنخفض بسبب ظل عشوائي أو تغير طفيف في الإضاءة. يصاب الروبوت بالارتباك لأن التغذية الراجعة لا تتوافق مع تقدمه الفعلي.
مشكلة "المعنى الخاطئ" (عد تشكيل الدلالات): يسيء الذكاء الاصطناحي أحيانًا فهم معنى التعليمات. قد يعتقد أن "اضغط على الزر" قد تم بمجرد أن يكون الروبوت بالقرب من أي زر، أو قد يتشتت بأشياء غير ذات صلة في الخلفية.

الحل: MARVL

لإصلاح ذلك، ابتكر المؤلفون إطار عمل جديدًا يسمى MARVL (التوجيه متعدد المراحل للمناولة الروبوتية عبر نماذج الرؤية واللغة). فكر في MARVL كبرنامج تدريبي متخصص يحول ذلك الدليل المشتت من الذكاء الاصطناعي إلى مدرب حاد وفعال. وهو يفعل ذلك عبر ثلاث خطوات:

1. مرشح "إزالة الفوضى" (تفكيك المشهد والرؤية)
تخيل أنك تحاول وصف مشهد لشخص ما عبر مكالمة هاتفية، لكن الاتصال سيئ ويستمر في تغيير الضوضاء في الخلفية. يعلم MARVL الذكاء الاصطناعي كيفية فصل المشهد (الروبوت والزر) عن الرؤية (زاوية الكاميرا).

كيف يعمل: يقوم بتدريب الذكاء الاصطناعي على تجاهل منظور الكاميرا والتركيز فقط على الواقع الفيزيائي للروبوت والشيء المستهدف.
النتيجة: يفهم الذكال الاصطناعي الآن أن "الضغط على الزر" هو نفس المهمة سواء كانت الكاميرا تنظر من اليسار، أو اليمين، أو من الأعلى. لقد توقف عن التشتت بزاوية الرؤية.

2. "خريطة الخطوة بخطوة" (التفكيك متعدد المراحل وإسقاط اتجاه المهمة)
بدلاً من مطالبة الروبوت بالانتقال من "البداية" إلى "النهاية" في قفزة واحدة ضخمة، يقوم MARVL بتقسيم المهمة إلى خطوات فرعية أصغر يمكن إدارتها (مثل "تحرك نحو الزر"، ثم "اضغط للأسفل").

المشكلة التي يحلها: حتى مع وجود كاميرا جيدة، لا تزال درجة الذكاء الاصطناعي تتذبذب. يقدم MARVL "اتجاه المهمة". تخيل خطًا مستقيمًا مرسومًا على الأرض من موضع بدء الروبوت إلى الزر. يجبر MARVL الذكاء الاصطناعي على النظر فقط إلى التقدم على طول ذلك الخط.
النتيجة: يقوم هذا بفلترة كل الضجيج الجانبي. إذا تحرك الروبوت للأمام نحو الزر، ترتفع الدرجة. وإذا تحرك جانبيًا أو للخلف، تظل الدرجة ثابتة أو تنخفض. هذا يخلق مسارًا سلسًا وموثوقًا يمكن للروبوت اتباعه.

3. "فحص الثقة" (تشكيل المكافأة المشروط بعتبة الثقة)
أحيانًا قد يعطي الذكاء الاصطناعي "إبهامًا للأعلى" بالخطأ لمجرد أن الروبوت قريب من شيء ما يبدو وكأنه زر بشكل غامض. وهذا ما يسمى "الإيجابيات الكاذبة".

كيف يعمل: يضع MARVL عتبة ثقة صارمة. يقول: "إذا لم يكن الذكاء الاصطناعي متأكدًا بنسبة 97% من أن الروبوت يحرز تقدمًا فعليًا، فامنحه صفر مكافأة".
النتيجة: هذا يمنع الروبوت من "الخداع" عبر المكافآت العرضية. فهو لا يحصل على الثناء إلا عندما يفعل الشيء الصحيح حقًا، مما يجعل عملية التعلم أسرع وأكثر استقرارًا.

النتائج

اختبرت الورقة البحثية MARVL على مجموعة قياسية من مهام الروبوت (مثل فتح الأبواب، دفع النوافذ، والضغط على الأزرار).

الأداء: تعلم MARVL هذه المهام بشكل أسرع وأكثر موثوقية من الطرق السابقة التي استخدمت مكافآت الذكاء الاصطناعي الخام.
المقارنة: في كثير من الحالات، كان أداء MARVL يضاهي "المعلم المثالي" (Oracle) الذي لديه وصول إلى الكود الداخلي للروبوت وإحداثياته الدقيقة. وهذا أمر مذهل لأنه يعني أن الروبوت يمكنه التعلم بنفس الكفاءة باستخدام عينيه واللغة فقط، دون الحاجة إلى قواعد معقدة مكتوبة يدويًا.
المتانة: حتى عندما تغيرت زاوية الكاميرا أو بدا شكل الروبوت مختلفًا (نموذج ذراع مختلف)، استمر MARVL في العمل بشكل جيد، مما أثبت أنه تعلم مفهوم المهمة، وليس مجرد الحيل البصرية الخاصة بإعداد معين.

باخت اختصار، يأخذ MARVL أداة ذكاء اصطناعي قوية ولكنها فوضوية، ويصقلها لتصبح مدربًا دقيقًا مرحليًا يمكنه تعليم الروبوتات مهامًا فيزيائية معقدة باستخدام لغة بسيطة، دون الحاجة إلى كتابة آلاف الأسطر من كود المكافآت من قبل البشر.

ملخص تقني: MARVL

بيان المشكلة

يعد تصميم دوال المكافأة الكثيفة أمراً بالغ الأهمية لتعزيز كفاءة التعلم التعزيزي (RL) في التحكم الروبوتي، ومع ذلك، لا تزال الهندسة اليدوية تشكل عائقاً يحد من القدرة على التوسع والأتمتة. وبينما تقدم نماذج الرؤية واللغة (VLMs) مساراً واعداً لأتمتة تصميم المكافآت عبر ربطها باللغة الطبيعية، تواجه النهج الحالية ثلاثة تحديات جوهرية:

ضعف الربط المكاني: تتأثر نماذج الرؤية واللغة الجاهزة بشكل كبير بمنظور الكاميرا؛ حيث تميل التضمينات (embeddings) إلى التكتل بناءً على زاوية الرؤية بدلاً من هوية المهمة، مما يتسبب في تتبع المكافآت للتغيرات العرضية في الملاحظة بدلاً من التقدم الفعلي للوكيل.
الافتقار إلى الوعي بالتقدم: غالباً ما تُظهر درجات التشابه القائمة على نماذج الرؤية واللغة تذبذباً مفرطاً وتفشل في عكس التقدم التدريجي للمهمة. كما أنها تتشتت بسهولة بعوامل بصرية غير ذات صلة، مما يؤدي إلى إشارات مكافأة غير رتيبة تعيق تعلم السياسة.
عدم الاتساق الدلالي: قد تسيء نماذج الرؤية واللغة تفسير تعليمات المهام، مما ينتج عنه إشارات مكافأة غير موثوقة حيث يتم تفعيل درجات التشابه العالية نتيجة تطابقات بصرية-نصية زائفة لا علاقة لها بهدف المهمة.

تشير هذه القيود إلى أن التعلم التعزيزي الموجه بنماذج الرؤية واللغة الحالي أقل متانة مما كان يُعتقد سابقاً، حيث يفشل غالباً في توفير التغذية الراجعة المستقرة المطلوبة لمهام المناولة المعقدة.

المنهجية: MARVL

لمعالجة هذه المشكلات، يقترح المؤلفون إطار عمل MARVL (التوجيه متعدد المراحل للمناولة الروبوتية عبر نماذج الرؤية واللغة)، وهو إطار عمل مرن (plug-and-play) يعمل على تحسين مكافآت نماذج الرؤية واللغة من خلال ثلاثة مكونات رئيسية:

1. تفكيك المشهد والمشهد (Fine-tuning)

للتخفيف من حساسية زاوية الرؤية، يستخدم MARVL بنية مزدوجة للمشفر-المفكك (encoder-decoder) مستوحاة من CLIP. يقوم النموذج بفصل التمثيل البصري إلى كودين:

تمثيل المشهد ( $z_s$ ): يلتقط السمات الدلالية الحرّة من زاوية الرؤية والحرجة للمهمة (مثل حالة الروبوت والكائن).
تمثيل المنظور ( $z_v$ ): يلتقط التباينات المزعجة مثل وضعية الكاميرا.
يتم ضبط النموذج باستخدام هدف إعادة بناء يعتمد على التبادل الكامن (إعادة البناء عبر التركيب المتداخل) وخسائر الاتساق. هذا يجبر مشفر المشهد على عزل الدلالات المكانية عن تغيرات المنظور، مما يضمن أن إشارة المكافأة مرتبطة بالمشهد الفيزيائي وليس بزاوية الكاميرا.

2. التفكيك متعدد المراحل وإسقاط اتجاه المهمة (TDP)

لسد الفجوة بين التعليمات عالية المستوى والتحكم منخفض المستوى، يتم تفكيك المهام طويلة الأمد إلى سلسلة من المهام الفرعية مع حالات هدف وسيطة.

إسقاط اتجاه المهمة: ضمن كل مهمة فرعية، يحدد MARVL متجه "اتجاه المهمة" في فضاء التضمين البصري-الدلالي المشترك (الإزاحة بين تضمينات البداية والهدف). يتم تطبيق عامل إسقاط على تضمين الملاحظة الحالية للحفاظ على المكون المتوافق مع اتجاه المهمة مع تخفيف الضوضاء المتعامدة.
الآلية: يقوم هذا الفلتر الهندسي بتحويل درجات التشابه المتذبذبة إلى إشارات رتيبة ترتبط بالتقدم في المهمة، مما يقلل بفعالية من التباينات الخلفية ويعيد نسبة الإشارة إلى الضوضاء دون افتراض ديناميكيات فيزيائية خطية.

3. التشكيل القائم على عتبة الثقة (CTS)

لمنع الوكلاء من تراكم درجات إيجابية تافهة بسبب التشابه الدلالي العام (الاستغلال المفرط للمكافأة/reward hacking)، يقدم MAR <MARVL نظام بوابة.

العتبة: يتم تحديد عتبة $\theta$ بناءً على المئوي $m$ للدرجات التي تم جمعها من الاستكشاف العشوائي (الذي يمثل ضوضاء الخلفية).
البوابة الناعمة: تقوم دالة البوابة الناعمة بتصفير القيم ذات المقدار المنخفض من الضوضاء مع تضخيم التطابقات عالية الثقة. يضمن ذلك أن الحالات ذات الصلة دلالياً فقط هي التي تتلقى إشارات مكافأة كبيرة، مما يوفر تدرجاً حاسماً لتعلم السياسة.

المساهمات الرئيسية

تحليل قيود نماذج الرؤية واللغة: يحدد البحث ويحلل بشكل منهجي ثلاثة أنماط فشل حرجة في نماذج المكافآت الحالية: ضعف الربط المكاني، الافتقار إلى الحساسية للتقدم، وعدم الاتساق الدلالي.
إطار عمل MARVL: يقترح المؤلفون إطار عمل جديد يدمج تفكيك المشهد والمنظور، وإسقاط اتجاه المهمة، والتشكيل القائم على عتبة الثقة لتحويل تشابهات نماذج الرؤية واللغة الخام إلى إشارات مكافأة مستقرة وحساسة للتقدم.
التفوق التجريبي: تثبت التجارب المكثفة أن MARVL يتفوق باستمرار على الأساليب السابقة القائمة على نماذج الرؤية واللغة (بما في ذلك FuRL وLIV وRelay) ويحقق أداءً يضاهي أو يتجاوز مكافآت "النموذج المثالي" (Oracle) المصممة يدوياً في مهام المناولة ذات المكافآت المتفرقة.

النتائج التجريبية

قيم المؤلفون MARVL على معيار Meta-World (8 مهام مناولة) ومعيار Panda-Gym لتقييم التعميم عبر المجالات.

الأداء: حقق MARVL معدلات نجاح أعلى وسرعة تقارب أكبر من جميع النماذج المرجعية القائمة على نماذج الرؤية واللغة. وفي مهام مثل الضغط على الزر (Button Press) وإغلاق النافذة (Window Close)، طابق أداء النموذج المثالي (الذي يستخدم مكافآت كثيفة مصممة يدوياً ومتميزة). وفي المهام التي تعتمد بكثافة على الاستكشاف مثل الدفع (Push) وفتح الباب (Door Open)، تفوق MARVL حتى على النموذج المثالي.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة تفكيك المشهد والمنظور إلى تدهور الأداء، مما يؤكد ضرورة التمثيلات الثابتة تجاه زاوية الرؤية.
  - أدت إزالة إسقاط اتجاه المهمة أو التفكيك متعدد المراحل إلى الحفاظ على النجاح النهائي ولكن مع إبطاء عملية التقارب بشكل كبير، مما يسلط الضوء على تحسن كفاءة العينات.
- أدت إزالة التشكيل القائم على عتبة الثقة إلى عدم استقرار التدريب وانهيار الأداء في بعض المهام بسبب الإشارات الزائفة.
التعميم:
- عبر المجالات: حافظ MARVL على معدلات نجاح عالية في Panda-Gym (روبوت مختلف وأسلوب بصري مختلف) دون الحاجة لتكيف مع المجال المستهدف، بينما فشلت النسخ غير المعدلة.
- المتانة تجاه منظور الرؤية: ظل الأداء ثابتاً عبر تكوينات الكاميرا المتنوعة.
- استقلالية الخوارزمية: عمل الإطار بفعالية مع خلفيات تعلم تعزيزي مختلفة (SAC وTD3).

الأهمية والادعاءات

يزعم البحث أن قيود مكافآت نماذج الرؤية واللغة السابقة لا تنبع من نقص المعرفة الدلالية في النماذج التأسيسية بقدر ما تنبع من نقص المحاذاة الهيكلية. من خلال ربط التمثيلات صراحةً وهيكلة إشارة المكافأة عبر التوجيه متعدد المراحل والإسقاط الهندسي، يثبت MARVL أن التكيف البسيط يمكن أن يحسن بشكل كبير من عملية التعلم التعزيزي الموجه بنماذج الرؤية واللغة.

يشير المؤلفون إلى أنه بينما تم التحقق من صحة MARVL في بيئة المحاكاة، فإن توسيع نطاقه إلى النشر في العالم الحقيقي بصفر محاولات (zero-shot) يظل هدفاً للعمل المستقبلي. كما تم تحديد توسيع الإطار ليشمل مهام المناولة طويلة الأمد ومتعددة الكائنات كاتجاه واعد. يشير العمل إلى أن نماذج الرؤية واللغة يمكن أن تعمل كمسندات (priors) قوية للتحكم الروبوتي، بشرط هيكلة تمثيلاتها بوضوح للتعامل مع الاتساق المكاني والدلالي.