💻 computer science

ManiSoft: Towards Vision-Language Manipulation for Soft Continuum Robotics

تقدم هذه الورقة ManiSoft، وهو معيار ومحاكي جديد مصمم لمعالجة تحديات التلاعب بالرؤية واللغة في الروبوتات المستمرة اللينة من خلال توفير مسار قابل للتوسع لتوليد مهام ومسارات متنوعة، مع الكشف عن القيود الحالية في تقدير الاستقبال الحسي وتجنب العوائق التكيفي.

المؤلفون الأصليون: Ziyu Wei, Luting Wang, Chen Gao, Li Wen, Si Liu

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziyu Wei, Luting Wang, Chen Gao, Li Wen, Si Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك ذراعًا روبوتية. معظم تلك التي تراها في الأفلام أو المصانع تشبه الأذرع البشرية المكونة من عظام معدنية صلبة ومفاصل. هي رائعة في التحرك في خطوط مستقيمة، ولكن إذا وضعت كومة من الكتب في طريقها، فغالبًا ما تتعثر لأنها لا تستطيع الانحناء حول الفوضى.

الآن، تخيل نوعًا مختلفًا من الأذرع الروبوتية: ذراعًا مصنوعة من مادة ناعمة ومرنة، مثل أخطبوط عالي التقنية. هذا هو الروبوت المستمر الناعم (soft continuum robot). يمكنه الالتواء، والتمدد، والتسلل حول العوائق التي قد توقف روبوتًا صلبًا في مساره تمامًا.

الورقة البحثية التي تسأل عنها، ManiSoft، تشبه "صالة ألعاب رياضية للتدريب" و"مضمار اختبار" مصمم خصيصًا لتعليم هذه الأذرع الناعمة كيفية الاستجابة لأوامر الصوت البشري.

إليك تفصيل لما قاموا به، باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: معضلة "الصلب" مقابل "الناعم"

الروبوت الصلب: فكر في الذراع الروبوتية الصلبة مثل صنارة الصيد. إنها قوية ودقيقة، ولكن إذا كنت بحاجة للوصول حول شجرة للإمساك بسمكة، فإن الصنارة لا يمكنها الانحناء، بل ستصطدم بالشجرة فحسب.
الروبوت الناعم: فكر في الذراع الروبوتية الناعمة مثل خرطوم الحديقة أو الأفعى. يمكنها التدفق حول الشجرة. ومع ذلك، فإن التحكم في أفعى أصعب بكثير من التحكم في صنارة صيد. لا يمكنك مجرد قول "حرك الطرف إلى النقطة أ" لأن الجسم بأكمله سينحني بطرق غريبة. أنت لا تعرف بالضبط أين توجد "المفاصل" لأن الذراع ليس لها مفاصل صلبة؛ إنها فقط تنثني وتتشكل.

2. الحل: ManiSoft (صالة الألعاب الرياضية للتدريب)

قام الباحثون ببناء لعبة فيديو خاصة (محاكي) لتعليم هذه الأذرع الناعمة كيفية الاستماع إلى أوامر اللغة مثل "التقط الكوب الأحمر" أو "رتب الكتب".

المحاكي: أنشأوا عالمًا رقميًا يتصرف فيه الذراع الناعم بشكل واقعي. إنه يشبه محرك فيزياء يعرف كيف يتمدد المطاط وكيف يرتد. لقد دمجوا نوعين من الفيزياء: أحدهما للذراع الناعمة والآخر للأجسام الصلبة التي تلمسها، وربطوا بينهما بـ "زنبرك افتراضي" لكي يتحركا معًا بشكل طبيعي.
المهام: وضعوا أربعة تحديات محددة، مثل مستويات ألعاب الفيديو:
1. الجمع: الإمساك بشيء ووضعه في صندوق.
2. المحاذاة: تدوير جسم ما ليكون في اتجاه معين.
3. التكديس: رص العناصر فوق بعضها بدقة (مثل تكديس الفطائر).
4. الترتيب: وضع العناصر في نمط معين على الطاولة.

3. كيف صنعوا البيانات (المعلم)

لا يمكنك مجرد إخبار روبوت ناعم بما يجب فعله؛ فهو يحتاج لرؤية أمثلة أولاً. لكن كتابة كل حركة لذراع ناعمة أمر مستحيل على البشر.

لذلك، بنوا معلمًا آليًا:

المخطط رفيع المستوى (The High-Level Planner): هذا يشبه مدير المشروع. ينظر إلى الهدف (مثل "رص الكؤوس") ويقسمه إلى قائمة من نقاط التفتيش (مثل "تحريك اليد إلى الكأس"، "الإمساك بالكأس"، "التحرك إلى مكان التكديس"). هو لا يهتم كيف ينحني الذراع، بل يهتم فقط أين يجب أن يذهب.
المنفذ منخفض المستوى (The Low-Level Executor): هذا يشبه ذاكرة العضلات. يأخذ نقاط التفتيش تلك ويحدد بالضبط مقدار الضغط الذي يجب تطبيقه على الذراع الناعمة للوصول إلى هناك. هو يستخدم طريقة تعلم "التجربة والخطأ" (التعلم التعزيزي) لمعرفة القدر الصحيح من الضغط والالتواء.

استخدموا هذا النظام لتوليد 6,300 سيناريو مختلف، تتراوح من الطاولات الفارغة إلى الطاولات الفوضوية المليئة بالعوائق، مما خلق مكتبة ضخمة من "العروض الخبيرة".

4. النتائج: الواقع "النظيف" مقابل "الفوضوي"

اختبروا ثلاثة عقول ذكاء اصطناعي (سياسات) في هذه الصالة الرياضية الجديدة لمعرفة ما إذا كان بإمكانهم التعلم من البيانات.

الأخبار الجيدة: عندما كانت الطاولة نظيفة وبسيطة (بدون عوائق)، قام نماذج الذكاء الاصطناعي بعمل جيد. استطاعوا اتباع التعليمات وتحريك الذراع الناعمة للإمساك بالأشياء.
الأخبار السيئة: عندما جعلوا الطاولة فوضوية (بإضافة عوائق عشوائية، وتغيير الإضاءة، واستخدام كلمات مختلفة لنفس الأشياء)، ارتبك الذكاء الاصطناعي.
- مشكلة "العمى": عانى الذكاء الاصطناعي لتخمين مكان الذراع الفعلي بمجرد النظر عبر الكاميرا. نظرًا لأن الذراع ناعمة، فإن شكلها يبدو مختلفًا من كل زاوية. لم يستطع الذكاء الاصطناعي تحديد ما إذا كان الذراع منحنياً أكثر من اللازم أو أقل من اللازم.
- مشكلة "النعومة": لم يعرف الذكاء الاصطناعي كيفية استخدام مرونة الذراع لصالحها. فبدلاً من الانحناء حول كتلة للإمساك بلعبة خلفها، حاول الذكاء الاصطناعي غالبًا الدفع مباشرة عبر الكتلة وفشل.

5. خلل "التوقف عن الحركة"

كانت هناك ملاحظة طريفة لاحظوها وهي أن أحد نماذج الذكاء الاصطناعي (OpenVLA) كان يتعطل أحيانًا في حلقة مفرغة. بعد أن ينجح في الإمساك بشيء ما، كان يتجمد ويتوقف عن الحركة، رغم أن المهمة لم تنتهِ بعد. كان الأمر أشبه بروبوت أصبح متوترًا جدًا بشأن الإمساك بالشيء لدرجة أنه نسي كيف يضعه. النماذج الأخرى لم تكن تعاني من هذه المشكلة بقدر ذلك.

الملخص

ManiSoft هو معيار جديد يقول: "لدينا هذه الأذرع الروبوتية المذهلة والمرنة التي تشبه الأخطبوط، لكننا لا نملك طريقة جيدة لتعليمها كيفية الاستماع إلينا بعد".

لقد بنوا محاكيًا ومجموعة بيانات للمساعدة في تدريب هذه الروبوتات. أظهرت اختباراتهم أنه بينما يتحسن الذكاء الاصطناعي الحالي، فإنه لا يزال يعاني لرؤية شكل ذراع ناعمة ومعرفة كيفية استخدام هذه المرونة للتنقل في عالم فوضوي. إنها خطوة أولى نحو جعل الروبوتات قادرة على العمل في منازلنا المزدحمة في العالم الحقيقي دون أن تتعثر.

ملخص تقني: ManiSoft: نحو التلاعب بالرؤية واللغة للروبوتات المستمرة اللينة

بيان المشكلة
تستهدف أبحاث التلاعب بالرؤية واللغة (VLM) الحالية بشكل أساسس الأذرع الروبوتية الصلبة، والتي تعتمد على الإدراك الحسي العميق الدقيق وعلم الحركة منخفض الأبعاد. وبينما تُعد هذه الأذرع فعالة في البيئات المهيكلة، إلا أن الأشكال الصلبة تواجه قيوداً جوهرية في المساحات المزدحمة أو الضيقة حيث يتطلب الأمر تشكلاً كبيراً في الشكل. وتوفر الأذرع الروبوتية اللينة بديلاً واعداً نظراً لقابليتها المستمرة للتشكل، مما يمكنها من التنقل حول العوائق. ومع ذلك، فإن تطبيق الـ VLM على الأذرع اللينة يفرض تحديات متميزة: غياب المستشعرات الموثوقة للإدراك الحسي العميق (مما يتطلب غالباً الاستدلال من البيانات البصرية وحدها)، وتعقيد التشغيل منخفض المستوى الموزع (مثل عزم الدوران والضغط)، وفضاء العمل عالي الأبعاد والمترابط. علاوة على ذلك، فإن المحاكيات الموجودة إما تتفوق في نمذجة الديناميكيات المرنة ولكنها تفتقر إلى تفاعلات الاتصال القوية، أو تتعامل جيداً مع الاتصالات ولكنها تفشل في محاكة التشوه المستمر.

المنهجية
لمعالجة هذه الفجوات، قدم المؤلفون ManiSoft، وهو معيار مصمم لتحفيز الأبحاث في التلاعب بالرؤية واللغة للأذرع اللينة. تتكون المنهجية من ثلاثة مكونات أساسية:

المحاكي الهجين (ManiSoft-Sim):
قام المؤلفون بتطوير محاكي مخصص يسد الفجوة بين ديناميكيات الأجسام اللينة وتفاعلات الأجسام الصلبة.

نمذجة الجسم اللين: يتم نمذجة الذراع كقضيب "كوسيرات" (Cosserat rod) باستخدام مكتبة Elastica، مقسماً إلى $N$ من القطع لالتقاط الإجهادات المحورية، والقص، والانحناء، والالتواء تحت تأثير عزم الدوران الخارجي.
نمذجة التفاعل: يتم التعامل مع النهاية الطرفية (EEF) والاتصالات البيئية بواسطة MuJoCo لمحاكاة الاتصال والاحتكاك بكفاءة.
الاقتران: يعمل قيد القوة المرنة على ربط الجسم اللين القابل للتشكل والنهاية الطرفية الصلبة. تولد الإزاحات النسبية ( $\Delta x$ ) والدورات النسبية ( $\Delta \theta$ ) بين نقاط الاتصال قوى وعزوم دوران استعادة عبر قانون هوك، مما يضمن حركة منسقة ومرنة في آن واحد.
الرندرة (Rendering): يتم إنشاء الملاحظات البصرية باستخدام برنامج Blender من زوايا كاميرا ثابتة.

تعريف المهام وتوليد البيانات:
يحدد ManiSoft أربع مهام للتلاعب، تبرز كل منها جوانب مختلفة من التحكم القابل للتشكل:

الجمع (COLL): جمع جسم ما داخل حاوية.
المحاذاة (ALN): وضع جسم في وضعية محددة بست درجات من الحرية (6-DoF).
التكديس (STK): تجميع عناصر في كومة رأسية مستقرة.
الترتيب (ARR): وضع الأشياء في تكوين مكاني محدد.

يتضمن المعيار 6,300 زوج من (المشهد-المسار)، (2,100 مشهد نظيف، و4,200 مشهد عشوائي). يقوم خط إنتاج مؤتمت بتوليد هذه المشاهد باستخدام مكتبة أصول تضم 263 جسماً. ومن الأهمية بمكان أن المعيار يستبعد حالات الإدراك الحسي العميق الداخلي (مثل زوايا المفاصل) من مدخلات السياسة (policy)، مما يجبر النماذج على استنتاج تكوين الذراع من الملاحظات البصرية فقط.

توليد المسارات الهرمي:
لإنتاج عروض خبيرة عالية الجودة على نطاق واسع، استخدم المؤلفون آلية هرمية:

التخطيط عالي المستوى: يقوم مخطط قائم على القواعد بتفكيك المهام إلى سلسلة من نقاط المسار (waypoints) بست درجات من الحرية.
التحكم منخفض المستوى: يقوم منفذ يعتمد على التعلم التعزيزي (RL)، المدرب باستخدام دالة مكافأة كثيفة (تجمع بين فروق الوضعية ومكافآت الاستقرار)، بتوليد أوامر عزم الدوران لدفع الذراع اللينة بين نقاط المسار. يقلل هذا التفكيك من صعوبة التخطيط المباشر لتسلسلات عزم الدوران عبر آفاق زمنية طويلة.

المساهمات الرئيسية

معيار ManiSoft: أول معيار مصمم خصيصاً للتلاعب بالرؤية واللغة مع الروبوتات المستمرة اللينة، ويتميز بمحاكي هجين، ومهام متنوعة، ومجموعة بيانات كبيرة من المسارات الخبيرة.
إطار المحاكاة الهجين: دمج مبتكر لديناميكيات قضيب كوسيرات مع محاكاة اتصال الأجسام الصلبة عبر قيود القوة المرنة، مما يسمح بتفاعل غني بالاتصال مع الأجسام القابلة للتشكل.
التقييم المنهجي: تقييم شامل لثلاثة نماذج سياسة ممثلة (Diffusion Policy، وRDT، وOpenVLA-OFT) تحت ظروف نظيفة وعشوائية، مما يكشف عن أوضاع فشل محددة فريدة للأجساد اللينة.

النتائج
قيم المؤلفون ثلاثة نماذج: Diffusion Policy (DP)، وRDT-1B، وOpenVLA-OFT.

المشاهد النظيفة: تظهر النماذج الحالية نتائج واعدة، حيث حقق DP وOpenVLA-OFT متوسط معدلات نجاح تبلغ ~~31% و~~30% على التوالي، متفوقين بشكل كبير على RDT (9.2%). يتفوق DP في المهام الأبسط (COLL)، بينما يظهر OpenVLA-OFT قدرة أكبر على التعميم في المهام المعقدة (ALN, STK, ARR).
المشاهد العشوائية: تعاني جميع النماذج من انخفاض كبير في الأداء. ينخفض معدل نجاح DP بنسبة 29.4%، بينما يظهر OpenVLA-OFT متانة أكبر، محافظاً على متوسط معدل نجاح قدره 27.0% (انخفاض قدره 3.4% فقط مقارنة بأدائه في المشاهد النظيفة، ويتفوق على DP بنسبة 13.1% في الإعداد العشوائي).
تحليل الفشل: تكشف رؤية حالات الفشل عن ثلاث عقبات رئيسية:
1. غموض الحالة الحسية العميقة: يؤدي التقدير البصري غير الدقيق لتشوه الذراع اللينة إلى عزم دوران داخلي غير مصحح وتحكم غير مستقر.
2. عدم الاستغلال الأمثل للمطاوعة: تفشل السياسات غالباً في استغلال قابلية الذراع للتشكل للتنقل حول العوائق، وبدلاً من ذلك تحاول اتخاذ مسارات مباشرة تؤدي إلى تصادمات.
3. سلوك التوقف عن الحركة: تدخل السياسات الحتمية (مثل OpenVLA-OFT) أحياناً في حلقة تغذية راجعة حيث تؤدي التغيرات البصرية الطفيفة بعد الإمساك إلى كبح توليد المزيد من الإجراءات، وهو سلوك أقل شيوعاً في سياسات الانتشار (diffusion policies) العشوائية.

الأهمية والادعاءات
يضع البحث ManiSoft كمنصة اختبار قيمة لسد الفجوة بين الأذرع الصلبة واللينة في سياق التلاعب بالرؤية واللغة. يدعي المؤلفون أن هذا المعيار يكشف عن أوضاع فشل فريدة للأجساد القابلة للتشكل، وتحديداً تحديات الإدراك الحسي البصري وتجنب العوائق التكيفي. ويتوقعون أن يسهل ManiSoft تطوير الأساليب التي تعالج هذه التحديات المحددة، مما يدعم في النهاية إنشاء أنظمة روبوتية أكثر أماناً وصداقة للبشر قادرة على العمل في بيئات معقدة وغير مهيكلة. يُقدم هذا العمل كخطوة أولية، مع الإقرار بالقيود في تنوع التشغيل ونقل التعلم من المحاكاة إلى الواقع، لكنه يضع أساساً لأبحاث مستقبلية في التفاعل المطاوع.