← أحدث الأبحاث
💻 computer science

Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization

يُعد Zero-WAM نموذجاً سببيّاً للفيديو والحركة يحقق تعميماً عبر المهام في مرحلة الصفر (zero-shot) في مجال المناولة الروبوتية من خلال الاستفادة من فيديوهات بشرية ضمن السياق كأوصاف للمهام، مدعوماً بمجموعة بيانات اصطناعية مكونة من 74.2 ألف زوج من البشر والروبوتات وهدف تنبؤ بالكتل المستقبلية لفرض الاعتماد على المحفزات البصرية.

المؤلفون الأصليون: Jiaming Zhou, Qihang Zhang, Gangwei Xu, Cunxin Fan, Yujie Zhao, Ruilin Wang, Yiming Luo, Shuai Yang, Xing Zhu, Yujun Shen, Junwei Liang, Yinghao Xu

نُشر 2026-08-27
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Jiaming Zhou, Qihang Zhang, Gangwei Xu, Cunxin Fan, Yujie Zhao, Ruilin Wang, Yiming Luo, Shuai Yang, Xing Zhu, Yujun Shen, Junwei Liang, Yinghao Xu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

لطالما عانت الروبوتات من عائق جوهري: فهي بارعة في تكرار ما تم تعليمها إياه صراحةً، لكنها تتعثر عندما تواجه موقفاً جديداً لم تتدرب عليه من قبل. فإذا تعلم الروبوت كيفية تكديم المكعبات الحمراء، فغالباً لا يستطيع معرفة كيفية تكديم المكعبات الزرقاء، أو كيفية فتح الميكروويف، ما لم يقم مبرمج بشري بإعادة كتابة الكود الخاص به لتلك المهمة المحددة. إن عدم القدرة على التعميم هذا يمثل عقبة رئيسية أمام بناء آلات يمكنها المساعدة في منازلنا أو أماكن عملنا. لسنوات، حاول الباحثون حل هذه المشكلة عبر تعليم الروبوتات من خلال اللغة، عبر إعطائها تعليمات لفظية مثل "ارفع الكوب". ومع ذلك، غالباً ما تكون الكلمات غامضة جداً بحيث لا تستطيع استيعاب التفاصيل الفيزيائية المعقدة للمهمة، مثل مدى قوة الضغط المطلوبة على جسم ما أو التسلسل الدقيق للحركات اللازمة لفك عقدة. إن الطريقة الأكثر طبيعية للبشر لإظهار ما يجب فعله للروبوت هي ببساطة من خلال تقديم عرض توضيحي، لكن تعليم الروبوت التعلم مباشرة من مشاهدة فيديو لإنسان أثبت صعوبته لأن الإنسان والروبوت يتحركان بشكل مختلف ويريان العالم من زوايا مختلفة.

لقد طور فريق من الباحثين نهجاً جديداً يسمح للروبوت بتعلم مهام جديدة تماماً من خلال مشاهدة فيديو قصير لإنسان يؤديها، دون الحاجة إلى أي تدريب مسبق على تلك المهمة المحددة أو أي تغييرات في البرمجيات الداخلية للروبوت. أطلقوا على نظامهم اسم "Zero-WAM". الفكرة الجوهرية هي معاملة الفيديو البشري ليس مجرد مرجع، بل كتعليم مباشر. فعندما يحتاج الروبوت إلى أداء وظيفة جديدة، يشاهد فيديو لإنسان يقوم بوظيفة مشابهة ويستخدم ذلك الدليل البصري لتحديد خطواته التالية. ولإنجاح ذلك، كان على الباحثين حل مشكلة ضخمة تتعلق بالبيانات؛ فقد احتاجوا إلى آلاف الأمثلة حيث يتطابق فيديو بشري يظهر مهمة ما تماماً مع حركات الروبوت الخاصة لنفس تلك المهمة. وبما أن جمع هذه الأزواج يدوياً عملية بطيئة ومكلفة، فقد بنوا نظاماً آلياً يأخذ تسجيلات موجودة لروبوتات تعمل ويستخدم الذكاء الاصطناعي لتوليد فيديوهات بشرية مطابقة. أنتجت هذه العملية مكتبة ضخمة تضم 74,200 مثال مزدوج تغطي ما يقرب من 9,000 مهمة مختلفة، تتراوح من أفعال الالتقاط والوضع البسيطة إلى عمليات التحكم المعقدة متعددة الخطوات.

درب الباحثون نموذجهم على هذه المكتبة المتنوعة، لتعليم الروبوت كيفية التنبؤ بما يجب أن يفعله بعد ذلك بناءً على تاريخ حركاته الخاصة وفيديو الإنسان الذي يشاهده. وكان جزء رئيسي من طريقتهم هو ضمان أن ينتبه النموذج بالفعل للفيديو البشري بدلاً من مجرد التخمين بناءً على ما رآه سابقاً. لقد أضافوا خطوة تدريب خاصة حيث يتعين على النموذج التنبؤ ليس فقط باللحظة التالية مباشرة، بل بعدة خطوات في المستقبل. وقد أجبر هذا النظام على فهم الهدف طويل الأمد الموضح في الفيديو البشري، بدلاً من مجرد الاستجابة للماضي القريب. وعند اختبار هذا النظام في بيئة محاكاة مع سبع مهام جديدة تماماً لم يسبق للروبوت رؤيتها أثناء التدريب، نجح في نصف المحاولات تقريباً. ويمثل هذا تحسناً كبيراً مقارنة بالطرق السابقة، التي نجحت في أقل من محاولة واحدة من كل خمس محاولات. وقد تمكن النظام من التعامل مع تحديات صعبة مثل فتح الميكروويف، وتكديم المكعبات، وتحريك دباسة، وكل ذلك بمجرد مشاهدة فيديو توضيحي لإنسان.

ولم يتوقف النجاح عند حدود المحاكاة؛ فقد نقل الفريق النموذج المدرب إلى بيئة واقعية باستخدام ذراع روبوت فيزيائية واختبروه في مهام تتضمن وضع أشياء في حاويات، وتحريك عناصر متعددة بترتيب محدد، وإدخال أرجل الطاولات في الثقوب بدقة عالية. وفي هذه الاختبارات الواقعية، استخدم الروبوت مرة أخرى تعليمات الفيديو البشري للتنقل عبر تكوينات غير مرئية، مثل استخدام أشياء ذات ألوان مختلفة أو إعدادات طاولات مختلفة عما رآه أثناء التدريب. وبينما كان معدل النجاح أقل مما كان عليه في المحاكاة بسبب الصعوبات الفيزيائية للعالم الحقيقي، إلا أن الروبوت تمكن من إكمال مهام لم يستطع أي نظام يعتمد على اللغة وحدها حلها على الإطلاق. فعلى سبيل المثال، عندما طُلب منه إدخال أرجل الطاولة في ثقوب محددة بناءً على دليل فيديو، نجح الروبوت في جزء كبير من التجارب، بينما فشل النظام المعتمد على اللغة فقط تماماً.

تشير النتائج إلى أن العائق في جعل الروبوتات أكثر قدرة على التكيف ليس بالضرورة قدرة الروبوت على الحركة، بل الطريقة التي نعطيه بها التعليمات. ومن خلال الانتقال من الأوامر النصية إلى العروض التوضيحية القائمة على الفيديو، وباستخدام مجموعة بيانات ضخمة تم توليدها آلياً لتعليم الروبوت كيفية ترجمة الأفعال البشرية إلى حركاته الخاصة، أظهر الباحثون مساراً قابلاً للتطبيق نحو آلات أكثر مرونة. النظام لا يتطلب من الروبوت تعلم مهارة جديدة لكل وظيفة جديدة؛ بل يتعلم قدرة عامة على تفسير العروض التوضيحية البصرية. وهذا يعني أنه في المستقبل، يمكن للروبوت نظرياً أن يتلقى فيديو لإنسان يصلح صنبوراً يسرب الماء أو ينظم رفاً، وسيكون قادراً على محاولة أداء المهمة نفسها بمفرده، مع تكييف حركاته الفيزيائية لتناسب جسده والأشياء الموجودة أمامه. يوضح هذا العمل أنه مع البيانات وطرق التدريب الصحيحة، يمكن للروبوتات أن تبدأ في سد الفجوة بين الحدس البشري والتنفيذ الآلي، والاقتراب من هدف الوصول إلى مساعدين حقيقيين للأغراض العامة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →