💻 computer science

Cross-Hand Latent Representation for Vision-Language-Action Models

تقدم الورقة البحثية XL-VLA، وهو إطار عمل للرؤية واللغة والعمل (vision-language-action) يستخدم فضاء عمل كامن موحداً وغير مرتبط بجسد محدد لتمكين التدريب القابل للتوسع عبر مختلف الأجسدان وتحسين أداء المعالجة الماهرة عبر أيدٍ روبوتية متنوعة.

المؤلفون الأصليون: Guangqi Jiang, Yutong Liang, Jianglong Ye, Jia-Yang Huang, Changwei Jing, Rocky Duan, Pieter Abbeel, Xiaolong Wang, Xueyan Zou

نُشر 2026-03-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Guangqi Jiang, Yutong Liang, Jianglong Ye, Jia-Yang Huang, Changwei Jing, Rocky Duan, Pieter Abbeel, Xiaolong Wang, Xueyan Zou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "XL-VLA: تمثيل كامن عابر للأيدي للنماذج البصرية-اللغوية-الحركية" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: معضلة "جهاز التحكم الشامل"

تخيل أن لديك مجموعة مختلفة من الروبوتات في منزلك.

الروبوت (أ) لديه يد تشبه يد الإنسان بـ 5 أصابع و12 مفصلاً.
الروبوت (ب) لديه يد بـ 4 أصابع و16 مفصلاً.
الروبوت (ج) لديه يد غريبة تشبه يد الكائنات الفضائية بـ 3 أصابع فقط.

إذا أردت تعليمهم جميعاً كيفية "التقاط موزة"، فستضطر عادةً إلى كتابة مجموعة مختلفة تماماً من التعليمات لكل واحد منهم. الأمر يشبه محاولة تعليم ثلاثة أشخاص مختلفين عزف البيانو، لكن أحدهم لديه 88 مفتاحاً، والثاني 60، والثالث 40. لا يمكنك ببساطة أن تقول: "اضغط على المفتاح الأوسط"، لأن "المفتاح الأوسط" يعني شيئاً مختلفاً تماماً في كل لوحة مفاتيح.

في عالم الروبوتات، يُسمى هذا "مشكلة التجسيد" (Embodiment Problem). فكل يد روبوت مصممة بشكل مختلف، لذا فإن "لغة" كيفية تحريك مفاصلها (مساحة الحركة) فريدة من نوعها. تدريب روبوت على مهمة ما يتطلب عادةً جمع كميات هائلة من البيانات المخصصة لذلك الروبوت بعينه. وإذا صدر روبوت جديد غداً، فسيتعين عليك البدء من الصفر.

الحل: "المترجم العالمي" (XL-VLA)

ابتكر الباحثون في جامعة كاليفورنيا سان دييغو وأمازون نظاماً يسمى XL-VLA. فكر فيه كأنه مترجم عالمي لأيدي الروبوتات.

بدلاً من تعليم الروبوت: "حرك المفصل رقم 3 للأعلى بمقدار 5 درجات"، يعلم XL-VLA الروبوت "كوداً سرياً" (فعلاً كامناً).

إليك كيف يعمل ذلك، خطوة بخطوة:

1. الكود السري (المساحة الكامنة)

تخيل "جهاز تحكم عن بعد عالمي" لا يهتم بنوع العلامة التجارية للتلفاز الذي تملكه. هو لا يرسل إشارات مثل "ارفع مستوى الصوت في سامسونج"، بل يرسل مفهوماً نقياً: "اجعله أعلى صوتاً".

يخلق XL-VLA مساحة "كود سري" مشتركة.

عندما يرى الروبوت موزة ويسمع "التقطها"، فإنه لا يحسب زوايا المفاصل المحددة فوراً.
بدلاً من ذلك، يحول هذه الفكرة إلى متجه واحد مدمج (رقم بلغة سرية).
يمثل هذا الرقم "النية" من الحركة، وليس الميكانيكا المحددة لليد.

2. المترجم (المُشفّر/المُفكك)

هنا يحدث السحر.

المُشفّر (Encoder): قبل أن يتحرك الروبوت، يأخذ مترجم خاص التعليمات الخاصة بتلك اليد المحددة (مثلاً: "حرك مفصل يد Ability Hand رقم 1") ويحولها إلى الكود السري.
الدماغ (VLA): الدماغ الاصطناعي الرئيسي (نموذج الرؤية-اللغة-الحركة) لا يرى ولا يتعلم سوى الكود السري. هو لا يعرف ولا يهتم إذا كانت اليد تحتوي على 4 أصابع أو 5. هو فقط يتعلم: "عندما أرى موزة، فإن الكود السري هو 'س'".
المُفكك (Decoder): عندما يقول الدماغ "نفذ الكود س"، يقوم مترجم خاص لتلك اليد بتحويل "الكود س" مرة أخرى إلى حركات المفاصل المحددة لتلك اليد.

التشبيه:
فكر في الكود السري كأنه وصفة مكتوبة بلغة عالمية.

الدماغ هو الطاهي الذي يعرف الوصفة.
يد Ability Hand هي طاهٍ فرنسي يحتاج إلى ترجمة الوصفة إلى الفرنسية ليطبخ.
يد Paxini Hand هي طاهٍ ياباني يحتاج إلى ترجمة الوصفة إلى اليابانية ليطبخ.
نظام XL-VLA هو المترجم. الطاهي (الدماغ) يتحدث اللغة العالمية فقط، بينما تتولى المترجمات (المشفرات والمفككات) التعامل مع اللهجات الخاصة بكل يد روبوت.

لماذا يعد هذا أمراً هاماً؟

1. عقل واحد، أيدٍ كثيرة

في الماضي، إذا أردت أن يتعلم روبوت كيفية رص العلب، كان عليك جمع 2000 ساعة من البيانات ليد "Ability Hand"، ثم 2000 ساعة ليد "Inspire Hand"، وهكذا.
مع XL-VLA، يمكنك تدريب عقل واحد فقط على بيانات من جميع الأيدي الأربعة المختلفة في وقت واحد. ولأنها جميعاً تتحدث نفس "الكود السري"، يتعلم الدماغ مفهوم "الرص" مرة واحدة، ويعمل معها جميعاً.

2. التعلم الصفري (الخدعة السحرية)

هذا هو الجزء الأكثر روعة. تخيل أنك دربت الروبوت على 9 مهام (مثل رص العلب، أو صب السكر) باستخدام يد "Ability Hand". أنت لم تره أبداً وهو يؤدي هذه المهام باستخدام يد "Inspire Hand".
ثم، تعطي يد "Inspire Hand" مهمة جديدة تماماً (مثل "دفع صندوق") لم يسبق له رؤيتها من قبل.
لأن "الكود السري" عالمي، يمكن ليد "Inspcite Hand" غالباً أن تفهم كيفية أداء المهمة الجديدة بمجرد النظر إلى التعليمات، دون الحاجة إلى أي بيانات تدريب جديدة. الأمر يشبه إعطاء شخص يعرف ركوب الدراجة الهوائية دراجة ثلاثية العجلات؛ فهو لا يحتاج لإعادة تعلم كيفية التوازن، بل يتكيف فقط.

3. الجدل بين "إعادة الاستهداف" و"الترجمة"

حاولت الطرق القديمة "إعادة استهداف" (Retargeting) الحركات. هذا يشبه أخذ فيديو ليد بشرية ومحاولة مطها رياضياً لتناسب يد الروبوت. غالباً ما تبدو الحركات متقطعة أو غير متناسقة لأن الأيدي مختلفة جداً.
XL-VLA أفضل لأنه لا يحاول مط اليد، بل يترجم النية. إنه الفرق بين محاولة إدخال وتد مربع في ثقب مستدير بالقوة (إعادة الاستهداف)، وبين امتلاك طابعة ثلاثية الأبعاد يمكنها فوراً إعادة تشكيل الوتد ليناسب الثقب (XL-VLA).

النتائج

اختبر الباحثون هذا النظام على أربع أيدٍ روبوتية مختلفة تماماً و10 مهام متنوعة (مثل فرز العلب، صب الصلصة، وتسليم الزجاجات).

الطريقة القديمة (الذكاء الاصطناعي القياسي): كانت نسبة النجاح حوالي 32%. لقد واجهت صعوبة في التنقل بين الأيدي.
XL-VLA: قفزت نسبة النجاح إلى 72%.
اختبار "التعلم الصفري": عندما جربوا مهاماً لم يرها الروبوت من قبل، ظل XL-VLA يعمل بشكل أفضل بكثير من الطرق القديمة.

الملخص

XL-VLA هو طفرة لأنه يتوقف عن معاملة كل يد روبوت كمسألة فريدة ومعزولة. بدلاً من ذلك، يخلق "لغة حركة عالمية" تسمح لعقل اصطناعي واحد بالتحكم في أنواع مختلفة من الأيدي في آن واحد.

إنه الفرق بين الاضطرار لتعلم لغة جديدة في كل مرة تقابل فيها شخصاً جديداً، وبين امتلاك مترجم عالمي يتيح لك التحدث مع أي شخص، في أي مكان، وفوراً. وهذا يجعل الروبوتات أسرع في التدريب، وأقل تكلفة في التشغيل، وأكثر قدرة على التكيف مع عالم أجهزة الروبوتات سريع التغير.

1. بيان المشكلة

يتناول هذا البحث التحدي الحرج المتمثل في التعلم القابل للتوسع عبر الأجساد المختلفة (cross-embodiment learning) للتحكم اليدوي الماهر في الروبوتات.

العقبة: بينما أظهرت نماذج الرؤية واللغة والأفعال (VLA) إمكانات واعدة، فإن تدريبها لليدين الماهرتين يعد أمراً صعباً لأن مساحات الأفعال (تكوينات المفاصل) ترتبط ارتباطاً وثيقاً بهياكل روبوتية محددة. ومع ظهور أيدٍ ماهرة جديدة بسرعة، يصبح جمع البيانات وتدريب النماذج لكل يد محددة أمراً مكلفاً وغير عملي.
الفجوة: تعتمد الطرق الحالية غالباً على إعادة الاستهداف الحركي (kinematic retargeting) (أي رسم خرائط من مفاصل الإنسان أو الروبوت "أ" إلى مفاصل الروبوت "ب") أو تتطلب إعادة التدريب لكل يد جديدة. وتواجه هذه الأساليب صعوبة في التعامل مع الاختلافات المورفولوجية الكبيرة، وتفشل في التعميم الصفري (zero-shot) على مجموعات المهام والأيدي غير المرئية.
الهدف: إنشاء إطار عمل موحد يسمح لسياسة VLA واحدة بالتحكم في أيدٍ ماهرة متنوعة (مثل: Ability، Inspire، Paxini، X-Hand) دون الحاجة لإعادة التدريب لكل روبوت، مما يتيح انتقالاً سلسلاً لمهارات المناولة.

2. المنهجية: XL-VLA

يقترح المؤلفون XL-VLA، وهو إطار عمل يدمج مساحة فعل كامنة مشتركة ومستقلة عن الهيكل (embodiment-invariant latent action space) في بنية VLA قياسية (مبنية على $\pi_0$ ).

أ. مساحة الفعل الكامنة الموحدة

بدلاً من التنبؤ بمواضع المفاصل الخام (التي تختلف من يد لأخرى)، يتنبأ النموذج بمتجه كامن مضغوط $z$ .

البنية: يُستخدم مشفر تلقائي (autoencoder) من نوع "المشفر التلقائي التبايني متعدد الرؤوس" (multi-headed VAE).
- المشفرات ( $E_h$ ): تقوم مشفرات خاصة بكل يد برسم خرائط لتكوينات المفاصل الخام ( $q^{(h)}$ ) لليد $h$ إلى مساحة كامنة مشتركة.
- المفككات ( $D_h$ ): تقوم مفكات خاصة بكل يد برسم خرائط للمتجه الكامن المشترك $z$ وإعادته إلى تكوين المفاصل لليد $h$ .
تدريب المساحة الكامنة (تعلم ذاتي): يتم تدريب المشفر التلقائي دون استخدام بيانات عرض توضيحية، وذلك باستخدام تكوينات مفاصل عشوائية اصطناعية ضمن الحدود الميكانيكية. ويقوم بتحسين ثلاثة أنواع من الخسائر:
1. خسارة إعادة البناء ( $L_1$ ): تضمن قدرة المفكك على إعادة بناء تكوين المفاصل الأصلي لليد المصدر.
2. خسارة إعادة الاستهداف ( $L_2$ ): تستخدم الحركية الأمامية (Forward Kinematics) القابلة للاشتقاق لمحاذاة هندسة أطراف الأصام عبر الأيدي المختلفة. وهي تعاقب التباينات في مسافات القرص واتجاهاته بين اليد المصدر واليد المستهدفة التي تم فك تشفيرها من نفس الكود الكامن. وهذا يجبر المساحة الكامنة على تمثيل الهندسة ذات الصلة بالمهمة (مثل "قرص جسم ما") بدلاً من زوايا مفاصل محددة.
3. التنظيم الكامن ( $L_3$ ): يفرض توزيعاً غاوسياً معيارياً ( $N(0, I)$ ) لضمان أن تكون المساحة الكامنة سلسة ومتصلة، مما يسهل عملية الاستيفاء (interpolation) وأخذ العينات.

ب. مسار عمل VLA

العمود الفقري: مبني على بنية $\pi_0$ ، التي تستخدم مشفرات الرؤية واللغة مقترنة بخبير أفعال.
المدخلات: يأخذ النموذج الملاحظات البصرية ( $V$ )، والتعليمات اللغوية ( $T$ )، وسجل من رموز الأفعال الكامنة (latent action tokens) (بدلاً من رموز الحالة الحسية العميقة الخام).
العملية:
1. يتم تشفير كتلة الفعل السابقة إلى رمز كامن $z_t$ باستخدام المشفر الخاص باليد $E_h$ .
2. يتنبأ العمود الفقري لـ VLA بالرمز الكامن التالي $\hat{z}_{t+1}$ .
3. يقوم المفكك الخاص باليد $D_h$ بتحويل $\hat{z}_{t+1}$ إلى كتلة أوامر المفاصل الفعلية $q^{(h)}_{t+1}$ .
الميزة الرئيسية: أثناء ضبط نموذج VLA، يتم تجميد المشفرات والمفككات. يتعلم الـ VLA العمل بالكامل داخل المساحة الكامنة المشتركة، مما يجعل السياسة "مستقلة عن اليد" (hand-agnostic).

3. المساهمات الرئيسية

مجموعة بيانات واسعة النطاق: جمع مجموعة بيانات تحكم عن بُعد تحتوي على 2 مليون زوج من الحالة-الفعل عبر 10 مهام مناولة و4 أيدٍ ماهرة متميزة (Ability, Paxini DexH13, X-Hand1, Inspire).
إطار عمل كامن غير خاضع للإشراف: اقترح إطار عمل مشفر تلقائي جديد غير خاضع للإشراف يتعلم مساحة فعل موحدة دون الحاجة لبيانات عرض توضيحية مقترنة عبر الأجساد المختلفة.
نظام XL-VLA: طور مسار عمل VLA كاملاً يحقق تحكماً قوياً عبر الأجساء المختلفة، مما يثبت أن سياسة واحدة يمكنها التعميم عبر هياكل متنوعة.
التعميم الصفري (Zero-Shot Generalization): أظهر القدرة على نقل المهارات إلى تركيبات (يد-مهمة) غير مرئية دون تدريب إضافي أو إعادة استهداف.

4. النتائج التجريبية

قيم المؤلفون XL-VLA مقابل نماذج أساسية قوية، بما في ذلك نماذج VLA القياسية (مثل $\pi_0$ ) وطرق إعادة الاستهداف (مثل LAD).

الأداء عبر الأيدي المختلفة:
- تفوق XL-VLA بشكل كبير على نموذج $\pi_0$ الأساسي عبر جميع الأيدي والمهام.
- متوسط معدل النجاح: ارتفع من 0.55 (النموذج الأساسي) إلى 0.90 (تحسن مطلق بنسبة +35%).
- مكاسب محددة: تحسنت يد Ability من 0.37 إلى 0.73؛ ووصلت يد Paxini إلى 0.78؛ وتحسنت يد X-Hand ذات التصميم الميكانيكي المختلف من 0.29 إلى 0.70.
التعميم الصفري:
- عند التدريب على مجموعة فرعية من المهام والاختبار على مهام مستبعدة، حافظ XL-VLA على معدلات نجاح عالية، بينما فشلت النماذج الأساسية القائمة على إعادة الاستهداف بشكل كبير في المهام الماهرة الدقيقة (مثل فرز العلب أو تسليم الزجاجات).
مقارنة إعادة التشغيل الكامن (Latent Replay):
- في اختبار "إعادة التشغيل الكامن" (تشفير البيانات من اليد "أ" وفك تشفيرها لليد "ب")، حقق XL-VMA نسبة نجاح 81-82%، متفوقاً بفارق كبير على طريقة LAD الخاضعة للإشراف التي حققت 60-61%. وهذا يثبت أن المساحة الكامنة تلتقط البنية المستقلة عن الهيكل بشكل أفضل من البدائل الخاضعة للإشراف.
التوسع عبر الروبوتات:
- نجحت الطريقة في نقل المهارات بين نظام xArm المكتبي وروبوت بشري من نوع Unitree G1، مما يثبت القدرة على التوسع لما هو أبعد من مجرد اختلاف الأيدي.

5. الأهمية

القابلية للتوسع: يحل XL-VLA "عنق زجاجة البيانات" في الروبوتات الماهرة. يمكن دمج الأيدي الجديدة ببساة عن طريق تدريب زوج خفيف الوزن من المشفر/المفكك، دون الحاجة لإعادة تدريب العمود الفقري الضخم لـ VLA.
التعميم: من خلال فصل السياسة عن مساحات المفاصل المحددة، يتعلم النظام النية من المناولة (مثل "الإمساك"، "الصب") بدلاً من أوامر حركية محددة، مما يتيح انتقالاً حقيقياً صفرياً (zero-shot transfer).
الواقعية العملية: النهج قابل للاستخدام المباشر (plug-and-play) للأجهزة الجديدة ويعتمد على التدريب المسبق ذاتي الإشراف، مما يجعله قابلاً للتطبيق للغاية في النشر الواقعي حيث يستحيل جمع مجموعات بيانات ضخمة مقترنة.
الاتجاه المستقبلي: يرسخ هذا العمل المساحات الفعلية الكامنة كعنصر أساسي لبناء أنظمة روبوتية عامة وفعالة في البيانات، قادرة على مواكبة الابتكار السريع في الأجهزة.