💻 computer science

UniLACT: Depth-Aware RGB Latent Action Learning for Vision-Language-Action Models

يقدم UniLACT نموذجاً للرؤية واللغة والعمل يعتمد على المحولات (transformer-based)، والذي يستفيد من إطار عمل موحد لتعلم العمل الكامن (UniLARN) لدمج البنية الهندسية المدركة للعمق في مرحلة ما قبل التدريب، مما يحسن بشكل كبير من الأولويات المكانية وأداء المعالجة مقارنة بالنماذج المرجعية التي تعتمد على RGB فقط في كل من بيئات المحاكاة والواقع الفعلي.

المؤلفون الأصليون: Manish Kumar Govind, Dominick Reilly, Pu Wang, Srijan Das

نُشر 2026-04-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Manish Kumar Govind, Dominick Reilly, Pu Wang, Srijan Das

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية طهي العشاء. تعرض عليه آلاف الفيديوهات لأشخاص يقطعون الخضروات، ويحركون القدور، ويجهزون الأطبى. يشاهد الروبوت هذه الفيديوهات ويحاول استنتاج ماذا يفعل الشخص، رغم أنه لا يملك يدًا بشرية ليقلدها.

هذا هو تحدي نماذج الرؤية-اللغة-الفعل (VLA). فهي تحتاج إلى تحويل ما تراه (الرؤية) وما تُقال له (اللغة) إلى حركات فيزيائية (فعل).

المشكلة في معظم "أدمغة" الروبوتات الحالية هي أنها تشاهد فقط أفلامًا ثنائية الأبعاد (فيديو RGB قياسي). إنها ترى الألوان والأشكال للأشياء، لكنها عمياء عن العمق. لا يمكنها التمييز ما إذا كان الكوب أمامها مباشرة أو على بعد ثلاثة أقدام، أو ما إذا كانت الملعقة على وشك الاصطدام بالوعاء. وهذا يجعلها خرقاء، خاصة عندما تحتاج إلى لمس الأشياء بعناية.

UNILACT هو أسلوب جديد يمنح الروبوت "رؤية ثلاثية الأبعاد" أثناء مرحلة التعلم، لكي يصبح طباخًا ماهرًا حتى لو امتلك عيونًا ثنائية الأبعاد لاحقًا.

إليك كيف يعمل الأمر، مقسمًا إلى خطوات بسيطة:

1. المشكلة: المتعلم "المسطح"

فكر في روبوت يتم تدريبه فقط على فيديو قياسي كشخص يحاول تعلم لعب التنس من خلال مشاهدة تلفاز أبيض وأسود. يمكنه رؤية الكرة وهي تتحرك يمينًا ويسارًا، لكنه لا يستطيع تقدير مدى بُعدها. إذا حاول ضربها، فقد يضربها مبكرًا جدًا أو متأخرًا جدًا لأنه يفتقر إلى إدراك العمق.

في عالم الروبوتات، يعني هذا أن الروبوت يتعلم قواعد "مدفوعة بالمظهر" (مثل: "عندما يكون المكعب الأحمر على اليسار، تحرك يمينًا") ولكنه يفشل في القواعد "المدفوعة بالهندسة" (مثل: "المكعب يبعد بوصتين، لذا يجب أن أوقف يدي هنا").

2. الحل: "عجلات التدريب ثلاثية الأبعاد" (UNILARN)

ابتكر الباحثون أداة تدريب خاصة تسمى UNILARN. تخيل هذا كأنه نظارات ثلاثية الأبعاد يرتديها الروبوت فقط أثناء الدراسة.

العملية: تنظر UNILARN إلى فيديوهات تحتوي على كل من الألوان القياسية (RGB) وخرائط العمق (مثل كاميرا حرارية ترى المسافة).
السحر: إنها تجبر الروبوت على تعلم "لغة سرية" للأفعال تجمع بين كيف تبدو الأشياء وأين توجد في الفضاء ثلاثي الأبعاد.
النتيجة: إنها تنشئ "فعلًا كامنًا موحدًا". فكر في هذا كأنه مخطط ذهني. بدلًا من مجرد تذكر "ارفع الكوب"، يخزن عقل الروبوت مخططًا يقول: "ارفع الكوب، الذي يبعد 10 سم وعالٍ بمقدار 5 سم".

من المهم أن UNILARN تتعلم شيئين في آن واحد:

خاص بالنمط (Modality-specific): كيف يبدو الفعل في شكل ثنائي الأبعاد.
موحد (Unified): كيف يبدو الفعل في شكل ثلاثي الأبعاد.

3. النقل: خلع النظارات (UNILACT)

بمجرد أن يدرس الروبوت بجد باستخدام نظاراته ثلاثية الأبعاد، يدخل مرحلة UNILACT. هذا هو دماغ الروبوت الفعلي الذي سيخرج إلى العالم الحقيقي.

التدريب: يتم تدريب الروبوت على التنبؤ بـ "المخططات السرية" (الأفعال الموحدة) التي تعلمها سابقًا، بناءً على تعليمات المهمة (مثل: "افتح الدرج").
الخدعة: عندما يقوم الروبوت بالفعل بالمهمة في العالم الحقيقي، فهو يخلع نظاراته ثلاثية الأبعاد. إنه يرى فقط فيديو ثنائي الأبعاد قياسي.
لماذا ينجح الأمر: لأنه تعلم البنية ثلاثية الأبعاد أثناء التدريب، فقد بنى دماغه بالفعل خريطة ثلاثية الأبعاد في ذاكرته. حتى لو كان يرى صورة مسطحة الآن، فإنه "يتخيل" العمق لأنه ربط الصورة المسطحة بالمخطط ثلاثي الأبعاد سابقًا.

4. الاختبار في العالم الحقيقي: الجزر والباذنجان

اختبر الباحثون هذا على ذراع روبوت حقيقية. إليكم ما حدث:

الطريقة القديمة (Moto): حاول الروبوت وضع جزرة في وعاء. رأى الجزرة والوعاء، ولكن نظرًا لافتقاره للعمق، دفع الجزرة داخل جانب الوعاء، مما أدى إلى قلبه. كان الأمر كشخص معصوب العينين يحاول وضع مفتاح في قفل.
طريقة UNILACT: نفس الروبوت، باستخدام الطريقة الجديدة، رأى الجزرة، "شعر" بالمسافة إلى الوعاء في عقله، ووضع الجزرة بلطف داخل الوعاء دون قلب أي شيء.
النتيجة: كان UNILACT أفضل بنسبة 29% في المهام المعقدة وكان أكثر نجاحًا في تجنب الاصطدامات.

التشبيه الكبير: تعلم القيادة

تخيل تعلم قيادة السيارة.

الطريقة القد Old Method: تشاهد فقط فيلمًا ثنائي الأبعاد لشخص يقود. تتعلم تدوير المقود عندما ترى علامة توقف حمراء. لكنك لا تعرف مدى بعد السيارة عن الرصيف، لذا قد تحتك بجانب السيارة.
طريقة UNILACT: تشاهد محاكاة ثلاثية الأبعاد حيث يمكنك الشعور بالمسافة بينك وبين الرصيف والسيارات الأخرى. تمارس مهارات القيادة الخاصة بك في هذه البيئة الغنية ثلاثية الأبعاد.
الاختبار: الآن، تخضع للاختبار في سيارة حقيقية مع لوحة قيادة ثنائية الأبعاد قياسية. نظرًا لأنك تدربت في بيئة ثلاثية الأبعاد، فأنت تعرف بالفطرة مدى بعد الرصيف عنك، حتى لو لم تعد "تراه" بشكل ثلاثي الأبعاد. تقود بسلاسة وأمان.

الملخص

UNILACT هو طفرة لأنه يعلم الروبوتات "التفكير في ثلاثي الأبعاد" باستخدام بيانات العمق أثناء التدريب، لكي تتمكن من أداء مهام دقيقة وحساسة (مثل الإمساك بباذنجانة هشة) باستخدام كاميرات قياسية فقط في العالم الحقيقي. إنه مثل منح الروبوت خيالًا ثلاثي الأبعاد يحتفظ به حتى بعد انتهاء التدريب.

إليك ملخص تقني مفصل لورقة البحث بعنوان "UNILACT: تعلم الأفعال الكامنة المعتمد على العمق لنماذج الرؤية واللغة والأفعال (VLA)."

1. بيان المشكلة

أظهرت نماذج الرؤية واللغة والأفعال (VLA) واعداً في التعميم على مهام جديدة، لكنها تعتمد عادةً على بيانات روبوتية مكلفة يتم التحكم فيها عن بُعد بواسطة البشر للتدريب المسبق. ولمعالجة ذلك، تستخدم النهج الحديثة تمثيلات الأفعال الكامنة (latent action representations) التي يتم تعلمها من فيديوهات الإنترنت غير المصنفة عبر نماذج الديناميكيات العكسية (IDM) ونماذج الديناميكيات الأمامية (FDM).

ومع ذلك، تعتمد طرق الأفعال الكامنة الحالية حصرياً على ملاحظات RGB (الألوان). وتتسبب هذه المحدودية في جعل التمثيلات المتعلمة تلتقط فقط الديناميكيات المدفوعة بالمظهر بينما تظل عمياء عن البنية الهندسية ثلاثية الأبعاد. ونتيجة لذلك، تواجه هذه النماذج صعوبة في مهام المعالجة الغنية بالتلامس (مثل الإمساك الدقيق أو تجنب الاصطدام) حيث يكون فهم العمق والعلاقات المكانية أمراً بالغ الأهمية. وبينما تدمج بعض نماذج VLA العمق كميزة إدخال، إلا أنه لم يتم استكشاف ما إذا كان يمكن دمج البنية الهندسية مباشرة في فضاء الفعل الكامن أثناء التدريب المسبق غير الخاضع للإشراف لتوفير أولويات مكانية أقوى دون الحاجة إلى بيانات إضافية وقت الاستنتاج.

2. المنهجية

يقترح المؤلفون إطار عمل يتكون من مرحلتين هما UNILARN (لتعلم التمثيلات) و UNILACT (لتعلم السياسة).

أ. UNILARN: تعلم الفعل الكامن الموحد

UNILARN هو إطار عمل مصمم لتعلم فضاء تضمين مشترك لكل من ملاحظات RGB والعمق (Depth)، مما ينتج أفعالاً كامنة خاصة بكل نمط وأخرى موحدة.

البنية: يستخدم خط معالجة يعتمد على التكميم المتجهي (vector-quantization) على مرحلتين:
1. الترميز الخاص بكل نمط: تقوم نماذج IDM منفصلة برسم خرائط لأزواج ملاحظات RGB والعمق $(o_t, o_{t+H})$ إلى تضمينات كامنة مستمرة. يتم تحويل هذه التضمينات إلى قيم منفصلة باستخدام كودبوك (codebook) متجهي مشترك لإنشاء أفعال كامنة خاصة بكل نمط ( $z^r_t, z^d_t$ ).
2. التمثيل الموحد: يتم دمج تضمينات الكودبوك لـ RGB والعمق وإسقاطها خطياً في فضاء مستمر، ثم يتم تحويلها إلى قيم منفصلة عبر كودبوك متجهي ثانٍ لإنتاج فعل كامن موحد ( $z^u_t$ ).
3. هدف إعادة البناء: يُستخدم الفعل الكامن الموحد $z^u_t$ لتهيئة نماذج الديناميكيات الأمامية (FDMs) الخاصة بكل نمط لإعادة بناء الملاحظات المستقبلية. وهذا يجبر الفعل الكامن الموحد على التقاط الديناميكيات المتكاملة من كلا النمطين.

ب. UNILACT: محول الفعل الكامن الموحد

UNILACT هو نموذج VLA الذي يستفيد من التمثيلات التي تعلمها UNILARN.

التدريب المسبق (المرحلة 2): يتم تدريب UNILACT باستخدام محول ذاتي الانحدار (autoregressive transformer). يأخذ مدخلات الملاحظات البصرية والتعليمات النصية ويتنبأ برموز الأفعال الكامنة. ومن الأهمية بمكان أنه يتم تدريبه على التنبؤ بـ أهداف عابرة للأنماط (cross-modal targets): حيث يمكن طلبه للتنبؤ بـ كامنات RGB، أو كامنات العمق، أو الكائنات الموحدة. وهذا يشجع النموذج على مواءمة الإشارات الدلالية (RGB) مع البنية الهندسية (العمق).
الضبط الدقيق (المرحلة 3): يتم ضبط النموذج بدقة باستخدام كمية صغيرة من بيانات المسارات الروبوتية المصنفة. يقوم بربط الأفعال الكامنة الموحدة المتنبأ بها بأوامر التحكم الروبوتية المستمرة (تغيرات طرف النهاثة بـ 7 درجات حرية وحالة القابض).
الاستنتاج: عند الاختبار، يعمل UNILACT فقط على ملاحظات RGB والتعليمات النصية. يُستخدم نمط العمق حصرياً أثناء التدريب لتشكيل الفضاء الكامن.

3. المساهمات الرئيسية

إطار عمل UNILARN: إطار تعلم جديد يتعلم بشكل مشترك تمثيلات الأفعال الكامنة الخاصة بكل نمط والموحدة من بيانات RGB-D باستخدام الديناميكيات العكسية والأمامية، مع نمذجة التفاعلات بين الأنماط بشكل صريح.
نموذج UNILACT: نموذج VLA مدرب عبر الأنماط يدمج المعلومات الدلالية (RGB) والهندسية (العمق) المتكاملة في فضاء كامن موحد، مما يسمح بمعالجة أكثر دقة وقابلية للتعميم.
الأولويات المدركة للعمق: يثبت أن دمج البنية الهندسية ثلاثية الأبعاد في فضاء الفعل الكامن أثناء التدريب المسبق غير الخاضع للإشراف يحسن بشكل كبير أداء السياسة في المهام اللاحقة دون الحاجة إلى مستشعرات عمق أثناء الاستنتاج.

4. النتائج التجريبية

المحاكاة (اختبار CALVIN)

الإعداد: تم التقييم على اختبار CALVIN ABC→D (مهام طويلة المدى، متعددة المهام).
الأداء: حقق UNILACT تحسناً نسبياً بنسبة 29.2% في متوسط طول التسلسل مقارنة بالنموذج المرجعي (Moto) القائم على RGB فقط تحت ظروف التدريب المسبق خارج النطاق (مجموعة بيانات Open X-Embodiment).
تحليل المهام: بينما أدت الكوامن القائمة على RGB فقط بشكل جيد في المهام المدفوعة بالمظهر (مثل تكديس الكتل)، تفوق UNILACT بشكل كبير على النماذج المرجعية في المهام المركزية على الهندسة (مثل تحريك المنزلقات، أو تشغيل مصابيح الإضاءة)، مما يثبت فعالية الأولويات المدركة للعمق.

التجارب في العالم الحقيقي

الإعداد: تم الاختبار باستخدام روبوت xArm7 بـ 7 درجات حرية وكاميرا RGB-D. شملت المهام وضع الأشياء في أوعية، وتحريك الأشياء بالقرب من أشياء أخرى، ورفع الكتل.
الأداء: حقق UNILACT تحسناً إجمالياً بنسبة 10% في معدل النجاح مقارنة بالنموذج المرجعي RGB (Moto).
النتائج النوعية:
- تجنب الاصطدام: في مهمة تتطلب وضع جزرة في وعاء، فشل نموذج RGB بسبب عدم دقة إدراك العمق، مما تسبب في اصطدام. أما UNILACT فقد نجح في وضع الجسم دون اصطدام.
- الدقة: أظهر UNILACT دقة فائقة في الإمساك والقدرة على الاستنتاج المكاني في مهام غير مرئية (تعميم صفر المدى).

دراسات الاستبعاد (Ablation Studies)

النمط: دمج الكوامن الموحدة + الخاصة بالنمط أعطى أفضل النتائج، متفوقاً على النهج متعدد الأنماط الساذج أو استخدام فضاء مشترك فقط.
استراتيجية التدريب: أثبت التدريب المسبق باستخدام أهداف عابرة للأنماط (التنبؤ بـ RGB، والعمق، والموحد) متبوعاً بالضبط الدقيق على الكوامن الموحدة أنه الأكثر فعالية.
الكفاءة: رغم استخدام العمق أثناء التدريب، يحافظ UNILACT على نفس حجم النموذج وزمن الاستجابة (latency) الخاص بالنموذج المرجعي RGB لأن العمق ليس مطلوباً أثناء الاستنتاج.

5. الأهمية

يعالج هذا العمل عقبة حرجة في تعلم الروبوتات القابل للتوسع: وهي نقص الفهم الهندسي ثلاثي الأبعاد في نماذج الأفعال الكامنة غير الخاضعة للإشراف. من خلال تقديم تعلم الأفعال الكامنة المدركة للعمق، يوضح UNILACT أن:

يمكن استخلاص البنية الهندسية في فضاء كامن مدمج باستخدام فيديوهات غير مصنفة.
يمكن للسياسات أن ترث أولويات مكانية قوية دون الحاجة إلى مستشعرات عمق أثناء التشغيل، مما يجعل النهج عملياً للروبوتات الواقعية المزودة بكاميرات RGB فقط.
التدريب المسبق عبر الأنماط يعزز بشكل كبير القدرة على التعميم في مهام المعالجة الغنية بالتلامس، مما يسد الفجوة بين الإدراك القائم على المظهر والاستنتاج الهندسي.

يوفر المنهج المقترح مساراً قابلاً للتوسع لتدريب نماذج VLA عالية الأداء تكون قوية تجاه تغيرات التوزيع وقادرة على التفاعل الفيزيائي الدقيق.