ملخص تقني: التدريب الهجين لنماذج الرؤية واللغة والأفعال (VLA)

بيان المشكلة

برزت نماذج الرؤية واللغة والأفعال (VLA) كنهج واعد للتحكم العام في الروبوتات، وذلك من خلال الاستفيد من نماذج الرؤية واللغة (VLMs) الضخمة والمدربة مسبقاً والتي يتم ضبطها بدقة على مجموعات بيانات روبوتية. ومع ذلك، توجد فجوة كبيرة بين الأداء وكفاءة الاستدلال. فالاستراتيجيات الحديثة، مثل "سلسلة التفكير المجسدة" (ECoT)، تعمل على تحسين الأداء من خلال تدريب النماذج على توليد "أفكار" لغوية وسيطة (آثار الاستدلال) قبل تنفيذ الأفعال. وبينما تعزز هذه المخرجات الوسيطة قدرة الوكيل على التخطيط والتعميم، إلا أنها تزيد بشكل كبير من زمن انتقال الاستدلال (Inference Latency). وفي عمليات التحكم الروبوتي في العالم الحقيقي، حيث تتطلب المهام تسلسلات طويلة من الأفعال، يؤثر هذا التأخير سلباً على سهولة الاستخدام وتكرار التحكم.

السؤال المركزي الذي يتناوله هذا العمل هو: هل يعد توليد سلاسل طويلة من التفكير شرطاً ضرورياً لتحقيق تحسينات في الأداء لنماذج VLA؟ يفترض المؤلفون أن مكاسب الأداء الناتجة عن "سلسلة التفكير" (CoT) لا تنبع من توليد الأفكار في وقت الاختبار، بل من استيعاب أنماط الاستدلال أثناء التدريب. ويقترحون أن النماذج يمكنها تطوير "حدس ماهر" (يشبه التفكير من النظام 1 في الإدراك البشري) مما يسمح لها بالتنبؤ بالأفعال مباشرة بدقة عالية، بعد أن تعلمت من آثار الاستدلال خلال مرحلة التدريب.

المنهجية: التدريب الهجين (HyT)

يقدم البحث إطار عمل التدريب الهجين (HyT)، وهو مصمم لتمكين نماذج VLA من التعلم من آثار الاستدلال مع الاحتفاظ بالقدرة على تنفيذ أفعال مباشرة وسريعة.

المفهوم الجوهري

يعامل HyT نموذج VLA كنظام واحد قادر على تعلم توزيعات شرطية متعددة بناءً على متغير النمط ($m$). وبدلاً من تدريب نماذج منفصلة لـ "التفكير" (ECoT) و"التنفيذ" (VLA قياسي)، يقوم HyT بتحسين مجموعة واحدة من المعلمات ($\theta$) بشكل مشترك للتعامل مع ثلاثة أنماط متميزة:

1. نمط التنفيذ (Act Mode - $m_a$): يتنبأ النموذج بالأفعال مباشرة، مشروطاً فقط بالملاحظة ووصف المهمة ($p(a_t | x_t, l)$). وهذا يحاكي استدلال VLA القياسي.
2. نمط التفكير (Think Mode - $m_\tau$): يتنبأ النموذج أولاً بأفكار وسيطة ($\tau_t$) ثم بالأفعال مشروطة بتلك الأفكار ($p(a_t, \tau_t | x_t, l)$)، على غرار ECoT.
3. نمط الاتباع (Follow Mode - $m_f$): يتنبأ النموذج بالأفعال مشروطة بأفكار أو تعليمات مقدمة من مصدر خارجي (مثل إنسان أو خبير/Oracle)، حيث يعمل كسياسة منخفضة المستوى في نظام هرمي ($p(a_t | x_t, \tau_t, l)$).

هدف التدريب

يتم صياغة هدف التدريب كحاصل جمع موزون لخصائص اللوغاريتم الطبيعي السالب لكل توزيع:
$$\min_{\theta} \mathcal{L}_{hyt}(\theta) = w_\alpha \mathcal{L}_{act}(\theta) + w_\tau \mathcal{L}_{think}(\theta) + w_f \mathcal{L}_{follow}(\theta)$$

لتجنب تقليل تنوع الدفعات (الذي سيحدث إذا تضمنت كل نقطة بيانات الأنماط الثلاثة)، يستخدم المؤلفون تقدير مونت كارلو. أثناء التدريب، لكل دفعة، يقوم النموذج بأخذ عينات من المدخلات والمخرجات وفقاً للاحتمالات المحددة بواسطة المعاملات ($w_\alpha, w_\tau, w_f$). وفي التجارب، استخدم المؤلفون المعاملات $\{w_\alpha: 0.25, w_\tau: 0.5, w_f: 0.25\}$، مع إعطاء الأولوية لتوزيع "التفكير" لتعظيم إشارة التعلم من آثار الاستدلال.

مرونة الاستدلال

عند وقت الاختبار، يتم ضبط متغير النمط صراحة للتحكم في سلوك النموذج:

• الوضع الافتراضي (التنفيذ): يتم توجيه النموذج بـ $m = \langle act \rangle$ لإخراج الأفعال مباشرة. هذا يحافظ على سرعة استدلال نماذج VLA القياسية (حوالي 3 هرتز على وحدات معالجة الرسوميات A100) مع الاستفادة من المعرفة المستوعبة أثناء التدريب.
• الأنماط البديلة: يمكن تبديل النموذج إلى نمط "التفكير" من أجل القابلية للتفسير، أو نمط "الاتباع" لتنفيذ تعليمات دقيقة مقدمة من خبير أو إنسان.

المساهمات الرئيسية

1. إطار عمل HyT: استراتيجية تدريب مبتكرة توحد تدريب VLA القياسي، وECoT، واتباع التعليمات الهرمي في بنية نموذج واحدة.
2. فك الارتباط بين التدريب والاستدلال: إثبات أن النماذج يمكنها التعلم من آثار الاستدلال (CoT) أثناء التدريب، ولكنها تنفذ الأفعال مباشرة أثناء الاستدلال، مما يؤدي فعلياً إلى "تقطير" عملية الاستدلال في التمثيلات الداخلية للنموذج دون تحمل تكلفة زمن انتقال الاستدلال.
3. أنماط استدلال مرنة: القدرة على التبديل ديناميكياً بين التنبؤ المباشر بالفعل، وتوليد الأفكار، واتباع التعليمات ضمن نفس النموذج، مما يوفر مقايضة بين السرعة والقابلية للتفسير.
4. التحقق التجريبي: تقييم واسع النطاق عبر معايض محاكاة (ClevrSkills, LIBERO) ومهام روبوتية في العالم الحقيقي (UFactory xArm 6).

النتائج التجريبية

معايض المحاكاة

• ClevrSkills: تفوقت نماذج HyT المدربة باستمرار على نماذج VLA القياسية، وتفوقت عموماً على خطوط الأساس ECoT والأنظمة الهرمية (HiRobot) عبر جميع أحجام مجموعات البيانات (من 300 إلى 3000 عرض توضيحي). ومن الجدير بالذكر أن HyT أظهرت أكبر المكاسب في المهام المعقدة طويلة الأمد.
  • سرعة الاستدلال: حقق HyT ونماذج VLA القياسية حوالي 3 هرتز، بينما كان ECoT أبطأ بـ 3 مرات وHiRobot أبطأ بـ 4 مرات.
  • كفاءة البيانات: أظهرت نماذج HyT المدربة على مجموعات بيانات صغيرة (300 عرض توضيحي) أداءً متفوقاً مقارنة بالنماذج المرجعية، مما يشير إلى أن توزيع "التفكير" يوفر إشارة تدريب قوية عند ندرة البيانات.
• LIBERO: عند الجمع مع وصفة OFT (الضبط الدقيق الأمثل)، حقق HyT نتائج هي الأفضل في حالتها (SOTA)، خاصة في مجموعات مهام "الهدف" (Goal) و"الطويل" (Long)، متفوقاً على غيره من مناهج CoT وVLA القياسية.

تجارب العالم الحقيقي

• الإعداد: أُجريت التجارب على ذراع UFactory xArm 6 مع قابض ثنائي الأصابع.
• الأداء: تفوق HyT بشكل كبير على نموذج OpenVLA الأساسي، محققاً معدل نجاح إجمالي بنسبة 63% مقارلة بـ 4-1% لـ OpenVLA.
• التعميم: كانت فجوة الأداء أكثر وضوحاً في المهام خارج نطاق التوزيع (OOD) (54% مقابل 29%)، مما يشير إلى أن HyT يحسن قدرة النموذج على التعميم لترتيبات الأشياء والسيناريوهات الجديدة.
• التحليل النوعي: أظهرت نماذج HyT دقة أعلى في الوصول إلى مواضع الالتقاط والوضع وأخطاء أقل في اختيار الأشياء مقارنة بـ OpenVLA.

دراسات الاستئصال (Ablation Studies)

• المعاملات: وُجد أن توزيع "التفكير" كان حاسماً لمجموعات البيانات الصغيرة، بينما حسن توزيع "الاتباع" الأداء عندما طُلب من النموذج اتباع تعليمات الخبير الخارجية.
• أنماط الاستدلال: في الإعدادات التي تم تقييمها، حقق نمطا "التنفيذ" و"التفكير" أداءً متشابهاً، مما يدعم الفرضية القائلة بأن توليد الأفكار الوسيطة ليس ضرورياً تماماً في وقت الاختبار لمهام المناولة الأولية.

الأهمية والادعاءات

يدعي البحث أن الفائدة الأساسية لتقنيات CoT في نماذج VLA هي تحسين التمثيلات المتعلمة للنموذج بدلاً من كونها خطوة وسيطة إلزامية أثناء التنفيذ. ومن خلال استيعاب أنماط الاستدلال، يطور النموذج "حدساً خبيراً" يسمح بالتحكم القوي وعالي التردد.

يضع المؤلفون HyT كحل قابل للتوسع يسد الفجوة بين الاستدلال عالي الأداء والتحكم الروبوتي في الوقت الفعلي. ويجادلون بأنه بينما قد تظل المهام المعقدة التي تتطلب ذاكرة أو استدلالاً متقدماً تستفيد من CoS في وقت الاختبار، فإن العديد من مهام المناولة القياسية يمكن حلها بمتانة باستخدام تكاليف استدلال منخفضة عبر الاستفادة من HyT. يوفر إطار العمل مساراً عملياً لنشر نماذج VLA عالية الأداء في بيئات العالم الحقيقي حيث يكون زمن الانتقال أمراً حاسماً، دون التضحية بمزايا التعميم التي يوفرها التدريب القائم على الاستدلال.