Adaptive Action Chunking at Inference-time for Vision-Language-Action Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التجزئة التكيفية للأفعال عند وقت الاستنتاج لنماذج الرؤية واللغة والأفعال (VLA)."

1. بيان المشكلة

تعتمد نماذج الرؤية واللغة والأفعال (VLA)، وخاصة تلك التي تستخدم رؤوس أفعال تعتمد على الانتشار (diffusion-based action heads)، على تجزئة الأفعال (تنفيذ تسلسل من الأفعال قبل إعادة التخطيط) لتقليل الأخطاء التراكمية وتحسين معدلات نجاح عمليات المعالجة. ومع ذلك، فإن النماذج الحالية المتطورة (مثل GR00T N1.5، و $\pi_0$) تستخدم حجم تجزئة ثابتًا يتم تحديده تجريبيًا أثناء الاستنتاج.

هذا النهج الثابت يفرض معضلة موازنة أساسية:

• أحجام التجزئة الكبيرة: تحسن الاتساق الزمني والكفاءة، ولكنها تقلل من قدرة النموذج على الاستجابة للمعلومات الجديدة، مما يؤدي إلى أخطاء في البيئات الديناميكية.
• أحجام التجزئة الصغيرة: تعزز القدرة على التفاعل وتسمح بإعادة تخطيط متكررة، ولكنها تزيد من احتمالية حدوث "قفز الأنماط" (السلوك المتقطع/المضطرب) وعدم الاتساق بين الأجزاء.

تحاول الطرق الحالية التخفيف من ذلك عبر التنعيم (EMA) أو استراتيجيات البحث (BID)، لكنها لا تزال تعتمد على حجم تجزئة عالمي ثابت أو تتطلب إشارات مكافأة خاصة بالمهمة (تعلم تعزيزي) لا يمكن تعميمها على النشر في العالم الحقيقي. المشكلة الجوهرية هي غياب آلية لـ تكييف حجم التجزئة ديناميكيًا عند وقت الاستنتاج بناءً على ثقة النموذج ومتطلبات المهمة دون الحاجة لتدريب إضافي.

2. المنهجية: التجزئة التكيفية للأفعال (AAC)

يقترح المؤلفون التجزية التكيفية للأفعال (AAC)، وهي استراتيجية استنتاج مبتكرة تختار ديناميكيًا حجم التجزئة الأمثل ($h^*$) بناءً على إنتروبيا الفعل (action entropy).

المفهوم الجوهري

يعمل هذا الأسلوب بناءً على الحدس القائل بأن إنتروبيا الفعل تعكس عدم اليقين في تنبؤات النموذج:

• الإنتروبيا العالية: تشير إلى انخفاض الثقة/اليقين. يجب على النموذج تنفيذ تجزئة أصغر وإعادة التخطيط بشكل متكرر للحفاظ على القدرة على التفاعل.
• الإنتروبيا المنخفضة: تشير إلى ثقة عالية/موثوقية. يجب على النموذج تنفيذ تجزئة أكبر لضمان الاتساق الزمني والكفاءة.

التنفيذ التقني

1. حساب الإنتروبيا:

   • بالنسبة لـ التحكم المستمر (مثل الإزاحة، الدوران)، تحسب الطريقة الإنتروبيا التفاضلية لجاوس باستخدام مصفوفة التغاير لتوزيع الفعل المتوقع.
   • بالنسبة لـ التحكم المنفصل (مثل فتح/إغلاق القابض)، تحسب إنتروبيا شانون بناءً على توزيع الاحتمالات للحالات المنفصلة.
   • يقوم النظام بأخذ عينات من $N$ من أجزاء الأفعال المرشحة بالتوازي لتقدير هذه التوزيعات.

2. اختيار حجم التجزئة الأمثل:

   • تحسب الخوارزمية متوسط إنتروبيا الفعل ($\bar{E}_h$) لمختلف أحجام التجزئة المحتملة ($h$).
   • تحدد حجم التجزئة الأمثل $h^*$ من خلال إيجاد نقطة أقصى زيادة تفاضلية في متوسط الإنتروبيا:
     $$h^* = \max(\arg\max_h (\bar{E}_{h+1} - \bar{E}_h), \xi)$$
   • هنا، $\xi$ هو حد أدنى لضمان وجود مقدار أدنى من الفعل، مما يمنع حجم التجزئة من أن يصبح صغيرًا جدًا بما يخل بالكفاءة.

3. التنفيذ:

   • بمجرد تحديد $h^*$، يتم تنفيذ أول $h^*$ من الأفعال في التسلسل المتوقع.
   • تتكرر العملية عند خطوة الاستنتاج التالية مع ملاحظات جديدة.

المزايا الرئيسية

• بدون تدريب إضافي: لا تتطلب AAC أي تدريب إضافي أو تعديلات هيكلية. فهي تعمل كوحدة برمجية (plug-in) للنماذج الحالية القائمة على الانتشار (VLA).
• القدرة على التعميم: تتعامل بشكل طبيعي مع كل من فضاءات الأفعال المستمرة والمنفصلة وتتكيف مع مختلف الهياكل الروبوتية (ذراع واحدة، ذراعان، إلخ).

3. المساهمات الرئيسية

1. تحليل التجزئة الثابتة: تسلط الورقة الضوء على أن أحجام التجزئة الثابتة غير مثالية عبر مهام المعالجة المتنوعة، مما يثبت الاعتماد القوي للمهام على أحجام التجزئة المثلى.
2. خوارزمية AAC: تقديم خوارزمية بسيطة وفعالة تستخدم إنتروبيا الفعل كإشارة لتوازن التفاعل والاتساق ديناميكيًا عند وقت الاستنتاج.
3. التحقق الشامل: تجارب شاملة على كل من المعايير المحاكية (RoboCasa، LIBERO) والمهام الروبوتية في العالم الحقيقي، مما يثبت تفوقها على النماذج المرجعية ذات الحجم الثابت والبدائل المتطورة الأخرى.

4. النتائج التجريبية

معايير المحاكاة

• RoboCasa (24 مهمة): حققت AAC متوسط معدل نجاح بنسبة 62.0%، متفوقة على النموذج المرجعي GR00T (59.7%) وعلى جميع المتغيرات ذات الحجم الثابت (التي تراوحت بين 47.0% و61.2%). لوحظت تحسينات ملحوية في مهام "الدوران" (التحكم دقيق التفاصيل)، حيث ارتفعت من 57.6% إلى 61.4%.
• LIBERO (4 مجموعات): حققت AAC متوسط معدل نجاح بنسبة 95.0% مقارلة بـ 94.1% للنموذج المرجعي. لوحظت أكبر زيادة (+4%) في مجموعة LIBERO-Long الصعبة، والتي تتضمن مهام طويلة الأمد متعددة الخطوات.
• التوافق مع الهيكل الأساسي: نجحت الطريقة في التعميم على هيكل $\pi_0.5$، مما حسن متوسط معدل النجاح من 97.0% إلى 97.9%.
• خارج التوزيع (OOD): في المهام المضطربة (LIBERO-Pro)، أظهرت AAC قدرة أفضل على الصمود، حيث حسنت معدلات النجاح تحت اضطرابات الموقع العالية مقارنة بالنماذج ذات الحجم الثابت.

تجارب العالم الحقيقي

• الإعداد: تم الاختبار على روبوت ذراع واحدة من نوع Realman مع قابض Mycobot في ثلاث مهام: نقل الموز (Banana pick-and-place)، ضغط زر الطوارئ، ومهمة الدرج طويلة الأمد.
• النتائج: حسنت AAC متوسط معدل النجاح من 67.0% (النموذج المرجعي) إلى 82.0%.
  • مهمة الموز: حسنت محاذاة الإمساك.
  • مهمة الزر: أظهرت تعميماً فائقاً لمواقع الأزرار غير المرئية.
  • السلامة: أظهر التحليل البصري أن AAC منعت الاصطدامات (مثل الاصطدام بالطاولة) عن طريق تصفية الأفعال ذات الإنتروبيا العالية، بينما كان النموذج المرجعي يصطدم غالباً بسبب التنبؤات منخفضة الثقة.

الكفاءة

• بينما يتطلب حساب الإنتروبيا أخذ عينات متوازية، فإن العبء الحسابي ضئيل. مع 20 عينة، يبلغ تأخير الاستنتاج حوالي 20 مللي ثانية فقط على وحدة معالجة رسوميات A800، وهو أمر مقبول للتحكم في الوقت الفعلي.

5. الأهمية

يعالج هذا العمل عقبة حرجة في نشر نماذج VLA للروبوتات في العالم الحقيقي: وهي جمود معاملات الاستنتاج الثابتة. من خلال الاستفادة من إنتروبيا الفعل، توفر AAC آلية تنظيم ذاتي تحاكي الحدس البشري — تنفيذ حركات خشنة وسريعة عند الثقة، والتحول إلى تخطيط متكرر دقيق عند ظهور عدم اليقين.

طبيعة الطريقة التي لا تتطلب تدريباً إضافياً تجعلها قابلة للتوسع بشكل كبير وقابلة للتطبيق الفوري على نماذج VLA الموجودة، مما يعزز بشكل كبير متانة وسلامة ومعدلات نجاح هذه النماذج في مهام المعاللة المعقدة والديناميكية.