ملخص تقني: توجيه تنشيط المفهوم التبايني (COAST)

بيان المشكلة

تستفيد نماذج الرؤية-اللغة-الأفعال (VLA) من المقدمات الإدراكية القوية المستمدة من التدريب المسبق لنماذج الرؤية-اللغة (VLM) واسعة النطاق لتفسير الأوامر اللغوية الطبيعية وتنفيذ سلوكيات روبوتية معقدة. ومع ذلك، تظل هذه النماذج هشة بشكل مفاجئ في الممارسة العملية، حيث تفشل كثيرًا في المهام الروبوتية البسيطة رغم قدراتها القوية على التعميم. إن الحلول الحالية، مثل الضبط الدقيق لما بعد التدريب أو تنظيم التمثيل التبايني، غالبًا ما تكون مكلفة وغير متوافقة مفاهيميًا لأنها تحاول إعادة تعلم السلوكيات بدلاً من تعظيم قدرة التعميم الموجودة بالفعل في أوزان النموذج المدربة مسبقًا.

يفترض المؤلفون أن العائق الأساسي يكمن في خبير الأفعال (action expert) في بنية VLA. فبينما يحافظ العمود الفقري لنموذج VLM المجمد على فهم غني وعالي الأبعاد للمهام في حالاته الخفية، فإن فك تشفير خبير الأفعال النهائي غالبًا ما يفشل في استغلال هذه المعلومات بشكل كامل. عادةً ما تركز طرق توجيه التنشيط الحالية لنماذج VLA على العمود الفقري لـ VLM أو تعتمد على إزاحات إضافية أحادية الاتجاه، وهو ما قد يكون غير كافٍ عندما تكون الإشارة ذات الصلة موزعة عبر أبعاد متعددة.

المنهجية: COAST

يقترح البحث توجيه تنشيط المفهوم التبايني (COAST)، وهو إطار عمل خفيف الوزن وخالٍ من التدريب لتوجيه سياسات VLA أثناء الاستنتاج. يعمل COAST عن طريق تطبيق بوابة ضربية على تنشيطات تيار المتبقي (residual stream) لخبير الأفعال، والمستمدة من مفهوم المفاهيم (conceptors).

الآلية الجوهرية

1. بناء المفهوم (Conceptor Construction): المفهوم هو مؤثر خطي يقوم بإسقاط البيانات برفق في المكونات الرئيسية لتوزيع مستهدف. يبني COAST مفهومين منفصلين:

   • $C_{success}$: يلتقط الفضاء الجزئي الرئيسي لتنشيطات عمليات التشغيل الناجحة.
   • $C_{failure}$: يلتقط الفضاء الجزئي الرئيسي لتنشيطات عمليات التشغيل الفاشلة.
     يتم حساب هذه المفاهيم في شكل مغلق باستخدام مصفوفة التباين (covariance matrix) للتنشيطات ومعلم تنظيم (فتحة $\alpha$)، مما يتجاوز الحاجة إلى الانحدار الاشتقاقي (gradient descent).

2. التركيب التبايني (Contrastive Composition): لعزل الاتجاهات ذات الصلة بالمهمة والتي تميز النجاح عن الفشل، يستخدم COAST جبر الفضاءات الجزئية البولياني لتكوين مفهوم تبايني ($C_{steer}$):
   $$C_{steer} = C_{success} \land \neg C_{failure}$$
   هذه العملية (AND-NOT) تحتفظ بالاتجاهات الموجودة في فضاء النجاح الجزئي مع كبح الاتجاهات المشتركة مع فضاء الفشل (الضجيج) وتلك الفريدة للفشل.

3. التوجيه أثناء الاستنتاج (Inference-Time Steering): أثناء الاستنتاج، يتم تحويل تنشيط تيار المتبقي $h$ عند طبقة معينة $\ell$ عبر بوابة ضربية $M$:
   $$h' = h M^\top, \quad \text{حيث } M = (1 - \beta)I + \beta C_{steer}$$
   هنا، يتحكم $\beta \in [0, 1]$ في قوة التوجيه. تقوم هذه العملية بإسقاط الحالة الخفية بلطف نحو الفضاء الجزئي المرتبط بالنجاح دون الكتابة فوق الحسابات الداخلية للنموذج.

الميزات الرئيسية

• خالٍ من التدريب: لا يتطلب تحديثات للأوزان، أو حسابات اشتقاقية، أو نماذج مساعدة.
• قابل للتركيب والتشغيل (Plug-and-Play): يعمل مباشرة على تيار المتبقي لخبير الأفعال.
• على مستوى الفضاء الجزئي: على عكس التوجيه الإضافي أحادي الاتجاه (مثل إضافة التنشيط التباينية)، يعمل COAST على فضاء جزئي متعدد الأبعاد، مما يلتقط الهندسات المعقدة الحرجة للنتائج.

المساهمات الرئيسية

1. توجيه سياسة خفيف الوزن وخالٍ من التدريب: قدم المؤلفون أول تطبيق لتوجيه الفضاء الجزئي القائم على المفاهيم لخبراء أفعال VLA. من خلال بناء بوابة ضربية ذات شكل مغلق عبر جبر المفاهيم البولياني لعمليات التشغيل الناجحة والفاشلة، يحسن COAST متوسط معدلات نجاح مهام المحاكاة بأكثر من 20% ومعدلات نجاح مهام الروبوت الحقيقي بأكثر من 40% عبر اختبارات متنوعة.
2. الرؤية الآلية: يكشف التحليل أن بنية القيم الذاتية لخبراء أفعال VLA مناسبة جدًا للتوجيه القائم على المفاهيم. تشغل التمثيلات ذات الصلة بالنتائج فضاءً جزئيًا منخفض الرتبة ولكن ليس من الرتبة واحد، مما يفسر سبب تفوق المفاهيم متعددة الأبعاد على الطرق الإضافية أحادية الاتجاه. علاوة على ذلك، تجد الدراسة أنه بينما تكون تمثيلات النجاح مرتبطة بالمهام بشكل كبير، فإن أنماط الفشل تشترك في هيكل هندسي جوهري عبر المهام المختلفة.
3. التعميم القابل للتركيب والتشغيل: تم التحقق من صحة COAST عبر ثلاث عائلات بنيوية متميزة للسياسات (VLAs القائمة على مطابقة التدفق، وVLAs ذات التوليد الذاتي، وسياسة الانتشار/Diffusion Policy) وثلاثة اختبارات محاكاة تزداد تعقيدًا (MetaWorld، LIBERO-10، RoboCasa)، بالإضافة إلى النشر على روبوت حقيقي على منصة DROID. يثبت المنهج أن الهيكل الهندسي الذي يستغله ليس خاصًا ببنية واحدة أو بيئة معينة.

النتائج التجريبية

يقيم البحث COAST مقابل الخطوط المرجعية غير الموجهة، والضبط الدقيق الخاضع للإشراف (SFT)، وإضافة التنشيط التباينية (CAA)، وتوجيه المشفّر التلقائي المتناثر (SAE).

• مكاسب الأداء: في جميع أزواج النماذج والاختبارات، يحقق COAST تحسينات ذات دلالة إحصائية.
  • MetaWorld ML45: ارتفع متوسط معدل النجاح لـ $\pi0.5$ من 0.57 إلى 0.82 (+25%) مع التوجيه التبايني لكل خطوة.
  • LIBERO-10: ارتفع متوسط معدل النجاح لـ $\pi0.5$ من 0.43 إلى 0.80 (+37%).
  • RoboCasa: لوحظت مكاسب كبيرة عبر النماذج، حيث وصل $\pi0.5$ إلى 0.56 ووصل GR00T N1.5 إلى 0.75.
  • العالم الحقيقي: على منصة DROID، حقق $\pi0.5$ مع COAST تحسنًا متوسطًا بنسبة 40% في معدلات النجاح في مهام مثل "فتح الدرج" و"إغلاق الميكروويف"، حتى بدون ضبط دقيق على العروض التوضيحية.
• المقارنة: يتفوق COAST باستمرار على CAA وتوجيه SAE، اللذين يقتصران على طبيعتهما أحادية الاتجاه أو القائمة على الميزات. كما يتفوق على SFT، الذي غالبًا ما يعاني من الإفراط في التجهيز (overfitting) عند التدريب على العدد الصغير من عمليات التشغيل (15) المستخدمة لضبط مفهوم COAST.
• نقل المهام: نظرًا للهندسة المشتركة لأنماط الفشل، يمكن للمفاهيم التي تم ضبطها على مهمة واحدة أن تحسن الأداء في مهمة أخرى ضمن نفس الاختبار دون إعادة الضبط، بشرما كانت الفضاءات الجزئية للفشل تتداخل.

الأهمية والادعاءات

يدعي البحث أن نماذج VLA الحالية تحتفظ بمعرفة كبيرة ذات صلة بالمهمة في تمثيلاتها الكامنة، لكن عائق فك تشفير خبير الأفعال يمنع الاستخدام الكامل لهذه المعلومات. يوفر COAST مؤثرًا هندسيًا ذا شكل مغلق لإظهار هذه القدرة الكامنة دون إعادة تدريب.

يؤكد المؤلفون أن الهيكل الهندسي الذي يسمح بالتوجيه — وتحديدًا الفضاءات الجزئية منخفضة الرتبة مع اتجاهات النجاح والفشل القابلة للفصل تباينيًا — هو خاصية عامة لكيفية ترميز الشبكات العصبية للمعلومات ذات الصلة بالمهمة، وهي خاصية مستمرة عبر سياسات مطابقة التدفق، والتوليد الذاتي، والانتشار. ويخلصون إلى أن إخفاقات تنفيذ VLA يمكن التخفيف منها عن طريق توجيه النموذج نحو توزيعات "النجاح" الخاصة به، مما يوفر مسارًا قابلاً للتوسع والفعالية لإطلاق القدرات الكامنة في الذكاء الاصط์ناعي المجسد (Embodied AI).

كما يسلط العمل الضوء على اعتبار متعلق بالسلامة: بما أن التوجيه يعمل على التنشيطات الداخلية، فمن الصعب تمييز السياسة الموجهة عن غير المعدلة بناءً على آثار الأفعال وحدها. يوصي المؤلفون بتسجيل المفاهيم المطبقة كجزء من مواصفات السياسة لضمان الشفافية.