ملخص تقني: Premover – التحكم السريع عبر الرؤية واللغة والعمل من خلال العمل قبل اكتمال التعليمات

بيان المشكلة

تُقيّم سياسات الرؤية واللغة والعمل (VLA) الحالية عادةً بافتراض أن تعليمات المستخدم الكاملة متاحة قبل أن يبدأ الروبوت في الحوسبة. ومع ذلك، في حالات النشر في العالم الحقيقي، يحتاج المستخدمون إلى عدة ثوانٍ لكتابة أو نطق طلب ما. خلال فترة "البادئة المتدفقة" (streaming prefix) هذه، تظل سياسة VLA خاملة، مما يخلق فجوة زمنية كبيرة. في اختبارات مثل LIBERO، تشكل فترة إدخال المستخدم حوالي 39% من إجمالي وقت التفاعل (بمتوسط ~17.7 ثانية من وقت الخمول لكل حلقة).

تركز أبحاث الكفاءة الحالية على تقليل زمن استجابة الاستدلال بعد استلام التعليمات (على سبيل المثال، عبر بوابات الخروج المبكر أو تقليم الرموز/tokens). ولا تعالج هذه الطرق وقت الخمول أثناء إدخال المستخدم. التحدي الجوهي يكمن في استغلال هذه الفترة للحوسبة دون المساس بالسلامة أو النجاح: فالعمل في وقت مبكر جداً بناءً على تعليمات غير مكتملة ينطوي على خطر الالتزام بهدف خاطئ، بينما انتظار التعليمات الكاملة يُفقدنا ميزة تقليل زمن الاستجابة.

المنهجية: Premover

Premover هو وحدة خفيفة الوزن مصممة للعمل فوق هيكل VLA مجمد (تحديداً $\pi0.5$ في التجارب). وهي تحول فترة إدخال المستخدم الخاملة إلى حوسبة مفيدة من خلال تقديم مكونين مقترنين: خريطة التركيز (Focus Map) وبوابة جاهزية العمل (Action Readiness Gate).

1. خريطة التركيز للرؤية واللغة

التحدي الأول هو تحديد أين يجب الانتباه بناءً على تعليمات جزئية (مثل: "التقط الكاتشب..."،). غالباً ما تشتت هياكل VLA المجمدة، المدربة عبر محاكاة العمل، الانتباه عبر مناطق الخلفية بدلاً من تحديد مرجع النص الجزئي.

• الآلية: يقوم Premover بإرفاق رأسي إسقاط صغيرين وقابلين للتدريب (أحدهما لقطع الصور والآخر لرموز اللغة) بطبقة وسيطة من هيكل VLA المجمد. تقوم هذه الرؤوس بخرائط الحالات المخفية إلى مساحة كامنة مشتركة.
• الحوسبة: يقوم بحساب تشابه جيب التمام (cosine similarity) بين تضمينات قطع الصور ورموز اللغة المتدفقة الحالية. يولّد الحد الأقصى للتشابه عبر تسلسل الرموز درجة احتمالية لكل قطعة، مما يشكل خريطة تركيز (Focus Map).
• الإشراف: يتم الإشراف على هذه الخريطة باستخدام أقنعة تقسيم الكائن المستهدف المستخرجة من المحاكي عبر دالة فقدان (BCE) متوازنة الفئات.
• الحقن: لتوجيه الهيكل المجمد دون إعادة تدريبه، تُستخدم خريطة التركيز لإعادة وزن رموز الصورة لخطوة الاستدلال التالية ($t+1$). يعمل معامل مقياس الأرضية $\alpha$ على الدمج بين خريطة التركيز والوزن الموحد، مما يحافظ على سياق المشهد (مثل تجنب العوائق) مع تضخيم المناطق ذات الصلة بالتعليمات.

2. بوابة جاهزية العمل

التحدي الثاني هو تحديد متى تكون التعليمات الجزئية غنية بالمعلومات بما يكفي لاتخاذ إجراء.

• الآلية: يحسب النظام درجة جاهزية العمل ($r_t$) بناءً على تركيز خريطة التركيز. وهي تقيس الفرق بين متوسط احتمالية أعلى $K$ من القطع والمتوسط العام للاحتمالات. تشير الدرجة العالية إلى أن البادئة قد حددت هدفاً معيناً؛ بينما تشير الدرجة المنخفضة إلى تشتت الانتباه.
• منطق القرار: يعمل عتبة $\tau$ قابلة للتعلم كبوابة. لا تنفذ السياسة الإجراءات إلا عندما تكون $r_t \geq \tau$.
• الإشراف: يتم تدريب العتبة باستخدام تسمية ثنائية تشير إلى ما إذا كان الكائن المستهدف قد ظهر في البادئة الحالية. يتم تطبيق دالة فقد (BCE) ذات مقياس حراري لجعل القرار قابلاً للاشتقاق.

التدريب

يتم تدريب كلا المكونين بشكل مشترك في تمريرة أمامية واحدة. تظل معلمات الهيكل مجمدة؛ وتتدفق التدرجات فقط عبر رأسي الإسقاط وعتبة الجاهزية. يشكل هذا أقل من 1% من إجمالي معلمات الهيكل، مما يسمح بالتكيف بكفاءة دون إعادة تدريب واسعة النطاق.

المساهمات الرئيسية

1. إعادة صياغة وقت الخمول: يجادل البحث بأن فترة إدخال المستخدم هي مورد حوسبي يمكن استخدامه بدلاً من كونها وقتاً ضائعاً، مقترحاً نظاماً حيث تقوم السياسات بربط الانتباه البصري بالبادئات المتدفقة.
2. بنية خفيفة الوزن: يحقق Premover ذلك من خلال إضافة حد أدنى من المعلمات القابلة للتدريب (رأسي إسقاط وقيمة عددية واحدة) إلى هيكل VLA مجمد، مما يحافظ على الأوزان المدربة مسبقاً بدقة.
3. تصميم ثنائي المكونات: يفصل بوضوح بين مشكلة أين يجب التركيز (خريطة التركيز) وبين متى يجب العمل (بوابة الجاهزية)، معالجاً المقايضة بين التنفيذ المبكر والسلامة.
4. بروتوكول تقييم متدفق: قدم المؤلفون بروتوكول تقييم متدفق يحاكي وصول الرموز في الوقت الفعلي بالتزامن مع معدل كتابة قياسي (52.24 كلمة في الدقيقة)، مما يوفر مقياساً أكثر واقعية لزمن الاستجابة مقارنة بخطوط الأساس القياسية للنصوص الكاملة.

النتائج التجريبية

تم تقييم الطريقة على مجموعة LIBERO (Spatial, Object, Goal, LIBERO-10) و VLA-arena (مجموعات المستوى الأول) باستخدام هيكل $\pi0.5$.

• معدل النجاح: يطابق Premover معدل نجاح خط الأساس (النص الكامل) في LIBERO (95.1% مقابل 95.0%) ويتفوق بشكل كبير على "التحرك المسبق الساذج" (Naive Premoving) (الذي ينهار إلى 66.4%). وفي VLA-arena، يحافظ على 30.9% من النجاح مقارنة بـ 33.0% للنص الكامل، بينما ينخفض التحرك المسبق الساذج إلى 27.0%.
• تقليل زمن الاستجابة:
  • في LIBERO، يقلل Premover متوسط وقت العمل الفعلي (wall-clock time) من 34.0 ثانية إلى 29.4 ثانية (انخفاض بنسبة 13.6%).
  • في VLA-arena، يقلل وقت العمل الفعلي بنسبة 10.3% تقريباً.
• دراسات الاستئصال (Ablation Studies):
  • بوابة الجاهزية وحدها تستعيد 21.9 نقطة مئوية من معدل النجاح مقارنة بالتدفق الساذج، مما يثبت دورها الحاسم في منع العمل المبكر.
  • خريطة التركيز تضيف 6.7 نقطة مئوية إضافية، مما يحسن من تمييز المشتتات.
  • معامل الأرضية $\alpha$ قوي عبر مجموعة من القيم، حيث تم اختيار $\alpha=0.2$ كقيمة مثالية للموازنة بين تضخيم الهدف والاحتفاظ بسياق المشهد.

الأهمية والادعاءات

يزعم البحث أن Premover يمثل خطوة مهمة نحو تطبيقات VLA أكثر كفاءة واستجابة في العالم الحقيقي. تكمن أهميته الأساسية في إثبات أن:

1. وقت إدخال المستخدم هو مورد: يمكن تقليل زمن الاستجاء عن طريق إجراء الحوسبة أثناء فترة الكتابة بدلاً من الانتظار حتى الاكتمال.
2. التعديل خفيف الوزن كافٍ: لا يتطلب الأمر إعادة تدريب معقدة لتمكين الربط المبكر؛ إذ يمكن لوحدة صغيرة تعديل سياسة مجمدة للتعامل مع التعليمات المتدفقة بفعالية.
3. السلامة عبر البوابة: تسمح معايير الجاهزية المتعلمة للنظام بالعمل مبكراً دون مواجهة أنماط الفشل الكارثية المرتبطة بالتنفيذ المبكر الساذج.

يعترف المؤلفون بوجود قيود، مشيرين إلى أن الإشراف على خريطة التركيز يعتمد حالياً على أقنعة مستخرجة من المحاكي (غير متوفرة مباشرة في الروبوتات الحقيقية)، كما أن رؤوس الإسقاط يتم تدريبها لكل اختبار على حدة بدلاً من نقلها بصفر معرفة (zero-shot). ويُقترح كعمل مستقبلي معالجة الربط في الروبوتات الحقيقية عبر كواشف مفتوحة المفردات (open-vocabulary detectors) والتعامل مع ديناميكيات البادئة غير الرتيبة (مثل تعديلات المستخدم).