ملخص تقني: الإجراء مع الأوليات المرئية (AVP)

بيان المشكلة

تعتمد بنيات الرؤية-اللغة-الإجراء (VLA) الحالية عادةً على ربط التعليمات اللغية والملاحظات المرئية بإجراءات الروبوت في تمريرة أمامية واحدة. ورغم بساطة هذا التصميم من الناحية المفاهيمية، إلا أنه يدمج بين فهم التعليمات، وفهم المشهد المكاني، والتحكم الحركي ضمن هدف تعلم واحد. ونتيجة لذلك، يُجبر "خبير الإجراء" (المكون المسؤول عن توليد الأوامر الحركية) على إعادة تعلم القدرات المعرفية والإدراكية ضمنيًا، وهي قدرات موجودة بالفعل في نموذج الرؤية واللغة (VLM) مسبق التدريب. هذا الاقتران يحد من كفاءة التعلم والقدرة على التعميم، لا سيًا عند تغير الأجسام أو التخطيطات أو البيئات وقت الاختبار.

تواجه المحاولات الحالية لمعالجة ذلك عبر تمثيلات وسيطة مقايضات محددة:

• النهج المرتكز على التخطيط (مثل $\pi0.5$): يستخدم مهام فرعية لغوية، لكنه يعاني في التمييز المكاني الدقيق في المشاهد الكثيفة.
• نماذج العالم-الإجراء (مثل $\pi0.7$): تستخدم إطارات مستقبلية متوقعة، مما يتطلب من خبير الإجراء إعادة اكتشاف البكسلات ذات الصلة بالمهمة.
• طرق التلقين المرئي (مثل Point-VLA و VP-VLA): تعتمد على نماذج خارجية (مثل SAM أو Grounding DINO) لتوليد علامات مكانية. وهذا يخلق مسارات متعددة المراحل تؤدي إلى زيادة زمن الاستجابة أثناء الاستدلال وتزيد من مخاطر انتقال الخطأ من إخفاقات التحديد الموضعي في المراحل السابقة.

المنهجية: بنية AVP

يقترح المؤلفون AVP (الإجراء مع الأوليات المرئية)، وهو بنية VLA شاملة (end-to-end) تعيد تعريف الواجهة بين نموذج VLM وخبير الإجراء. فبدلاً من وجود حدود ضمنية وغير منظمة، يستخدم AVP بروتوكول اتصال متمحور حول الأوليات المرئية.

المكونات الأساسية

1. نموذج VLM مسبق التدريب ومفكك تشفير تلقائي الترتيب (Autoregressive Decoder): يقوم الـ VLM بتحليل المهمة الفرعية الحالية بناءً على تعليمات لغوية ($l$) وملاحظات متعددة الزوايا ($o_t$). ثم يتنبأ مفكك التشفير تلقائي الترتيب بـ أولية مرئية ($p_t$) مجزأة تمثل الهدف للمرحلة التالية (على سبيل المثال: نقطة، أو إطار محيطي، أو مسار).
2. الإسقاط إلى الفضاء المرئي: يتم إسقاط الأولية المتنبأ بها من الفضاء اللغوي إلى فضاء الرموز المرئية ($z^{vp}_t$). وتُوضع هذه الرموز فوق الملاحظة الأصلية لإنشاء تمثيل متعدد الوسائط مُعزز ($z^{aug}_t$).
3. خبير الإجراء القائم على مطابقة التدفق (Flow-Matching Action Expert): يتلقى خبير الإجراء الرموز المُعززة وحالة الروبوت ($s_t$) للتنبؤ بأفق من الإجراءات المستقبلية ($a_{t:t+h}$).

التدريب والإشراف

• التحسين الشامل (End-to-End Optimization): على عكس النهج المتسلسل، يستوعب AVP واجهة الأوليات المرئية داخليًا؛ حيث يتم تحسين توليد الأولية والتنبؤ بالإجراء بشكل مشترك.
• مصدر الإشراف: يتم الإشراف على مفكك تشفير الأوليات المرئية باستخدام فقدان إضافي ($L_{vp}$). والأهم من ذلك، أن الأوليات المرئية الحقيقية ($y^{vp}_t$) تُستمد مباشرة من كينماتيكا النهاية الطرفية (proprioception الروبوت)، مما يلغي الحاجة إلى التوسيم اليدوي أو نماذج الإدراك الخارجية.
• الهدف: الإجمالي هو مجموع أوزان خسارة التنبؤ بالإجراء وخسارة الإشراف على الأولية: $L = L_{act} + \lambda L_{vp}$.

المساهمات الرئيسية

1. إعادة تصور تقسيم المسؤوليات: يقترح البحث تقسيمًا واضحًا للعمل، حيث يقوم الـ VLM بالتفكير في ماذا يجب أن يفعل وأين (عبر الأوليات المرئية)، بينما يركز خبير الإجراء فقط على كيفية التنفيذ.
2. الأوليات المرئية كواجهة صريحة: يقدم AVP رموزًا مثبتة مكانيًا يتم إنتاجها داخليًا بواسطة الـ VLM كوسيط اتصال، مستبدلةً الحدود الضمنية لنماذج VLA الحالية.
3. التنفيذ الشامل (End-to-End): ينفذ النظام هذه الواجهة دون الحاجة لمكتشفات أو مقسمات خارجية، باستخدام إشراف مستمد من الكينماتيكا لتدريب مولد الأوليات.
4. القابلية للتوسع: توفر الطريقة مسارًا للتوسع عبر بيانات تدريب منخفضة التكلفة (توفر الكينماتيكا تسميات تلقائية) وشكل مدمج يمكن توسيعه بسهولة للمهام التي تتطلب ذاكرة أو آفاق زمنية طويلة.

النتائج التجريبية

قيم المؤلفون AVP على منصة AgileX Piper ثنائية الأذرع عبر ثلاث مهام واقعية: التلاعب بالشطرنج الصيني، وضع قطع الدومينو، ونقل الأشياء العام.

• الأداء مقابل خط الأساس: مقارنة بخط الأساس $\pi0.5$، حقق AVP تحسنًا إجماليًا بنسبة 27.61% في معدل نجاح التلاعب عبر المهام.
  • الشطرنج الصيني: حسن متوسط معدل النجاح من 62.67% ($\pi0.5$) إلى 90.28% (AVP).
  • وضع الدومينو: حسن متوسط معدل النجاح من 81.94% إلى 88.19%، مع مكاسب ملحوظة في نجاح التوجيه.
  • النقل العام (Pick-and-Place): حسن متوسط معدل النجاح من 64.96% إلى 86.18%.
• التعميم:
  • التعميم التركيبي المكاني: في الانتقالات المباشرة غير المرئية (A $\to$ B) التي لم تظهر أثناء التدريب (الذي أظهر فقط A $\to$ C $\to$ B)، فشل $\pi0.5$ تمامًا (0% نجاح)، بينما حقق AVP معدلات نجاح عالية (على سبيل المثال، 100% في الانتقالات المباشرة للوحة الشطرنج).
  • نقل الأجسام بدون تدريب مسبق (Zero-Shot): نجح نموذج تم تدريبه فقط على بيانات الشطرنج الصيني في التعميم على أجسام وخلفيات غير مرئية في إعداد Zero-shot، بينما تراجع خط الأساس بشكل كبير تحت تأثير تغير التوزيع.
• الكفاءة: أظهر AVP زمن استجابة أقل (0.27 ثانية) مقارنة بالطرق التي تعتمد على واجهات برمجة تطبيقات LLM الخارجية (مثل متغيرات Point-VLA التي تستغًا حوالي 37 ثانية).

الأهمية والادعاءات

يزعم البحث أن AVP يثبت فعالية فصل استدلال الهدف عن تنفيذ الحركة. ومن خلال نقل التفكير المكاني المعقد إلى الـ VLM وتزويد خبير الإجراء بتعليمات صريحة مثبتة بصريًا، يحقق النظام:

• كفاءة أفضل في البيانات: يكون التعلم أكثر كفاءة لأن خبير الإجراء لا يحتاج لإعادة تعلم الربط المكاني.
• تعزيز التعميم: تسمت الواجهة المرئية الصريحة السياسة من إعادة دمج أنماط الحركة المتعلمة لانتقالات وأجسام جديدة.
• تقليل عبء التوسيم: الاعتماد على الكينماتيكا للإشراف على الأوليات يتجنب تكلفة وهشاشة التوسيم البشري أو التبعية للمكتشفات الخارجية.

يقر المؤلفون بوجود قيود، مشيرين إلى أن الاستدلال المتسلسل ذو المرحلتين (التنبؤ بالأولية يليه توليد الإجراء) يؤدي إلى زمن استجافة أعلى قليلاً من السياسات ذات التمريرة الواحدة، كما يظل النظام حساسًا لمعايرة العين واليد الدقيقة. ومع ذلك، تشير النتائج إلى أن الأوليات المرئية تعمل كواجهة قوية وقابلة للتوسع للتحكم الروبوتي العام.