💻 computer science

Think Proprioceptively: Embodied Visual Reasoning for VLA Manipulation

تقدم الورقة البحثية ThinkProprio، وهي طريقة تحول الحالة الحسية العميقة إلى رموز نصية للدمج المبكر مع تعليمات المهام في نماذج الرؤية واللغة والأفعال (Vision-Language-Action models)، مما يتيح للحالة المتجسدة توجيه الاستنتاج البصري واختيار الرموز مع تحقيق أداء يضاهي أو يتفوق على النماذج المرجعية القوية مع تقليل زمن انتقال الاستدلال بنسبة تزيد عن 50%.

المؤلفون الأصليون: Fangyuan Wang, Peng Zhou, Jiaming Qi, Shipeng Lyu, David Navarro-Alarcon, Guodong Guo

نُشر 2026-02-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fangyuan Wang, Peng Zhou, Jiaming Qi, Shipeng Lyu, David Navarro-Alarcon, Guodong Guo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية طهي وجبة معقدة. أنت تعطيه وصفة (التعليمات) وهو ينظر إلى سطح المطبخ (الرؤية). لكن هنا تكمن المشكلة، فمعظم عقول الروبوتات الحالية تتجاهل كيفية وضعية أذرعها، أو مدى قوة قبضتها، أو ما إذا كانت مفاصلها متعبة. هي فقط تنظر إلى الصورة وتقرأ النص، ثم تخمن ما يجب فعله.

تقدم ورقة بحثية بعنوان "Think Proprioceptively" طريقة جديدة لتفكير الروبوت، تسمى ThinkProprio. وهي تجادل بأن الروبوت لكي يفهم مهمة ما حقاً، يحتاج إلى "الشعور" بجسده أثناء نظره إلى العالم، وليس فقط بعد أن يكون قد قرر بالفعل ما سيفعله.

إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. المشكلة: الضيف "المتأخر"

في معظم أنظمة الروبوتات، تُعامل بيانات جسم الروبوت (تسمى الإدراك الحسي العميق أو proprioception — مثل معرفة ما إذا كان كوعك مثنيًا أو أصابعك مفتوحة) كضيف يصل إلى الحفلة بعد أن بدأ الحديث الرئيسي بالفعل.

الطريقة القديمة: ينظر الروبوت إلى الصورة، يقرأ التعليمات، يضع خطة، ثم يسأل: "أوه، أين يداي الآن؟" هذا متأخر جداً. بحلول الوقت الذي يتحقق فيه من جسده، قد يكون قد اختار الشيء الخطأ أو تحرك بعيداً جداً.
النتيجة: الروبوت بطيء ويرتكب الأخطاء لأنه لا "يشعر" بالمهمة أثناء تفكيره فيها.

2. الحل: "تحويل الجسد إلى نص"

يغير ThinkProprio قواعد اللعبة عن طريق تحويل بيانات جسم الروبوت إلى رموز نصية (مثل الكلمات في جملة) في البداية تماماً.

التشبيه: تخيل أنك تقرأ قصة. عادةً، تقرأ الحبكة (التعليمات) وتنظر إلى الصور (الرؤية). يضيف ThinkProprio جملة جديدة إلى الصفحة الأولى من الكتاب تقول: "بطل القصة يرفع ذراعه حالياً، وقبضته محكمة".
لماذا يساعد هذا: الآن، بينما يقرأ الروبوت القصة وينظر إلى الصور، فإنه يعرف بالفعل حالته الفيزيائية. يمكنه استخدام هذه المعرفة ليقرر أي أجزاء من الصورة هي المهمة حقاً.

3. الخدعة السحرية: "الكشاف الذكي"

الابتكار الأكبر هو كيف يوفر هذا النظام الوقت. عادةً، ينظر الروبوت إلى كل بكسل في صورة الكاميرا، وهو أمر يشبه محاولة قراءة كل كلمة على لوحة إعلانية ضخمة أثناء القيادة على الطريق السريع؛ إنه أمر مرهق وبطيء.

يستخدم ThinkProprio "نص الجسم" و"نص التعليمات" ليعملا كـ كشاف ضوئي ذكي.

كيف يعمل: يسأل الروبوت نفسه: "بما أنني أمسك بأداة والتعليمات تقول 'اضغط على الزر'، فأي أجزاء من هذه الصورة تهم حقاً؟"
النتيجة: يتجاهل 85% من الصورة (الخلفية، الأرضية، السقف) ويحتفظ فقط بـ 15% من الصورة ذات الصلة بالمهمة (الزر والأداة).
الفائدة: الأمر يشبه الانتقال من قراءة مكتبة كاملة إلى قراءة الصفحة الوحلة التي تحتاجها فقط. هذا يجعل الروبوت أسرع بنسبة 58% ويستهلك ذاكرة كمبيوتر أقل بكثير، دون فقدان الدقة.

4. نظام "التصويت"

كيف يقرر الروبوت ما الذي يحتفظ به؟ يستخدم نظام "تصويت" ذكي.

تقوم التعليمات وبيانات الجسم بالتصويت على الأجزاء المهمة من الصورة.
إذا قالت التعليمات "التقط المكعب الأحمر" وكان يد الروبوت بالقرب من الطاولة، فإن "المكعب الأحمر" يحصل على صوت. أما الحائط الفارغ فلا يحصل على أي أصوات.
يحتفظ الروبوت بالفائزين ويرمي الباقي.

5. ماذا تظهر النتائج

اختبر المؤلفون هذا النظام في ساحتين شهيرتين لتدريب الروبوتات (CALVIN و LIBERO).

أداء أفضل: أصبح الروبوت أفضل في المهام الطويلة والمعقدة (مثل تكديس المكعبات أو فتح الأدراج) لأنه استطاع "التحسس" طريقه خلال الخطوات.
أسرع بكثير: نظرًا لأنه توقف عن النظر إلى الصورة بأكملها وركز فقط على الأجزاء المهمة، فقد اتخذ القرارات في 22 ميلي ثانية (مقارنة بـ 52 ميلي ثانية للنماذج الرائدة الأخرى).
الكفاءة: حقق هذه النتائج مع استخدام ذاكرة فيديو (VRAM) أقل بكثير.

الملخص

ThinkProprio يشبه منح الروبوت حاسة سادسة يمكنه استخدامها أثناء القراءة والنظر، بدلاً من الانتظار حتى النهاية. من خلال تحويل موضع جسده إلى "كلمات" واستخدام تلك الكلمات لتصفية الضجيج في رؤيته، يصبح الروبوت أسرع، وأذكى، وأكثر كفاءة في أداء المهام الفيزيائية. إنه يثبت أنه لكي يتحرك الروبوت بشكل جيد، يجب أن يفكر في كيفية حركته منذ اللحظة الأولى للفهم.

ملخص تقني: التفكير بالاستقبال الحسي العميق: الاستدلال البصري المتجسد للتحكم في الروبوتات (VLA)

بيان المشكلة

ظهرت نماذج الرؤية واللغة والأفعال (VLA) كنموذج قوي للتحكم العام في الروبوتات من خلال ترجمة الملاحظات البصرية والتعليمات باللغة الطبيعية إلى أفعال قابلة للتنفيذ. ومع ذلك، فإن خطوط معالجة VLA الحالية عادةً ما تُدخل إشارات الاستقبال الحسي العميق (حالة الروبوت، مثل زوايا المفاصل ووضعية طرف النهاية) في مرحلة متأخرة من مكدس المعالجة، أو تربطها بالرؤية بشكل ضعيف، أو تتجاهلها تماماً.

يمنع هذا التكامل المتأخر التجسد الفيزيائي للروبوت من تشكيل الفهم الأولي للمهمة أو التأثير على الرموز البصرية (tokens) التي يتم الانتباه إليها طوال عملية السياسة (policy). ونتيجة لذلك، يفشل النموذج في الاستفادة من الحالة المرتكزة فيزيائياً لتحديد عناصر المشهد ذات الصلة بالأفعال المرتكزة مكانياً. وبينما بدأت أعمال حديثة مثل $\pi^0$ و $\pi^{0.5}$ في دمج الاستقبال الحسي العميق في مرحلة مبكرة، لا يزال الدور الوظيفي للاستقبال الحسي العميق صعب العزل بسبب الخيارات التصميمية المقترنة المتعلقة بتجميع الرؤية واللغة وتكييف رأس الفعل (action-head).

المنهجية: ThinkProprio

يقترح المؤلفون ThinkProprio، وهو بنية مصممة لـ "التفكير بالاستقبال الحسي العميق" عبر معاملة الاستقبال الحسي العميق كنمط (modality) من الدرجة الأولى يشارك بفاعلية في الاستدلال البصري المبكر. المكونات الأساسية هي:

1. ترميز حالة الاستقبال الحسي العميق عبر ترميز النص (Text Tokenization)

على عكس الطرق التي تستخدم شبكات MLP متعلمة لإسقاط ناقلات الحالة المستمرة في فضاء تضمين الـ VLM (والتي قد تسبب عدم تطابق في التوزيع)، يقوم ThinkProprio بترميز قيم الاستقبال الحسي العميق المستمرة.

التقطيع (Discretization): يتم قص قيم الحالة المستمرة وتقسيمها إلى فئات منتظمة (bins).
الترميز (Tokenization): يتم ربط مؤشرات هذه الفئات بمعرفات رموز مفردات محددة من جدول تضمين الـ VLM المُدرب مسبقاً.
التكامل: يتم دمج رموز الاستقبال الحسي العميق الناتجة مع رموز التعليمات اللغوية عند مدخل الـ VLM. وهذا يسمح لحالة الروبوت بالمشاركة في نفس فضاء التضمين الخاص باللغة، مما يتيح تكييفاً بصرياً واعياً بالحالة دون الحاجة لطبقات إسقاط إضافية.

2. اختيار الرموز المرتكز على الفيزياء (Physically Grounded Token Selection)

يقدم ThinkProprio آلية لتوجيه اختيار الرموز البصرية بناءً على كل من تعليمات المهمة والحالة الحالية للاستقبال الحسي العميق للروبوت.

توليد الاستعلام (Query Generation): يتم دمج رموز التعليمات ( $H_l$ ) ورموز الاستقبال الحسي العميق ( $H_p$ ) لتشكيل رموز التوجيه ( $H_q$ ).
التسجيل (Scoring): تنتبه الرموز البصرية لرموز التوجيه هذه لتشكيل "استعلام مرتكز فيزيائياً". يتم حساب مصفوفة درجات عبر مطابقة الاستعلامات المعيارية مع الرموز البصرية المعيارية.
آلية الاختيار: يستخدم النظام اختياراً منفصلاً قائماً على التصويت مع مُقدر المرور المباشر (straight-through estimator - STE). يتم إضافة ضجيج Gumbel إلى الدرجات للسماح بالتدريب القابل للاشتقاق. الرموز التي تحصل على أصوات يتم الاحتفاظ بها، بينما يتم استبعاد الأخرى.
السياق العالمي (Global Context): لمنع فقدان معلومات المشهد العامة، يتم إلحاق رمز سياق عالمي (متوسط جميع الرموز البصرية) بالمجموعة المختارة.

3. البنية والتدريب

العمود الفقري (Backbone): تتم معالجة التسلسل الموجز من الرموز البصرية المختارة، والسياق العالمي، ورموز الاستقبال الحسي العميق، والرموز اللغوية بواسطة نموذج VLM مدرب مسبقاً.
رأس الفعل (Action Head): يعتمد رأس الفعل على الميزات المدمجة من الـ VLM عبر الانتباه المتقاطع (cross-attention).
الهدف (Objective): يتم تدريب رأس الفعل باستخدام مطابقة التدفق (flow matching) (وهو نهج قائم على الانتشار/diffusion) للتنبؤ بكتل الأفعال المستمرة. يقلل هدف التدريب من الخطأ بين حقل السرعة المتوقع والسرعة المستهدفة.

المساهمات الرئيسية

التحليل المنهجي لتصميم VLA: تقدم الورقة أول مقارنة منهجية لمحاور التصميم في نماذج VLA، حيث تفك الارتباط بين تجميع الرؤية واللغة، وآليات التكييف، ونقاط دخول/ترميز الاستقبال الحسي العميق.
الترميز النصي للاستقبال الحسي العميق: يثبت المؤلفون أن تقسيم الاستقبال الحسي العميق إلى رموز نصية وتغذيتها في مدخل الـ VLM أكثر فعالية من استخدام مساقط متعلمة أو آليات التكييف المتأخرة، حيث يستفيد ذلك من واجهة الرموز المُدربة مسبقاً للـ VLM.
اختيار الرموز المرتكز على الفيزياء: تُظهر طريقة ThinkProprio أن توجيه الاستعلام المشترك بين التعليمات والاستقبال الحسي العميق يمكن أن يوجه الحوسبة بفعالية نحو الأدلة الحرجة للفعل. يسمح هذا للنموذج بالاحتفاظ بنحو 15% فقط من الرموز البصرية مع مضاهاة أو تجاوز أداء النماذج التي تستخدم مجموعات الرموز الكاملة.
الكفاءة: من خلال تقليل عدد الرموز البصرية التي يعالجها الـ VLM ورأس الفعل، يقلل النهج بشكل كبير من التكاليف الحسابية.

النتائج التجريبية

تم تقييم الطريقة على معايير CALVIN (تقسيم ABC→D) و LIBERO، بالإضافة إلى مهام التلاعب في العالم الحقيقي.

أداء المهمة:
- CALVIN: حقق ThinkProprio متوسط طول سلسلة مكتملة قدره 4.55، متفوقاً على النماذج القوية مثل FLOWER (4.44) و $\pi^{0.5}$ (2.38). وأظهر مكاسب قوية بشكل خاص في المهام طويلة الأمد (LH-5)، حيث وصل إلى نسبة نجاح 82.1% مقارنة بـ 77.8% لـ FLOWER.
- LIBERO: حقق ThinkProprio متوسط معدل نجاح قدره 97.3%، وهو منافس لأفضل النماذج المرجعية (LightVLA بنسبة 97.4%) وحقق أعلى درجة في مجموعة LIBERO-Long بنسبة 95.2%.
الكفاءة الحسابية:
- زمن الاستجابة (Latency): قلل ThinkProprio زمن استجابة الاستدلال من النهاية إلى النهاية بنسبة 58% (من 52 مللي ثانية إلى 22 مللي ثانية على CALVIN) مقارنة بالنموذج المرجعي FLOWER.
- تقليل الرموز (Token Reduction): يعالج النموذج في المتوسط 15 رمزاً بصرياً فقط لكل خطوة زمنية (بدلاً من 100 رمز متاح)، مما يقلل بشكل كبير من طول التسلسل للـ VLM ورأس الفعل.
- ذاكرة الوصول العشوائي للفيديو (VRAM): تم تقليل ذروة استخدام VRAM إلى حوالي 1.9 جيجابايت، وهو انخفاض كبير مقارنة بـ OpenVLA (~14.5 جيجابايت).

الأهمية والادعاءات

تزعم الورقة أن ThinkProprio يعالج بنجاح القصور في نماذج VLA الحالية حيث يُعامل الاستقبال الحسي العميق كإشارة متأخرة. ومن خلال ترميز الاستقبال الحسي العميق ودمجه مبكراً مع التعليمات اللغوية، يمكن للنموذج تشكيل عملية الاستدلال البصري لإعطاء الأولوية للأدلة ذات الصلة بالتجسد.

يؤكد المؤلفون أن:

الاستقبال الحسي العميق يجب أن يُقدم صراحةً ويشارك بفاعلية أثناء فهم المهمة، وليس فقط في مرحلة توليد الفعل.
الترميز النصي للحالة المستمرة هو استراتيجية ترميز متفوقة مقارنة بالمساقط المتعلمة، حيث يتوافق مع تضمينات الرموز المُدربة مسبقاً ويسمح للحالة بالمشاركة في عملية الاستدلال للـ VLM.
التقليص الشديد للرموز البصرية أمر ممكن دون تدهور في الأداء إذا كان الاختيار موجهاً بكل من التعليمات وحالة الروبوت.
يوفر النهج أداءً قوياً في المهام طويلة الأمد مع تقليل زمن الاستج والاستهلاك في الذاكرة بشكل كبير، مما يجعله مساراً قابلاً للتطبيق للتحكم الفعال والمجسد في الروبوتات.

تخلص الورقة إلى أنه بينما توفر الصور العديد من إشارات الحالة الضمنية، فإن التكامل الصحيح للاستقبال الحسي العميق يوفر معلومات إضافية مرتكزة تعد بالغة الأهمية لعمليات التلاعب المعقدة، لا سيما في السيناريوهات طويلة الأمد التي تتطلب تصحيحات ممتدة وديناميكيات تلامس.