💻 computer science

Observing and Controlling Features in Vision-Language-Action Models

تسد هذه الورقة البحثية الفجوة في التفسير الآلي لنماذج الرؤية واللغة والعمل (VLAs) من خلال تقديم مفاهيم قابلية ملاحظة الميزات وقابلية التحكم في الميزات، مما يثبت أن التدخلات الخطية خفيفة الوزن يمكنها توجيه سلوك الروبوت بفعالية في الوقت الفعلي عبر بنيات مختلفة دون الحاجة إلى الضبط الدقيق.

المؤلفون الأصليون: Hugo Buurmeijer, Carmen Amo Alonso, Aiden Swann, Marco Pavone

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hugo Buurmeijer, Carmen Amo Alonso, Aiden Swann, Marco Pavone

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً آلياً (روبوت) موهوباً جداً وذكياً للغاية. يمكن لهذا الروبوت أن ينظر إلى مطبخ فوضوي، ويستمع إلى صوتك، ويقرر بالضبط كيف يحرك ذراعيه لطهي وجبة ما. هذا هو نموذج الرؤية واللغة والعمل (VLA). إنه يشبه عقلاً يرى، ويفكر، ويتحرك في آن واحد.

لكن المشكلة تكم-ن: أحياناً، يصبح هذا الطباخ الآلي مبدعاً أكثر من اللازم. فمثلاً، قد تطلب منه "تحريك الحساء بلطف"، لكنه قد يتسبب بالخطأ في تناثر صلصة الطماطم على الجدار. أو قد يقرر الإمساك بسكين بينما كنت تريد منه فقط التقاط ملعقة.

في الماضي، إذا أردت إصلاح هذا الأمر، كان عليك إرسال الروبوت للعودة إلى المدرسة (إعادة تدريبه). وهذا يستغك وقتاً طويلاً ويكلف الكثير من المال.

تقدم هذه الورقة البحثية طريقة ذكية لـ "توجيه" الروبوت في الوقت الفعلي، دون إرساله إلى المدرسة مجدداً. فكر في الأمر كأنك تعطي الروبوت جهاز تحكم عن بعد لأفكاره الخاصة.

الفكرة الجوهرية: "مترجم الأفكار" و"الدفعة اللطيفة"

أدرك المؤلفون أنه داخل عقل الروبوت، توجد "أفكار" أو سمات (features) محددة تقابل أفعالاً فيزيائية. على سبيل المثال، هناك نمط معين من النشاط الكهربائي يعني "افتح القابض"، ونمط آخر يعني "ارفع الذراع للأعلى".

لقد اقترحوا أداتين لإدارة هذه الأفكار:

1. مترجم الأفكار (قابلية رصد السمات - Feature-Observability)

تخيل أن عقل الروبوت عبارة عن مكتبة ضخمة وفوضوية حيث الكتب مكتوبة بشفرة سرية. لا يمكنك قراءة الشفرة، لذا لا تعرف بماذا يفكر الروبوت.

المترجم يشبه خاتم فك الشفرات السحري. ينظر إلى الشفرة السرية داخل عقل الروبوت ويخبرك فوراً: "آه، الروبوت الآن يفكر في إغلاق يده".

كيف يعمل: لقد بنوا أداة رياضية بسيطة وخفيفة الوزن (مصنف خطي) تعمل كأداة فك التشفير هذه. هي لا تحتاج لفهم الكتاب بأكمله؛ بل تحتاج فقط لرصد النمط المحدد الذي يعني "أغلق اليد".

2. الدفعة اللطيفة (قابلية التحكم في السمات - Feature-Controllability)

بمجرد أن يخبرك المترجم: "الروبوت يفكر في إغلاق يده"، ولكنك تريد منه في الواقع أن يبقى يده مفتوحة، فأنت بحاجة لتغيير رأيه.

في الماضي، ربما حاول الناس الصراخ في وجه الروبوت أو إعادة كتابة شخصيته بالكامل (إعادة التدريب). تقترح هذه الورقة دفعة لطيفة.

التشبيه: تخيل أن أفكار الروبوت تشبه قارباً يطفو على نهر. القارب ينجرف نحو شلال (إغلاق اليد). بدلاً من بناء قارب جديد أو سحب النهر بأكمله، أنت فقط تعطي القارب دفعة صغيرة ودقيقة بمجداف لتوجيهه عائداً إلى الشاطئ الآمن.
السحر: اكتشف المؤلفون الاتجاه الرياضي الدقيق لدفع أفكار الروبوت الداخلية بحيث يغير رأيه، ولكن بالقدر الضئيل الضروري فقط. هذا يضمن ألا يصاب الروبوت بالارتباك أو ينسى كيفية طهي الحساء؛ بل يغير ذلك القرار المحدد فحسب.

لماذا يعد هذا أمراً هاماً؟

1. إنه فوري (لا يتطلب إعادة تدريب)
عادةً، إذا أردت من الروبوت أن يتصرف بشكل مختلف، يتعين عليك تغذيته بآلاف الأمثلة الجديدة والانتظار لأيام ليتعلم. هذه الطريقة تشبه قلب مفتاح التشغيل. يمكنك إخبار الروبوت: "لا تسرع أكثر من 5 أميال في الساعة"، وسيقوم النظام فوراً بتعديل أفكار الروبوت الداخلية للاستجابة، وذلك أثناء حركته.

2. يحافظ على حركة الروبوت "طبيعية"
إذا أجبرت روبوتاً على فعل شيء ما، فغالباً ما يبدأ في التحرك مثل الروبوتات—بحركات متقطعة وغريبة. ولأن هذه الطريقة تستخدم دفعة صغيرة ودقيقة جداً، فإن حركات الروبوت تظل سلسة وطبيعية. إنه الفرق بين دمية يتم شدها بالخيوط وبين راقص يتم توجيهه بلطف من قبل شريكه.

3. يعمل في العالم الحقيقي
معظم حيل "قراءة العقل" هذه تم اختبارها على نماذج نصية (مثل روبوتات الدردشة) التي تكتب الكلمات فقط. لكن الروبوتات تعيش في عالمنا الحقيقي حيث يمكن لحركة واحدة خاطئة أن تكسر مزهرية. أثبت المؤلفون أن هذه الطريقة تعمل على روبوتات حقيقية في بيئة المحاكاة. وبالرغم من أن أفعال الروبوت تغير العالم من حوله (مما يغير ما يراه لاحقاً)، إلا أن طريقة التوجيه هذه تظل مستقرة وموثوقة.

النتائج: روبوت يستمع

اختبر الفريق هذه الطريقة على نموذجين متقدمين من الروبوتات (OpenVLA و $\pi0.5$ ). إليك ما استطاعوا فعله:

القابض (The Gripper): استطاعوا إجبار الروبوت على إبقاء يده مفتوحة أو مغلقة، حتى لو كانت التعليمات الأصلية غامضة.
الارتفاع: استطاعوا إخبار الروبوت: "أبقِ ذراعك تحت مستوى الطاولة"، وسيطيع ذلك بامتثال تام.
السرعة: استطاعوا إخبار الروبوت: "تمهل"، وسيقوم بخفض سرعته بلطف دون تعثر.

الخلا Cos (الخلاصة)

هذه الورقة البحثية تشبه إعطاءنا مقبض تحكم في الصوت وعجلة قيادة لعقول الروبوتات. بدلاً من بناء روبوت جديد لكل قاعدة جديدة، يمكننا الآن تعديل الأفكار الداخلية للروبوت بلطف وفي الوقت الفعلي لجعلها أكثر أماناً، وأكثر طاعة، وأكثر توافقاً مع ما يريده البشر بالفعل.

إنها تحول "الصندوق الأسود" للذكاء الاصطناعي إلى شيء يمكننا إلقاء نظرة بداخله، وفهمه، وتوجيهه بلطف—مما يجعل الروبوتات شركاء أكثر موثوقية في حياتنا اليومية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "مراقبة والتحكم في الميزات في نماذج الرؤية واللغة والأفعال (VLA)".

1. بيان المشكلة

تمثل نماذج الرؤية واللغة والأفعال (VLA) تقدماً كبيراً في الذكاء المتجسد، حيث تمكن الروبوتات من تفسير المدخلات متعددة الوسائط (الصور، اللغة، الإدراك الحسي العميق) وتوليد أفعال معقدة. ومع ذلك، تعاني هذه النماذج، مثلها مثل النماذج اللغوية الكبيرة (LLMs)، من عدم القدرة على التنبؤ، وصعوبة التصحيح في الوقت الفعلي، وعدم التوافق مع تفضيلات المستخدم أو قيود السلامة.

بينما تم تطبيق "توجيه التنشيط" (التدخل في التمثيلات الداخلية لتوجيه المخرجات) بنجاح على النماذج اللغوية الكبيرة، فإن نقل هذه الأساليب إلى نماذج (VLA) ليس بالأمر الهين بسبب:

التعقيد متعدد الوسائط: تعالج نماذج (VLA) مدخلات متنوعة وتنتج مخرجات حركية مستمرة.
البنى الهجينة: تجمع العديد من نماذج (VLA) بين هياكل المحولات (Transformer backbones) مع رؤوس الانتشار (Diffusion) أو مطابقة التدفق (Flow-matching).
ديناميكيات الحلقة المغلقة: على عكس النماذج اللغوية الكبيرة (توليد النصوص مفتوح الحلقة)، تعمل نماذج (VLA) في حلقات مغلقة حيث تغير الأفعال البيئة الفيزيائية مباشرة، والتي تعود بعد ذلك كمدخلات جديدة.
الحفاظ على الطبيعية: غالباً ما تؤدي التدخلات الحالية إلى إضعاف سلوك النموذج "الطبيعي" أو أداء الحلقة المغلقة.

التحدي الجوهري هو مراقبة وتوجيه ميزات سلوكية محددة (مثل سرعة الروبوت، حالة القابض) ضمن فضاء التمثيل الداخلي لنموذج (VLA) دون إعادة ضبط النموذج (Fine-tuning)، مع الحفاظ على المرونة التوليدية للنموذج وسلامته.

2. المنهجية

يقترح المؤلفون إطار عمل موحداً قائماً على مفاهيم نظرية التحكم: قابلية ملاحظة الميزات (Feature-Observability) وقابلية التحكم في الميزات (Feature-Controllability). ويثبتون أن هذه الميزات مشفرة خطياً في طبقات المحول (Transformer layers) لنماذج (VLA) ويمكن التلاعب بها عبر تدخلات خطية خفيفة الوزن.

أ. قابلية ملاحظة الميزات (المراقب)

يفترض المؤلفون أن حالات وأفعال الروبوت قابلة للفصل خطياً داخل فضاء التمثيل الكامن للمحول ( $x_\ell$ ).

الآلية: يتم تدريب مصنف خطي (مراقب) $f_\ell(x) = W_\ell x + b_\ell$ لربط تمثيلات طبقات المحول بميزات محددة $\zeta$ (مثل فتحة القابض، موقع النهاية الطرفية).
التدريب: يتم تدريب المراقب خارج الإنترنت (offline) باستخدام مجموعة بيانات مصنفة (تسلسلات مدخلات مقترنة بحالات/أفعال حقيقية) عبر خسارة الإنتروبيا المتقاطعة (Cross-entropy loss). هذه مهمة انحدار للقيم المستمرة وتصنيف ثنائي للحالات المنفصلة.
المتانة: تتحقق الورقة من أن هذه المجسات الخطية (Linear probes) متينة تجاه الاضطرابات الصغيرة في فضاء التمثيل.

ب. قابلية التحكم في الميزات (المتحكم)

بمجرد أن تصبح الميزة قابلة للملاحظة، يصمم المؤلفون آلية لتوجيهها نحو منطقة مرغوبة $D$ (مثل إبقاء القابض مفتوحاً).

الآلية: يطبق متحكم خطي $g_\ell(x)$ اضطراباً إضافياً أدنى $u_\ell$ على التمثيل: $\tilde{x}_\ell = x_\ell + u_\ell$ .
التحسين: يتم حساب الاضطراب $u_\ell$ كحل لمشكلة تحسين مقيدة: تقليل معيار $L_2$ للاضطراب ( $\|u\|_2^2$ ) مع مراعاة القيد بأن تقع الميزة الملحوظة ضمن الحدود المرغوبة ( $f_\ell(x + u) \in D$ ).
الحل الصريح (Closed-Form Solution): بافتراض مراقب خطي ومنطقة هدف ذات بُعد واحد، يتم اشتقاق الاضطراب الأمثل بشكل صريح:
$u_\ell = \begin{cases} (\zeta_{max} - \zeta_\ell) \frac{W_\ell}{\|W_\ell\|^2} & \text{إذا كان } \zeta_\ell > \zeta_{max} \\ (\zeta_{min} - \zeta_\ell) \frac{W_\ell}{\|W_\ell\|^2} & \text{إذا كان } \zeta_\ell < \zeta_{min} \\ 0 & \text{خلاف ذلك} \end{cases}$
حيث $\zeta_\ell$ هو الملاحظ الحالي. وهذا يضمن أن التدخل هو "أصغر" تغيير ممكن لتحقيق الهدف.

ج. التكامل عبر الإنترنت (Online Integration)

يدمج إطار العمل المراقب والمتحكم في مسار الاستدلال. أثناء التمرير الأمامي (Forward pass) للمحول:

حساب تمثيل الطبقة $x_\ell$ .
إذا تم اختيار الطبقة للتحكم، يتم حساب الملاحظة $\zeta_\ell$ .
إذا انتهكت $\zeta_\ell$ القيود، يتم حساب وتطبيق الحد الأدنى من الاضطراب $u_\ell$ .
تمرير التمثيل المعدل إلى الطبقات اللاحقة.
تضيف هذه العملية حملاً حسابياً ضئيلاً جداً، مما يسمح بالتشغيل في الوقت الفعلي دون الحاجة لإعادة التدريب.

3. المساهمات الرئيسية

صياغة المفاهيم: تقديم وصياغة مفاهيم قابلية ملاحظة الميزات وقابلية التحكم في الميزات للنماذج التوليدية، مما يربط بين التفسير الآلي والذكاء الاصطناعي المتجسد.
تصميم المراقب الخطي: اقتراح مجس خطي خفيف الوزن لاستخراج حالات وأفعال الروبوت من طبقات المحول، والتحقق من صحة "فرضية التمثيل الخطي" في نماذج (VLA).
المتحكم الخطي الأدنى: تصميم تدخل تحكم أمثل يوجه التمثيلات إلى المناطق المرغوبة بأقل قدر من الاضطراب، مما يحافظ على طبيعية سلوك النموذج.
خوارزمية الحلقة المغلقة: تطوير خوارزمية تعمل عبر الإنترنت تدمج الملاحظة والتحكم أثناء الاستدلال، مما يثبت الفعالية في مهام الروبوت ذات الحلقة المغلقة دون الحاجة لضبط دقيق.
التحقق التجريبي: التحقق من إطار العمل عبر بنيتين مختلفتين من نماذج (VLA) (OpenVLA و $\pi0.5$ ) ومجموعات بيانات متعددة (BridgeData V2، Libero).

4. النتائج

أُجريت التجارب على مهام المناولة الروبوتية (محاكي Libero) وبيانات من العالم الحقيقي.

قابلية الملاحظة: نجحت المصنفات الخطية في استخراج حالات الروبوت (الموقع، الاتجاه، القابض) والأفعال من طبقات المحول بدقة عالية. كانت الملاحظات متينة تجاه الاضطرابات.
قابلية التحكم والتوجيه:
- التحكم في القابض: حققت الطريقة استيفاءً شبه مثالي للقيود (إبقاء القابض مفتوحاً/مغلقاً) مع الحفاظ على معدل نجاح للمهمة يزيد عن 90%، وهو ما يتفوق بشكل كبير على الأساليب المرجعية القائمة على التلقين (Prompting) أو عدم التدخل.
- ارتفاع النهاية الطرفية: نجح النظام في تقييد ارتفاع الروبوت بالنسبة للظروف الأولية. وبينما انخفض نجاح المهمة قليلاً بسبب زيادة صعوبة المهمة المقيدة، إلا أن التوجيه كان دقيقاً.
- التحكم في السرعة: استطاعت الطريقة إبطاء الروبوت بشكل موثوق. أما تسريع السرعة فكان أقل دقة، ويرجع ذلك على الأرجية إلى ندرة البيانات في أنظمة السرعة العالية في بيانات التدريب.
حساسية الطبقة: كانت التدخلات أكثر فعالية في طبقات المحول المبكرة. تطلبت الطبقات الأعمق اضطرابات أكبر لتحقيق نفس التأثير بسبب زيادة مقدار ( $L_2$ norm) التمثيلات في الطبقات الأعمقة.
أداء الحلقة المغلقة: من المهم ملاحظة أن الطريقة حافظت على معدلات نجاح عالية للمهام في إعدادات الحلقة المغلقة، مما يثبت أن تقنيات التوجيه مفتوحة الحلقة يمكن نقلها إلى الأنظمة التفاعلية المتجسدة.

5. الأهمية والأثر

المواءمة في الوقت الفعلي: يتيح إطار العمل المواءمة في الوقت الفعلي لسلوك الروبوت مع تفضيلات المستخدم (مثل قيود السلامة، حدود السرعة) دون التكلفة الحسابية للضبط الدقيق أو إعادة التدريب.
القابلية للتفسير: يوفر طريقة منهجية لفهم كيف تقوم نماذج (VLA) بتشفير الميزات السلوكية، والانتقال من النماذج "الصندوق الأسود" إلى أنظمة ذات هياكل داخلية قابلة للتفسير.
السلامة والموثوقية: من خلال السماح بالتوجيه الدقيق للميزات منخفضة المستوى (مثل إيقاف القابض أو إبطاء السرعة)، يعالج هذا النهج مخاوف السلامة الحرجة عند نشر الروبوتات في بيئات غير منظمة.
القدرة على التعميم: النهج مستقل عن بنية المحول (Architecture-agnostic)، حيث يعمل على كل من نماذج المحول الصرفة (OpenVLA) ونماذج المحول-مطابقة التدفق الهجينة ( $\pi0.5$ ).

القصور والعمل المستقبلي:
يعتمد النهج الحالي على البيانات المصنفة لتدريب المراقبين. يهدف العمل المستقبلي إلى استكشاف اكتشاف الميزات ذاتي الإشراف (مثل المشفرات التلقائية المتفرقة - Sparse Autoencoders)، وتوسيع التحكم ليشمل رؤوس الانتشار/مطابقة التدفق، واستقصاء قابلية ملاحظة الميزات الدلالية الأعلى مستوى (الأهداف، إمكانات الأشياء). بالإضافة إلى ذلك، لا يزال وضع حدود سلامة رسمية لهذه التدخلات تحدياً مفتوحاً.