💻 computer science

ValueFormer: A Causal Transformer Value Function with Stage-Aware Labels for Semi-Autonomous Vision-Language-Action Policies

يعالج ValueFormer الفشل الصامت لسياسات الرؤية واللغة والعمل القائمة على التعلم بالتقليد من خلال تقديم محول سببي مدمج يولد تسميات قيمة كثيفة ومدركة للمراحل لكل إطار لتمكين الكشف الفعال عن الأخطاء عبر الإنترنت وتقدير الميزة، مما يحسن بشكل كبير معدلات إكمال المهام في مهام التلاعب بالروبوتات الحقيقية دون الحاجة إلى تعلم تعزيزي مكلف.

المؤلفون الأصليون: Inkyu Sa, Konstantin Stulov, Rajat Bhageria

نُشر 2026-08-05

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Inkyu Sa, Konstantin Stulov, Rajat Bhageria

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً تتعلم فيه الروبوتات القيام بالأعمال المنزلية ليس من خلال البرمجة بقواعد جامدة، بل من خلال مراقبة البشر وتقليدهم، تماماً مثل طفل صغير يتعلم ربط حذائه من خلال مراقبة والديه. هذا المجال يسمى الرؤية-اللغة-الفعل (VLA)، حيث يستخدم الروبوت "عينيه" (الكاميرات) و"دماغه" (نماذج اللغة) ليقرر ما سيفعله بعد ذلك. المشكلة الكبيرة في هذا النهج هي أن الروبوت غالباً ما يتعلم فقط من الأمثلة الناجحة. الأمر يشبه محاولة تعلم ركوب الدراجة من خلال مشاهدة فيديوهات لأشخاص لم يسقطوا أبداً. إذا بدأ الروبوت في الترنح أو أفلت المقود، فإنه لا يعرف أنه يفشل حتى تقع الكارثة بالكامل. ليس لديه "شعور داخلي" ليخبره: "مهلاً، أنت تبلي بلاءً حسناً!" أو "توقف! أنت على وشك إسقاط تلك الشطيرة!"

تعالج هذه الورقة البحثية هذا "الشعور الداخلي" المفقود. أراد الباحثون بناء دماغ ثانٍ أصغر للروبوت يعمل كشريط تقدم. بدلاً من مجرد الانتظار حتى ينهي الروبوت المهمة ثم قول "عمل جيد" أو "فشل"، يقوم هذا النظام الجديد بمراقبته في الوقت الفعلي، إطاراً تلو الآخر. يحاول الإجابة على: "إلى أي مدى اقتربنا من خط النهاية الآن؟" و"هل ارتكبنا خطأً للتو؟". الهدف هو جعل الروبوتات شبه المستقلة أكثر أماناً وفائدة، بحيث لا يضطر المشغل البشري إلى التحديق في الشاشة بانتظار وقوع كارثة.

شريط تقدم الروبوت الذي يعرف متى تتعثر

تعرف على ValueFormer، وهي أداة جديدة صُممت لمنح الروبوتات شعوراً بالتقدم. تخيل روبوتاً يحاول صنع شطيرة. عليه أن يضع قطعة الخبز السفلية، ثم قطعة اللحم، والجبن، والطماطم، والخس، وأخيراً قطعة الخبز العلوية. إذا تعثر الروبوت في وضع الخس، فإن الروبوت التقليدي المدرب فقط على قصص النجاح قد يستمر في محاولة التقاط الخس للأبد، أو الأسوأ من ذلك، يتخطاه ويضع الخبز العلوي فوق قطعة لحم عارية، ظناً منه أن كل شيء على ما يرام. ليس لديه أدنى فكرة بأنه في ورطة.

أدرك مؤلفو هذه الورقة أن العقبة الأكبر لم تكن بناء دماغ روبوت جديد ومتطور؛ بل كانت في معرفة كيفية تعليم الروبوت كيف يبدو "الأداء الجيد" في كل ثانية.

المشكلة مع تسميات "الكل أو لا شيء"

تخيل أنك تصحح اختبار رياضيات لطالب. إذا أعطيته درجة في النهاية فقط، فلن تعرف متى تعثر. هل فشل في السؤال الأول أم الأخير؟

الطريقة القديمة: تُدرب معظم الروبوتات باستخدام مفتاح بسيط "نجاح/فشل" في نهاية المهمة. إذا صُنعت الشطيرة، فالنتيجة 1. إذا كانت فوضوية، فالنتيجة 0.
العيب: هذا التقييم "شحيح" للغاية. إذا ارتكب الروبوت خطأً في منتصف الطريق لكنه استمر في المضي قدماً، فإن الرقم "0" في النهاية لن يخبر الروبوت أي جزء كان سيئاً. الأمر يشبه إخبار عداء: "لقد خسرت السباق"، دون إخباره بأنه تعثر عند الميل الثاني.

جرب الباحثون نهجاً مختلفاً. أرادوا الحصول على تسمية كثيفة، وهي درجة تتحدث كل جزء من الثانية، وتوضح بالضبط مدى قرب الروبوت من الهدف. ولكن هنا يكمن الجزء الصعب: إذا أخبرت الروبوت ببساطة "لقد فشلت، لذا درجتك هي 0" طوال المحاولة الفاشلة، فسوف يرتبك الروبوت. سيرى الثواني الأولى (حيث كان يؤدي بشكل جيد) وسيفكر: "مهلاً، كنت أبلي بلاءً حسناً، لكنك تقول إنني أفشل؟ لا بد أنني كنت أفشل منذ البداية!" هذا يربك الروبوت ويجعله يؤدي بشكل سيء حتى في المحاولات الجيدة.

حل "النجاح ثم التلاشي"

الاختراق الرئيسي للورقة البحثية هو طريقة ذكية لتسمية الأخطاء تسمى "الإدراك بالمرحلة، النجاح ثم التلاشي" (Stage-Aware, Success-Then-Decay).

تخيل أن الروبوت يتسلق جبلاً (يصنع شطيرة).

التسلق: بينما يتسلق، ترتفع "درجة التقدم" الخاصة به بسلاسة.
الانزلاق: إذا انزلق وسقط (ارتكب خطأً)، فإن الدرجة لا تنخفض فوراً إلى الصفر. بدلاً من ذلك، تظل مرتفعة للأجزاء التي أنجزها بشكل صحيح (الخبز السفلي واللحم) ثم تتلاشى ببطء مع إدراكه أنه في ورطة.
النتيجة: هذا يعلم الروبوت أن النصف الأول من المحاولة كان جيداً بالفعل، لكن النهاية كانت سيئة. إنه يحافظ على "الدرجات الجزئية" للعمل الذي قام به قبل وقوع الخطأ.

اختبر المؤلفون هذا ضد أربع طرق أخرى لتسمية الأخطاء (مثل خفض الدرجة فوراً إلى الصفر، أو تقليل الدرجة بالكامل). ووجدوا أن طريقة "التلاشي السلس" الخاصة بهم كانت الوحيدة التي لم تربك الروبوت. لقد سمحت للروبوت بأن يتعلم أن المحاولة الفاشلة لا تزال تحتوي على قيمة في بدايتها، مما منع "انهيار" توقعاته في المحاولات الناجحة لاحقاً.

رأسان، دماغ واحد

ValueFormer هو نموذج صغير وفعال يعمل جنباً إلى جنب مع دماغ الروبوت الرئيسي. يتميز بتصميم "رأس مزدوج" فريد، مثل روبوت يمتلك نوعين مختلفين من العيون:

العين الناعمة ( $V_{mc}$ ): تعطي درجة تقدم مستمرة ولطيفة (من 0 إلى 1). تخبر المشغل: "لقد أنجزنا 60%،" أو "نحن نتعثر". وهي رائعة لتتبع التقدم العام.
العين الحادة ( $V_{bin}$ ): هي إنذار ثنائي. تطلق صرخة "خطر!" في اللحظة التي يحدث فيها خطأ. وهي مصممة لالتقاط الأخطاء بسرعة، مثل عندما يسقط الروبوت الخس، حتى يمكن للإنسان التدخل قبل أن تفسد الشطيرة بالكامل.

تظهر الورقة أنه من خلال التدريب على 1,427 حلقة حقيقية لروبوت يصنع الشطيرة، تعلم هذا النظام التعرف على أربعة أنماط متميزة:

النجاح النظيف: ترتفع الدرجة بثبات نحو القمة.
النجاح مع إعادة المحاولة: تنخفض الدرجة عندما يتعثر الروبوت (مثل إسقاط قطعة اللحم) لكنها ترتفع مرة أخرى بمجرد إصلاح الأمر.
الانهيار المبكر: ترتفع الدرجة، ثم تنخفض وتبقى منخفضة لأن الروبوت أفسد الأمر مبكراً.
التخبط في المكان: تبقى الدرجة منخفضة لأن الروبوت يدور حول نفسه دون جدوى.

نتائج من العالم الحقيقي

عندما استخدم الباحثون "شريط التقدم" هذا لمساعدة الروبوت في التعلم، كانت النتائج واعدة. من خلال استخدام "الشعور الداخلي" للروبوت لوزن بيانات التدريب الخاصة به (إخباره بالانتباه أكثر للأجزاء التي كان يعاني فيها)، نجحوا في تحسين معدل نجاح الروبوت من 70% إلى 85% في مهمة صنع الشطيرة. كما تمكنوا من القضاء على عادة سيئة معينة حيث يستمر الروبوت في محاولة التقاط مكون قد وضعه بنجاح بالفعل (خطأ "التكرار في الالتقاط").

ومع ذلك، يلاحظ المؤلفون بحذر أنه بينما التحسن حقيقي، فإن حجم العينة (20 شطيرة في الاختبار النهائي) صغير، لذا فإن النتائج "مبشرة" وليست مشكلة محلولة بشكل مضمون. كما وجدوا أن النظام يحتاج إلى بعض الوقت للاستجابة—حوالي 5 إلى 10 ثوانٍ—لأنه ينظر إلى تاريخ قصير لما حدث قبل اتخاذ حكم ما.

جعل الأمر سريعاً بما يكفي للتشغيل

أخيراً، كان على الفريق التأكد من أن "شريط التقدم" هذا لن يبطئ الروبوت. تشغيل دماغين على شريحة كمبيوتر واحدة أمر صعب. اكتشفوا أن التكلفة الرئيسية لم تكن في عملية "التفكير"، بل في عملية "الرؤية" (معالجة صور الكاميرا). من خلال تحسين كيفية معالجة الصور (باستخدام تقنية "الدفعات" وتنسيق رياضي محدد يسمى "bf16")، قللوا الوقت المستغرق للتحقق من التقدم بمقدار 3 إلى 5 مرات. سمح هذا للنظام بالعمل بسلاسة بتردد 2 هرتز (مرتين في الثانية) على نفس الكمبيوتر الذي يعمل عليه دماغ الروبوت الرئيسي، دون التسبب في أي تأخير.

باختصار، يمنح ValueFormer الروبوتات طريقة لقول: "أنا أبلي بلاءً حسناً، لكني أسقطت الجبن للتو، وأحتاج للمساعدة"، بدلاً من مجرد الفشل بصمت في النهاية. إنه يحول التقليد الأعمى إلى شريك شبه مستقل يعرف متى يقع في ورطة.

ملخص تقني: ValueFormer

بيان المشكلة

غالبًا ما تفشل سياسات الرؤية-اللغة-الفعل (VLA) التي يتم تدريبها عبر محاكاة السلوك (مثل عائلة $\pi_0$ ) بشكل صامت. نظرًا لأن التعلم بالتقليد لا يوفر مفهومًا جوهريًا للتقدم، فإن الروبوت الذي يحرز تقدمًا نظيفًا والروبوت الذي توقف أو فشل يمكن أن ينتجا تدفقات أفعال ومخرجات بصرية متطابقة. وبينما يمكن لتعلم التعزيز (RL) نظريًا أن يوفر إشارة قيمة، إلا أنه غير عملي للمهام التي تتضمن روبوتات حقيقية تتعامل مع أجسام قابلة للتشوه (مثل الطعام) بسبب التكلفة العالية لجمع البيانات وعدم قدرة المحاكيات الحالية على إعادة إنتاج التفاعلات الفيزيائية بدقة.

تعاني البدائل الموجودة، مثل بتات النجاح/الفشل النهائية، من ندرة شديدة. فبت واحد في نهاية حلقة مدتها دقيقتان لا يمكنه إخبار المشغل متى حدث الخطأ، كما لا يمكنه توفير الإشارة الكثيفة المطلوبة لتقدير الميزة (advantage estimation) أو تصفية السلامة عبر الإنترنت. علاوة على ذلك، فإن مخططات التسمية الكثيفة البسيطة (على سبيل المثال، تعيين القيمة 0 لجميع الإطارات في الحلقة الفاشلة) هي ضارة فعليًا؛ فهي تعلم النموذج أن الملاحظات في المراحل المبكرة من حلقة فاشلة هي "سيئة" بطبيعتها، مما يجعل النموذج يتنبأ بالفشل حتى في حالات النجاح النظيف أثناء التشغيل.

المنهجية

يقترح البحث ValueFormer، وهو محول سببي (causal transformer) مدمج ومستقل عن السياسة، يصدر إشارتين لكل إطار من تمريرة أمامية واحدة: قيمة مونت كارلو سلسة ( $V_{mc}$ ) لتتبع التقدم، وقيمة ثنائية حادة ( $V_{bin}$ ) للكشف عن الأخطاء.

1. التسمية الواعية بالمراحل، (النجاح ثم التلاشي)

المساهمة التقنية الجوهرية هي مخطط تسمية مبتكر للحلقات الفاشلة يعالج مشكلة "التسمية ذات الشكل الخاطئ":

ما قبل الفشل: تُسمى الإطارات التي تسبق الفشل في الحلقة الفاشلة بشكل مطابق للحلقات الناجحة، متبعةً منحنى مونت كارلو صاعدًا ( $V \approx \gamma^{N-1-k}$ ). هذا يحافظ على الائتمان الجزئي للمراحل التي اكتملت قبل الخطأ.
ما بعد الفشل: بدلًا من الهبوط الحاد إلى الصفر (المنحدر)، تتلاشى التسمية بسلاسة من القيمة عند نقطة الفشل ( $V_{fail} = V_{succ}(k_{fail}) \cdot \gamma^{k-k_{fail}}$ ). هذا يجسد الحدس بأن الروبوت الذي يفشل في وقت متأخر من المهمة لا يزال يستحق ائتمانًا أكثر من الذي يفشل في وقت مبكر.
الكشف الثنائي: يتم إنشاء هدف ثانٍ، $V_{bin}$ ، من فترات الخطأ القائمة على القطع (segment-based) $(t_{start}, t_{end})$ بدلاً من نقطة فشل واحدة. وهذا يسمح للنموذج بالتعلم من الأخطاء العابرة في الحلقات الناجحة (مثل قبضة فاشلة يتم استدراكها).

2. البنية الهندسية

ValueFormer هو محول سببي خفيف الوزن (حوالي 3.5 مليون معلمة قابلة للتدريب) مبني فوق عمود فقري من نوع DINOv3 ViT-L/16 مجمد.

المدخلات: يعالج نافذة زمنية ثابتة قصيرة (8 ثوانٍ، 16 إطارًا) من ستة مشاهد: ثلاث صور كاميرا كاملة وثلاث مناطق اهتمام (ROI) مقصوصة (مناطق المقبض والمعصم). كما يستوعب ميزات حالة المفاصل والزمن.
التصميم السببي: يستخدم المحول قناعًا سببيًا (causal mask)، مما يضمن أن القيمة عند الزمن $t$ تعتمد فقط على الإطارات الماضية والحالية، مما يجعله صالحًا للاستنتاج عبر الإنترنت.
مخرج الرأس المزدوج:
- رأس $V_{mc}$ : شبكة MLP مكونة من 3 طبقات تنتج قيمة سلسة في النطاق $[0, 1]$ ، تحت إشراف تسميات مونت كارلو الواعية بالمراحل.
- رأس $V_{bin}$ : شبكة MLP مكونة من طبقتين تنتج احتمالية حادة للفشل، تحت إشراف فترات الخطأ.

3. التدريب والإشراف

يتم تدريب النموذج بشكل مشترك على كلا الرأسين باستخدام خسارة التقاطع التقاطعي الثنائي (BCE). ولتوسيع نطاق التسمية، استخدم المؤلفون أعلام التدخل من جانب الإنسان (HIL) من جلسات التحكم عن بُعد. عندما يتولى المشغل عملية تشغيل فاشلة، تُعامل فترة التدخل كقطعة خطأ، مما يوفر إشرافًا كثيفًا ورخيصًا يعزز التسميات اليدوية.

النتائج الرئيسية

تم تقييم الطريقة على مهمة تجميع شطيرة بيدي روبوت ثنائية باستخدام 1,427 حلقة (1,249 نجاحًا خبيرًا، 178 تشغيلًا ذاتيًا).

فعالية التسمية: أظهرت دراسة استبعاد (ablation study) تقارن بين خمسة أشكال للتسمية أن مخطط "MC-smooth" (النجاح ثم التلاشي) المقترح تفوق بشكل كبير على البدائل (الناتج عن النتيجة، المنحدر، المزيج الخطي، والتراجع المتأخر). حقق أدنى خسارة BCE في التحقق وأقل متوسط خطأ مطلق (MAE) في التمرير، مع تجنب "تسرب النتيجة" (التنبؤ بالفشل عند $t=0$ بناءً على النتيجة النهائية) الذي لوحظ في المخططات الأخرى.
البصمات النوعية: نجح ValueFormer في إعادة إنتاج أربع بصمات نموذجية للحلقات على بيانات لم تُستخدم في التدريب:
1. منحنيات صاعدة سلسة للنجاحات النظيفة.
2. انخفاضات وتعافيات للنجاحات التي تتضمن محاولات إعادة.
3. أنماط (صعود ثم هبوط) للانهيارات المبكرة.
4. ملفات تعريف مسطحة ومنخفضة للحلقات التي تعاني من التعثر أو الخدش.
الكشف عن الفشل: من خلال الجمع بين التسميات اليدوية وقطع التدخل، حقق الرأس الثنائي دقة متوسطة (AP) بلغت 0.82 في الكشف عن الفشل على البيانات المحجوزة (مقارنة بـ 0.38 باستخدام التسميات اليدوية وحدها)، حيث اكتشف 95% من الأخطاء قبل تدخل المشغل.
تحسين السياسة (اختبار A/B): في تجربة على روبوت حقيقي، أدى استخدام الناقد لاستخراج أوزان الإطارات للتدريب لسياسة VLA إلى تحسين إكمال المهمة من 70% إلى 85% (ضمن الضجيج الإحصائي عند $n=20$ ) والقضاء على نمط فشل "تكرار الالتقاط" المحدد الذي استمر تحت خط الأساس المعتمد على العلم (flag) فقط.
كفاءة النشر: من خلال الترميز المجمع (batched encoding) واستخدام BF16 autocast على المشفر المجمد، تم تقليل تكلفة الخدمة المباشرة بمقدار 3-5 أضعاف، مما سمح للناقد بالعمل بتردد 2 هرتز بجانب السياسة على وحدة معالجة رسومية واحدة دون تعطيل حلقة التحكم.

الأهمية والادعاءات

يجادل البحث بأن التسمية، وليس البنية، هي العائق الحرج في تعلم دوال القيمة لتقليد السلوك. المساهمة الأساسية هي إثبات أن التسمية الكثيفة وذات الشكل الصحيح والواعي بالمراحل ضرورية لتعلم إشارة قيمة مفيدة.

كثافة الإشراف: الانتقال من بت نهائي إلى هدف لكل إطار هو أمر ضروري ولكنه غير كافٍ؛ إذ أن شكل ذلك الهدف هو ما يحدد النجاح. التسمية الكثيفة ذات الشكل الخاطئ (مثل الصفر المسطح لجميع حالات الفشل) هي أسوأ من عدم وجود تسمية على الإطلاق لأن النموذج يناسبها بدقة، مما يؤدي لتعلم ارتباطات خاطئة.
استقلالية السياسة: يعمل ValueFormer جنبًا إلى جنب مع VLA مجمد، ولا يتطلب أي تعديل في حلقة تدريب السياسة أو تنسيق المدخلات، مما يجعله وحدة جاهزة للتشغيل (plug-and-play) لعائلة $\pi_0$ .
تصميم الهدف المزدوج: يسمح الفصل بين القيمة السلسة (لتقدير التقدم) والإشارة الثنائية الحادة (لإيقاف السلامة) لنموذج واحد بخدمة كل من حاجة المشغل لـ "شريط التقدم" وحاجة النظام لـ "إيقاف فوري".

خلص المؤلفون على أنه بينما كان التطبيق المحدد هو تجميع الشطيرة، فإن نمط التصميم — وهو رأس قيمة صغير مزدوج المخرجات مع أهداف هندسية تتشارك في عمود فقري واحد — يقدم مسارًا قابلًا للتعميم نحو روبوتات شبه ذاتية يمكنها اكتشاف فشلها قبل أن يتطلب الأمر تدخلًا بشريًا.