🤖 machine learning

Robometer: Scaling General-Purpose Robotic Reward Models via Trajectory Comparisons

تقدم الورقة البحثية Robometer، وهو إطار عمل قابل للتوسع لنمذجة المكافأة يجمع بين الإشراف على التقدم على مستوى الإطار مع تعلم التفضيل القائم على مقارنة المسارات، والذي تم تدريبه على مجموعة بيانات RBM-1M واسعة النطاق لتعلم دالات مكافأة قابلة للتعميم بفعالية من مسارات خبيرة وغير مثالية متنوعة.

المؤلفون الأصليون: Anthony Liang, Yigit Korkmaz, Jiahui Zhang, Minyoung Hwang, Abrar Anwar, Sidhant Kaushik, Aditya Shah, Alex S. Huang, Luke Zettlemoyer, Dieter Fox, Yu Xiang, Anqi Li, Andreea Bobu, Abhishek Gupta, Ste

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Anthony Liang, Yigit Korkmaz, Jiahui Zhang, Minyoung Hwang, Abrar Anwar, Sidhant Kaushik, Aditya Shah, Alex S. Huang, Luke Zettlemoyer, Dieter Fox, Yu Xiang, Anqi Li, Andreea Bobu, Abhishek Gupta, Stephen Tu, Erdem Biyik, Jesse Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية طهي العشاء. في الماضي، لكي تعلم الروبوت، كان عليك أن تعمل كحكم صارم، تراقب كل ثانية من حركاته وتمنحه درجة دقيقة (مثل "7.5 من 10") لكيفية براعته في تقطيع البصل. إذا أسقط الروبوت السكين، كان عليك تحديد متى انخفضت الدرجة بالضبط وبأي مقدار. كان هذا أمرًا صعبًا للغاية، خاصة عندما يفشل الروبوت، وكان ذلك يعني أنك لا تستطيع استخدام آلاف المحاولات "الفاشلة" التي يقوم بها الروبوت في العالم الحقيقي لأنها كانت فوضوية جدًا لدرجة يصعب معها تقييمها.

نظام ROBOMETER هو نظام جديد يغير طريقة تعليم الروبوتات عبر استخدام نهج أكثر ذكاءً وشبه بشري في التقييم.

الفكرة الجوهرية: المقارنة بدلاً من التقييم الرقمي

بدلاً من محاولة إعطاء درجة مثالية لكل لحظة، يتعلم ROBOMMETER من خلال مقارنة محاولتين مختلفتين لنفس المهمة.

فكر في الأمر كحكم في برنامج مواهب. بدلاً من إعطاء المتسابق درجة 8.2 من 10، يكتفي الحكم بالنظر إلى عرضين ويقول ببساًطة: "الأداء (أ) كان أفضل بوضوح من الأداء (ب)".

الطريقة القديمة: يتعين عليك مشاهدة روبوت يفشل في وضع كوب على الطاولة ومحاولة حساب مدى "سوء" هذا الفشل بدقة.
طريقة ROBOMETER: تعرض للروبوت فيديو لإنسان يقوم بالمهمة بشكل مثالي وفيديو لروبوت يسقط الكوب. يتعلم النظام: "فيديو الإنسان أفضل". لا يحتاج النظام لمعرفة "لماذا" أو إعطاء رقم محدد؛ إنه يتعلم فقط ترتيب "الجيد" مقابل "السيئ".

"المكتبة الضخمة" للأخطاء (RBM-1M)

لتعليم هذا النظام، بنى الباحثون مكتبة ضخمة تسمى RBM-1M.

المشكلة القديمة: معظم مكتبات تدريب الروبوتات تحتوي فقط على فيديوهات "مثالية". إذا أسقط الروبوت كوبًا، يتم رمي هذا الفيديو في المهملات لأنه يصعب تقييمه.
الحل الجديد: تحتوي هذه المكتبة على مليون فيديو من 21 نوعًا مختلفًا من الربوات (من الأذرع المنفردة إلى الأيدي الشبيهة بالبشر). والأهم من ذلك، أنها مليئة بالأخطاء، والإخفاقات، والمحاولات المتعثرة. ولأن ROBOMETER يتعلم من خلال المقارنة (على سبيل المثال: "هذه المحاولة الفاشلة أسوأ من تلك الناجحة")، فإنه يستطيع فعليًا التعلم من كومة النفايات المتمثلة في الفيديوهات الفاشلة. إنه يعامل الإخفاقات كدروس قيمة حول ما يجب عدم فعله.

كيف يعمل (الرقصة الثنائية)

يتعلم ROBOMETER باستخدام خدعتين محددتين في نفس الوقت:

فحص "التقدم": يشاهد فيديو واحد ويحاول تخمين: "إلى أي مدى وصلت هذه المهمة؟" (من 0% إلى 100%). هذا يرسخ فهم الروبوت للزمن والتقدم.
فحص "التفضيل": يشاهد فيديوهين جنبًا إلى جنب ويقرر: "أيهما أدى المهمة بشكل أفضل؟" وهذا يعلم الروبوت فهم جودة الحركة، حتى لو كانت فشلاً ذريعًا.

من خلال الجمع بينهما، يكتسب الروبوت "شعورًا" بالنجاح يعمل حتى عندما ينظر إلى روبوت لم يره من قبل، وفي غرفة لم يزرها من قبل.

ما الذي يفعله حقًا (نتائج مثبتة)

تظهر الورقة البحثية أن هذا النظام يعمل بشكل أفضل من الطرق السابقة في أربعة سيناريوهات محددة من الواقع:

التعلم عبر الإنترنت التلقائي (Automatic Online Learning): عندما يكون الروبوت في مرحلة تعلم مهمة ما في الوقت الفعلي (مثل وضع وعاء على الطاولة)، يعمل ROBOMETER كمدرب يخبر الروبوت فورًا: "أنت تفعل ذلك بشكل خاطئ"، ويوجهه لإصلاح الخطأ. لقد ساعد الروبوت على تحسين معدل نجاحه من 20% إلى 85% في مطبخ مزدحم، بينما توقفت الطرق القديمة عند 55%.
التعلم من البيانات الفوضوية (Offline RL): إذا كان لديك مزيج من الفيديوهات المثالية والفيديوهات الفوضوية والفاشلة، يمكن لـ ROBOMETER فرزها لتعليم روبوت جديد. لقد حسن معدلات النجاح بمقدار 2.4 مرة مقارلة بأفضل الأدوات السابقة.
إيجاد الأشياء الجيدة (Data Filtering): تخيل أن لديك كومة ضخمة من مقاطع الفيديو وتحتاج للعثور على أفضل 10 مقاطع لتعليم روبوت كيفية "تحريك القدر". ROBOMETER أفضل بكثير في العثور على المقاطع ذات الصلة والناجحة وتجاهل الإخفاقات مقارنة بأدوات البحث الأخرى. أدى ذلك إلى تحسن قدرة الروبوت على تعلم المهمة بمقدار 4.5 مرة.
رصد الإخفاقات: إذا كان الروبوت عالقًا، أو يتذبذب (يتحرك ذهابًا وإيابًا دون تقدم)، أو يسقط شيئًا، يمكن لـ ROBOMETER اكتشاف هذا الفشل فورًا دون الحاجة لإخباره بماهية الفشل. لقد حدد الإخفاقات بشكل صحيح في 81% من الحالات، متفوقًا على الأنظمة الأخرى.

الخلاصة

ROBOMETER هو "نموذج مكافأة عالمي" يوقف حاجة الروبوتات لوجود إنسان يقيم كل ثانية من عملها. من خلال التعلم من المقارنة بين "الأفضل" و"الأسوأ" باستخدام مكتبة ضخمة من النجاحات والإخفاقات، فإنه يساعد الروبوتات على التعلم بشكل أسرع، والتعامل مع الأخطاء بشكل أفضل، والتكيف مع مهام جديدة وأجساد روبوتية جديدة دون الحاجة إلى إعادة التدريب من الصفر.

ملخص تقني: ROBOMETER

بيان المشكلة

تواجه نماذج المكافأة الروبوتية العامة الحالية تحديات كبيرة في القدرة على التوسع والتعميم. تعتمد النهج الحالية حصريًا على تسميات التقدم المطلقة المستمدة من عروض الخبراء (على سبيل المثال، الاستيفاء الخطي للتقدم من 0 إلى 1). وبينما تعد هذه الطريقة فعالة للمسارات الناجحة، إلا أنها تفشل في التوسع مع مجموعات البيانات الضخمة وغير المتجانسة لسببين رئيسيين:

الغموض في المسارات الفاشلة: المسارات غير المثالية أو الفاشلة، وهي متوفرة بكثرة في عمليات جمع البيانات في العالم الحقيقي، تفتقر إلى تسميات تقدم مطلقة محددة جيدًا. غالبًا ما يتذبذب التقدم أو يتراجع في هذه الحالات، مما يجعل الإشراف النقطي مكلفًا وغير محدد بدقة.
التعميم المحدود: النماذج التي يتم تدريبها فقط على الإشراف بالتقدم المحلي للمسار تواجه صعوبة في التعميم عبر مختلف الأشكال الروبوتية، والمشاهد، وجودة المسارات المتفاوتة. فهي غالبًا ما تفشل في التمييز بين السلوكيات الناجحة وغير المثالية عندما تكون الدرجات المطلقة غامضة.

تفترض الورقة أن الإدراك البشري يعتمد على الأحكام المقارنة بدلاً من المقاييس المطلقة المنعزلة لاستيعاب التقدم المعاير. وبناءً على ذلك، تتطلب نماذج المكافأة الروبوتية إشارة إشراف تستفيد من الترتيب النسبي عبر مسارات متنوعة لتعلم وظائف مكافأة قوية وقابلة للتعميم.

المنهجية

1. إطار عمل ROBOMETER

ROBOMETER هو إطار عمل لنمذجة المكافأة قابل للتوسع يجمع بين الإشراف على التقدم داخل المسار والإشراف على التفضيل بين المسارات. وهو يستخدم وصفة تدريب ذات هدف مزدوج:

فقدان التقدم على مستوى الإطار: يقوم بتثبيت مقدار المكافأة ببيانات الخبراء عن طريق التنبؤ بالتقدم الكثيف لكل إطار (المقسم إلى 10 فئات على المدى [0, 1]) وتسميات النجاح الثنائية. يضمن هذا أن يتعلم النموذج الهيكل الزمني لإكمال المهمة.
فقدان تفضيل مقارنة المسارات: يفرض قيود الترتيب العالمي من خلال التنبؤ بأي من مسارين يلبي تعليمات اللغة بشكل أفضل. يسمح هذا للنموذج بالتعلم من المقارنات النسبية دون الحاجة إلى درجات مطلقة للمسارات الفاشلة.

2. البنية الهيكلية

تم بناء ROBOMETER على نموذج رؤية-لغة (VLM) مدرب مسبقًا، وتحديدًا Qwen3-VL-4B-Instruct.

الترميز (Tokenization): يعالج النموذج رموز النصوص والصور المتداخلة. لتمكين تقدير المكافأة الكثيفة دون تعطيل التمثيلات المدربة مسبقًا، يقوم بإدراج رموز تقدم قابلة للتعلم (<|prog token|>) بعد كل إطار من المسار الأول، ورمز تفضيل واحد (<|pref token|>) في نهاية المطالبة (prompt).
القناع السببي (Causal Masking): تستخدم البنية القناع السببي لضمان أن رموز التقدم تنتبه فقط للإطارات الحالية والسابقة للمسار الأول (مما يسمح بالاستنتاج عبر الإنترنت/online inference)، بينما ينتبه رمز التفضيل لكلا المسارين لإجراء حكم نسبي.
الرؤوس (Heads): يتم إرفاق رؤوس MLP خفيفة الوزن بالحالات المخفية لرموز التقدم (للتنبؤ بالتقدم والنجاح) ورمز التفضيل (لتصنيف التفضيل الثنائي).

3. مجموعة بيانات RBM-1M

لدعم التدريب مزدوج الأهداف بهذا النطاق، قام المؤلفون بتنسيق RBM-1M، وهي مجموعة بيانات تضم أكثر من مليون مسار تغطي 21 شكلًا روبوتيًا (بما في ذلك الأذرع المنفردة، والأذرع الثنائية، والمنصات المتحركة) ومشاهد متنوعة.

التكوين: تجمع مجموعة البيانات عروض الخبراء (مثل Open-X و AGIBotWorld)، وفيديوهات البشر (Epic-Kitchens)، وبيانات المحاكاة (LIBERO)، والأهم من ذلك، المسارات الفاشلة وغير المثالية غير المصنفة من عمليات التشغيل الآلي ومجموعات بيانات اكتشاف الفشل.
استراتيجيات التعزيز (Augmentation): لبناء أزواج التفضيل دون الحاجة إلى تسميات بشرية إضافية، استخدم المؤلفون ثلاث استراتيجيات:
1. المقارنات القائمة على التقدم: مقابلة عروض الخبراء مع حالات الفشل غير المصنفة أو المسارات غير المثالية.
2. سلبيات التعليمات (Instruction Negatives): إقران المسارات بتعليمات لغوية متميزة لضمان ربط المكافآت بالأمر المعطى.
3. إعادة تشغيل الفيديو (Video Rewind): توليد حالات فشل اصطناعية عن طريق عكس أجزاء من المسارات الناجحة لنمذجة عملية "إلغاء" التقدم.

المساهمات الرئيسية

وصفة تدريب مزدوجة الأهداف: تقدم الورقة طريقة لتدريب نماذج المكافأة باستخدام كل من تسميات التقدم المطلقة (للبيانات الناجحة) وتسميات التفضيل الزوجي (لكل البيانات، بما في ذلك حالات الفشل). وهذا يتيح الاستخدام الفعال للبيانات غير المثالية التي كانت غير قابلة للاستخدام سابقًا.
مجموعة بيانات RBM-1M: إصدار مجموعة بيانات واسعة النطاق ومتعددة الأشكال الروبوتية تحتوي على بيانات فشل واسعة، مصممة خصيصًا لتدريب علاقات التفضيل المتسقة عالميًا.
التعميم القابل للتوسع: يوضح إطار العمل أن الإشراف بالتفضيل يعمل كمنظم (regularizer)، مما يؤدي إلى تمثيل مكافأة داخلي أكثر هيكلية يحسن قدرة النموذج على التمييز بين المسارات الناجحة وغير المثالية، حتى عند التدريب على بيانات خبراء محدودة.

النتائج التجريبية

تقييم المكافأة

تم تقييم ROBOMETER على RBM-EVAL-OOD، وهي مجموعة تضم 976 مسارًا من 3 مؤسسات و6 أشكال روبوتية (3 منها لم تكن موجودة أثناء التدريب).

محاذاة المكافأة: حقق ROBOMETER ارتباط ترتيب القيمة (VOC) قدره 0.94 على بيانات OOD، متفوقًا على النماذج المرجعية المتطورة (مثل RoboReward-8B بنسبة 0.88، و VLAC-8B بنسبة 0.38).
ترتيب المسارات: في التمييز بين المسارات الناجحة والفاشلة، حقق ROBOMETER معامل Kendall- $\tau_a$ قدره 0.64 على بيانات OOD، متفوقًا بشكل كبير على RoboReward-8B (0.47) و ReWiND (0.01).
اكتشاف الفشل: في مهام اكتشاف الفشل بصفر من الأمثلة (zero-shot)، حقق ROBOMETER أعلى متوسط درجة F1 (0.81)، حيث وازن بفعالية بين معدلات الإيجاب الحقيقي والسلبي الحقيقي، بينما عانت النماذج المرجعية مثل VLAC من ارتفاع معدلات الإيجاب الكاذب، وعانت النماذج القائمة على عدم اليقين من الرموز من ارتفاع معدلات السلب الكاذب.

تعلم السياسة في المراحل اللاحقة

تظهر الورقة أن مكافآت ROBOMETER الكثيفة والمعايرة جيدًا تحسن تعلم الروبوت في أربع حالات:

التعلم التعزيزي عبر الإنترنت التلقائي (Automatic Online RL): باستخدام DSRL مع ROBOMETER، تحسنت معدلات النجاح من 20% إلى 85% في المهام أحادية المرحلة ومن 20% إلى 70% في المهام متعددة المراحل، متفوقًا على RoboReward بمقدار 2.5 ضعفًا.
التعلم التعزيزي خارج الإنترنت (Offline RL): في بيئات الخبرة المختلطة (خبير + بيانات مشوشة)، مكن ROBOMETER سياسات IQL من تحقيق تحسن بمقدار 2.4 ضعفًا في معدلات النجاح مقارم بأفضل نموذج مرجعي.
تصفية واسترجاع البيانات: عند استخدامه لاسترجاع المسارات الفرعية ذات الصلة بالمهمة لتعلم التقليد، حققت البيانات المصفاة بواسطة ROBOMETER معدل نجاح أعلى بمقدار 4.5 ضعفًا مقارنة بالنماذج المرجعية مثل STRAP و SigLIP.
التعلم التعزيزي القائم على النموذج (Model-Based RL): دمج ROBOMETER في DreamZero أدى إلى تحسين معدلات النجاح من 20% إلى 70% في بيئة مزدحمة.

دراسات الاستئصال (Ablation Studies)

الإشراف بالتفضيل: أدت إضافة فقدان التفضيل إلى التدريب القائم على التقدم فقط إلى تحسين مقايسات الترتيب (Kendall- $\tau$ ) والتمييز بين النجاح والفشل باستمرار.
بيانات الفشل: وفر دمج مسارات الفشل غير المصنفة في تدريب التفضيل أكبر المكاسب في تمييز المكافأة.
النموذج الأساسي (Backbone): أدى استبدال نموذج VLM المدرب مسبقًا بهيكل أصغر وغير مدرب مسبقًا (متغير ReWiND) إلى تدهور حاد في الأداء، مما يؤكد ضرية الحاجة إلى التدريب المسبوق متعدد الوسائط واسع النطاق.

الأهمية والادعاءات

تدعي الورقة أن ROBOMETER يمثل تحولًا من الإشراف بالتقدم المطلق إلى الإشراف بالتفضيل المقارن كآلية لتوسيع نطاق تعلم المكافأة. ومن خلال الاستفادة من المقارنات النسبية، يمكن لإطار العمل استخدام كميات هائلة من البيانات غير المثالية والفاشلة بفعالية، والتي كانت منتشرة في الواقع ولكن يتم تجاهلها سابقًا.

يؤكد المؤلفون أن هذا النهج يتيح:

القابلية للتوسع: التعلم من مجموعات بيانات تحتوي على ملايين المسارات دون الحاجة إلى تسميات مطلقة كثيفة لكل إطار.
القدرة على التعميم: أداء قوي عبر مختلف الأشكال الروبوتية، والمشاهد، وزوايا الكاميرا غير المرئية.
المنفعة العملية: التطبيق الفوري في التعلم التعزيزي عبر الإنترنت، والتعلم خارج الإنترنت، وتنسيق بيانات تعلم التقليد، واكتشاف الفشل الآلي.

تخلص الورقة إلى أنه بينما تعاني النماذجة الحالية من غموض الفشل، فإن النهج مزدافئ الأهداف، الذي يرتكز على تقدم الخبراء ولكن يسترشد بالتفضيلات العالمية، يسمح لنماذج المكافأة باستيعاب مقاييس معايرة لتقدم المهمة، مما يسرع تعلم الروبوت في البيئات المعقدة والواقعية.