🤖 machine learning

ProcVLM: Learning Procedure-Grounded Progress Rewards for Robotic Manipulation

تقدم الورقة البحثية نموذج ProcVLM، وهو نموذج رؤية ولغة يتعلم مكافآت التقدم المرتبطة بالإجراءات من خلال التفكير في الأفعال الذرية المتبقية والتغيرات البصرية، وقد تم تدريبه على مجموعة بيانات ضخمة مكونة من 60 مليون إطار (ProcCorpus-60M) لتوفير تغذية راجعة كثيفة وتمييزية للمناولة الروبوتية طويلة المدى.

المؤلفون الأصليون: Youhe Feng, Hansen Shi, Haoyang Li, Xinlei Guo, Yang Wang, Chengyang Zhang, Jinkai Zhang, Xiaohan Zhang, Jie Tang, Jing Zhang

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Youhe Feng, Hansen Shi, Haoyang Li, Xinlei Guo, Yang Wang, Chengyang Zhang, Jinkai Zhang, Xiaohan Zhang, Jie Tang, Jing Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث ProcVLM، مقسمة إلى مفاهيم بسيطة مع تشبيهات من الحياة اليومية.

المشكلة الكبرى: "فخ الوقت"

تخيل أنك تعلم روبوتًا كيفية خبز كعكة.

الطريقة القديمة: تتعلم معظم الروبوتات من خلال مشاهدة فيديو لصنع كعكة مثالية. ولكن إذا حاول الروبوت صنع كعكة وأسقط الدقيق، فإن الأنظمة القديمة غالبًا ما تكتفي بالقول: "لقد فشلت في النهاية". هي لا تعرف لماذا فشل أو إلى أي مدى تقدم الروبوت قبل وقوع الخطأ.
فخ "الزمن": تحاول بعض الأنظمة تخمين التقدم من خلال النظر إلى الساعة. تعتقد: "إذا مرّت 10 ثوانٍ، فلا بد أن الروبوت أنجز 50%!". لكن هذا خطأ. إذا قضى الروبوت 10 ثوانٍ فقط في محاولة التقاط ملعقة زلقة، فهو لم يحرز أي تقدم فعلي. مرور الوقت $\neq$ إنجاز العمل.

يقول مؤلفو هذه الورقة: الروبوتات تحتاج إلى معلم يفهم الخطوات، وليس مجرد الساعة أو النتيجة النهائية.

الحل: ProcVLM (المدرب "خطوة بخطوة")

ابتكر الفريق نموذج ذكاء اصطناعي جديدًا يسمى ProcVLM. فكر فيه كمدرب شديد الملاحظة يراقب الروبوت أثناء عمله ويقدم له ملاحظات مستمرة حول كيفية سير العملية بالضبط.

كيف يعمل (خدعة "التفكير أولاً"):
بدلاً من مجرد تخمين رقم (مثل "أنجز 70%")، يتصرف ProcVLM كمدرب بشري يفكر قبل أن يتحدث:

ينظر إلى المشهد: "حسنًا، الروبوت يمسك بالطبق الأزرق".
يفكر في الخطة: "الهدف هو وضع الطبق في الرف. لقد غسل الروبوت الطبق بالفعل. لا يزال يتعين عليه الإمساك به، رفعه، ثم تمريره للداخل".
يحسب التقدم: "بما أنه انتهى من الغسل وهو الآن في مرحلة الرفع، فقد أنجز حوالي 80%".

هذا النهج "التفكير قبل التقدير" يعني أن الروبوت يحصل على تقدير لإنهاء خطوة فرعية (مثل الغسل) حتى لو تعثر في الخطوة التالية (مثل الرفع).

بيانات التدريب: مكتبة "60 مليون إطار"

لتعليم ProcVLM كيف يكون مدربًا جيدًا كهذا، كان على الباحثين بناء مكتبة ضخمة من الأمثلة.

التحدي: عادة ما تحتوي فيديوهات الروبوتات الحقيقية على تسمية "بداية" و"نهاية" فقط. لا توجد بها تسميات لكل ثانية مما يفعله الروبوت.
الحل: استخدموا ذكاءً اصطناعيًا فائق الذكاء ("Annotator VLM ضخم") لمشاهدة 400,000 فيديو لروبوت وكتابة ملاحظات تفصيلية لكل إطار تلقائيًا.
- ماذا فعل الروبوت للتو؟ (مثال: "أمسك بالكوب")
- ما الذي تبقى للقيام به؟ (مثال: "وضع الكوب في الحوض")
- هل اكتملت المهمة؟ (نعم/لا)
النتيجة: أنشأوا ProcCorpus-60M، وهو مجموعة بيانات تحتوي على 60 مليون إطار مشروح. إنه يشبه تحويل كتاب من 400,000 صفحة يحتوي فقط على عناوين الفصول إلى كتاب يحتوي على ملخص تفصيلي في كل صفحة.

لعبة "VQA": التعلم من خلال طرح الأسئلة

حولوا هذه المكتبة الضخمة إلى لعبة تسمى ProcVQA. بدلاً من مجرد المشاهدة، كان على الذكاء الاصطناعي الإجابة على أسئلة مثل:

"ما هو الإجراء الذي يحدث الآن؟"
"ما هي الخطوة التالية التي يجب أن يتخذها الروبوت مباشرة؟"
"بناءً على ما تراه، ما هي النسبة المئوية المكتملة من المهمة؟"

من خلال لعب هذه اللعبة مرارًا وتكرارًا مع 60 مليون مثال، تعلم ProcVLM فهم منطق المهمة، وليس مجرد الصور.

لماذا هذا مهم: "المكافأة الكثيفة"

في عالم تعلم الروبوتات، "المكافأة" تشبه المكافأة أو "التحلية".

المكافأة الشحيحة (الطريقة القديمة): يحصل الروبوت على مكافأة فقط عندما تكون المهمة مثالية بنسبة 100%. إذا فشل في المنتصف، فلا يحصل على شيء. هذا يجعل التعلم بطيئًا ومحبطًا.
المكافأة الكثيفة (ProcVLM): يقدم ProcVLM للروبوت "مكافأة" (تغذية راجعة) عند كل خطوة. "عمل جيد في التقاط المكعب!"، "حسناً، لقد أسقطته، لكنك لا تزال في المنطقة الصحيحة".

لأن ProcVLM يفهم الخطوات، يمكنه التمييز بين:

الركود: الروبوت عالق ولا يفعل شيئًا.
الفشل: الروبوت أسقط الشيء.
التقدم: الروبوت يعاني ولكنه يتحرك للأمام.

النتائج: هل نجح الأمر؟

اختبر الباحثون ProcVLM بثلاث طرق رئيسية:

فهم المهام: أصبح أفضل في تخمين الخطوة التي وصل إليها الروبوت وما يجب فعله بعد ذلك مقارنة بأفضل نماذج الذكاء الاصطناعي الأخرى.
التكيف السريع: عند عرضه على مثال واحد فقط لمهمة جديدة (حتى لو كان مثالاً فاشلاً)، استطاع ProcVLM فورًا فهم كيفية تقييم التقدم لتلك المهمة المحددة. بينما عانت النماذج الأخرى في التكيف مع قدر ضئيل من البيانات.
تعليم الروبوتات: عندما استخدموا ProcVLM للمساعدة في تدريب روبوت حقيقي (رص الأوعية)، تعلم الروبوت بشكل أسرع وأكثر استقرارًا مما لو تم تدريبه بالطرق القياسية. كما كان أفضل في التعامل مع الأخطاء الواقعية الفوضوية.

ملخص التشبيه

تخيل أنك تتعلم قيادة السيارة.

الذكاء الاصطناعي القديم: تحصل فقط على درجة "ناجح" أو "راسب" في نهاية الاختبار. إذا انطفأ المحرك في المنتصف، فلن تحصل على أي ملاحظات حول كيفية إصلاح ذلك.
ProcVLM: يشبه مدرب القيادة الجالس في مقعد الراكب. يقول لك: "لقد أدرت المفتاح، جيد. الآن أنت تضغط على دواسة الوقود بقوة كبيرة، خفف من ذلك. أنت الآن في منتصف التقاطع بنسبة 60%، حافظ على نظرك على الإشارة".

يمنح ProcVLM الروبوتات هذا النوع من التوجيه المستمر خطوة بخطوة، مما يجعلها أكثر ذكاءً وموثوقية في تعلم مهام جديدة.

ملخص تقني: ProcVLM

بيان المشكلة

تتطلب عمليات التلاعب الروبوتية طويلة المدى إشارات تغذية راجعة كثيفة تعكس تقدم المهمة عبر مراحل إجرائية بدقة، بدلاً من الاعتماد فقط على نتائج النجاح أو الفشل الثنائية على مستوى المسار. غالبًا ما تعتمد نماذج المكافأة الحالية على تسميات نهائية متفرقة أو استكمال زمني (interpolation) يعتمد على الوقت. ويرى المؤلفون أن هذه الأساليب تفشل في التقاط الحالات الحرجة مثل الخطوات غير المكتملة، أو الركود، أو التعافي من الفشل، حيث لا يتلازم الوقت المنقضي بالضرورة مع التقدم الحقيقي للمهمة في مهام التلاعب المعقدة. علاوة على ذلك، تفتقر معظم مجموعات البيانات الروبوتية واسعة النطاق إلى التوصيف الصريح للبنية الإجرائية (مثل حدود المهام الفرعية والإجراءات المتبقية)، مما يجبر نماذج المكافأة على الاعتماد على إشراف غير مباشر يخلط بين المؤشرات الزمنية والتقدم الدلالي.

المنهجية

1. توليد الإشراف الإجرائي (ProcCorpus-60M)

لمعالجة نقص الإشراف الإجرائي الكثيف، طور المؤلفون مسار عمل قابلاً للتوسع لتوليد تسميات توضيحية على مستوى الإطار من مسارات الروبوت الخام.

التوسيم الهرمي: باستخدام نماذج الرؤية واللغة الكبيرة (VLMs) كمُعلِّمين (annotators)، يقوم المسار أولاً باستنتاج خطط المهام عالية المستوى والنطاقات الزمنية للمهام الفرعية من الفيديو بأكمله. ثم يقوم بتوسيع هذه الأجزاء إلى تعيينات على مستوى الإطار، وتوليد أدلة استدلالية (الاستدلال على الحالة، حالة الاكتمال، الإجراءات المتبقية) على الإطارات الرئيسية التي تم إلغاء تكرارها بصريًا.
بناء مجموعة البيانات: تم تطبيق هذا المسار على 30 مجموعة بيانات تجسيدية (بما في ذلك DROID، وBridgeData V2، وFractal، ومعايير المحاكاة)، مما نتج عنه ProcCorpus-60M، الذي يحتوي على أكثر من 400 ألف مسار و60 مليون إطار مُسمّى.
تسمية التقدم: يتم اشتقاق أهداف التقدم المستمرة عن طريق الجمع بين بنية مستوى المهمة الفرعية والحركة البصرية داخل المهمة الفرعية. يتم تخصيص ميزانية تقدم لكل مهمة فرعية بناءً على مدتها النسبية، وتوزيع هذه الميزانية عبر الزمن وفقًا للتغيرات البصرية المحلية ( $\|\dot{\phi}(\tau)\|$ )، لتجنب الاستكمال الزمني الخطي البسيط.

2. ProcVQA ونموذج التدريب

يتم تحويل التسميات التوضيحية إلى ProcVQA، وهو متن تدريبي يحتوي على 20 مليار رمز (token) يركز على تقدير تقدم المهمة. يتبع التدريب نموذج "الاستدلال قبل التقدير"، حيث يجب على النموذج أولاً استنتاج مرحلة التنفيذ الحالية والإجراءات الذرية المتبقية قبل التنبؤ بدرجة تقدم مستمرة.

عائلات المهام:
- تنبؤ التقدم بهيكلية المهام الفرعية: يخرج النموذج المهام الذرية المتبقية متبوعة بنسبة مئوية مستمرة للاكتمال مغلفة داخل وسوم <progress>.
- تجزئة الإجراءات: التنبؤ بالحدود الزمنية للإجراءات الذرية.
- التخطيط المستقبلي: التنبؤ بتسلسل الإجراءات المتبقية المطلوبة لإكمال المهمة.
البنية: تم بناء ProcVLM على أساس Qwen3-VL-2B-Instruct. وهو يستخدم رأس نمذجة لغوية ذاتي الانحدار (autoregressive) قياسي لتوليد النصوص، ورأس قيمة تقدم مخصص (MLP مكون من 3 طبقات) للانحدار المستمر.
أهداف التدريب: تجمع دالة خسارة مشتركة بين خسارة النمذجة اللغوية ( $L_{LM}$ ) وخسارة الانحدار ( $L_{value}$ ) لدرجة التقدم. تقوم آلية بوابة بتنشيط رأس القيمة فقط عند وجود إشراف على التقدم.
التدريب على مرحلتين:
1. التدريب المسبق: تدريب واسع النطاق على مجموعة بيانات ProcVQA الكاملة (~20 مليار رمز) لتعلم التمثيلات الإجرائية العامة.
2. التحسين: ضبط دقيق على مجموعة فرعية مختارة وعالية الجودة (~2.8 مليار رمز) لزيادة حدة المحاذاة مع المهام الفرعية وتقدير التقدم.

المساهمات الرئيسية

ProcVLM: نموذج رؤية-لغة تجسيدي مدرك للتقدم يتنبأ بمكافآت كثيفة قائمة على الإجراءات. إنه يربط تقدير التقدم المستمر بدلالات المهام الفرعية، والإجراءات المتبقية، والتقدم داخل المرحلة عبر نموذج "الاستدلال قبل التقدير".
مسار إشراف قابل للتوسع: طريقة لتحويل مسارات التلاعب الخام إلى تسميات توضيحية على مستوى الإطار وبنية مهام فرعية، مما أنتج ProcCorpus-60M ومعيار ProcVQA.
التقييم المنهجي: تقييم شامل عبر فهم الإجراءات، ونمذجة المكافأة، والتكيف عبر المهام، وتحسين السياسة في المراحل النهائية.

النتائج التجريبية

فهم الإجراءات التجسيدية (ProcVQA)

في التقييم على مجموعات البيانات داخل التوزيع (ID) وخارج التوزيع (OOD)، تفوق ProcVLM على نماذج VLMs السائدة (بما في ذلك GPT-5.4، وGemini 3.1 Pro، وQwen3.5) عبر تجزئة الإجراءات، والتخطيط المستقبلي، وتقدير تقدم المهمة. وقد حقق أعلى درجات في BF1@5، والنجاح، وVOC (ارتباط ترتيب القيمة)، وEPR@50 (دقة حل التقدم الفعال).

تقييم مكافأة التقدم القابل للتعميم

المقارنة صفرية المحاولة (Zero-Shot): في مجموعة ProcVQA-OOD، حقق ProcVLM أفضل درجة VOC، مما يشير إلى قدرة فائقة على ترتيب التقدم الداخلي للمسار مقارنة بالنماذج المرجعية مثل Robometer وRoboDopamine.
التكيف بمرة واحدة (One-Shot): في معيار RoboFAC (تحليل فشل الروبوت الحقيقي)، أدت إضافة عرض توضيي ناجح واحد إلى تحسين VOC لـ ProcVLM بنسبة 85.7% وMCC بنسبة 18.8%. في المقابل، أظهرت النماذج المرجعية مثل Robometer تحسنًا ضئيلاً، مما يشير إلى أن الإشراف القائم على التفضيلات المتفرقة أقل فعالية في التكيف بمرة واحدة.
دراسات الاستبعاد (Ablation Studies): أدى إزالة التدريب المسبق المدرك للإجراءات إلى تدهور شديد (على سبيل المثال، -88.8% في MAE لتحديد موقع الخطأ)، مما يؤكد أن التدريب المسبق واسع النطاق ضروري لإدراك التقدم القابل للنقل. كما أدى إزالة الإشراف المنسق استدلاليًا إلى انخفاضات ثابتة، مما يبرز أهمية البنية الصريحة للمهام الفرعية.

تحسين السياسة في المراحل النهائية

في تجارب الضبط الدقيق الموجه بالمكافأة (RFT) باستخدام إطار العمل Evo-RL:

المحاكاة (LIBERO-10): حققت RFT باستخدام مكافآت ProcVLM مكاسب متوسطة (+0.4 إلى +1.2 نقطة مئوية) مقارنة بالضبط الدقيق الخاضع للإشراف (SFT).
الروبوت الحقيقي (Stack Bowls): أظهرت RFT تحسينات كبيرة، حيث زادت معدلات النجاح بنسبة +25.0% عند 5 آلاف خطوة و+12.5% عند 10 آلاف خطوة مقارنة بـ SFT. ويعزو المؤلفون ذلك إلى قدرة ProcVLM على خفض وزن الأجزاء المشوشة (مثل محاولات الإمساك المتكررة) في بيانات التحكم عن بعد، مما يؤدي إلى استقرار تحسين السياسة.

الأهمية والادعاءات

يزعم البحث أن تقدير التقدم القائم على الإجراءات هو مُمكّن حاسم لنمذجة المكافآت القابلة للنقل في الروبوتات. ومن خلال ربط التقدم بالبنية الإجرائية بدلاً من المؤشرات الزمنية، يوفر ProcVLM تغذية راجعة تمييزية تدعم تحسين السياسة المستقر، خاصة في السيناريوهات التي تتضمن بيانات روبوت حقيقية مشوشة ومهام طويلة المدى. يشير العمل إلى أن التدريب المسبق واسع النطاق المدرك للإجراءات هو مسار واعد لتطوير نماذج المكافآت التي يمكن أن تعمم عبر المهام وأنماط الفشل، مما يسهل تحسين السياسة الموجه بالمكافأة بما يتجاوز العروض التوضيحية غير المتصلة (offline demonstrations).

يقر المؤلفون بوجود قيود، مشيرين إلى أن التقديرات تعتمد على جودة تفكيك المهام الفرعية، وأن العمل الحالي يركز على مجموعة محددة من إعدادات التحسين الموجه بالمكافأة وليس تغطية شاملة لجميع تكاملات تدرج التفضيل أو تدرج السياسة.