🤖 AI

RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models

إنَّ RePO-VLA هو إطار عمل لتحسين السياسات القائم على الاسترداد لنماذج الرؤية واللغة والعمل (Vision-Language-Action)، والذي يعزز المتانة في عمليات المناولة طويلة المدى والغنية بالتلامس من خلال التمييز بين مسارات النجاح والفشل والاسترداد لتدريب سياسة مشروطة بالقيمة قادرة على تصحيح انحراف التنفيذ ذاتياً دون الحاجة إلى كواشف فشل آنية.

المؤلفون الأصليون: Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun Wang, Min Wang, Liang Lin, Xiaodan Liang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية طهي وجبة معقدة أو طي منشفة رقيقة. تعرض عليه فيديو لإنسان يقوم بذلك بشكل مثالي. يشاهد الروبوت، يتعلم، ثم يحاول تقليدك.

المشكلة: فخ "الوصفة المثالية"
الروبوتات الحالية (التي تسمى نماذج الرؤية واللغة والعمل - Vision-Language-Action models) بارعة في تقليد الفيديوهات المثالية. لكن الحياة فوضوية. إذا أسقط الروبوت ملعقة، أو انزلق على أرض مبللة، أو أمسك كوبًا بزاوية غريبة، فإنه يصاب بالارتباك. ولأنه تدرب فقط على فيديوهات مثالية، فإنه لا يعرف ماذا يفعل عندما تسوء الأمور. سيستمر فقط في محاولة اتباع "السيناريو المثالي" الأصلي، رغم أن الموقف قد تغير، مما يؤدي إلى وقوع حادث. الأمر يشبه سائقًا تعلم القيادة فقط على طريق سريع خالٍ من السيارات؛ بمجرد ظهور حفرة، لا يعرف كيف يتجنبها.

الحل: RePO-VLA (مدرب التعافي)
يقدم البحث طريقة جديدة تسمى RePO-VLA. بدلاً من مجرد عرض فيديوهات مثالية للروبوت، تعلمه هذه الطريقة ثلاثة أشياء محددة:

النجاح: كيف يفعل الشيء بشكل صحيح.
الفشل: ماذا يحدث عندما تسوء الأمور.
التعافي: كيف يصلح الخطأ ويعود إلى المسار الصحيح.

فكر في الأمر كتدريب لاعبة جمباز. أنت لا تكتفي فقط بإظهار الهبوط المثالي لها، بل تعرض عليها أيضًا فيديوهات وهي تسقط، وفيديوهات وهي تلتقط نفسها وتنهض مجددًا. يتعلم الروبوت أن السقوط ليس نهاية العالم، بل هو مجرد إشارة لتغيير الاستراتيجية.

كيف يعمل: ثلاث خطوات بسيطة

خدعة "البداية الجديدة" (التهيئة الواعية بالتعافي)
عندما يسقط الروبوت، فإنه غالبًا ما يتذكر الخطأ الذي تسبب في السقوط. إذا طلبت منه إصلاح المشكلة، فقد يعلق في إعادة عرض الخطأ في ذهنه.

الإصلاح: تأخذ RePO-VLA جزء "التعافي" من الفيديو وتقطع جزء "الخطأ". إنها تعيد ضبط ذاكرة الروبوت مباشرة قبل بدء عملية الإصلاح. الأمر يشبه قولك للروبوت: "انسَ كيف سقطت. فقط انظر إلى حيث أنت الآن واعرف كيف تنهض مجددًا". هذا يمنع الروبوت من الخلط بين سبب السقوط وبين الحل.

"ميزان التقدم" (دالة القيمة الدلالية)
يخصص النظام "درجة" لكل لحظة في الفيديو.

درجة عالية (1.0): أنت تتحرك نحو الهدف.
درجة منخفضة (0.0): أنت تبتعد عن الهدف أو على وشك الاصطدام.
السحر: إذا انزلق الروبوت، تنخفض الدرجة. ولكن إذا بدأ في إصلاح الانزلاق، ترتفع الدرجة مرة أخرى. يتعلم الروبوت مراقبة هذا "الميزان". إذا كانت الدرجة منخفضة، فهو يعرف أنه يجب أن يتوقف عن خطته الحالية ويجرب حركة مختلفة لرفع الدرجة مرة أخرى. إنه يتعلم التمييز بين "المحاولة بجهد مع الفشل" وبين "الإصلاح الفعلي للمشكلة".

"الدافع الموجه نحو الهدف" (صقل القيمة المشروطة)
عندما يعمل الروبوت فعليًا في العالم الحقيقي، يخبره النظام: "استهدف أعلى درجة ممكنة (1.0)".

إذا انحرف الروبوت عن مساره، تنخفض "الدرجة". ولأن الروبوت مدرب على مطاردة الدرجة العالية، فإنه ينتقل تلقائيًا إلى "وضع التعافي" للعودة إلى المسار الآمن. لا يحتاج إلى إنسان ليصرخ فيه "توقف!" أو إلى مستشعر خاص لاكتشاف الاصطدام. هو فقط يرى الدرجة تنخفض، فيقوم بتصحيح نفسه غريزيًا.

الاختبار: FRBench
لإثبات نجاح ذلك، صمم الباحثون اختبارًا يسمى FRBench. تخيل لعبة فيديو يحاول فيها الروبوت صب الماء أو طي منشفة، لكن مدير اللعبة يدفع الروبوت سرًا أو يجعل الشيء ينزلق.

الروبوتات القديمة: عند دفعها، كانت تستمر في محاولة صب الماء في الهواء أو طي المنشفة بشكل خاطئ، مما يؤدي في النهاية إلى الفشل.
روبوت RePO-VLA: عند دفعه، أدرك أن الدرجة تنخفض، فتوقف عن الحركة السيئة، ووجد طريقة جديدة لصب الماء أو الطي، وأنهى المهمة بنجاح.

النتائج
في الاختبارات، نجحت الروبوتات القديمة بنسبة 20% فقط عندما تسوء الأمور. أما روبوت RePO-VLA الجديد فقد نجح بنسبة 75% من الوقت. وفي التجارب الواقعية مع روبوتات حقيقية، وصلت نسبة النجاح إلى 80%.

باخت-اختصار
تعلم RePO-VLA الروبوتات أن الفشل ليس سوى بيانات. من خلال تفكيك الأخطاء، وإعادة ضبط الذاكرة، ومنح الروبوت "درجة" يسعى خلفها، تحول هذا النظام الروبوت الهش الذي ينكسر بسهما إلى روبوت مرن يمكنه إصلاح مشكلاته بنفسه. إنه الفرق بين طالب يحفظ نموذج الإجابة، وطالب يتعلم كيفية حل المشكلة حتى لو تغير السؤال.

ملخص تقني: RePO-VLA

بيان المشكلة

حققت نماذج الرؤية واللغة والأفعال (VLA) تقدماً في التحكم العام للروبوتات، لكنها لا تزال تتسم بالهشاشة في مهام المناولة طويلة المدى والغنية بالتلامس. تعتمد النهج الحالية بشكل كبير على الضبط الدقيق الخاضع للإشراف (SFT) على العروض التوضيحية الناجحة، مما يخلق "نقطة عمياء في استغلال الفشل". عندما يحدث انحراف أثناء التنفيذ — نتيجة لتباين وضعية الإمساك، أو انزلاق الجسم، أو أخطاء التوقيت — تفتقر نماذج VLA القياسية إلى الإشراف اللازم للتعافي. علاوة على ذلك، فإن الطرق الحالية تتجاهل تماماً مسارات الإخفاق، متجاهلة أن مراحلها المبكرة قد تحتوي على سلوكيات اقتراب صالحة. ومن ناحية أخرى، فإن محاكاة مسارات التعافي بأكملها بشكل ساذج (والتي تتضمن تاريخ الفشل والإجراءات التصحيحية) تؤدي إلى "ارتباك سببي"، حيث يتعلم السياسة ربط الخطأ السابق بإجراء التعافي، بدلاً من تعلم الاستجابة للحالة السلبية الحالية.

المنهجية: RePO-VLA

RePO-VLA (تحسين السياسة المدفوع بالتعافي لنماذج الرؤية واللغة والأفعال) هو إطار عمل مصمم للتعلم من المسارات الناجحة، والفاشلة، والمسارات التي تم التعافي منها تحت إشارة تقدم موحدة. وهو يعمل عبر مرحلتين متميزتين:

1. التهيئة المدركة للتعافي (RAI)

تعالج المرحلة الأولى مشكلة "الارتباك السببي" حيث قد تتعلم السياسة أن تاريخ فشل معين هو المحفز الضروري للتعافي.

تقطيع المسار مع إعادة ضبط التاريخ (TSHR): يتم تقطيع مسارات التعافي الخام لإزالة بادئة الفشل. يتم إعادة ضبط مخزن ملاحظات التاريخ عند بداية الجزء التصحيحي. هذا يجبر السياسة على تعلم التعافي كمهارة مشروطة بالحالة بناءً على الحالة السامية الحالية (مثل قبضة فارغة أو جسم غير محاذٍ) بدلاً من كونها مجرد إعادة تشغيل للخطأ الذي تسبب في ذلك.
التدريب: يتم ضبط السياسة بدقة باستخدام مزيج من العروض التوضيحية الخبيرة وهذه الأجزاء المستعادة بعد إعادة الضبط ( $D_{expert} \cup D_{reset}^{rec}$ )، مع موازنة المحاكاة الاسمية مع تعلم التعافي.

2. الصقل المشروط بالقيمة (VCR)

تعمل المرحلة الثانية على استعادة تاريخ التدحرج الكامل (بما في ذلك بادئات الفشل) وتقديم إشارة قيمة دلالية كثيفة للتمييز بين السلوكيات المفيدة، والمنحرفة، والتصحيحية.

دالة القيمة الدلالية المدركة للتقدم (PAS-VF): يقوم شبكة متكيفة خفيفة الوزن بمحاذاة ميزات الفيديو الزمانية والمكانية مع التعليمات اللغوية في فضاء دلالي مشترك. وهي تتعلم تقدير التقدم في المهمة من خلال قياس تشابه جيب التمام بين بادئة المسار الحالي ومجموعة من المسارات المرجعية الناجحة.
التوسيم الكثيف:
- النجاح/التعافي: يتم وسم الإطارات التي تحافظ على التقدم أو تستعيده بـ $v_t = 1.0$ .
- أجزاء الخطأ: يتم وسم البادئات التي تؤدي إلى حالات سلبية بـ $v_t = 0.0$ لمنع المتوسط الحسابي مع الإجراءات التصحيحية.
- الإخفاقات الصرفة: يتم الحفاظ على الأولويات الحركية المبكرة عبر آلية اضمحلال الموثوقية ( $v_t = V(\tau_{fail}) \cdot (1 - t/T)^\alpha$ )، بينما يتم تقليل وزن الانهيارات النهائية.
التدريب المشروط بالقيمة: يتم تعزيز السياسة برمز قيمة ( $e_{val}$ ) مستمد من الملصقات الكثيفة. أثناء التدريب، تتعلم السياسة رسم خريطة لنفس الملاحظة السلبية والتاريخ إلى أنماط حركة مختلفة اعتماداً على القيمة المرغوبة.
النشر: عند الاستنتاج، تستخدم السياسة مخزن تاريخ التدحرج القياسي (بدون إعادة ضبط) ولكنها تثبت رمز القيمة عند $v = 1.0$ . هذا يوجه توزيع الفعل نحو "فضاء النجاح" المتعلم، مما يمكّن التعافي الذاتي دون الحاجة إلى كواشف فشل عبر الإنترنت أو قواعد إعادة محاولة استدلالية.

المساهمات الرئيسية

إطار عمل RePO-VLA: بنية مكونة من مرحلتين (RAI + VCR) تعيد استخدام مسارات الفشل هيكلياً. إنها تقضي على الارتباك السببي عبر إعادة ضبط التاريخ وتمكن الأفعال المتمايزة بالقيمة عبر ملصقات التقدم الكثيفة.
FRBench: معيار جديد لتقييم التعافي يتميز بحقن أخطاء معياري (E1–E4: إغلاق مبكر، انزلاق القبضة، إزاحة الموضع، عدم تطابق الاتجاه) وبروتوكول قائم على المراحل يعزل الكفاءة الاسمية عن القدرة التصحيحية في كل من المحاكاة (RoboTwin) والمهام الواقعية ثنائية اليد.
التحقق التجريبي: أظهر أن الإشراف الصريح على التعافي وتوجيه القيمة الكثيفة يحسنان المتانة بشكل كبير. تظهر الورقة اتجاهاً إيجابياً للتوسع حيث يؤدي زيادة كثافة بيانات التعافي إلى تحسين الأداء بشكل أكبر.

النتائج التجريبية

المحاكاة (FRBench-Sim): عبر 46 مهمة ثنائية اليد، تفوق RePO-VLA بشكل كبير على النماذج المرجعية (بما في ذلك $\pi_0$ و $\pi_0.5$ و RDT) تحت تأثير الفشل المحقون. في الإعدادات العشوائية مع الاضطرابات العدائية، حقق RePO-VLA متوسط معدل نجاح قدره 43.0%، مقارنة بـ 15.4% للنموذج المرجعي $\pi_0.5$ .
التقييم في العالم الحقيقي: تم الاختبار على أذرع Dobot X-Trainer لمهام مثل صب الماء، الطبخ، وطي المناشف.
- تحت الاضطرابات العدائية، حقق النموذج المرجعي $\pi_0.5$ نسبة نجاح 20.0%، بينما حقق RePO-VLA (المرحلة الأولى فقط) نسبة 37.5%.
- توسع البيانات: أدى زيادة كثافة بيانات التعافي من 1x إلى 4x إلى تحسين الأداء بشكل أكبر. حقق متغير (Full 4x) نسبة نجاح 75% في ظل الظروف العدائية، متفوقاً على نموذج المرحلة الأولى، مما يثبت أن التغطية الأكثر كثافة لجوارات الفشل والتعافي أمر بالغ الأهمية.
دراسات الاستئصال: أكدت أن إعادة ضبط التاريخ (TSHR) ضرورية لمنع الارتباك السببي وأن التكييف بالقيمة ( $v=1.0$ ) يوفر إشارة تحكم مستقرة تتفوق على محاولات إعادة المحاولة الاستدلالية.

الأهمية والادعاءات

تزعم الورقة أن RePO-VLA يعالج هشاشة نماذج VLA الحالية من خلال تغيير جذري في كيفية استخدام بيانات الفشل. بدلاً من التخلص من حالات الفشل أو معاملة حلقات التعافي كحالات إيجابية بشكل موحد، يقوم إطار العمل بتفكيكها إلى أدوار دلالية متميزة:

البادئات المفيدة للفشل يتم الاحتفاظ بها كأولويات حركية.
الانهيارات النهائية يتم تقليل وزنها بأمان.
الإجراءات التصحيحية يتم تعلمها كمهارات مشروطة بالحالة، ومنفصلة عن تاريخ الفشل المحدد الذي سبقها.

ويرى المؤلفون أن هذا النهج يسمح لسياسة واحدة بالتعامل مع التنفيذ الاسمي والتعافي الذاتي دون الحاجة إلى تبديل الوحدات أو الاعتماد على كواشف فشل خارجية. وتشير النتائج إلى أنه بالنسبة للمناولة طويلة المدى الموثوقة، خاصة في البيئات الغنية بالتلامس، فإن القدرة على التعافي من الانحراف لا تقل أهمية عن القدرة على تنفيذ الخطة الاسمية، ويمكن تعلم هذه القدرة مباشرة من بيانات التفاعل ذات الجودة المختلطة.