RedFlow: Redirect Failure into Action-Level Corrections for Flow-matching VLA Policy

تخيل أنك تعلم روبوتًا كيفية القيام بالأعمال المنزلية، مثل طي قميص أو كنس الأرضية. تعرض له فيديوهات لبشر يقومون بالمهمة بشكل مثالي، ويحاول الروبوت تقليدهم. يسمى هذا "التعلم بالتقليد" (Imitation Learning). يعمل هذا الأسلوب بشكل رائع عندما يكون الروبوت في غرفة مألوفة، لكن الحياة الواقعية فوضوية. أحيانًا يسقط الروبوت القميص، أو يعلق المكنسة. في الماضي، عندما كان الروبوت يرتكب خطأً، كان يستمر في محاولة نفس الحركة الخاطئة مرارًا وتكرارًا، ويزداد سوءًا حتى يستسلم تمامًا. وذلك لأن الروبوت لم يُعلم فقط ما "لا يجب فعله" من خلال إخباره بأن "هذا فشل"، بل لم يُعطَ تعليمات محددة حول "كيفية الإصلاح".

دخل التعلم التعزيزي (Reinforcement Learning - RL)، وهو أسلوب يتعلم فيه الروبوت من خلال التجربة والحصول على مكافآت للنجاح أو عقوبات للفشل. عادةً، يتطلب هذا من الروبوت التدرب ملايين المرات في العالم الحقيقي، وهو أمر بطيء ومكلف ومحفوف بالمخاطر (تخيل روبوتًا يكسر مزهرية أثناء تعلم التنظيف). مؤخرًا، ظهر نوع جديد من عقول الروبوتات يسمى "Flow-matching VLA" (الرؤية واللغة والعمل - Vision-Language-Action). فكر في الأمر كفنان ذكي للغاية يمكنه رسم مسار سلس ومستمر من نقطة بداية فوضوية إلى نهاية مثالية. ومع ذلك، حتى هؤلاء الفنانين الأذكياء يواجهون صعوبة عندما يواجهون موقفًا لم يروه من قبل، مما يؤدي إلى تلك "الأخطاء التراكمية" نفسها حيث يتحول الخطأ الصغير إلى كارثة شاملة.

هنا يأتي دور RedFlow. فقد طرح الباحثون سؤالاً بسيطًا ولكنه صعب: هل يمكننا تعليم الروبوت التعلم من إخفاقاته دون الحاجة إلى تدخل بشري لإصلاحها في كل مرة؟ لم يكتفوا فقط بجعل الروبوت يعرف أن "ذلك كان سيئًا"؛ بل أرادوا منه أن يعرف بالضبط أي حركة كانت سيئة وما هي الحركة التي يجب القيام بها بدلاً من ذلك.

المشكلة: الصندوق الأسود لـ "الحركة السيئة"

تخيل أنك تتعلم ركوب الدراجة. سقطت عن الدراجة. قد يقول نظام تعلم الروبوت التقليدي ببساطة: "حسنًا، السقوط أمر سيء. لا تسقط". لكنه لا يخبرك لماذا سقطت. هل مِلت كثيرًا جهة اليسار؟ هل بدلت بقوة كبيرة؟ هل نظرت إلى سنجاب؟

في عالم تعلم الروبوتات، "المسار الفاشل" يشبه فيديو لرحلة الدراجة بأكملها تنتهي بحادث. كانت الطرق القديمة تنظر إلى الفيديو بأككامل وتقول: "هذه الرحلة بأكملها كانت فاشلة". وكانت تحاول تجنب القيام بأي شيء يشبه تلك الرحلة. لكن المشكلة هنا هي أنه ربما كانت الـ 90% الأولى من الرحلة مثالية، وآخر 10% فقط (الحادث) كانت سيئة. إذا أخبرت الروبوت أن يتجنب الرحلة بأكملها، فقد ينسى كيفية التبديل أو التوجيه، رغم أن تلك الأجزاء كانت جيدة. الأمر يشبه إخبار طالب: "لا تكتب هذه المقالة"، لأن الجملة الأخيرة كانت تحتوي على خطأ مطبعي، رغم أن بقية المقالة كانت رائعة.

حاولت طرق أخرى إصلاح ذلك من خلال سؤال البشر: "مهلاً، هذه الحركة كانت خاطئة، جرب هذه بدلاً منها". لكن طلب مراقبة البشر لكل محاولة فاشلة وتقديم نصيحة محددة هو أمر بطيء ولا يمكن التوسع فيه. نحن بحاجة إلى روبوت يمكنه اكتشاف أخطائه بنفسه.

الحل: "المحقق الذكي" الخاص بـ RedFlow

يقترح مؤلفو هذه الورقة البحثية RedFlow (إعادة توجيه الفشل إلى تصحيحات على مستوى الفعل). فكر في RedFlow كمحقق ذكي للغاية يراقب محاولات الروبوت الفاشلة ويكتشف بالضبط أين انحرف الروبوت عن المسار.

إليك كيف يعمل، مقسمًا إلى خدعتين رئيسيتين:

1. "المطابقة الواعية بالسياق" (دفتر ملاحظات المحقق)
عندما يفشل الروبوت، لا ينظر RedFlow إلى الحادث فحسب. بل ينظر إلى اللحظة التي سبقت الحادث. ويسأل: "ماذا كان يفعل الروبوت؟ أين كان؟ ما مدى تقدمه في المهمة؟"

• التشبيه: تخيل أنك تحاول طي قميص، ثم أسقطته. ينظر RedFlow إلى اللحظة التي أسقطته فيها ويقول: "آه، كنت تمسك القميص بيدك اليمنى، وكان مطويًا في المنتصف".
• بعد ذلك، يذهب إلى بنك ذاكرته (قاعدة بيانات للمحاولات السابقة، بما في ذلك الناجحة منها) ويبحث عن مرات أخرى كان الروبوت فيها في نفس هذا الموقف تمامًا (يمسك القميص في المنتصف باليد اليمنى) ولكنه نجح في إتمام المهمة.
• يجد حركة ناجحة من ذلك الموقف المشابه — رب الله استخدام اليد اليسرى للإمساك بالقميص بدلاً من ذلك. إنه لا يكتفي بالقول "لا تسقط القميص"؛ بل يقول: "عندما تكون في هذا المكان المحدد، جرب استخدام يدك اليسرى". وهذا ما يسمى بإيجاد "هدف تصحيحي".

2. "هدف إعادة التوجيه التكيفي" (صافرة المدرب)
بمجرد أن يجد RedFlow "الإصلاح" الصحيح (الإمساك بالقمي^يس باليد اليسرى)، فإنه يحتاج إلى تعليم الروبوت القيام به. يستخدم طريقة تدريب خاصة بثلاثة أصوات متميزة:

• المشجع: يقول: "عمل رائع في الأجزاء التي نجحت! افعل المزيد من ذلك!" (تعزيز الأفعال الناجحة).
• علامة التوقف: يقول: "مهلاً، تلك الحركة المحددة التي تسببت في السقوط؟ لا تفعل ذلك!" (قمع الأفعال السيئة).
• المرشد: يقول: "وبدلاً من إسقاطه، جرب سحبه بيدك اليسرى، كما وجدنا في بنك الذاكرة!" (إعادة توجيه الفشل نحو الإصلاح).

هذا يختلف عن الطرق القديمة التي كانت تقول فقط "لا تفعل الشيء السيئ". RedFlow يدفع الروبوت بنشاط نحو فعل أفضل، مثل مدرب يوجه ذراع اللاعب جسديًا إلى الموضع الصحيح.

ماذا وجدوا: من الارتباك إلى الكفاءة

اختبر الباحثون هذه الفكرة بطريقتين: في محاكاة حاسوبية مع مهام متنوعة (مثل معيار LIBERO)، وعلى روبوت حقيقي مادي بذراعين.

• في عمليات المحاكاة: قارنوا RedFlow بطرق تعلم الروبوت الذكية الأخرى. أظهرت النتائج أن RedFlow كان أفضل بكثير في إصلاح الأخطاء. في المتوسط، رفع معدل نجاح الروبوت من حوالي 56.2% إلى 68.2%. هذه قفزة كبيرة! لقد كان جيدًا بشكل خاص في المهام التي كان على الروبوت فيها الوصول إلى هدف محدد، حيث تحسن النجاح من 51.8% إلى 71.2%.
• على الروبوت الحقيقي: وضعوا RedFlow للعمل على روبوت حقيقي يقوم بثلاث مهام صعبة: طي الملابس، كنس الأشياء، وتنظيف الطاولة.
  • قبل RedFlow، كان الروبوت يستطيع طي الملابس بنسبة 36.0% فقط.
  • بعد استخدام RedFlow، قفز معدل النجاح إلى 67.0%.
  • إجماليًا، عبر جميع المهام الواقعية، ارتفع معدل النجاح من 56.7% إلى 74.7%.

الجزء الأكثر إثارة هو مشاهدة الروبوت وهو يتعلم "التعافي". في أحد الفيديوهات، كان الروبوت يطوي قميصًا (T-shirt). انزلق القميص من يده اليمنى. الروبوت العادي سيستمر في محاولة الإمساك به باليد اليمنى ويفشل. لكن الروبوت المدرب بـ RedFlow أدرك: "انتظر، لا يمكنني الوصول إليه بيدي اليمنى". ثم استخدم يده اليسرى لسحب القميص مرة أخرى إلى متناوله، ثم أكمل عملية الطي. لم يتم برمجة هذا من قبل إنسان؛ بل اكتشف الروبوت ذلك من خلال تحليل إخفاقاته السابقة وإيجاد بديل ناجح في ذاكرته.

لماذا يهم هذا؟

أفضل ما في RedFlow هو أنه فعال للغاية. عادةً، لتعليم روبوت كيفية التعافي من الأخطاء، قد تحتاج إلى جعله يتدرب "عبر الإنترنت" (في العالم الحقيقي) ملايين المرات، مما يستغرق وقتًا طويلًا ويخاطر بكسر الأشياء. تمكن RedFlow من تحقيق نتائج مماثلة لتلك الطرق "عبر الإنترنت" باستخدام 10 أضعاف أقل من عينات التدريب. لقد فعل ذلك من خلال إعادة استخدام البيانات "السيئة" التي لديه بذكاء، محولًا الإخفاقات إلى منجم ذهب لفرص التعلم.

تشير الورقة البحثية إلى أنه من خلال معاملة الإخفاقات ليس كنفايات يجب التخلص منها، بل كخريطة لإيجاد حلول أفضل، يمكننا جعل الروبوتات أكثر قوة وقدرة في العالم الحقيقي. إنها خطوة نحو روبوتات لا تكتفي بتقليدنا، بل تتعلم من عثراتها لتصبح أفضل في أداء المهمة.