ملخص تقني: التعلم التكيفي المستند إلى المعلومات المتعلقة بالفشل (AFIL) لنماذج الرؤية واللغة والأفعال

1. بيان المشكلة

برزت نماذج الرؤية واللغة والأفعال (VLA) كنموذج قابل للتوسع للتحكم الروبوتي، حيث تستفيد من تمثيلات الرؤية واللغة سابقة التدريب واسعة النطاق لتمكين اتخاذ القرار المتجسد. ومع ذلك، تعاني نماذج VLA الحالية من هشاشة كبيرة أثناء النشر. ينبع هذا القصور أساساً من اعتمادها على الاستنساخ السلوكي القائم على النجاح فقط. تتكون بيانات التدريب عادةً من مسارات يتم التحكم فيها عن بُعد وتم جمعها في بيئات محصورة، والتي تفتقر إلى إشارات تصحيحية للحالات دون المثالية أو غير المرئية.

بناءً على ذلك، تميل السياسات التي يتم تدريبها فقط على العروض الناجحة إلى الإفراط في التخصيص (overfitting) لمجالات سلوكية ضيقة. وعند حدوث أخطاء طفيفة في التنفيذ، فإنها تتراكم بسرعة لتصبح إخفاقات غير قابلة للاسترداد. وبينما تشير الأعمال الحديثة إلى أن التعلم من بيانات الفشل يمكن أن يحسن المتانة، إلا أن النهج الحالية تواجه قيوداً حرجة:

• التصميم اليدوي: تعتمد العديد من الطرق على تصنيفات فشل مصممة يدوياً (مثل تحديد فئات معينة مثل "الانزلاق" أو "الإمساك غير المكتمل")، والتي تتطلب خبرة في المجال وتفشل في التقاط التنوع العشوائي للإخفاقات في العالم الحقيقي.
• الاعتماد على البشر: غالباً ما يعتمد الاسترداد على قواعد استدلالية خاصة بالمهمة أو تدخل بشري في الوقت الفعلي، مما يحد من القدرة على التوسع.
• التكلفة الحسابية: إن تطبيق التوجيه السلبي (على غرار التلقين السلبي في توليد الصور) على الأفعال الروبوتية المتسلسلة أمر غير بسيط. تتطلب الطرق التقليدية غالباً نماذج منفصلة للتوزيعات المرغوبة وغير المرغوبة، وهو أمر باهظ التكلفة حسابياً لأنظمة VLA المبنية على نماذج لغة ورؤية (VLM) ضخمة.

2. المنهجية: التعلم التكيفي المستند إلى المعلومات المتعلقة بالفشل (AFIL)

يقترح المؤلفون إطار عمل التعلم التكيفي المستند إلى المعلومات المتعلقة بالفالفشل (AFIL)، وهو إطار عمل شامل (end-to-end) مصمم لسياسات VLA القائمة على الانتشار (diffusion) أو مطابقة التدفق (flow-matching). يستفيد AFIL من مسارات الفشل كإرشادات سلبية تكيفية لتوجيه توليد الأفعال بعيداً عن المناطق المعرضة للفشل.

2.1 بنية مولد الأفعال المزدوج (DAG)

يقدم AFIL بنية مولد الأفعال المزدوج (DAG) التي تتعلم بشكل مشترك من بيانات النجاح والفشل مع الحفاظ على كفاءة المعلمات:

• العمود الفقري المشترك: يتشارك كلا المولدين عموداً فقرياً مشتركاً من نموذج VLM سابق التدريب ($\Phi_{VLM}$) للإدراك البصري والتأسيس الدلالي.
• الرؤوس المزدوجة: تستخدم البنية مولدين متميزين للأفعال:
  1. مولد النجاح ($\mathcal{G}_{succ}$): مدرب حصرياً على المسارات الناجحة لنمذجة التوزيع $p_{succ}(a | o, \ell)$.
  2. مولد الفشل ($\mathcal{G}_{fail}$): مدرب حصرياً على مسارات الفشل لنمذجة التوزيع $p_{fail}(a | o, \ell)$.
• توليد الفشل عبر الإنترنت: بدلاً من الاعتماد على التوسيم اليدوي، يقوم AFIL بتوليد مسارات الفشل عبر الإنترنت من خلال تشغيل نموذج VLA سابق التدريب تحت تنفيذ مشروط بالمهمة. تلتقط هذه المسارات أنماط الخطأ الناشئة والمتراكمة بشكل طبيعي.

2.2 استراتيجية التدريب

يتم تدريب النموذج على مجموعة بيانات مختلطة $\mathcal{D} = \{\mathcal{D}_s, \mathcal{D}_f\}$.

• بالنسبة لسياسات الانتشار (diffusion-based)، يتنبأ كل مولد بالضوضاء $\epsilon_\theta$ ويقلل من هدف الانتشار القياسي على مجموعة البيانات الخاصة به.
• بالنسبة لسياسات مطابقة التدفق (flow-matching)، تتنبأ الرؤوس بمجالات السرعة لنقل العينات من الضوضاء إلى توزيع البيانات.
• من الضروري ملاحظة أن أهداف تدريب التوليد الأساسية تظل دون تغيير؛ والابتكار يكمن في هيكل التدريب المشترك وآلية التوجيه في وقت الاستدلال.

2.3 أخذ العينات التكيفي المستند إلى معلومات الفشل

في وقت الاستدلال، يستخدم AFIL آلية توجيه ديناميكية مستوحاة من التلقين السلبي (Negative Prompting) في توليد النصوص والصور. بدلاً من استخدام مقياس توجيه ثابت، يقوم AFIL بتعديل قوة التوجيه السلبي تكيفياً بناءً على التباعد بين تنبؤات النجاح والفشل في كل خطوة انتشار.

يتم حساب الدرجة الموجهة $\epsilon^*_{FI}$ كالتالي:
$$\epsilon^*_{FI} = \epsilon_{succ} - \hat{\lambda}_\eta(\mathbf{a}^\eta) (\epsilon_{fail} - \epsilon_{succ})$$
حيث يتم تحديد مقياس التوجيه التكيفي $\hat{\lambda}_\eta$ من خلال تشابه جيب التمام (cosine similarity) بين ناقلات الضوضاء المتوقعة لمولدات النجاح والفشل:
$$\hat{\lambda}_\eta(\mathbf{a}^\eta) = \alpha (1 - \cos(\epsilon_{succ}, \epsilon_{fail}))$$

المنطق وراء التكيف:

• المراحل المبكرة: في بداية الحلقة، غالباً ما تشترك عمليات التشغيل الناجحة والفاشلة في حركات الوصول المتشابهة. هنا، يكون تشابه جيب التمام مرتفعاً، مما يؤدي إلى مقياس توجيه منخفض لتجنب قمع الأفعال الصالحة.
• مراحل التباعد: مع تقدم المسار، إذا ظهر نمط فشل (مثل سقوط جسم)، فإن التنبؤات تتباعد. ينخفض تشابه جيب التمام، مما يزيد من مقياس التوجيه لدفع السياسة بنشاط بعيداً عن مجال الفشل وتوجيهها نحو السلوكيات التصحيحية.

3. المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

1. إطار عمل AFIL: تقديم التعلم التكيفي المستند إلى المعلومات المتعلقة بالفشل لـ VLA القائمة على الانتشار أو المطابقة، باستخدام مسارات الفشل المولدة عبر الإنترنت كشكل مبدئي من أشكال التوجيه السلبي التكيفي لتوليد الأفعال المتسلسلة.
2. بنية DAG-VLA: بنية مبتكرة تتعلم بشكل مشترك سلوكيات النجاح والفشل مع عمود فقري مشترك لـ VLM، مما يسمح بتعلم سياسة واعية بالفشل بكفاءة مع عبء إضافي محدود في المعلمات.
3. التحقق التجريبي: إثبات أن AFIL يحسن باستمرار معدلات النجاح والمتانة عبر مهام معالجة متنوعة داخل النطاق وخارجه، بما في ذلك الإعدادات قصيرة وطويلة الأمد.

4. النتائج التجريبية

قيم المؤلفون AFIL على معايير ManiSkill و LIBERO باستخدام عمود فقري $\pi0.5$.

4.1 الأداء داخل النطاق (ManiSkill)

• المهام قصيرة الأمد: حسن AFIL معدلات النجاح بشكل كبير مقارنة بالنماذج المرجعية القائمة على النجاح فقط. على سبيل المثال، في مهمة "رفع الوتد قائماً"، ارتفعت معدلات النجاح من 70.7% (النجاح فقط) إلى 90.7% (Adaptive-FIL).
• المهام طويلة الأمد: كانت المكاسب أكثر وضوحاً في المهام المعقدة متعددة الخطوات حيث تتراكم الأخطاء. في مهمة "وضع العلبة على الطبق والموزة على الطبقة"، ارتفعت معدلات النجاح من 39.3% إلى 71.3%، متفوقة على أخذ العينات الثابت المستند إلى الفشل بأكثر من 12%.
• الدراسة الاستقصائية (Ablation): أكدت الدراسة أن التوجيه التكيفي ($\alpha=1.0$) يتفوق على التوجيه الثابت، لا سيما في موازنة طرد أنماط الفشل دون قمع الأفعال الصالحة خلال مراحل المسار المبكرة.

4.2 تقييم المعيار (LIBERO)

• حقق AFIL أداءً هو الأفضل حالياً (state-of-the-art) عبر جميع مجموعات LIBERO الأربع (المكانية، الكائن، الهدف، والطويلة).
• في مجموعة LIBERO-10 الصعبة (طويلة الأمد)، حسن AFIL أداء النموذج المرجعي $\pi0.5$ من 92.4% إلى 95.8%.
• تحسن متوسط معدل النجاح عبر جميع المجموعات من 96.9% إلى 98.4%، مما يثبت أن حتى السياسات القوية سابقة التدريب تستفيد من توجيه الفشل التكيفي.

4.3 تقييم خارج النطاق (OOD)

• في السيناريوهات التي تتضمن أشياء غير مرئية، وهندسات جديدة، وبيئات مزدحمة، تدهورت سياسة "النجاح فقط" بشكل كبير (مثلاً 10.7% في فرز الفاكهة).
• أظهر AFIL قدرة قوية على التعميم، محققاً 64.0% نجاح في فرز الفاكهة، متفوقاً بشكل كبير على كل من نموذج "النجاح + تصحيح الفشل" المرجعي وعلى نموذج النجاح فقط بدون توجيه تكيفي.

5. الأهمية والادعاءات

تدعي الورقة أن AFIF يوفر آلية قابلة للتوسع وفعالة لتوليد الأفعال الروبوتية القوية دون الحاجة إلى:

• أنماط فشل أو تصنيفات مصممة يدوياً.
• قواعد استدلال تصحيحية خاصة بالمهمة.
• نماذج VLA منفصلة وضخمة للكشف عن الفشل.

من خلال نمذجة توزيعات الفشل صراحةً واستخدامها كإرشادات سلبية تكيفية، يعالج AFIL الهشاشة المتأصلة في التدريب القائم على النجاح فقط. ويرى المؤلفون أن هذا النهج يوفر اتجاهاً واعداً لتطوير سياسات VLA قادرة على التعميم في إعدادات النشر الواقعية حيث تكون الأخطاء، وتحولات التوزيع، والحاجة إلى الاسترداد أموراً لا مفر منها. ويُقدم الأسلوب على أنه مستقل عن النموذج (model-agnostic)، وقابل للتطبيق على أي سياسة VLA قائمة على الانتشار أو مطابقة التدفق.