Normalizing Flows are Capable Models for Bi-manual Visuomotor Policy

1. بيان المشكلة

اعتمد مجال الروبوتات العامة بشكل متزايد على نماذج الانتشار (Diffusion Models) لتعلم سياسات الرؤية الحركية (ربط الملاحظات البصرية بأفعال الروبوت). وبينما توفر نماذج الانتشار قدرة تعبيرية عالية للتوزيعات متعددة الأنماط، إلا أنها تعاني من قصورين حرجين:

1. التكلفة الحسابية العالية: يتطلب الاستدلال عمليات إزالة ضجيج متعددة الخطوات ومكلفة، مما يجعل التحكم في الوقت الفعلي على الأجهزة ذات الموارد المحدودة أمراً صعباً.
2. الافتقار إلى تقدير عدم اليقين: لا توفر نماذج الانتشار تقديرات قابلة للحساب للاحتمالية المخرجة، مما يمنع النظام من قياس الثقة أو تحسين المسارات بناءً على كثافة الاحتمالية.

تفشل النماذج القائمة على الانحدار (مثل المحولات/Transformers) -رغم سرعتها- في كثير من الأحيان في التقاط التوزيعات متعددة الأنماط، حيث تنهار نحو المتوسط عند وجود عروض متباينة. يقترح المؤلفون التدفقات الطبيعية (Normalizing Flows) كبديل يجمع بين القدرة التعبيرية للنماذج التوليدية وكفاءة أخذ العينات بمرور واحد (single-pass sampling) وحساب الاحتمالية الدقيقة.

2. المنهجية: سياسة التدفق الطبيعي (NF-P)

قدم المؤلفون NF-P، وهو بنية تدفق طبيعي مشروطة مصممة للمناولة ثنائية اليد.

البنية الأساسية

• التحويل التقابلي (Bijective Mapping): يتعلم NF-P تحويلاً تقابلياً وقابلاً للاشتقاق $T$ يربط تسلسلات الأفعال المعقدة ($x$) بمتجه سابق غاوسي بسيط ($z$)، مشروطاً بالملاحظات البصرية ($o$).
• حساب الاحتمالية: بفضل صيغة تغيير المتغيرات، يمكن للنموذج حساب لوغاريتم الاحتمالية الدقيق $\log p(x|o)$ في تمريرة أمامية واحدة.
• الترميز (Encoding): تتم معالجة المدخلات البصرية عبر نموذج ResNet18 مدرب مسبقاً. ويتم دمج التضمين الناتج مع آخر فعل، لتكييف شبكة التدفق.
• هيكل التدفق: يستخدم النموذج تدفقات الشرائح العصبية (Neural Spline Flows) (الشرائح التربيعية العقلانية) ضمن طبقات الاقتران لضمان القدرة التعبيرية والقابلية للعكس.

الابتكارات الرئيسية

1. أخذ العينات بخطوة مدرجة (أثناء التدريب):
   • المشكلة: تحتوي بيانات التحكم البشري عن بُعد على ضجيج عالي التردد (ارتجافات، توقفات مؤقتة) تشتت انتباه النموذج.
   • الحل: بدلاً من النوافذ المنزلقة القياسية، يطبق المؤلفون خطوة زمنية $s$ على تسلسلات الملاحظات والأفعال أثناء التدريب. هذا يجبر النموذج على تعلم الانتقالات بين تغيرات الحالة الكبيرة، مما يعمل فعلياً على تصفية الضجيج غير الواعي مع الحفاظ على تغطية كثيفة للبيانات.
2. استراتيجيات التحسين أثناء الاستدلال:
   بالاستفادة من قدرة حساب الاحتمالية الدقيقة، يقترح المؤلفون استراتيجيتين لتنقية اختيار الفعل:
   • الاختيار العشوائي للدفعة (SBS): توليد دفعة من $N$ من المسارات المرشحة (مثلاً $N=128$) واختيار المسار ذي أعلى لوغاريتم احتمالية. هذا يعمل على تصفية القيم الشاذة منخفضة الاحتمالية.
   • التنقية بالتدرج (GR): يأخذ عينة أولية ويقوم بعملية صعود التدرج على لوغاريتم الاحتمالية ($\nabla_x \log p(x|o)$) لخطوات قليلة (مثلاً 10 تكرارات) لـ "تسلق" منحنى الاحتمالية نحو الحد الأقصى المحلي، مما ينقي المسار دون التخلي عن الطبيعة العشوائية للسياسة.

3. المساهمات الرئيسية

1. بنية مبتكرة: اقتراح NF-P، وهو تدفق طبيعي مشروط مصمم للمناولة ثنائية اليد القائمة على RGB، ويتميز بأخذ عينات بيانات مدرجة وتحسين مخرجات قائم على الاحتمالية.
2. تفوق الأداء: إثبات أن NF-P يضاهي أو يتجاوز معدلات النجاح لنماذج سياسة الانتشار (Diffusion Policy) الأساسية، مع توفير تدريب واستدلال أسرع بكثير.
3. القابلية للتوسع: تقديم دليل على أن التدفقات الطبيعية تتوسع بفعالية مع حجم مجموعة البيانات، بشكل مشابه لنماذج الانتشار.
4. المتانة في العالم الحقيقي: التحقق من قدرة NF-P على تجاوز عقبات الانتقال ومشكلات التوقف الشائعة في النهج القائمة على الانتشار، وذلك باستخدام إعداد Kuka ثنائي الذراع.

4. النتائج التجريبية

المحاكاة (RoboTwin 2.0)

• الاختبار المعياري: تم التقييم على 50 مهمة ثنائية اليد (إمساك، استخدام أدوات، تكديس).
• معدل النجاح: حقق NF-P مع تنقية التدرج (NF-PGR) متوسط معدل نجاح قدره 38.06%، وهو تحسن مطلق بنسبة 10% عن نموذج سياسة الانتشار الأساسي (28.04%).
• المهام الدقيقة: اتسعت الفجوة في المهام عالية الدقة (مثلاً: فتح الميكروويف: 77% مقابل 5%؛ تسليم الميكروويف باليد: 100% مقابل 53%).
• الكفاءة: تم تدريب NF-P في حوالي 50 دقيقة (300 حقبة) باستخدام 100 عرض توضيحي. زمن الاستدلال كان أقل من 20 مللي ثانية لـ SBS و حوالي 455 مللي ثانية لـ GR (لا يزال أسرع من نموذج الانتشار القياسي).

الروبوت في العالم الحقيقي (Kuka ثنائي الذراع)

• المهام: تكديس الكتل و طي المنشفة (جسم مرن).
• البيانات: 150 و 100 عرض توضيحي على التوالي.
• تحليل العقبات:
  • سياسة الانتشار: عانت من معدلات فشل أولية عالية (35% في التكديس) وتعثرت كثيراً في انتقالات الأهداف الفرعية (مثل الفشل في تبديل الأذرع).
  • NF-P: حقق 0% فشل أولي في التكديس ومعدلات نجاح إجمالية أعلى بكما (60% مقابل 15% للتكديس؛ 75% مقابل 55% لطي المنشفة).
  • سرعة الانتقال: أكمل NF-P انتقالات الأهداف الفرعية في حوالي 30 ثانية، بينما استغرق نموذج الانتشار ما يصل إلى 8 دقائق قبل الفشل.

دراسات الاستئصال (Ablation Studies)

• الخطوة ($s$): كانت $s=4$ هي الأمثل. $s=1$ (بدون خطوة) أدى إلى حساسية للضجيج (37% نجاح)، بينما كانت $s=8$ مفرطة جداً (46%).
• تباين أخذ العينات ($\sigma$): حقق التباين المتوسط ($\sigma=0.5$) أفضل النتائج، موازناً بين الاستكشاف والاستقرار.
• التحسين: تفوق كل من SBS و GR بشكل كبير على أخذ العينات المباشر.

5. الأهمية والخاتمة

يؤسس هذا العمل التدفقات الطبيعية كبديل تنافسي للغاية لنماذج الانتشار في تعلم السياسات الروبوتية. وتكمن الأهمية في ثلاثة مجالات رئيسية:

1. القابلية للعمل في الوقت الفعلي: من خلال تمكين الاستدلال بمرور واحد، يزيل NF-P حاجز التأخير الموجود في نماذج الانتشار، مما يجعله مناسباً لحلقات التحكم عالية التردد.
2. التحكم المدرك لعدم اليقين: القدرة على حساب الاحتماليات الدقيقة تسمح بتقدير مبدئي لعدم اليقين وتحسين المسارات (عبر صعود التدرج)، مما يؤدي إلى استكشاف أكثر أماناً ومتانة.
3. كفاءة البيانات: أظهر NF-P أداءً قوياً مع عدد أقل من حقبات التدريب والبيانات مقارنة بنماذج الانتشار، خاصة في المهام ثنائية اليد المعقدة ومتعددة الأنماط.

يخلص المؤلفون إلى أن NF-P يوفر إطاراً سليماً رياضياً وفعالاً حسابياً لتوسيع نطاق التعلم الروبوتي إلى بيئات العالم الحقيقي متعددة الأنماط، حيث تكون الاستجابة والموثوقية أمراً بالغ الأهمية.