Policy Contrastive Decoding for Robotic Foundation Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "Policy Contrastive Decoding for Robotic Foundation Models":

1. بيان المشكلة

أظهرت النماذج التأسيسية للروبوتات (سياسات الروبوت العامة) إمكانات كبيرة للتحكم المرن والمتعدد الأغراض. ومع ذلك، حدد المؤلفون خللاً حرجاً: غالباً ما تتعلم هذه النماذج ارتباطات زائفة (spurious correlations) من مسارات التدريب المسبق. فبدلاً من التركيز على السمات المتعلقة بالكائن والمهام، تعتمد السياسات على إشارات خلفية غير ذات صلة (مثل الإضاءة، أو الأنسجة، أو الأشياء الموجودة في الخلفية) للتنبؤ بالأفعال.

• النتيجة: عندما يتغير بيئة التشغيل (على سبيل المثال، تغير الخلفية، أو تعديلات الإضاءة، أو إعادة تموضع الكائنات)، يتدهور أداء السياسة بشكل كبير لأن "الاختصارات" التي تعلمتها لم تعد صالحة.
• القيود الحالية: تتطلب الحلول الحالية غالباً إعادة التدريب أو الضبط الدقيق (fine-tuning)، وهو أمر مكلف حوسبياً ويتطلب الوصول إلى أوزان النموذج. هناك نقص في الطرق التي تعمل دون تدريب (training-free) وتعمل بنظام "التوصيل والتشغيل" (plug-and-play) لتصحيح حالات الفشل أثناء الاستدلال.

2. المنهجية: فك التشفير التبايني للسياسة (Policy Contrastive Decoding - PCD)

يقترح المؤلفون فك التشفير التبايني للسياسة (PCD)، وهو ملحق يعمل أثناء الاستدلال دون الحاجة لتدريب، مصمم لإعادة توجيه انتباه سياسة الروبوت من السمات الزائفة إلى الإشارات البصرية ذات الصلة بالكائن.

الآلية الجوهرية

يعمل PCD من خلال مقارنة توزيعات احتمالية الفعل الناتجة عن مدخلين بصريين مختلفين:

1. الملاحظة الأصلية ($o_i$): المدخل البصري القياسي.
2. الملاحظة المقنعة للكائن ($\hat{o}_i$): نفس المدخل البصري حيث يتم قناع (masking) الكائنات ذات الصلة بالمهمة (إزالتها أو ملء مكانها).

تقوم الطريقة بحساب توزيع احتمالية فعل تبايني جديد ($\pi^*$) باستخدام الصيغة التالية:
$$\pi^*_\theta(a_i | \ell, o_i) = \frac{1}{C} \cdot \pi_\theta(a_i | \ell, o_i) \cdot \left( \frac{\pi_\theta(a_i | \ell, o_i)}{\pi_\theta(a_i | \ell, \hat{o}_i)} \right)^\alpha$$

• المنطق: إذا كانت السياسة تعتمد على سمات زائفة (الخلفية)، فسيكون توزيع الاحتمالات متشابهاً لكل من $o_i$ و $\hat{o}_i$، مما يؤدي إلى نسبة قريبة من 1 (لا تغيير). أما إذا كانت السياسة تعتمد على الكائن، فإن التوزيع لـ $\hat{o}_i$ سيختلف بشكل كبير، مما يضخم احتمالية الفعل الصحيح في المخرجات النهائية.
• المعامل الفائق ($\alpha$): يتحكم في قوة التباين. عند $\alpha=0$، نستعيد السياسة الأساسية.

المكونات التقنية الرئيسية

لجعل PCD قابلاً للتطبيق على سياسات روبوتية متنوعة، قدم المؤلفون استراتيجيتين محددتين:

1. التتبع من أجل القناع (Track2Mask):

   • الهدف: إنشاء ملاحظات مقنعة للكائن تلقائياً لكل إطار في المسار دون تدخل يدوي.
   • العملية:
     • التوسيم (Annotation): يتم تحديد الكائنات المستهدفة في الإطار الأول باستخدام مطالبات بشرية (نقطة/صندوق) أو كواشف مفتوحة المفردات جاهزة (مثل Grounding DINO).
     • التتبع: يقوم نموذج SAM2 (Segment Anything Model 2) بتتبع وتقسيم (segmenting) هذه الكائنات عبر الإطارات اللاحقة.
     • الملء (Inpainting): يتم ملء الأجزاء المقسمة (إزالتها) لإنشاء الملاحظة المقنعة $\hat{o}_i$.

2. النمذجة الاحتمالية القائمة على تقدير كثافة النواة (KDE-based Probabilistic Modeling):

   • التحدي: تُخرج السياسات ذات الترتيب الذاتي (مثل OpenVLA) احتمالات الرموز (tokens) مباشرة، ولكن السياسات القائمة على الانتشار (diffusion-based policies) (مثل Octo، $\pi_0$) تولد الأفعال عبر عملية إزالة الضجيج (denoising) ولا تُخرج توزيع احتمالية $\pi_\theta(a|o)$ بشكل طبيعي.
   • الحل: يستخدم المؤلفون تقدير كثافة النواة (KDE) لتقريب توزيع احتمالية الفعل. يقومون بأخذ عينات من $N$ من الأفعال المرشحة من سياسة الانتشار ويطابقون كثافة نواة غاوسية لهذه العينات لتقدير $\pi_\theta(a|o)$ و $\pi_\theta(a|\hat{o})$، مما يسمح لصيغة فك التشفير التبايني بالعمل مع نماذج الانتشار.

3. المساهمات الرئيسية

1. أول حل لا يتطلب تدريباً: يعد PCD أول عمل يقترح نهجاً "توصيل وتشغيل" لا يتطلب تدريباً لتخفيف الارتباطات الزائفة في سياسات الروبوت أثناء الاستدلال.
2. مستقل عن النموذج (Model Agnostic): يعمل كملحق "الصندوق الأسود" متوافق مع كل من السياسات ذات الترتيب الذاتي (OpenVLA) والسياسات القائمة على الانتشار (Octo، $\pi_0$) دون الحاجة للوصول إلى الأوزان المدربة مسبقاً أو إجراء ضبط دقيق.
3. القوة تجاه تغير التوزيع: من خلال المقارنة الصريحة بين المدخلات ذات الصلة بالكائن والمدخلات غير ذات الصلة، يجبر PCD السياسة على التركيز على السمات السببية، مما يحسن التعميم بشكل كبير في السيناريوهات غير المرئة.

4. النتائج التجريبية

قيم المؤلفون PCD على 15 مهمة متنوعة عبر بيئات المحاكاة (SIMPLER) والبيئات الواقعية باستخدام ثلاث سياسات رائدة: OpenVLA، وOcto، و$\pi_0$.

• أداء المحاكاة:
  • OpenVLA: حسن معدل النجاح بمقدار 50.6% في المتوسط.
  • Octo: حسن معدل النجاح بمقدار 29.7% في المتوسط.
  • $\pi_0$: حسن معدل النجاح بمقدار 8.9% في المتوسط (على الرغم من أن $\pi_0$ هو بالفعل نموذج أساسي قوي).
• الأداء في العالم الحقيقي:
  • في مهام التلاعب في العالم الحقيقي باستخدام سياسة $\pi_0$، حقق PCD تحسناً هائلاً بنسبة 108% في معدل النجاح مقارنة بالنموذج الأساسي.
  • أثبتت الطريقة قوتها ضد مختلف المشتتات (تغيرات الإضاءة، فوضى الخلفية، إزاحة موقع الكائن).
• دراسات الاستئصال (Ablation Studies):
  • الطريقة قوية تجاه استراتيجيات اكتشاف الكائنات المختلفة (المطالبات البشرية مقابل Grounding DINO مقابل YOLO World).
  • الطريقة قوية تجاه خوارزميات الملء (Inpainting) المختلفة (أدى LaMa أفضل أداء).
  • يُظهر المعامل الفائق $\alpha$ تأثيراً إيجابياً واضحاً عندما يكون $>0$.

5. الأهمية والقيود

• الأهمية: يعالج PCD نقطة ضعف جوهرية في النماذج التأسيسية الحالية للروبوتات (الاعتماد على الارتباطات الزائفة) دون التكلفة الباهظة لإعادة التدريب. إنه يوضح أن التدخلات البسيطة أثناء الاستدلال يمكن أن تحسن التعميم والسلامة بشكل كبير في النشر الواقعي.
• القيود:
  • الأعباء الحوسبية: يتطلب PCD تمريرة أمامية ثانية (للصورة المقنعة) بالإضافة إلى تتبع الكائنات والملء، مما يزيد من زمن الاستدلال بنسبة تقارب 24-100% (اعتماداً على السياسة والتوازي). ومع ذلك، يرى المؤلفون أن هذا مقبول نظراً للمكاسب الهائلة في معدلات النجاح.
  • النطاق: يركز حالياً على التصحيح أثناء الاستدلال؛ وتهدف الأعمال المستقبلية إلى معالجة الارتباطات الزائفة خلال مرحلة التدريب.

الخلاصة: تقدم الورقة إطاراً فعالاً ومتعدد الاستخدامات (PCD) يعزز بشكل كبير موثوقية وتعميم النماذج التأسيسية للروبوتات من خلال إجبارها على الانتباه إلى السمات البصرية الصحيحة، مما يسد الفجوة بين أداء المحاكاة والمتانة في العالم الحقيقي.