Recovering Hidden Reward in Diffusion-Based Policies

إليك ملخص تقني مفصل لورقة البحث "Recovering Hidden Reward in Diffusion-Based Policies" (التي تقدم إطار عمل ENERGYFLOW).

1. بيان المشكلة

أصبحت السياسات القائمة على الانتشار (Diffusion-based policies) نموذجاً رائداً لتعلم مهارات التلاعب الروبوتية من عروض الخبراء، وذلك بفضل قدرتها على نمذجة توزيعات الأفعال متعددة الأنماط والمعقدة. ومع ذلك، تعتمد هذه السياسات عادةً على التقليد السلوكي (Behavior Cloning - BC)، الذي يتعلم محاكاة الأفعال دون نمذجة النية (intent) أو بنية المكافأة (reward structure) الكامنة بشكل صريح.

• محدودية الانتشار القياسي: تفتقر هذه النماذج إلى تمثيل صريح للطاقة، مما يجعلها عرضة للفشل عندما تنحرف مواقف وقت الاختبار عن توزيع التدريب (خارج التوزيع أو OOD). كما لا يمكنها توفير إشارة مكافأة لعمليات التعلم المعزز (RL) اللاحقة دون اللجوء إلى التدريب الخصمي غير المستقر أو التعلم العكسي للتعزيز (IRL) المكلف حوسبياً.
• الفجوة: هناك حاجة إلى إطار عمل يوحد بين النمذجة التوليدية للأفعال واستعادة المكافأة، مما يتيح كلاً من المحاكاة عالية الجودة واستخراج إشارة مكافأة صالحة لصقل السياسة، مع ضمان الضمانات النظرية على التعميم.

2. المنهجية: ENERGYFLOW

يقترح المؤلفون ENERGYFLOW، وهو إطار عمل يقوم بتمثيل دالة طاقة قياسية (scalar energy function) $E_\theta(s, a)$ يعمل تدرجها كحقل إزالة الضجيج (denoising field) لتوليد الأفعال.

البنية الأساسية

• تمثيل الطاقة القياسية: على عكس سياسات الانتشار القياسية التي تسترجع مباشرة ناقل ضجيج بقيمة متجهية $\epsilon_\theta(s, a)$، يتعلم ENERGYFLOW دالة طاقة قياسية $E_\theta(a, s, t)$.
• الحقل المتجه المحافظ (Conservative Vector Field): يتم اشتقاق دالة الدرجة (score function) -أي حقل إزالة الضجيج- عبر التفاضل التلقائي:
  $$S_\theta(a, s, t) = -\nabla_a E_\theta(a, s, t)$$
  من خلال هذا البناء، نضمن أن الحقل المتجه هو محافظ (خالٍ من الدوران، $\nabla \times S = 0$)، مما يعني أنه تدرج جهد قياسي. هذا يفرض القابلية للتكامل (integrability)، مما يضمن أن تفضيلات الأفعال متعدية وقابلة للتنفيذ فيزيائياً.
• التدريب: يتم تدريب النموذج باستخدام مطابقة درجة إزالة الضجيج (Denoising Score Matching - DSM). تهدف الدالة الهدف إلى تقليل الفرق بين التدرج المتعلم واتجاه الضجيج الحقيقي:
  $$\mathcal{L} = \mathbb{E}_{t, a_0, \epsilon} \left[ \sigma^2(t) \left\| -\nabla_{a_t} E_\theta(a_t, s, t) + \frac{\epsilon}{\sigma(t)} \right\|^2 \right]$$
• الاستدلال: يتم توليد الأفعال عن طريق تكامل معادلة التدفق الاحتمالي (probability-flow ODE) باستخدام تدرج دالة الطاقة المتعلمة.

استخراج المكافأة

يستخرج الإطار إشارة مكافأة مباشرة من مشهد الطاقة المتعلم. وللتعامل مع ثابت التكامل المعتمد على الحالة $c(s)$ (والذي يجعل قيم الطاقة الخام غامضة عبر الحالات المختلفة)، يقترح المؤلفون التشكيل المركزي (Centered Shaping):
$$\tilde{r}(a, s) = -\left( E_\theta(a, s) - \mathbb{E}_{a' \sim \mathcal{N}}[E_\theta(a', s)] \right)$$
هذا الإجراء يطرح خط أساس يعتمد على الحالة (يتم تقديره عبر أخذ عينات مونت كارلو)، مما يعمل على تطبيع المكافأة لتعكس فقط تفضيلات الأفعال النسبية داخل الحالة الواحدة.

3. المساهمات النظرية الرئيسية

تقدم الورقة براهين نظرية صارمة تثبت العلاقة بين مطابقة درجة الانتشار واستعادة المكافأة:

1. تكافؤ الدرجة والمكافأة (Score-Reward Equivalence): تحت فرضية الأمثلية ذات الحد الأقصى للإنتروبيا (Maximum Entropy Optimality)، تثبت الورقة أن دالة الدرجة التي تتعلمها نماذج الانتشار تتناسب مع تدرج دالة $Q$ الناعمة للخبير ($\nabla_a Q^* \propto S^*$). وبالتالي، فإن مطابقة الدرجة تستعيد ضمناً تدرج المكافأة دون الحاجة إلى تحسين (min-max) خصمي.
2. تقليل التعقيد عبر القيود المحافظة: يثبت المؤلفون أن تقييد فضاء الفرضيات إلى حقول محافظة (تدرجات قياسية) يقلل بشكل صارم من تعقيد رادماخر (Rademacher complexity) مقارنة بالحقول المتجهية غير المقيدة. وتحديداً، يرتبط حد التعقيد للحقول المحافظة بسلاسة التمثيل ($L$)، بينما يرتبط الحقول غير المقيدة بالبعد المخرجي ($\sqrt{d}$).
3. حدود التعميم خارج التوزيع (OOD): بالاستفادة من التعقيد المنخفض، تشتق الورقة حدود تعميم أكثر إحكاماً لسيناريوهات خارج التوزيع (OOD). يعمل القيد المحافظ كمنظم هندسي، مما يمنع النموذج من تعلم اتجاهات متجهية عشوائية ويجبره على استقراء شكل مشهد الطاقة، مما يؤدي إلى تحسن في المتانة تحت تغير التوزيع.
4. قابلية التحديد وانتشار الخطأ: تثبت الورقة أنه بينما لا يمكن تحديد قيمة $Q$ المطلقة بشكل فريد (بسبب الثابت المعتمد على الحالة غير المعروف)، فإن ترتيب الأفعال داخل الحالة الواحدة يكون دقيقاً. علاوة على ذلك، يضعون حداً لانتشار أخطاء تقدير الدرجة إلى تفضيلات الأفعال، موضحين أن الأخطاء تتناسب خطياً مع المسافة بين الأفعال (استمرارية ليبشيتز).

4. النتائج التجريبية

قيم المؤلفون ENERGYFLOW على اختبارات RoboMimic و Meta-World، بالإضافة إلى مهام روبوتية في العالم الحقيقي.

• أداء المحاكاة (RQ1): حقق ENERGYFLOW أداءً رائداً (SOTA).
  • RoboMimic: معدل نجاح متوسط بنسبة 93.8% (مقابل 91.2% لسياسة الانتشار التقليدية).
  • Meta-World: معدل نجاح متوسط بنسبة 92.5% (مقابل 90.7% لسياسة الانتشار التقليدية).
  • تفوق بشكل كبير على طرق تعتمد على الطاقة الأخرى (مثل Implicit BC) ونماذج IRL الأساسية.
• النشر في العالم الحقيقي (RQ2): تم النشر على روبوت AGIBOT G1 لمهام "الزجاجة" (Bottle) و"الدرج" (Drawer). حقق ENERGYFLOW معدل نجاح بنسبة 100% مع مسارات سلسة وتردد أقل مقارنة بالنماذج المرجعية.
• جودة المكافأة للتعلم المعزز اللاحق (RQ3): عند استخدامه كإشارة مكافأة لتدريب وكيل (Soft Actor-Critic - SAC):
  • مكنت مكافأة "الطاقة المركزية" (Centered Energy) وكيل SAC من الوصول إلى أداء يقارب الأداء المثالي (Oracle)، متفوقاً بشكل كبير على المكافآت المتفرقة (Sparse Rewards) ومكافآت الطاقة الخام.
  • وفرت إرشادات كثيفة وخطوة بخطوة منعت حالات الركود المبكر في التدريب.
• التعميم خارج التوزيع (OOD) (RQ4): تحت تأثير زيادة اضطرابات الموقع الابتدائي، حافظ ENERGYFLOW على معدلات نجاح قوية بينما تدهورت أداء سياسات الانتشار والتدفق غير المقيدة بشكل ملحو-ظور. وهذا يؤكد الفائدة النظرية للقيد المحافظ.
• الكفاءة (RQ6): حقق ENERGYFLOW سرعات استدلال مقاربة لسياسات التدفق غير القائمة على الطاقة (تأخير ~10 مللي ثانية) مع توفير مزايا دالة الطاقة الصريحة، متجنباً أوقات أخذ العينات البطيئة لنماذج الطاقة التقليدية (EBMs).

5. الأهمية والتأثير

• توحيد المحاكاة والتعلم المعزز: يردم ENERGYFLOW الفجوة بين التقليد السلوكي والتعلم المعزز. فهو يسمح بتدريب السياسة عبر المحاكاة مع الكشف في الوقت نفسه عن إشارة مكافأة صالحة لمزيد من الصقل، مما يلغي الحاجة إلى تصميم مكافآت يدوية أو تعلم عكسي خصمي غير مستقر.
• الضمانات النظرية للانتشار: يوفر هذا العمل التبرير النظري الأول لسبب كون فرض حقل محافظ (قابلية التكامل) في سياسات الانتشار أمراً مفيداً، وربط ذلك بتقليل تعقيد الفرضية وتحسين التعميم خارج التوزيع.
• المنفعة العملية: الطريقة فعالة حوسبياً، وقابلة للتوسع في فضاءات الأفعال عالية الأبعاد، وفعالة في مهام الروبوتات في العالم الحقيقي، مما يقدم حلاً قوياً لتعلم مهارات التلاعب المعقدة من عروض توضيحية محدودة.

باختصار، يثبت ENERGYFLOW أن القيود الهيكلية المطلوبة لاستخراج مكافأة صالحة (الحقول المحافظة) تعمل في الوقت نفسه كتحيزات استقرائية قوية تعزز من تعميم ومتانة سياسات الانتشار.