Flexible Multitask Learning with Factorized Diffusion Policy

إليك ملخص تقني مفصل لورقة البحث بعنوان "سياسة الانتشار متعددة المهام المرنة باستخدام الانتشار الموزع" (FDP).

1. بيان المشكلة

تعالج الورقة تحديات التعلم بالتقليد متعدد المهام في مجال الروبوتات، وتحديداً صعوبة نمذجة توزيعات الأفعال شديدة التعدد (multimodal) والمتنوعة.

• قيود النماذج المتجانسة (Monolithic Models): تعاني سياسات الشبكة الواحدة التقليدية (مثل سياسة الانتشار القياسية) من صعوبة في التعميم عبر المهام المتنوعة، حيث غالباً ما تفشل في استيعاب التوزيعات المعقدة أو تمثيل أنماط سلوكية متميزة (مثل استراتيجيات الإمساك المختلفة للأجسام المختلفة).
• قيود النماذج الوحدوية الموجودة (Modular Models): بينما تحاول بنيات "خليط الخبراء" (Mixture-of-Experts - MoE) تفكيك المهام، إلا أنها تعاني من:
  • عدم استقرار التدريب: صعوبة في موازنة استخدام الخبراء.
  • مشكلات التوجيه (Routing): قد يؤدي اختيار الخبير المنفصل إلى "عدم توازن التوجيه" (حيث لا يتم استخدام بعض الخبراء أبداً، بينما يُستخدم البعض الآخر بشكل مفرط).
  • ضعف القابلية للتفسير: غالباً ما تكون أدوار الخبراء متداخلة أو غير واضحة، وقد تتوزع المهارات عبر الطبقات بدلاً من كونها منفصلة بوضوح.
  • النسيان الكارثي (Catastrophic Forgetting): التكيف مع مهام جديدة يتطلب غالباً إعادة تدريب النموذج بأكم، مما يهدد بفقدان المهارات التي تم تعلمها مسبقاً.

2. المنهجية: سياسة الانتشار الموزع (FDP)

يقترح المؤلفون FDP، وهي بنية سياسة وحدوية تقوم بتفكيك توزيع الفعل إلى تكوين من نماذج انتشار متخصصة.

أ. البنية الأساسية

• التفكيك (Factorization): بدلاً من سياسة واحدة $p(a_t|o_t)$، يقوم FDP بنمذجة توزيع الفعل كحاصل ضرب مرجح لـ $N$ من التوزيعات المكونة:
  $$p(a_t|o_t) \propto \prod_{i} p_i(a_t|o_t)^{w_{t,i}}$$
  هنا، كل $p_i$ هو نموذج انتشار متخصص (خبير) يلتقط نمطاً سلوكياً متميزاً (مهارة فرعية)، و $w_{t,i}$ هي أوزان تعتمد على الملاحظة.
• أخذ العينات التركيبي (Compositional Sampling):
  • الموجه (Router): شبكة MLP خفيفة الوزن تأخذ الملاحظة $o_t$ وتخرج أوزاناً مستمرة $\{w_{t,i}\}$ لجميع المكونات.
  • تجميع الدرجة (Score Aggregation): على عكس MoE المنفصل (الذي يختار خبيراً واحداً)، يقوم FDP بتجميع تقديرات الدرجة (تدرجات لوغاريتم الاحتمالية) من جميع المكونات:
    $$\nabla \log p(a_t|o_t) \approx \sum_{i} w_{t,i} \nabla \log p_i(a_t|o_t)$$
  • عملية إزالة الضجيج (Denoising Process): تستخدم خطوة إزالة الضجيء التكرارية هذا المجموع المرجح للدرجات لتوجيه توليد مسار الفعل. وهذا يقابل أخذ العينات من حاصل ضرب التوزيعات، مما يؤطر توليد الفعل كـ مسألة تحقيق قيود (constraint satisfaction problem).

ب. التدريب والتكيف

• التدريب المشترك: يتم تدريب جميع مكونات الانتشار والموجه بشكل كامل (end-to-end) باستخدام خسارة متوسط مربع الخطأ (MSE) على تنبؤ الدرجة المجمعة.
• التكيف الفعال (Upcycling): للتكيف مع مهمة جديدة دون إعادة تدريب النموذج بالكامل:
  1. يتم تقديم مكون انتشار جديد.
  2. يتم تهيئة هذا المكون عن طريق الترقية (upcycling) (نسخ الأوزان) من مكون موجود.
  3. يتم ضبط المكون الجديد والموجه فقط (fine-tuning)؛ بينما يتم تجميد جميع المكونات السابقة.
  4. هذا يمنع النسيان الكارثي ويقلل بشكل كبير من عدد المعلمات القابلة للتدريب.

3. المساهمات الرئيسية

1. بنية وحدوية مبتكرة: قدم FDP، الذي يستخدم تجميع درجات مستمر بدلاً من اختيار الخبراء المنفصل. هذا يضمن استقرار التدريب، ويمنع عدم توازن التوجيه، ويعزز التخصص الواضح بين المكونات.
2. التفسير الاحتمالي: يستند إلى نماذج الطاقة (EBM) ومطابقة الدرجة (score matching)، مما يوفر صياغة مبدئية حيث يمثل السياسة المركبة تقاطع القيود السلوكية.
   ចំនួន
3. استراتيجية تكيف قابلة للتوسع: اقترح آلية "التدريب الانتقائي" باستخدام الترقية (upcycling) والتجميد، مما يتيح توسيع المهارات بكفاءة وبأقل قدر من البيانات ودون نسيان كارثي.
4. التحقق التجريبي: أظهر أداءً متفوقاً على النماذج المرجعية القوية (الانتشار المتجانس، وسياسة الانتشار المتناثر، وMoDE) في كل من المحاكاة والبيئات الواقعية.

4. النتائج التجريبية

قيم المؤلفون FDP على MetaWorld، و RLBench، و LIBERO، و التحكم الروبوتي في العالم الحقيقي (ذراع UR5e).

• أداء المهام المتعددة:

  • تفوق FDP باستمرار على سياسة الانتشار المتجانسة (DP) والنماذج الوحدوية المرجعية (SDP, MoDE) عبر أكثر من 30 مهمة.
  • MetaWorld: حقق FDP متوسط نجاح بنسبة 74.8% مقابل 70.8% (DP) و 69.8% (SDP).
  • RLBench: حقق FMP متوسط نجاح بنسبة 63.9% مقابل 45.6% (DP) و 42.1% (SDP).
  • العالم الحقيقي: أظهر FDP معدلات نجاح أعلى في المهام المعقدة (مثل تعليق الأكواب، أو التقاط المكعبات الملونة) حيث فشلت النماذج المرجعية بسبب الإفراط في التخصيص (overfitting) أو عدم القدرة على استيعاب التوزيعات متعددة الأنماط.

• التكيف مع المهام والنقل:

  • كفاءة البيانات: عند التكيف مع مهام جديدة ببيانات محدودة (10-25 عرضاً توضيحياً)، تفوق FMP باستخدام استراتيجية "إضافة مكون جديد" على الضبط الدقيق لكامل المعلمات أو الضبط الدقيق الجزئي.
  • التعلم المستمر: في اختبار تعلم مستمر مكون من 12 مهمة (LIBERO)، حافظ FDP على أداء عالٍ مع إضافة خبراء جدد، بينما تدهورت الطرق الأخرى.
  • الاحتفاظ بالمعرفة: أدى تجميد المكونات القديمة إلى الحفاظ بفعالية على المهارات السابقة. استخدام مخزن إعادة تشغيل (replay buffer) ضئيل (5 عروض لكل مهمة) سمح للنموذج بالاحتفاظ بما يقرب من 100% من الأداء الأصلي بعد التكيف.

• التحليل والتوسع:

  • توسع المكونات: تحسن الأداء مع زيادة عدد المكونات من 2 إلى 4، ثم استقر.
  • توسع المهام: اتسعت الفجوة في الأداء بين FDP والنماذج المتجانسة مع زيادة عدد المهام، مما يبرز قدرة FDP على التوسع.
  • القابلية للتفسير: أظهرت التصورات أن المكونات الفردية تخصصت في مهارات فرعية متميزة (مثل: المحاذاة، الاقتراب، الإمساك) بدلاً من مستويات الضجيج أو الطبقات العشوائية.
  • سرعة الاستنتاج: يدعم FDP "إعادة البناء الجزئي" (باستاستخدام أفضل $k$ من المكونات)، مما يحقق تسريعاً بمقدار ضعفين (2x) في الاستنتاج مع انخفاض في الأداء بنسبة ~19% فقط.

5. الأهمية

• التعلم الروبوتي: يقدم FDP حلاً عملياً لنشر الروبوتات في بيئات ديناميكية حيث يجب أن تتعلم مهارات جديدة بسرعة دون نسيان المهارات القديمة.
• الاستقرار: من خلال استبدال التوجيه المنفصل بتكوين الدرجات المستمر، يحل FDP مشكلات عدم استقرار التدريب التي واجهت سياسات MoE القائمة على الانتشار.
• القابلية للتفسير: يسمح التفكيك للباحثين بفحص وفهم المهارات الفرعية المحددة (مثل "الإمساك" مقابل "الاقتراب") داخل السياسة، مما يساعد في تصحيح الأخطاء والتحقق من السلامة.
• الاتجاهات المستقبلية: يفتح هذا الإطار آفاقاً لتصميمات وحدوية غير متجانسة (خلط البنيات) وأنظمة تعلم مدى الحياة حيث يمكن للروبوتات تجميع مكتبة من المهارات المتخصصة باستمرار.

باختصار، يمثل FDP تقدماً كبيراً في التعلم بالتقليد الروبوتي من خلال الجمع بين القدرة التوليدية لنماذج الانتشار وبنية وحدوية قوية وقابلة للتفسير والتكيف.