ملخص تقني: SPHERE - التخفيف من فقدان المرونة الطيفية في نماذج "خليط الخبراء" للتعلم التعزيزي العميق

1. بيان المشكلة

في مجال التعلم التعزيزي العميق (DRL)، تعاني الوكلاء (agents) المدربة على تدفقات من الخبرات غالبًا من فقدان المرونة (plasticity loss): وهو انخفاض تدريجي في قدرتهم على تعلم مهارات جديدة من خبرات جديدة مع تقدم التدريب. وتعد هذه الظاهرة ضارة بشكل خاص في إعدادات التعلم التعزيزي المستمر (CRL)، حيث يجب على الوكيل إتقان سلسلة من المهام بشكل متتابع.

وعلى الرغم من نجاح نشر بنى خليط الخبراء (Mixture-of-Experts - MoE) لتوسيع سعة السياسة في التعلم التعزيزي العميق (على سبيل المثال، للمناولات، والآلات البشرية، والرباعيات الأرجل)، إلا أن الدراسات التجريبية تشير إلى أن سياسات MoE تعاني أيضًا من فقدان حاد في المرونة في الإعدادات المستمرة. ومع تقدم التدريب، يمكن أن يتدهور أداء MoE، مما يشير إلى أن البنية نفسها عرضة لآليات فقدان السعة الملحوظة في الشبكات الكثيفة.

التحدي الجوهري الذي يعالجه هذا البحث هو الافتقار إلى توصيف رسمي لفقدان المرونة تحديدًا داخل سياسات MoE، وغياب الطرق العملية للتخفيف من حدته. إن استراتيجيات التخفيف الموجودة للشبكات الكثيفة (مثل التسوية الطيفية أو تنظيم هيسيان) لا تترجم مباشرة إلى الهيكل المتفرق والموجه لسياسات MoE.

2. المنهجية: SPHERE

يقترح المؤلفون SPHERE (المرونة الطيفية عبر التنظيم الكروي الخبير - Spectral Plasticity via Hyperspherical Expert REgularization)، وهو منظم مبدئي مصمم للحفاظ على قدرة التعلم لسياسات MoE. تسير المنهجية عبر أربع خطوات نظرية وعملية رئيسية:

2.1 صياغة فقدان المرونة كمرونة طيفية

بناءً على نظرية النواة المماسية العصبية (Neural Tangent Kernel - NTK)، يصيغ المؤلفون فقدان المرونة كـ فقدان للمرونة الطيفية.

• الآلية: يتم التحكم في اتجاه تحديث السياسة بواسطة مصفوفة NTK التجريبية (eNTK)، وهي $K = JJ^\top$، حيث $J$ هو جاكوبي (Jacobian) مخرجات الشبكة بالنسبة للمعلمات.
• التعريف: يتوافق فقدان المرونة مع انهيار في الرتبة الفعالة للإنتروبيا الطيفية ($r_e$) لمصفوفة eNTK. تشير الرتبة الفعالة العالية إلى طيف متماثل المناحي (isotropic)، مما يسمح بالتحديثات في اتجاهات متنوعة. أما الرتبة الفعالة المنخفضة (الانهيار الطيفي) فتحد من التحديثات في اتجاهات مهيمنة قليلة، مما يعيق القدرة على تعلم مهام جديدة.
• الملاحظة: في التعلم التعزيزي المستمر (CRL)، ينهار الطيف الخاص بـ eNTK لسياسات MoE، مما يقلل من الرتبة الفعالة ويحصر التحديثات الوظيفية.

2.2 اشتقاق بديل قابل للتتبع

إن الحساب المباشر لمصفوفة eNTK الكاملة $K$ أمر غير قابل للتطبيق حسابيًا للشبكات الكبيرة بسبب قيود الذاكرة ($O(N^2P)$). ولمعالجة ذلك، اشتق المؤلفون بديلًا قابلًا للتتبع يعتمد على مصفوفة غاوس-نيوتن (Gauss-Newton - GN) في فضاء المعلمات ($G_{GN} = \frac{1}{N}J^\top J$).

• التفكيك: قاموا بتفكيك مصفوفة GN إلى مكونات قطرية كتلية تتوافق مع معلمات البوابة (gate) والخبير (expert).
• التقريب على مستوى الطبقة: تحت تقريب القطر الكتلي، يتم التعبير عن الرتبة الفعلة لـ eNTK الكاملة كمزيج من الرتب الفعالة لكتل الطبقات الفردية.
• بديل كتلة الخبير: بالنسبة لطبقات الخبراء، استخدم المؤلفون بديل كرونيكر (Kronecker proxy) ($\tilde{G}_{GN} = A \otimes G$)، حيث $A$ هي مصفوفة غرام الميزات (feature Gram matrix) و $G$ هي مصفوفة غرام التدرج (gradient Gram matrix). وقد أثبتوا أن الرتبة الفعلة لكتلة الخبير يحدها سفليًا دالة في رقم الحالة (condition number) لهذا البديل الكرونيكري.

2.3 منظم SPHERE

لتعظيم الحد الأدنى للرتبة في المرونة الطيفية، يهدف المؤلفون إلى تقليل رقم الحالة لمصفوفة غرام الميزات $A$.

• الهدف: يركزون على مصفوفة غرام ميزات الخبير الموزونة ($A_{last}^{exp}$) عند آخر طبقة خبير مخفية. يتم بناء هذه المصفوفة عن طريق دمج ميزات الخبراء الموزونة باحتمالات بوابة Top-K.
• العقوبة: يطبق SPHERE عقوبة بارسيفال (Parseva penalty) (عقوبة تربيعية) على المكون غير المتماثل المناحي لـ $A_{last}^{exp}$. تُعرف دالة الخسارة كالتالي:
  $$L_{SPHERE}(A_{last}^{exp}) = \left\| A_{last}^{exp} - \frac{\text{Tr}(A_{last}^{exp})}{m} I_m \right\|_F^2$$
  تشجع هذه العقوبة القيم الذاتية لغرام الميزات على أن تكون متساوية (متماثلة المناحي)، مما يزيد من الرتبة الفعالة ويحافظ على المرونة الطيفية.
• الضمان النظري: يثبت المؤلفون أن تحسين هذه العقوبة يؤدي إلى تقلص طيفي (spectral contraction)، مما يقلل رقم الحالة للبديل بشكل رتيب ويزيد من الحد الأدنى للرتبة الفعلة لـ eNTK.

2.4 التنفيذ

يتم دمج SPHERE في حلقة تدريب PPO. عند كل تحديث للتدرج، يتم حساب مصفوفة غرام ميزات الخبير الموزونة من التمرير الأمامي (forward pass)، وتُضاف عقوبة SPHERE إلى دالة خسارة الممثل (actor). يتم تغيير معامل التنظيم بشكل تكيفي بناءً على نسبة معيار تدرج الممثل إلى معيار تدرج SPHERE.

3. المساهمات الرئيسية

1. الصياغة: يصيغ البحث فقدان المرونة في سياسات MoE كـ فقدان للمرونة الطيفية، ويتم قياسه عبر الرتبة الفعلة للإنتروبيا الطيفية لـ eNTK التجريبية.
2. بديل قابل للتتبع: اشتقوا بديلًا عمليًا وطبقيًا للمرونة الطيفية يعتمد فقط على مصفوفات ميزات الخبراء الفردية، متجنبين بناء eNTK الكاملة.
3. الخوارزمية (SPHERE): قدموا SPHERE، وهو منظم مبدئي يفرض التماثل المناحي على ميزات الخبراء الموزونة لمواجهة الانهيار الطيفي.
4. التحقق التجريبي: تم تقييم الطريقة على MetaWorld و HumanoidBench، مما أظهر تحسينات مستمرة على خطوط الأساس لـ MoE غير المنظمة.

4. النتائج التجريبية

قيم المؤلفون SPHERE على اثنين من معايير الروبوتات:

• MetaWorld (CW10): مجموعة من 10 مهام مناولة.
• HumanoidBench: مجموعة من 5 مهام حركة للروبوت البشري H1.

النتائج الرئيسية:

• مكاسب الأداء:
  • في MetaWorld تحت ظروف CRL، حسن SPHERE متوسط معدل النجاح بنسبة 133% مقارنة بخط أساس Top-K MoE غير المنظم.
  • في HumanoidBench تحت ظروف CRL، حسن SPHERE متوسط النجاح بنسبة 50% مقارنة بخط الأساس.
  • أظهر SPHRE أيضًا مكاسب في إعدادات RL القياسية (تدريب المهمة الواحدة)، مما يشير إلى أن المرونة الطيفية يمكن أن تتدهور حتى داخل مهمة واحدة بسبب الانحراف التوزيعي.
• الحفاظ على المرونة الطيفية: حافظ SPHERE طوال فترة التدريب على رتبة فعالة ($r_e(K)$) أعلى بكثير مقارنة بخطوط الأساس، التي أظهرت انهيارًا طيفيًا سريعًا.
• دراسات الاستبعاد (Ablation Studies):
  • وُجد أن تنظيم آخر طبقة خبير مخفية كان الأكثر فعالية؛ حيث أدى تنظيم جميع الطبقات أو تنظيم البوابة فقط إلى أداء أقل.
  • كان الدمج بين الخبراء (Cross-expert concatenation) (تنظيم غرام الميزات المشترك بدلاً من الخبراء الفرديين) أمرًا حاسمًا لتحقيق المكاسب، مما يشير إلى أهمية إدارة الارتباطات بين الخبراء.
  • الطريقة قوية عبر مختلف دوال التنشيط (ReLU, Tanh)، وأعداد الخبراء، ومتغيرات MoE (Dense-MoE, DS-MoE).
• التحليل النوعي: أظهرت تصورات t-SNE أنه بدون SPHERE، تنهار تمثيلات الحالة على اتجاه ميزة مهيمن واحد. ومع وجود SPHERE، تظل التمثيلات متنوعة ومتماثلة المناحي.

5. الأهمية والادعاءات

يزعم البحث أن SPHERE يوفر حلاً مبدئيًا لمشكلة فقدان المرونة في وكلاء DRL القائمين على MoE. من خلال تأطير فقدان المرونة عبر عدسة النظرية الطيفية (الرتبة الفعلة لـ eNTK)، يربط المؤلفون بين الفهم النظري والتنظيم العملي.

تكمن أهمية العمل في:

• تمكين التعلم المستمر القابل للتوسع: مع تحول بنى MoE إلى معيار لتوسيع وكلاء RL، يضمن SPHERE احتفاظ هذه النماذج بالقدرة على تعلم مهارات جديدة عبر سلاسل طويلة من المهام، مما يمنع الفشل المنهجي في المهام اللاحقة.
• الرؤية النظرية: يقدم منظورًا جديدًا لديناميكيات MoE، ويربط آليات التوجيه (routing) وتخصص الخبراء بالخصائص الطيفية لمشهد التعلم.
• الفعالية العملية: الطريقة فعالة حاسبيًا (تضيف حوالي 3-6% فقط من العبء حتى مع 1000 خبير) وتندمج بسلاسة في مسارات PPO الحالية دون الحاجة إلى تغييرات في البنية.

يقر المؤلفون بالقيود، مشيرين إلى أن اشتقاقهم يعتمد على تقريبات نظرية (الاستقلال داخل الطبقة والقطر الكتلي)، وأن النطاق الحالي محدود بالتحكم المستمر. وقد حددوا توسيع نطاق SPHERE ليشمل النماذج التأسيسية (foundation models) واسعة النط scale كاتجاه للعمل المستقبلي.