ملخص تقني: تدريب سياسات تعاوني ومتعدد التخصيص عبر خوارزمية "الفاعل-الناقد" الاتحادية أحادية المقياس الزمني

صياغة المشكلة

تتناول الورقة تحدي تدريب السياسات التعاوني والمتعدد التخصيص في التعلم المعزز الاتحادي (FRL) تحت ظروف التباين البيئي. في العديد من التطبيقات الحديثة، مثل الذكاء الاصطناعي المتجسد (Embodied AI)، تعمل الوكلاء في بيئات متميزة تتميز بمتغيرات انتقال ($P^k$) ودوال مكافأة ($R^k$) مختلفة.

تندرج النهج الحالية عادةً ضمن فئتين:

1. تجاهل التباين: تدريب سياسة واحدة مشتركة لجميع الوكلاء، مما يؤدي غالبًا إلى تدهور الأداء بسبب عدم توافق إشارات التعلم.
2. التخلي عن التعاون: تدريب سياسات محلية مستقلة تمامًا، مما يفقد القدرة على الاستفادة من مكاسب كفاءة العينات الناتية عن التعاون.

بينما حقق التعلم الاتحادي متعدد التخصيص (PFL) نجاحًا في التعلم الخاضع للإشراف، إلا أن تطبيقه في التعلم المعزز الاتحادي (FRL) لا يزال غير مستكشف بشكل كافٍ. وتحديدًا، هناك نقص في الأطر النظرية التي تتعامل مع طرق الفاعل-الناقد (AC) متعددة التخصيص تحت أخذ العينات الماركوفي (حيث تكون البيانات مرتبطة زمنيًا) ومتغيرات الانتقال المتباينة. ركزت الأعمال السابقة غالبًا على الطرق القائمة على القيمة، أو السياسات المشتركة، أو افترضت بيانات مستقلة ومتماثلة التوزيع (i.i.d.)، وفشلت في التقاط الديناميكيات المقترنة لتحديثات السياسة والضجيج الماركوفي المتباين في إطار أحادي المقياس الزمني.

المنهجية: pFedAC

يقترح المؤلفون pFedAC، وهو خوارزمية "فاعل-ناقد" اتحادية متعددة التخصيص أحادية المقياس الزمني. الابتكار الهيكلي الأساسي هو تمثيل الفضاء الجزئي الخطي المشترك المقترن برؤوس محلية متعددة التخصيص.

هيكل النموذج

يتم تقريب دالة القيمة للوكيل $k$ كما يلي:
$$V^k_\theta(s) \approx \phi(s)^\top B \omega^k_\theta$$
حيث أن:

• $\phi(s) \in \mathbb{R}^d$ هي خريطة سمات معروفة.
• $B \in \mathbb{R}^{d \times r}$ هو فضاء جزئي متعامد مشترك (مشترك بين جميع الوكلاء $K$) يمثل البنية الأساسية لدوال القيمة.
• $\omega^k_\theta \in \mathbb{R}^r$ هي معلمات الرأس المحلي الخاصة بكل وكيل $k$، مما يسمح بالتخصيص.

آليات الخوارزمية

تعمل الخوارزمية في جولات $t = 0, \dots, T-1$ عبر ثلاث خطوات تحديث مقترنة لكل وكيل، تليها خطوة تجميع من الخادم:

1. تحديث الناقد (الرأس المحلي والفضاء الجزئي):

   • يقوم الوكلاء بتنفيذ تحديث TD($L$) محلي لتقدير دالة الميزة (Advantage function).
   • باستخدام خطأ TD الممثل بـ $\delta^k_{t,L}$، يقوم الوكلاء بتحديث رأسهم المحلي $\omega^k_t$ وتقدير الفضاء الجزئي المشترك $B_t$.
   • يتضمن التحديث لـ $B_t$ خطوة تدرج عشوائي مسقط تتبعها عملية تحليل QR للحفاظ على التعامد. هذا الإسقاط ضروري للتحكم في تضخيم الاضطراب في ظل وجود ضجيج متباين.

2. تحديث الفاعل (السياسة):

   • للتخفيف من التفاوت بين توزيع الحالة المحدود (المستخدم في تحديثات الناقد) وتوزيع زيارة الحالة المخصوم (المستخدم في تدرجات السياسة)، يستخدم المؤلفون نموذج ماركوف قرار (MDP) مرافق مع نواة انتقال $\tilde{P}^k = \gamma P^k + (1-\gamma)\eta$.
   • يقوم الوكلاء بأخذ عينات من المسارات من هذه السلسلة المساعدة لحساب تدرجات السياسة، مما يضمن تقديرًا أكثر دقة للتدرج تحت أخذ العينات الماركوفي.

3. التجميع:

   • يرسل الوكلاء تقديرات الفضاء الجزئي المحدثة $\bar{B}_{t+1}$ إلى الخادم.
   • يحسب الخادم المتوسط $\bar{B}_{t+1}$ ويجري عملية تحليل QR لبث القاعدة المتعامدة المحدثة $B_{t+1}$ عائدة إلى جميع الوكلاء.

المساهمات الرئيسية

1. أول "فاعل-ناقد" مخصص في التعلم المعزز الاتحادي

تقدم الورقة أول خوارزمية تمكن من تعلم "فاعل-ناقد" متعدد التخصيص في بيئة اتحادية. بخلاف الأعمال السابقة التي ركزت على السياسات أو دوال القيمة المشتركة، تتعلم pFedAC صراحةً تمثيلًا مشتركًا مع الحفاظ على مكونات سياسة خاصة بكل وكيل.

2. تحليل التقارب في زمن محدود

وضع المؤلفون ضمانات تقارب في زمن محدود للخوارزمية تحت أخذ العينات الماركوفي ومتغيرات الانتقال المتباينة. يقدم التحليل إطار تقريب خطي مشترك يتتبع في آن واحد ثلاثة ديناميكيات خطأ مترابطة بشدة:

• الخطأ في تقديرات الرأس المحلي ($\omega^k$).
• الخطأ في تقدير الفضاء الجزئي المشترك ($B$).
• الخطأ في تدرج السياسة (الفاعل).

معدلات التقارب:
تثبت الورقة أن:

• خطأ الناقد يتقارب إلى الصفر بمعدل $\tilde{O}\left(\frac{1}{(1-\gamma)^4 \sqrt{TK}}\right)$.
• معيار تدرج السياسة يتقارب إلى الصفر بمعدل $\tilde{O}\left(\frac{1}{(1-\gamma)^6 \sqrt{TK}}\right)$.

هنا، $T$ هو عدد الجولات، $K$ هو عدد الوكلاء، و $\gamma$ هو عامل الخصم. الرمز $\tilde{O}$ يخفي العوامل اللوغاريتمية المتعددة والثوابت المعتمدة على المشكلة.

3. التسريع الخطي

تظهر النتائج وجود تسريع خطي بالنسبة لعدد الوكلاء $K$. وهذا يعني أن إضافة المزيد من الوكلاء إلى النظام الاتحادي يقلل بشكل متناسب من تعقيد العينات المطلوب للوصول إلى دقة مستهدفة، حتى في ظل وجود مسارات ماركوفية متباينة.

4. الابتكارات التقنية في التحليل

لتحقيق هذه النتائج، طور المؤلفون عدة أدوات تحليلية جديدة:

• تحليل الاضطراب لتحليل QR: تحليل جديد يحدد مقدار التشوه الناتج عن خطوات تحليل QR في ظل وجود ضجيج ماركوفي متباين.
• حجج الخلط الشرطي: تقنيات للتعامل مع الاقتران بين تحديثات السياسة وأخذ العينات الماركوفي، وتحديدًا توصيف التفاوتات بين تقييمات الدوال تحت أخذ العينات الماركوفي مقابل السياسات المجمدة زمنيًا.
• استغلال البنية الهندسية: استخدام الخصائص الهندسية للفضاء الجزئي المشترك ومسافات الزوايا الرئيسية للتحكم في التفاعل بين أخطاء الرأس المحلي وأخطاء تقدير الفضاء الجزئي.

النتائج التجريبية

قام المؤلفون بتطبيق الإطار ضمن خوارزمية تحسين السياسة القريبة (PPO)، مما أنتج FedPer PPO، واختبروه على معيار Hopper-v5 اتحادي مع تباين في خرائط الأفعال (حيث يتشارك الوكلاء الديناميكيات ولكن لديهم خرائط أفعال مختلفة).

• الأداء: تفوق FedPer PPO بشكل كبير على كل من Single PPO (المدرب بشكل مستقل) و FedAvg PPO (المتوسط الاتحادي القياسي). في إعداد "6-UNIQUE" (حيث يمتلك كل وكيل خريطة أفعال متميزة)، حقق FedPer تحسنًا بمقدار 2.63 ضعفًا مقارنة بـ Single PPO و 3.78 ضعفًا مقارنة بـ FedAvg PPO.
• تعلم النقل: أظهر "الجذع" المشترك المتعلم (الفضاء الجزئي $B$) أنه أساس قابل للنقل. فعند تجميد الجذع وتدريب رؤوس جديدة فقط على مهام لاحقة (بما في ذلك متغيرات خارج التوزيع)، حقق النموذج أداءً يعادل 5.42 ضعفًا من التدريب من الصفر على المهام العادية و 3.50 ضعفًا على المهام خارج التوزيع (OOD).

الأهمية والادعاءات

تزعم الورقة أن pFedAC تنجح في سد الفجوة بين التعاون والتخصيص في بيئات التعلم المعزز الاتحادي المتباينة. ومن خلال الاستفادة من فضاء جزئي خطي مشترك، يمكن للوكلاء الاستفادة من التعلم الجماعي دون التضحة بالقدرة على التكيف مع خصائص البيئة المحلية.

يشير المؤلفون صراحةً إلى أنه بينما تُظهر معدلات التقارب تسريعًا خطيًا، فإن الاعتماد على عامل الخصم $(1-\gamma)$ قد لا يكون أمثل، خاصة في نظام الخصم القريب من الواحد ($\gamma \to 1$). وقد حددوا تحسين هذا الاعتماد كاتجاه رئيسي للعمل المستقبلي، مما يشير إلى أن التحليلات الأكثر دقة للبنية الماركوفية أو تقنيات تقليل التباين قد تؤدي إلى تحسينات إضافية.

باختصار، توفر هذه الدراسة أساسًا نظريًا صارمًا وتحققًا تجريبيًا لطرق "الفاعل-الناقد" الاتحادية متعددة التخصيص، مما يعالج الحاجة الماسة لأنظمة تعلم معزز قابلة للتوسع، تعاونية، ومتكيفة في الأنظمة المعقدة والمتباينة.