Global Convergence of Policy Gradient Methods for ReLU Controllers in Linear Quadratic Regulation

ملخص تقني: التقارب العالمي لطرق تدرج السياسة للمتحكمات ذات وظيفة ReLU في مسألة LQR

تبحث هذه الورقة في خصائص التقارب لطرق تدرج السياسة (Policy Gradient - PG) القائمة على النموذج، عندما يكون المتحكم مُعاملًا بواسطة شبكة عصبية ذات طبقة مخفية واحدة من نوع ReLU مفرطة المعلمات، وذلك في سياق مسألة المنظم التربيعي الخطي (LQR) الحتمية، القياسية، والخصمية.

1. صياغة المسألة

يعتبر المؤلفون نظامًا قياسيًا في الزمن المنفصل:
$$x_{t+1} = ax_t + bu_t$$
الهدف هو تقليل التكلفة الخصمية ذات الأفق اللانهائي:
$$J_\mu = \mathbb{E}_{x_0 \sim \rho} \left[ \sum_{t=0}^{\infty} \gamma^t (qx_t^2 + r\mu(x_t)^2) \right]$$
بينما يكون متحكم LQR الأمثل $\mu^\star(x) = K^\star x$ خطيًا، يقوم المؤلفون بمعلمة السياسة باستخدام شبكة ReLU خالية من الانحياز (bias-free):
$$\mu_\theta(x) = \sum_{i=1}^m v_i \sigma(w_i x)$$
هذه المعلمة غير محدبة وتتضمن فائضًا في المعلمات. في الحالة القياسية، ينتج عن ذلك متحكم خطي مجزأ (piecewise-linear controller) يعمل بكسب فعال واحد ($K_{1,\theta}$) على النصف الموجب ($x \geq 0$) وبكسب آخر ($K_{2,\theta}$) على النصف السالب ($x < 0$).

2. المنهجية

يربط البحث بين نظرية التحكم وتحسين الشبكات العصبية من خلال تحليل متعدد المستويات:

• التحليل على مستوى المتحكم: يحدد المؤلفون مشهد التكلفة بدلالة الكسبين الفعالين $(K_{1,\theta}, K_{2,\theta})$. ويثبتون أنه ضمن "مجموعة هامش الاستقرار" (حيث يظل النظام ذو الحلقة المغلقة مستقرًا)، تحقق دالة التكلفة متباينة بولياك-لوجاستيك (PL inequality). وهذا يعني أنه إذا تم تحسين الكسبات مباشرة، فإن نزول التدرج سينجح في التقارب هندسيًا إلى الكسب الخطي الأمثل ($K_{1,\theta} = K_{2,\theta} = K^\star$).
• التحليل على مستوى الأوزان (المشهد العصبي): التحدي الجوهري هو أن تدرج السياسة (PG) يقوم بتحديث الأوزان $\theta = \{w_i, v_i\}$ وليس الكسبات مباشرة. يستخدم المؤلفون تدرج نمط نواة التدرج العصبي (NTK-style scaling) (تهيئة غاوسية بعرض $m$) لإثبات ما يلي:
  1. الحفاظ على الاستقرار: مع احتمال عالٍ، تنتج الأوزان الأولية متحكمًا مستقرًا.
  2. استقرار الإشارة: يحددون "عمودًا فقريًا" من الخلايا العصبية التي، بسبب فرط المعلمات وصغر حجم الخطوة، من غير المرجح أن تعبر نقطة الأصل ($w=0$). وهذا يمنع "الكتلة العابرة" (الخلايا التي تنتقل من كسب إلى آخر) من زعزعة استقرار عملية التحسين.
• نطاق العرض الحميد (Benign Width Regime): يحدد المؤلفون نطاقًا يكون فيه عرض الشبكة $m$ كبيرًا بما يكفي، وتباين التهيئ $\beta$ مدروسًا بشكل مناسب، مما يضمن بقاء مسار التحسين داخل المنطقة المستقرة والمحققة لشرط PL في فضاء المتحكم.

3. المساهمات الرئيسية

• توصيف ديناميكيات ReLU LQR: يشتق المؤلفون العلاقة الدقيقة بين الكسبات الخطية المجزأة وتكلفة المسار التربيعي الناتجة.
• إثبات التقارب العالمي: يقدمون إثباتًا صارمًا بأنه، تحت تهيئة وتدرج محددين، يتقارب تدرج السياسة القائم على النموذج نحو متحكم LQR الأمثل والوحيد باحتمالية عالية.
• ضمان الاستقرار: على عكس نظرية التعلم التعزيزي العامة، يثبت هذا العمل أن المتغيرات $\theta_k$ تظل داخل مجموعة الاستقرار $\mathcal{K}_\delta$ طوال عملية التدريب بأكملها.
• تحليل التعقيد: يظهرون أن معدل التقارب هو معدل هندسي (خطي في الفضاء اللوغاريتمي) فيما يتعلق بفجوة الأداء.

4. النتائج

• النتيجة النظرية: يثبت النظر (Theorem 1) أنه بالنسبة لشبكة واسعة بما يكفي وحجم خطوة صغير، فإن التكلفة $J_\rho(\mu_{\theta_k})$ تتناقص هندسيًا نحو التكلفة المثلى $J_\rho(\mu^\star)$، وتتقارب الكسبات المستحثة نحو $K^\star$.
• التحقق العددي: تؤكد المحاكاة أنه كلما زاد عدد الخلايا العصبية $m$، استعاد المتحكم بفعالية الكسب الخطي الأمثل. كما يوضحون أن التهئئات "السيئة" (مثل $m=2$) يمكن أن تؤدي إلى سياسات خطية مجزأة دون المستوى الأمثل، مما يسلط الضوة على ضرورة فرط المعلمات.

5. الأهمية

تكمن أهمية هذه الورقة في أنها تعالج فجوة أساسية في نظرية التعلم التعزيزي: التقاطع بين عدم تحدب الشبكة العصبية واستقرار التحكم. بينما درست أعمال سابقة تدرجات السياسة الخطية أو عمليات ماركوف لاتخاذ القرار (MDPs) العامة، يتناول هذا العمل تحديدًا الطبيعة الحرجة للاستقرار في مسألة LQR باستخدام بنيات غير خطية (ReLU). إنها توفر تبريرًا نظريًا لسبب فعالية الشبكات العصبية مفرطة المعلمات في مهام التحكم، حيث تُظهر أن الفائض والاتساع (width) يمكن أن يبسطا مشهد التحسين عبر توفير "مسار مستقر" نحو الحل الخطي الأمثل.