HUANet: Hard-Constrained Unrolled ADMM for Constrained Convex Optimization

إليك ملخص تقني مفصل لورقة البحث بعنوان: "HUANet: Hard-Constrained Unrolled ADMM for Constrained Convex Optimization" (شبكة HUANet: شبكة ADMM غير ملفوفة ذات قيود صلبة لتحسين الدوال المحدبة المقيدة).

1. بيان المشكلة

تتناول الورقة البحثية مسألة التحسين المحدب المقيد البارامتري (Parametric Constrained Convex Optimization)، وهي فئة من المسائل التي تهدف إلى تقليل دالة هدف محدبة (Convex Objective Function) مع الخضوع لقيود المساواة وعدم المساواة، حيث تتغير بارامترات المسألة عبر النماذج المختلفة.

• الصيغة الرياضية:
  $$\min_{x} f_\lambda(x) \quad \text{s.t.} \quad A_\lambda x = b_\lambda, \quad C_\lambda x \leq d_\lambda$$
  حيث تمثل $\lambda$ بارامترات المسألة.

• التحديات:

  • الكفاءة الحسابية: تتطلب الحلول التقليدية (مثل طرق النقطة الداخلية - Interior-point methods) العديد من التكرارات، مما يخلق عائقاً أمام التطبيقات التي تعمل في الوقت الفعلي (Real-time)، خاصة مع زيادة أبعاد المسألة.
  • الجدوى (Feasibility): يجب أن تحقق الحلول جميع القيود بدقة. غالباً ما تفشل مناهج التعلم العميق الحالية في ضمان ذلك.
  • المثالية (Optimality): يجب أن تكون الحلول قريبة من المثالية، وليس مجرد حلول مجدية (Feasible).
  • قصور المناهج الحالية:
    • البدائل من طرف إلى طرف (End-to-End Surrogates): تعامل القيود كعقوبات ناعمة (Soft Penalties)، مما يفشل في ضمان الجدوى.
    • التنبؤ والتصحيح (Predict-and-Correct): تحسن الجدية ولكنها تفتقر إلى القابلية للتفسير والارتباط الهيكلي بنظرية التحسين.
    • خوارزمية ADMM غير الملفوفة الحالية (Existing Unrolled ADMM): عادة ما تعامل القيود كعقوبات ناعمة أو تركز فقط على المسائل غير المقيدة، وتفتقر إلى الضمانات للحالات المقيدة العامة.

2. المنهجية: بنية HUANet

يقترح المؤلفون HUANet (Hard-Constrained Unrolled ADMM)، وهي شبكة عصبية عميقة تقوم بفك (Unrolling) تكرارات خوارزمية "طريقة الجمع بين اتجاهات مضاعفات أدام" (ADMM) إلى بنية قابلة للتدريب.

أ. البنية الأساسية

تتكون HUANet من $N$ من الطبقات العصبية المتسلسلة، حيث تمثل كل طبقة $F_{\theta_p}$ تكراراً واحداً من تكرارات ADMM. تم تصميم البنية لتقريب التحديث الأولي (Primal Update) لـ ADMM مع فرض القيود بصرامة.

1. الشبكة العصبية ذات القيود الصلبة (HNN):

   • مكون MLP: تأخذ شبكة "بيرسبترون متعدد الطبقات" (MLP) المتغيرات الثنائية (Dual Variables) وبارامترات المسألة كمدخلات للتنبؤ بتقدير غير مقيد $(\bar{x}, \bar{s})$ للمتغيرات الأولية والمتغيرات المساعدة (Slack Variables).
   • مرحلة التصحيح (الإسقاط القابل للتفاضل): لفرض قيود المساواة ($A_\lambda x = b_\lambda$ و $C_\lambda x + s = d_\lambda$)، يتم تمرير مخرجات الـ MLP عبر مرحلة تصحيح قابلة للتفاضل. تقوم هذه المرحلة بإسقاط التقدير غير المقيد على الفضاء الأفيني (Affine Subspace) المحدد بواسطة قيود المساواة.
   • الإسقاط ذو الصيغة المغلقة: يتم حساب الإسقاط تحليلياً باستخدام الصيغة:
     $$\hat{y} = \bar{y} - E_\lambda^\top (E_\lambda E_\lambda^\top)^{-1} (E_\lambda \bar{y} - \eta_\lambda)$$
     وهذا يضمن أن المخرج $\hat{y}$ يحقق قيود المساواة بدقة (إلى دقة الآلة) في كل تكرار.

2. تحديثات ADMM:

   • بعد مرحلة التصحيح، يتم تطبيق تحديثات ADMM القياسية للمتغير المساعد ($w$) والمتغير الثنائي ($v$).
   • يتم فك (Unroll) الشبكة لـ $N$ من الخطوات أثناء التدريب، ولكن يمكن إيقاف الاستدلال (Inference) مبكراً أو متأخراً بناءً على احتياجات التقارب.

ب. استراتيجية التدريب: المثالية ذاتية الإشراف

على عكس التعلم الخاضع للإشراف الذي يتطلب حلولاً مثالية "أرضية حقيقية" (Ground-truth) -وهي مكلفة حسابياً- تستخدم HUANet دالة خسارة ذاتية الإشراف تعتمد على شروط كاروش-كون-تاكر (KKT).

• مكونات دالة الخسارة:

  1. الهدف النهائي ($h_\lambda$): يقلل دالة الهدف $f_\lambda(x)$ عند الطبقة النهائية.
  2. عقوبة عدم المساواة: تعاقب انتهاكات قيود عدم المساواة ($C_\lambda x \leq d_\lambda$) عند الطبقة النهائية.
  3. بواقي KKT ($r_k$): حد مبتكر يعاقب انتهاك شروط المثالية من الدرجة الأولى (Stationarity) عند كل طبقة غير ملفوفة.
     • تتضمن الشبكة MLP ثانوية ($MLP_{\theta_d}$) للتنبؤ بمضاعفات لاغرانج ($z$) للمسألة الأولية.
     • يقيس الباقي $r_k$ مدى جودة تلبية المتغيرات الأولية والثنائية المتوقعة لشرط الثبات (Stationarity): $\nabla f + A^\top z + C^\top \beta = 0$.

• الميزة: هذا النهج يدفع الشبكة نحو المثالية الحقيقية دون الحاجة إلى تسميات (Labels) للحلول المثالية، مما يجعلها قابلة للتوسع وفعالة من حيث البيانات.

3. المساهمات الرئيسية

1. اللف ذو القيود الصلبة (Hard-Constrained Unrolling): قدمت بنية عصبية تفرض قيود المساواة عبر مرحلة تصحيح قابلة للتفاضل في كل تكرار، مما يضمن الجدية دون الحاجة لعقوبات ناعمة.
2. التدريب المدفوع بالمثالية: طورت دالة خسارة ذاتية الإشراف تتضمن بواقي KKT والأهداف النهائية. يضمن ذلك تقارب الشبكة غير الملفوفة نحو الحلول المثالية بدلاً من مجرد الحلول المجدية، مما يلغي الحاجة إلى بيانات "الأرض الحقيقية".
3. التنبؤ بالمتغير الثنائي: دمجت شبكة قابلة للتعلم للتنبؤ بمضاعفات لاغرانج، مما يسمح بفرض شروط الثبات أثناء التدريب.
4. القابلية للتوسع: أثبتت أن البنية غير الملفوفة تقلل بشكل كبير من التعقيد الحسابي مقارنة بالمحللات التكرارية، خاصة في المسائل عالية الأبعاد.

4. النتائج التجريبية

قيم المؤلفون HUANet على ثلاثة أنواع من المسائل: LASSO، والبرمجة التربيعية (QP)، وتعظيم الإنتروبيا (Entropy Maximization)، وقارنوها بالمحللات الكلاسيكية (OSQP, Clarabel, SCS) وADMM التقليدي.

• الجدوى (Feasibility):
  • قيود المساواة: تم تحقيقها بدقة (دقة الآلة، مثلاً $10^{-15}$) بفضل مرحلة التصحيح ذات القيود الصلبة.
  • قيود عدم المساواة: كانت الانتهاكات ضئيلة جداً (مثلاً $< 10^{-5}$)، وهي مماثلة أو أفضل من الحلول المتطورة.
• المثالية (Optimality):
  • حققت فجوات مثالية صغيرة (مثلاً $< 0.2\%$ لـ QP، و $< 0.01\%$ لـ LASSO في الأبعاد المنخفضة).
• التسريع (الأهمية):
  • مقابل المحللات الكلاسيكية: حققت HUANet تسريعاً يتراوح بين 7 إلى 44 ضعفاً مقارنة بـ OSQP و Clarabel في السيناريوهات عالية الأبعاد ($n_x=100$).
  • مقابل ADMM التقليدي: كان التسريع هائلاً، حيث تراوح بين 61 إلى 4700 ضعفاً اعتماداً على المسألة والبعد.
  • القابلية للتوسع: مع زيادة بُعد المسألة من 10 إلى 100، زاد وقت حل HUANet بشكل طفيف فقط (مثلاً 4 أضعاف)، بينما زاد وقت vanilla ADMM بعدة مراتب عشرية (مثلاً 100 إلى 1000 ضعف).

5. الأهمية والخاتمة

تمثل HUANet تقدماً كبيراً في مجال التعلم للتحسين (Learning-to-Optimize - L2O) من خلال سد الفجوة بين قابلية التفسير للتحسين الكلاسيكي وسرعة التعلم العميق.

• الأثر العملي: تمكن من حل مسائل التحسين المقيدة واسعة النطاق في الوقت الفعلي في مجالات مثل الروبوتات، وشبكات الطاقة، والتمويل، حيث يعد الالتزام الصارم بالقيود وزمن الاستجابة المنخفض أمراً بالغ الأهمية.
• المساهمة النظرية: تثبت أن الشبكات غير الملفوفة يمكن تدريبها لتحقيق القيود الصلبة وشروط المثالية في آن واحد دون الاعتماد على مطابقة البيانات "الصندوق الأسود".
• العمل المستقبلي: يخطط المؤلفون لتوسيع البنية لدمج قيود عدم المساواة مباشرة في الشبكة (لإزالة الحاجة للتصحيح اللاحق) وتطبيق الإطار على المسائل غير المحدبة.

باختصار، تقدم HUANet إطاراً قابلاً للتوسع، ومجدياً، ومثالياً للتحسين البارامتري المحدب، حيث تتفوق على المحللات التقليدية بعدة مراتب في البيئات عالية الأبعاد مع الحفاظ على الالتزام الصارم بالقيود.