ملخص تقني: طرق العقوبة والحاجز العشوائية للتعلم الآلي المقيد

بيان المشكلة

تتناول الورقة تحدي التعلم الآلي المقيد (CML)، وتحديداً تحسين دالة هدف عشوائية، غير محدبة، وغير سلسة، مع مراعاة قيود عشوائية، غير محدبة، وغير سلسة. يتم صياغة المشكلة كالتالي:

$$\min_{x \in \mathbb{R}^n} \mathbb{E}[f(x, \xi)] \quad \text{s.t.} \quad \mathbb{E}[g(x, \xi)] \le 0$$

حيث $\xi$ هو متغير عشوائي، و $f$ و $g$ دوال "ليبتشيتز" محلية (locally Lipschitz). يظهر هذا الإطار بشكل طبيعي في تطبيقات التعلم العميق مثل التدريب المراعي للعدالة (فرض التكافؤ الديموغرافي أو تكافؤ الفرص)، والشبكات العصبية المستنيرة بالفيزياء (PINNs) حيث تعمل القوانين الفيزيائية كقيود، ودمج المعرفة المجالية الرمزية.

غالباً ما تفشل الطرق الحالية في هذا النطاق المحدد. تفترض الأعمال السابقة عادةً قيوداً حتمية، أو أهدافاً محدبة، أو قيوداً خطية. وبينما تتعامل طرق مثل "التحول المتدرج العشوائي" (SSw) و"لاغرانج الممهد العشوائي" (SSL-ALM) مع بعض حالات عدم التحدب العشوائية، إلا أنها تعاني مع القيود العامة غير السلسة وغير المحدبة، أو تتطلب حسابات غير عملية (مثل تخزين مصفوفة هيسيان في طرق SQP). علاوة على ذلك، فإن تنظيم العقوبة البسيط (على سبيل المثال، $F_\rho(x) = f(x) + \rho \| \mathbb{E}[g] \|^2$) غالباً ما يكون غير مستقر عند استخدام معاملات عقوبة كبيرة، أو غير قابل للتنفيذ عند استخدام معاملات صغيرة.

المنهجية: طريقة العقوبة والحاجز العشوائية (SPBM)

يقترح المؤلفون SPBM، وهي خوارزمية ثنائية الأصل (primal-dual) توسع طريقة العقوبة والحاجز الكلاسيكية (PBM) لـ Ben-Tal و Zibulevsky [20] لتناسب الإطار العشوائي، غير السلس، وغير المحدب. توحد الطريقة القيود باستخدام دوال العقوبة والحاجز وتستخدم ثلاثة تعديلات رئيسية للتعامل مع الطبيعة العشوائية وغير السلسة للتعلم العميق:

1. المتوسط المتحرك الأسي (EMA) لتحديثات المتغير الثنائي:
   بما أن التوقعات تُقرب عبر العينات الصغيرة (mini-batching)، فإن تحديثات المتغير الثنائي تكون مشوبة بالضجيج. تطبق SPBM متوسطاً متحركاً أسياً على تحديثات المتغير الثنائي ($\lambda$) لتقليل التباين واستقرار التقارب. قاعدة التحديث هي:
   $$\lambda^{k+1} = \gamma \lambda^k + (1-\gamma) \lambda^k \odot \phi'(g(x^k) \oslash p^k)$$
   حيث $\gamma \in [0, 1)$ هو معدل الاضمحلال، و $\phi$ هي دالة العقوبة والحاجز، و $p$ تمثل معاملات العقوبة.

2. جدولة مستقرة لمعامل العقوبة:
   في طريقة PBM الأصلية، تتناقص معاملات العقوبة $p$ نحو الصفر، مما قد يسبب عدم الاستقرار في الإطار العشوائي. تقدم SPBM دوال تحديث عقوبة تكيفية أو خطية تمنع $p$ من التلاشي بسرعة كبيرة. يقترح المؤلفون استراتيجيتين:

• الخطية: $p^{k+1} = \text{Clip}_{[0.1, 1]}[K_1 p^k]$ مع $K_1 < 1$.
• التكيفية: تعدل $p$ بناءً على مدى استيفاء القيد الحالي (باستخدام $\phi'$)، حيث تزيد العقوبات للقيود المستوفاة وتقللها للقيود المنتهكة، مع الحفاظ على الحدود.

3. غلاف مورو (Moreau Envelope) للتعامل مع عدم السلاسة:
   للتعامل مع عدم السلاسة في الهدف والقيود (الشائعة في الشبكات العصبية ذات تنشيط ReLU أو دوال الخسارة المحددة)، تقوم SPBM بالتحسين فوق غلاف مورو لـ لاغرانج. بدلاً من حل المسألة الفرعية غير السلسة بدقة، تقوم الطريقة بخطوة واحدة من Adam (OneStepAdam) لإيجاد مُقرب للمُعظم لغلاف مورو:
   $$\min_x \left( \bar{L}_{p^{k+1}}(x, \lambda^{k+1}) + \frac{\mu}{2} \|x - s^k\|^2 \right)$$
   حيث $s^k$ هو مركز تقريبي (prox-center) يتم تحديثه عبر المتوسط الأسي. هذا يعمل فعلياً على تمهيد المسألة مع الحفاظ على القيم الصغرى.

تعمل الخوارزمية في إطار العينات الصغيرة (mini-batch)، حيث تأخذ عينات من توزيعات الهدف والقيود في آن واحد. وهي مصممة لتكون بديلاً جاهزاً (drop-in replacement) للمحسنات القياسية في أطر العمل مثل PyTorch.

المساهمات الرئيسية

• اقتراح خوارزمي: تقديم SPBM، وهي أول طريقة مصممة خصيصاً للتحسين المقيد العشوائي، غير المحدب، وغير السلس في التعلم العميق.
• التوسع النظري: تعميم طريقة PBM الحتمية [20] إلى الإطار العشوائي، مع إظهار أن SPBM يمكن اعتبارها تعميماً لـ SSL-ALM [19] تحت اختيارات محددة للمعاملات.
• التقييم التجريبي: تقييم شامل عبر 8 إعدادات تجريبية مختلفة، تشمل:
  • العدالة: التصنيف الثنائي ومتعدد الفئات على مجموعات بيانات ACSIncome، و Dutch Census، و CIFAR-10، و CIFAR-100 مع قيود التكافؤ الديموغرافي وتكافؤ الدقة.
  • المستنيرة بالفيزياء: حل معادلات هلمهولتز (Helmholtz) وبورغرز (Burgers) اللزجة باستخدام PINNs مع قيود القيم الحدية والابتدائية.
• تنفيذ مفتوح المصدر: إصدار كود يتكامل بسلاسة مع PyTorch، ويتطلب تغييرات طفيفة في الكود لتحديد القيود.

النتائج التجريبية

قارن المؤلفون SPBM بكل من Adam (غير مقيد)، و SSw [18]، و SSL-ALM [19].

• الأداء: تضاهي SPBM أو تتفوق على الخطوط المرجعية الحالية من حيث خسارة الاختبار واستيفاء القيود.
  • في مهام العدالة (مثل CIFAR-100 مع 9,900 قيد)، حققت SPBM خسارة اختبار أقل بكثير من SSL-ALM مع استيفاء القيود.
  • في تجارب PINN، أظهرت SPBM جودة حل فائقة (خطأ تربيعي متوسط أقل في الاختبار) واستيفاء أفضل للظروف الحدية مقارنة بـ Adam مع التنظيم و SSL-ALM.
  • بشكل عام، كان أداء SSw ضعيفاً، ويُعزى ذلك إلى قصوره في التعامل إلا مع قيد واحد في كل مرة، مما يجعله غير مناسب لإعدادات القيود المتعددة.
• الكفاءة الحسابية: تتحمل SPBM زيادة خطية فقط في وقت التشغيل مقارنة بـ Adam غير المقيد. ولما يصل عدد القيود إلى 10,000، كان وقت التشغيل بحد أقصى 3 أضعاف أبطأ من Adam (على سبيل المثال، 5.86 ثانية مقابل 1.92 ثانية لكل حقبة في CIFAR-100).
• الاستقرار: على عكس طرق العقوبة القياسية التي تتطلب ضبطاً دقيقاً لـ $\rho$ لتجنب عدم الاستقرار أو عدم القدرة على التنفيذ، لوحظ أن SPBM مستقرة وتتقارب نحو المجموعة الممكنة عبر إعدادات مختلفة للمعاملات الفائقة.

الأهمية والادعاءات

تدعي الورقة أن SPBM توفر بديلاً موثوقاً ومتاحاً حسابياً لتدريب الشبكات العصبية تحت قيود معقدة. تكمن أهميتها في:

1. سد الفجوة: تعالج إطار "غير المحدب، غير السلس، العشوائي" المنتشر في التعلم العميق الحديث والذي كان يفتقر سابقاً إلى حل عام وفعال.
2. العملية: من خلال الحفاظ على التوسع الحسابي الخطي وتقديم تكامل بسيط في سير عمل التعلم الآلي الحالي، فإنها تمكن الممارسين من فرض قيود العدالة أو القيود الفيزيائية دون تكاليف باهظة.
3. المتانة: تظهر الطريقة متانة في فضاءات القيود عالية الأبعاد (تصل إلى ~10,000 قيد) حيث تعاني الطرق الأخرى.

يشير المؤلفون بتواضع إلى بعض القيود: تظل ضمانات التقارب في الإطار العشوائي، غير المحدب، وغير السلس بالكامل مسألة نظرية مفتوحة، كما أن الطريقة تقدم معاملات فائقة إضافية (مثل جداول العقوبة) قد تتطلب الضبط. كما أن التقييم يقتصر حالياً على تطبيقات العدالة و PINN.