Learning Affine-Equivariant Proximal Operators

إليك ملخص تقني مفصل لورقة البحث "Learning Affine-Equivariant Proximal Operators" للباحثين سافير، فانج، وسولام.

1. بيان المشكلة

غالبًا ما تتطلب المسائل العكسية في معالجة الإشارات والتعلم الآلي (مثل تقليل ضجيج الصور، إزالة الضباب، وتكبير الدقة) تنظيمًا (Regularization) لحل المهام غير محددة الحل (ill-posed). ويتمثل أحد الأساليب القوية في استخدام المؤثرات القريبة (Proximal Operators) ($\text{prox}_R$) كخطوات فرعية في الحلول التكرارية.

• الفجوة: على الرغم من تطوير شبكات المؤثرات القريبة المتعلمة (Learned Proximal Networks - LPNs) لتعلم منظمات مدفوعة بالبيانات تكون مضمونة كمؤثرات قريبة دقيقة (عن طريق تعريفها كاشتقاقات لدوال جهد محدبة)، إلا أنها تفتقر إلى القيود الهيكلية.
• التحدي: تُظهر العديد من توزيعات البيانات في العالم الحقيقي تماثلات، وتحديداً الإزاحة (Shift) (الترجمة) والمقياس (Scale) (الشدة) المتوافقة (Equivariance). إن شبكات LPN القياسية لا تحترم هذه التماثلات بطبيعتها.
• التعارض: غالبًا ما تكسر الطرق الموجودة لفرض التوافق في الشبكات العصبية (مثل حيل التطبيع أو التصميمات المعمارية المحددة مثل SortPool) الضمان الرياضي بأن الشبكة تمثل مؤثرًا قريبًا صالحًا (أي اشتقاق دالة محدبة). وتحديدًا، يمكن أن تكون الدالة متوافقة أفينيًا (affine-equivariant)، لكن اشتقاقها (المؤثر القريب) قد لا يكون كذلك.

السؤال الجوهري: كيف يمكننا تصميم مؤثرات قريبة متعلمة مدفوعة بالبيانات وتكون مؤثرات قريبة دقيقة بشكل مثبت، وفي الوقت نفسه تكون متوافقة أفينيًا (أي ثابتة تجاه الإزاحة والمقياس)؟

2. المنهجية: شبكات المؤثرات القريبة المتوافقة أفينيًا (AE-LPNs)

يقترح المؤلفون AE-LPNs، وهو إطار عمل يبني المؤثرات القريبة من خلال فرض شروط محددة على دالة الجهد المحدبة ($\psi$) الأساسية.

الأساس النظري

يُعرف المؤثر القريب بأنه اشتقاق لدالة جهد محدبة: $f(x) = \nabla \psi(x)$. ولضمان أن يكون $f$ متوافقًا أفينيًا ($f(ax+b) = af(x)+b$)، يستنتج المؤلفون شروطًا لـ$\psi$:

1. توافق المقياس (Scale Equivariance): إذا كانت $\psi$ متجانسة من الدرجة الثانية (أي $\psi(ax) = a^2\psi(x)$)، فإن اشتقاقها $\nabla \psi$ يكون متجانسًا من الدرجة الأولى (متوافق المقياس).
2. توافق الإزاحة (Shift Equivariance): للتعامل مع الإزاحات، يجب أن تفكك الدالة المدخلات إلى متوسطها ومكونها ذي المتوسط الصفري.

البناء المعماري

يتم بناء AE-LPN من خلال الخطوات التالية:

1. الشبكة المحدبة الأساسية: البدء بـ شبكة عصبية محدبة مدخلية (Input Convex Neural Network - ICNN). لضمان التحدب، يتم تقييد الأوزان لتكون غير سالبة، وتُستخدم دوال تنشيط غير متناقصة.
2. توافق المقياس:
   • إزالة جميع حدود الانحياز (bias terms) من الـ ICNN.
   • استخدام SortPool (دالة غير خطية قائمة على الترتيب) كدالة تنشيط، وهي دالة متجانسة من الدرجة الأولى.
   • تربيع مخرج هذه الـ ICNN. إذا كان مخرج الشبكة الأساسية هو $\Psi_\theta(x)$، فإن الجهد الجديد هو $h_\theta(x) = (\Psi_\theta(x))^2$. هذا يضمن أن $h_\theta$ متجانسة من الدرجة الثانية.
3. توافق الإزاحة:
   • تفكيك المدخل $x$ إلى مكون متوسطه ($Px$) ومكونه ذي المتوسط الصفري ($(I-P)x$)، حيث $P$ هو الإسقاط على متجه الواحدات.
   • تعريف الجهد النهائي $\tilde{h}(x)$ كالتالي:
     $$\tilde{h}(x) = h_\theta((I-P)x) + \frac{1}{2}\|Px\|_2^2$$
     حيث يتعامل الحد الأول مع الشكل (توافق المقياس)، والحد الثاني (التربيعي في المتوسط) يضمن أن الاشتقاق يتعامل مع الإزاحات بشكل صحيح.
4. المؤثر النهائي: الـ AE-LPN هو اشتقاق هذا الجهد المبني: $\hat{x} = \nabla \tilde{h}_\theta(x)$.

استراتيجية التدريب

يتم تدريب النماذج باستخدام خسارة المطابقة القريبة (Proximal Matching Loss - $L_{PM}$)، والتي تضمن أن المؤثر المتعلم يقرب من تقدير الاحتمال الأقصى البعدي (MAP) لتوزيع البيانات.

• العملية: يتم تلويث الإشارات النظيفة $x$ بضجيج غاوسي $y = x + z$. تقلل الشبكة دالة المخاطرة التي تقيس المسافة بين المخرج المنقى والحقيقة الأرضية.
• دالة الخسارة: تُستخدم دالة $d_\gamma$ محددة تتقارب نحو المنظم الصحيح مع اقتراب $\gamma$ من الصفر.
• الجدولة: يبدأ التدريب بمرحلة تدريب أولي باستخدام خسارة $\ell_1$، تليها عملية تحسين باستخدام خسارة المطابقة القريبة حيث يتم تقليل $\gamma$ تدريجيًا.

3. المساهمات الرئيسية

1. الإثبات النظري: تثبت الورقة أنه إذا تم بناء جهد محدب ليكون متجانس الدرجة الثانية ومفككًا بشكل صحيح فيما يتعلق بالمتوسط، فإن اشتقاقه يكون مؤثرًا قريبًا متوافقًا أفينيًا بشكل مثبت.
2. بناء معماري مبتكر: تقديم AE-LPNs، التي تجمع بين ICNNs، وإزالة الانحياز، وتنشيطات SortPool، واستراتيجية تربيع المخرات/التفكيك لضمان تحقيق كل من قيود التحدب والتوافق في آن واحد.
3. حل خلل "خدعة التطبيع": يوضح المؤلفون أن حيل التطبيع القياسية (مثل تطبيع $z$-score) تكسر ضمان التحدب المطلوب لكي تكون الشبكة مؤثرًا قريبًا حقيقيًا. تحل AE-LPNs هذه المشكلة دون الاعتماد على مثل هذه الحيل.
4. القوة تجاه تغير التوزيع: يتيح إطار العمل مؤثرات متعلمة تعمم على مستويات الضجيج والتحويلات الأفينية غير المرئية أثناء التدريب.

4. النتال التجريبية

قيم المؤلفون نماذج AE-LPNs على بيانات اصطناعية وعلى مهمة تقليل ضجيج الصور في العالم الحقيقي (مجموعة بيانات BSDS500).

• مثال اصطناعي (توزيع طبيعي منقسم - Split Normal Distribution):

  • المهمة: تعلم المؤثر القريب لتوزيع طبيعي منقسم.
  • النتيجة: نجحت AE-LLPN فقط في تعلم المؤثر القريب المتوافق مع المقياس والمنطق القبلي (log-prior) الصحيح. أما "خدعة التطبيع" فقد أنتجت منقيًا متوافقًا مع المقياس، لكنها فشلت في أن تكون مؤثرًا قريبًا دقيقًا (بانتهاك خاصية اشتقاق الدالة المحدبة).

• تقليل ضجيج الصور (مستويات ضجيج خارج نطاق التوزيع):

  • تم تدريب النماذج عند مستوى ضجيج $\sigma=0.1$.
  • الاختبار: تم تقييم الأداء عبر مستويات ضجيج متفاوتة ($\sigma \in [0.05, 0.7]$).
  • النتيجة: بينما حققت نماذج LPN القياسية أفضل أداء عند مستوى الضجيج المستخدم في التدريب، إلا أن AE-LPNs تفوقت عليها بشكل كبير عند مستويات الضجيج الأعلى والأقل. يوضح هذا قدرة فائقة على التعميم تجاه تغيرات شدة الضجيج، حيث تبين أن توافق المقياس هو العامل المهيمن في هذه القوة.

• الثبات تجاه التحويلات الأفينية:

  • الاختبار: تم اختبار الشبكة على صور خضعت لتحويل $g(x) = \alpha x + (1-\alpha)$ (لمحاكاة تغيرات السطوع).
  • المقياس: نسبة PSNR بين $f(g(x))$ و $g(f(x))$.
  • النتيجة: حققت AE-LPNs نسبة PSNR تقترب من المثالية (خطأ مهمل)، مما يثبت أنها تحافظ بصرامة على البنية الأفينية للصورة. فشلت النماذج الأخرى (بما في ذلك نسخة خدعة التطبيع) في الحفاظ على هذا الاتساق الهيكلي.

5. الأهمية والتأثير

• الدقة النظرية: يجسّر هذا العمل الفجوة بين مرونة التعلم العميق والضمانات الرياضية في المسائل العكسية. فهو يضمن أن منقيات الضجيج المتعلمة ليست مجرد "صناديق سوداء"، بل هي مؤثرات قريبة صالحة، وهو أمر بالغ الأهمية لتقارب الخوارزميات التكرارية مثل (Plug-and-Play) ADMM.
• الفائدة العملية: من خلال فرض التوافق، تقلل AE-LPNs من التعقيد الإحصائي للتعلم وتحسن القدرة على التعميم. وهذا مفيد بشكل خاص في التصوير الطبي (مثل إعادة بناء الأشعة المقطعية) والاستشعار عن بعد، حيث قد تختلف البيانات في مقياس الشدة أو الإزاحة بسبب ظروف الاستحواذ، وحيث لا تتوفر بيانات تدريب تغطي جميع التغيرات الممكنة.
• الاتجاهات المستقبلية: يشير المؤلفون إلى أن إطار العمل هذا يمكن أن يحسن تعقيد العينات في التدريب ويمكن تطبيقه على مسائل عكسية أخرى حيث تنتشر عمليات تغيير النوافذ (windowing) وتغيير شدة الإضاءة.