ملخص تقني: التكافؤ في التطبيع (Normalization Equivariance) للنماذج الهيكلية التعسفية

بيان المشكلة

في مهام التنبؤ من صورة إلى صورة، لا سيما في إزالة الضجيج الأعمى (blind image denoising)، تعاني الشبكات العصبية غالبًا من انزياحات في التوزيع عندما يختلف مستوى الضجيج عند الاختبار عن مستوى الضجيج أثناء التدريب. وبينما يُعرف أن التكافؤ القياسي (Scale Equivariance - SE) ($f(ay) = af(y)$) والتكافؤ في التطبيع (Normalization Equivariance - NE) الأكثر صرامة ($f(ay + b\mathbf{1}) = af(y) + b\mathbf{1}$) يحسنان المتانة تجاه هذه الانزياحات، فإن فرض هذه الخصائص في بنى التعلم العميق الحديثة يطرح تحديات كبيرة.

تفرض الطرق الحالية خاصية NE عبر تقييد الطبقات الداخلية للشبكة بعائلات محددة متوافقة مع NE (مثل: التلافيف المقيدة بالتحويلات الأفينية، واللاخطية القائمة على الترتيب، والبواقي الأفينية). وهذا النهج، رغم سلامته النظرية، يعاني من عيبين رئيسيين:

1. عدم التوافق الهيكلي: إنه يستبعد المكونات القياسية المنتشرة في النماذج الهيكلية الحديثة، مثل آليات الانتباه (softmax) وLayerNorm، والتي لا تتبادل مع التحويلات الأفينية.
2. العبء التشغيلي: يؤدي فرض التكافؤ عبر قيود الطبقات الداخلية إلى تكاليف حوسبية كبيرة، حيث تُظهر بعض النماذج المرجعية المعمارية تباطؤًا يصل إلى 1.6× مقارنة بالنماذج القياسية.

المنهجية: غلاف التكافؤ في التطبيع (WNE)

يقترح المؤلفون طريقة تفرض NE على مستوى المدخلات والمخرجات بدلاً من مستوى الطبقات الداخلية. يعتمد هذا النهج على توصيف كامل لفئة دالة NE.

التوصيف النظري

يثبت البحث التوصيف 1، حيث يثبت أن الدالة $f: \mathbb{R}^d \to \mathbb{R}^d$ تكون متكافئة في التطبيع إذا وفقط إذا كانت تقبل تحليل "التطبيع-المعالجة-إلغاء التطبيع" (normalize-process-denormalize). وتحديدًا، لأي مدخل $y$ بمعامل انحراف معياري $\text{std}(y) > 0$:
$$f(y) = \text{std}(y) \cdot g(T_{NE}(y)) + \mu(y)\mathbf{1}$$
حيث أن:

• $\mu(y)$ و $\text{std}(y)$ هما المتوسط والانحراف المعياري للحالة (instance).
• $T_{NE}(y) = \frac{y - \mu(y)\mathbf{1}}{\text{std}(y)}$ هو خريطة التطبيع التي تسقط $y$ على الفضاء المطبع (normalized manifold) $\mathcal{M}$ (متوسط صفر، وانحراف معياري واحد).
• $g: \mathcal{M} \to \mathbb{R}^d$ هي دالة تعسفية تعمل على المدخل المطبع.

يعني هذا التوصيف أن فرض NE لا يتطلب تقييد البنية الداخلية؛ بل هو إعادة تمثيل (reparameterization) مكافئة لفئة الدالة.

غلاف WNE

بناءً على هذه النظرية، يقدم المؤلفون WNE، وهو غلاف (wrapper) خالٍ من المعلمات يمكن تطبيقه على أي نموذج هيكلي $g_\theta$ موجود (بما في ذلك الـ CNNs والـ Transformers) دون تعديل أوزانه أو طبقاته الداخلية. يتم تعريف التمرير الأمامي (forward pass) كالتالي:
$$f^{WNE}_\theta(y) = \text{std}(y) \cdot g_\theta(T_{NE}(y)) + \mu(y)\mathbf{1}$$

• المدخل: الصورة المشوشة $y$.
• التطبيع: حساب إحصائيات الحالة $\mu(y), \text{std}(y)$ وتطبيعها إلى $\tilde{y} = T_{NE}(y)$.
• المعالجة: تمرير $\tilde{y}$ عبر النموذج الهيكلي التعسفي $g_\theta$.
• إلغاء التطبيع: إعادة بناء المخرج عبر القياس والإزاحة: $\hat{x} = \text{std}(y)g_\theta(\tilde{y}) + \mu(y)\mathbf{1}$.

يضمن هذا البناء تحقيق NE بدقة بغض النظر عن المكونات الداخلية للنموذج (مثل الانتباه، أو LayerNorm). ولضمان الاستقرار العددي، تُضاف قيمة $\epsilon$ صغيرة إلى الانحراف المعياري عندما يقترب من الصفر.

المساهمات الرئيسية

1. الطريقة: غلاف (wrapper) خالٍ من المعلمات وقابل للاستخدام المباشر (drop-in) يفرض التكافؤ في التطبيع بدقة على أي نموذج هيكلي، بما في ذلك الـ Transformers، دون تعديل الطبقات الداخلية.
2. النظرية: توصيف كامل يثبت أن تحليل "التطبيع-المعالجة-إلغاء التطبيع" هو ضروري وكافٍ لـ NE، مما يحول المشكلة من قيد معماري داخلي إلى إعادة تمثيل للمدخلات والمخرجات.
3. التجارب والتحليل:
   • إثبات تحسن المتانة تجاه عدم تطابق مستوى الضجيج في إزالة الضجيج الأعمى لكل من نماذج CNN (مثل DnCNN) وTransformers (مثل SwinIR وRestormer).
   • تحليل يوضح أن العبء الحوسبي ضئيل جدًا مقارنة بالنماذج المعمارية المرجعية.
   • تحليل الإحداثيات المطبعة الذي يشرح آلية المتانة: تحت ظروف NE، يعمل عدم تطابق مستوى الضجيج بشكل أساسي على تغيير توزيع "الصعوبة" (المسافة في الإحداثيات المطبعة) بدلاً من تغيير مشكلة الانحدار نفسها، مما يسمي النموذج بالعمل في نظام الاستكمال (interpolation regime) عبر مستويات الضجيج المختلفة.

النتائج التجريبية

قيم المؤلفون WNE باستخدام تشخيص واحد لعدم تطابق الضجيج، حيث تم تدريب النماذج عند مستوى ضجيج ثابت ($\sigma_{train} \in \{10, 25, 50\}$) واختبارها عبر نطاق واسع من $\sigma_{test}$.

• المتانة: يتفوق WNE بشكل كبير على النماذج غير المغلفة (unwrapped baselines) في حالات عدم تطابق مستوى الضجيج. بالنسبة لـ SwinIR، يتدهور النموذج الأساسي بشدة عندما $\sigma_{test} \neq \sigma_{train}$، بينما يحافظ WNE على أداء مستقر. ويقترب WNE من اتجاهات المتانة للنماذج المعمارية المرجعية (NE-arch) التي تتطلب تعديلات داخلية واسعة.
• الأداء عند الضجيج المتطابق: عند مستويات الضجيج المتطابقة ($\sigma_{test} = \sigma_{train}$)، يظل WNE منافسًا للنموذج الأساسي غير المغلف، حيث لا يظهر أي تدهور ملموس في ذروة الـ PSNR.
• كفاءة وقت التشغيل: على وحدة معالجة الرسومات (GPU)، يضيف WNE عبئًا ضئيلاً جدًا (نسبة $\approx 1.00\times$) مقارنة بالنموذج الأساسي. وفي المقابل، تعاني النماذج المعمارية المرجعية (NE-arch) من تباطؤ يصل إلى 1.6× بسبب تكلفة فرض التكافؤ في الطبقات الداخلية.
• التعميم: تمتد الفوائد لتشمل:
  • نماذج هيكلية مختلفة (Restormer).
  • الصور الملونة (3 قنوات).
  • ضجيج المستشعرات الحقيقي (مجموعة بيانات SIDD).
  • التشويهات غير الغاوسية (Uniform, Laplace, Rayleigh, JPEG).
  • الاستخدام المتكرر في المسائل العكسية (مثل استخدام مزيلات الضجيج المدربة بـ Noise2Noise في عمليات الترميم المقيدة Inpainting)، حيث يتيح WNE إعادة بناء مستقرة من بدايات عالية الضجيج قد تفشل فيها النماذج غير المغلفة.

الأهمية والادعاءات

يدعي البحث أن فرض التكافؤ في التطبيع ليس مجرد تقريب أو تقييد لمساحة الدالة، بل هو إعادة تمثيل مكافئة يمكن تحقيقها دون قيود معمارية.

تكمن الأهمية الأساسية في فصل فوائد المتانة لـ NE عن القيود المعمارية للطرق السابقة. ومن خلال نقل فرض التكافؤ إلى حدود المدخلات والمخرجات عبر "غلاف"، يُمكّن المؤلفون من استخدام مكونات قياسية عالية الأداء (مثل الانتباه وLayerNorm) مع الاحتفاظ بالضمانات النظرية لـ NE. يوفر هذا النهج حلاً عمليًا لتحسين المتانة في إزالة الضجيج الأعمى والمسائل العكسية ذات الصلة دون تحمل العقوبات الحوسبية المرتبطة بقيود الطبقات الداخلية. ويشير المؤلفون أيضًا إلى أن هذا المنظور يوفر تفسيرًا هندسيًا واضحًا للمتانة: فهو يعمل على استقرار مشكلة الانحدال في الإحداثيات المطبعة، مما يضمن الحفاظ على تداخل "الصعوبة" بين التدريب والاختبار حتى في ظل تغيرات كبيرة في مستويات الضجيج.