ملخص تقني: GuidNoise

بيان المشكلة

تعد عملية إزالة الضجيج من الصور (Image denoising) مهمة أساسية في الرؤية الحاسوبية، ومع ذلك، يتطلب تدريب نماذج التعلم العميق الفعالة مجموعات بيانات ضخمة وعالية الجودة من الصور المزدوجة (الضوضائية والنظيفة). ويعد الحصول على مثل هذه البيانات الواقعية أمراً مكلفاً وصعباً لأنها تتطلب التقاط نفس المشهد تحت ظروف متطابقة باستخدام مستشعرات ضوضائية ونظيفة، مما يستلزم غالباً توفر بيانات وصفية محددة للكاميرا (مثل ISO، وسرعة الغالق) لنمذجة أنماط الضجيج المعقدة بدقة.

بينما حاولت النماذج التوليدية الحديثة (مثل شبكات GANs، وNormalizing Flows، ونماذج الانتشار/Diffusion models) تخليق ضجيج واقعي للتخفيف من ندرة البيانات، إلا أن الأساليب الحالية تعاني من قيود كبيرة:

1. الاعتماد على البيانات الوصفية (Metadata): تتطلب العديد من النهج بيانات وصفية محددة للكاميرا لمحاكاة أنظمة تصوير معينة.
2. متطلبات أزواج البيانات: تعتمد طرق أخرى على أزواج مكثفة من الصور (الضوضائية والنظيفة) الخاصة بهدف معين، مما يحد من قدرتها على التعميم عبر أجهزة مختلفة، أو إعدادات ISO متنوعة، أو تغيرات المشهد.
3. فشل التعميم: غالباً ما تواجه النماذج المدربة على بيئات محددة صعوبة في التكيف مع ظروف متنوعة وغير مرئية دون إعادة تدريب أو تهيئة تفصيلية.

المنهجية

يقترح المؤلفون GuidNoise، وهو نموذج انتشار موجه يعتمد على زوج واحد (single-pair guided diffusion model) مصمم لتخليق الضجيج بشكل عام. المبدأ الأساسي هو أن زوجاً واحداً من الصور (الضوضائية والنظيفة) -وهو "الزوج الموجه"- من نطاق مستهدف كافٍ لتوجيه عملية تخليق ضجيج واقعي لأي صورة نظيفة، دون الحاجة إلى بيانات وصفية للكاميرا أو بيانات تدريب مزدوجة واسعة النطاق لذلك النطاق المحدد.

البنية والتدريب

بُني GuidNoise على بنية U-Net شرطية ضمن إطار عمل نموذج الانتشار الاحتمالي لتقليل الضجيج (DDPM)، مع استخدام التنبؤ بـ v (v-prediction) لضمان الاستقرار. يقدم هذا الأسلوب ابتكارين رئيسيين:

1. بنية فك الترميز المتسلسلة (Cascade Decoding Architecture):
   يستخدم النموذج مشفراً موازياً $E$ لاستخراج الميزات من الصورة الضوضائية المدخلة ($x_t$)، والصورة النظيفة ($c$)، والزوج الموجه ($x_r, c_r$). تم إدخال وحدة تعديل الميزات التآلفي الواعي بالتوجيه (GAFM) لحقن معلومات الضجيج الخاصة بالنطاق في فك الترميز.

• يتم تشفير الزوج الموجه ومعالجته بواسطة وحدة توجيه واعية بالضجيج $\tau$ لإنتاج تضمين توجيه $h$.
• يعمل هذا التضمين $h$، جنباً إلى جنب مع تضمين الوقت $t$، على تعديل كتل التردد (residual blocks) في فك الترميز عبر معاملات تآلفية ($\alpha_i, \beta_i$) يتم إنشاؤها بواسطة طبقة متعددة الطبقات (MLP).
• تسمح هذه الآلية للنموذج بالتقاط توزيعات الضجيج دقيقة التفاصيل من الزوج الموجه وتطبيقها على عملية التوليد دون نسخ الميزات الخام مباشرة، مما يعزز القدرة على التعميم.

2. خسارة الصقل الواعية بالضجيج (Noise-Aware Refine Loss):
   تميل خسائر الانتشار القياسية (L2) إلى كبح المكونات عالية التردد حيث تكمن معلومات الضجيج. ولمعالجة ذلك، قدم المؤلفون خسارة صقل ($L_{refine}$) تُطبق خلال الخطوات النهائية من عملية الانتشار العكسي.

• تستخدم هذه الخسارة مدرجاً تكرارياً (histogram) قابلاً للتفاضل وتباعد كولباك-لايبلر (KLD) لمواءمة توزيع الصورة الضوضائية المُخلّقة مع ضجيج التوجيه الحقيقي.
• تجمع دالة الخسارة الإجمالية بين خسارة الانتشار القياسية وخسارة الصقل: $L = L_{Diffusion} + \lambda L_{Refine}$.

الاستدلال (Inference)

أثناء الاستدلال، يأخذ النموذج صورة نظيفة $c$ وزوج توجيه واحداً $(x_r, c_r)$ من النطاق المستهدف. يقوم بتخليق صورة ضوضائية $\hat{x}$ تحاكي توزيع الضجيج في $x_r$. ومن الأهمية بمكان أن هذه العملية لا تتطلب وجود زوج حقيقي (نظيف وضوضائي) للصورة النظيفة المستهدفة أثناء مرحلة التوليد، كما لا تتطلب أي بيانات وصفية للكاميرا.

المساهمات الرئيسية

1. إطار عمل GuidNoise: نموذج انتشار موجه يعتمد على زوج واحد لتوليد صور ضوضائية واقعية باستخدام زوج توجيه واحد فقط، مما يلغي الحاجة إلى البيانات الوصفية للكاميرا أو مجموعات البيانات المزدوجة واسعة النطاق الخاصة بنطاق معين.
2. تعديل الميزات التآلفي الواعي بالتوجيه (GAFM): آلية مبتكرة لتضمين توزيعات الضجيج دقيقة التفاصيل من زوج التوجيه في عملية الانتشار عبر التعديل التآلفي، مما يسمح بتكيف فعال للنطاقات.
3. خسارة الصقل الواعية بالضجيج: دالة خسارة مصممة للحفاظ على تفاصيل الضجيج عالية التردد من خلال مواءمة توزيع الضجيج المُخلّق مع الحقيقة الأرضية عبر مطابقة المدرج التكراري، مما يحسن واقعية الضجيج المُولد.
4. قدرة التعزيز الذاتي (Self-Augmentation): القدرة على توليد أزواج (ضوضائية-نظيفة) اصطناعية بكفاءة وقت الاستدلال، مما يسمح بتعزيز بيانات التدريب لتحسين أداء إزالة الضجيج، خاصة في السيناريوهات ذات البيانات المحدودة أو النماذج خفيفة الوزن.

النتائج التجريبية

قيم المؤلفون GuidNoise على مجموعات بيانات SIDD-Validation و SIDD+ و PolyU و Nam، وقارنوه بالطرق الرائدة مثل C2N و Flow-sRGB و NeCA و NAFlow.

• تشابه الضجيج: حقق GuidNoise مقاييس تشابه متفوقة. ففي مجموعة بيانات SIDD-Validation، سجل أدنى درجات KLD (0.014) و AKLD (0.113)، متفوقاً على NAFlow و NeCA-W.
• التعميم: أظهر النموذج قدرة قوية على التعميم عبر أنواع الكاميرات المختلفة (DSLR مقابل الهواتف الذكية) ومجموعات البيانات (PolyU, Nam) رغم تدريبه أساساً على مجموعة بيانات SIDD القائمة على الهواتف الذكية. وقد نجح في تخليق توزيعات ضجيج لأجهزة غير مرئية دون تدريب محدد.
• أداء إزالة الضجيج: عندما استُخدم لتطوير شبكات إزالة الضجيج (DnCNN و NAFNet)، أدت البيانات المُخلّقة بواسطة GuidNoise إلى أداء يكاد يكون مطابقاً للتدريب باستخدام الصور الحقيقية الضوضائية. ففي SIDD-Benchmark، حقق NAFNet المدرب بواسطة GuidNoise نسبة PSNR بلغت 37.48، مقارنة بـ 37.60 للبيانات الحقيقية.
• التعزيز الذاتي: أظهرت التجارب أن التعزيز الذاتي (خلط البيانات الحقيقية والاصطناعية) يعزز الأداء بشكل كبير، خاصة للنماذج الصغيرة والمجموعات البيانية المحدودة. فقد تفوق نموذج NAFNet-Small المعزز ذاتياً، والذي تدرّب على 1/16 فقط من البيانات الحقيقية، على نموذج NAFNet-Medium المدرب على كامل البيانات الحقيقية.

الأهمية

يزعم البحث أن GuidNoise يعالج العقبة الحرجة المتمثلة في الحصول على البيانات في مجال إزالة الضجيج من الصور عبر تخفيف الشروط المسبقة لطرق تخليق الضجيج التوليدية الحالية. ومن خلال الاعتماد على زوج توجيه واحد بدلاً من البيانات الوصفية أو مجموعات البيانات المزدوجة واسعة النطاق، يوفر الأسلوب حلاً مرناً وقوياً للتعميم في تخليق الضجيج عبر سيناريوهات العالم الحقيقي المتنوعة. ويؤكد المؤلفون أن هذا النهج لا يحسن جودة الضجيج الاصطناعي فحسب، بل يتيح أيضاً استراتيجيات عملية لتعزيز البيانات التي ترفع من أداء إزالة الضجيج في البيئات محدودة الموارد.