ملخص تقني: تحسين الصور في الإضاءة المنخفضة عبر الانتباه متعدد المقاييس المدمج مع تحويل فوريه (MSFT)

1. بيان المشكلة

يهدف تحسين الصور في الإضاءة المنخفضة (LLIE) إلى استعادة صور عالية الجودة وذات إضاءة طبيعية من مدخلات تم التقاطها في بيئات صعبة تتميز بنقص الإضاءة، مثل الأماكن المغلقة المظلمة أو المشاهد الخارجية ذات التباينات الحادة في السطوع. تؤدي هذه الظروف إلى تدهور السطوع، وضبابية كبيرة في الصورة، والضجيج.

تواجه طرق التعلم العميق الحالية لـ LLIE عدة قيود:

• استعادة النسيج والإضاءة: تعاني العديد من الطرق من صعوبة في التقاط توزيعات الإضاءة في العالم الحقيقي واستعادة تفاصيل النسيج الدقيقة بدقة في آن واحد.
• القيود التكيفية: تفشل الطرق السائدة غالبًا في تعديل السطوع بشكل تكيفي بناءً على معلومات النسيج الإقليمية، مما يؤدي إلى مشكلات مثل التعرض المفرط للضوء أو نقص التعرض.
• الاعتماد على الحوسبة والبيانات المسبقة: بينما توفر نماذج الانتشار (Diffusion Models) واقعية عالية، إلا أنها غالبًا ما تعتمد على عمليات تدهور مفترضة أو معرفة مسبقة ثقيلة، مما يحد من قابليتها للتطبيق في سيناريوهات العالم الحقيقي حيث يكون التدهور غامضًا. علاوة على ذلك، تتطلب الطرق التي تعتمد على المعرفة الدلالية المسبقة موارد حوسبة هائلة.
• التعامل مع الضجيج والخلفية: تقنيات مثل التحسين القائم على نسبة الإشارة إلى الضجيج (SNR-aware) تعمل على تحسين نسب الإشارة إلى الضجيج، لكنها تفشل غالبًا في التقاط المعلومات العميقة للمقاييس أو تعزيز مناطق الخلفية التي تحتوي على عناصر أمامية شفقية بشكل كافٍ.

2. المنهجية

يقترح المؤلفون نموذج MSFT (الانتباه متعدد المقاييس المدمج مع تحويل فوريه)، وهو شبكة تعلم عميق في النطاق الترددي خاضعة للإشراف. البنية عباری عن إطار عمل على شكل حرف U مكون من مرحلتين يدمج الشبكات العصبية الالتفافية (CNNs) والمحولات (Transformers)، بتوجيه من مبادئ تحويل فوريه.

المكونات الهيكلية الأساسية

أ. الانتباه متعدد المقاييس الموجه بتحويل فوريه (FTG-MSA)
هذه هي وحدة الاستعادة المركزية المدمجة داخل مقاييس الشبكة. وهي تستفيد من ملاحظة أن سعة النطاق الترددي تشفر معلومات السطوع، بينما تتعلق الطور (Phase) بالتفاصيل الهيكلية.

• بناء التوجيه: تنشئ الشبكة خريطة سطوع للميزات مكونة من أربعة قنوات عبر دمج صورة الإضاءة المنخفضة مع خريطة معرفة بقيمة الرمادي القصوى (المستمدة من طبقة الإضاءة عبر نظرية ريتيكس - Retinex).
• الدمج الترددي: تقوم الوحدة بإجراء تحويل فوريه السريع (FFT) على كل من ميزات صورة الإضاءة المنخفضة وخريطة التوجيه ذات الأربع قنوات. وتضيف طيف السعة لخريطة التوجيه إلى طيف السعة لصورة الإضاءة المنخفضة مع الحفاظ على طور صورة الإضاءة المنخفضة.
• التحويل العكسي: يقوم تحويل فوريه العكسي (IFFT) بإعادة بناء خريطة الميزات الموجهة، والتي تعمل كمعرفة للسطوع لمنع التعرض المفرط أو نقص التعرض.
• آلية الانتباه: توجه معلومات السعة المدمجة هذه آلية انتباه ذات رؤوس متعددة، حيث يتم حساب أوزان الانتباه ديناميكيًا لاختيار الميزات ذات الصلة بشكل انتقائي، مما يثري محتوى الصورة مع الحفاظ على النسيج.

ب. الانتباه التآزري متعدد الأشكال (MSSA)
صُممت هذه الوحدة لاستخراج معلومات النسيج في المقاييس العميقة ودمج الميزات المتفرقة عالية الأبعاد، وتُدرج في أعلى مقياس للقنوات. وتتكون من ثلاثة مكونات متصلة على التوالي:

1. الانتباه التآزري المكاني والقنوي (SCSA): يزن أهمية القنوات بشكل تكيفي ويعزز المعلومات المكانية الحرجة.
2. الانتباه متعدد الأشكال (MSA): يتكون من انتباه مربع متمدد (DSA) وانتباه مستطيل متمدد (DRA) يعملان بالتوازي.
   • DSA: يستخدم تنشيط التانغنت الزائدي (Tanh) بدلاً من Softmax لتجنب قيود المرشح منخفض التردد، مما يعزز المكونات عالية التردد.
   • DRA: يجمع المعلومات في مناطق مستطيلة لالتقاط ميزات متعددة الأشكال.
3. CMUNeXt: وحدة خفيفة الوزن تستخرج المعلومات العالمية عبر جميع القنوات في وقت واحد، مما يقلل عدد المعلمات والتكاليف الحوسبية مع دمج المعلومات المكانية-القنوية.

ج. هيكل الشبكة
الإطار العام هو بنية على شكل حرف U بثلاثة مقاييس.

• الترميز (Encoding): تتم معالجة صور الإضاءة المنخفضة وخريطة التوجيل ذات الأربع قنوات من خلال طبقات تلافيفية وكتل FTGT (محول فوريه الموجه) لتوليد ميزات هرمية.
• فك الترميز (Decoding): يتم تغذية الميزات متعددة المقاييس من المرمز مباشرة إلى قنوات فك الترميز المقابلة لتوجيه إعادة البناء، مما يلغي الحاجة إلى استخراج ميزات إضافية ويقلل التكرار.
• دالة الخسارة: يتم تدريب النموذج باستخدام خسارة Charbonnier لتقليل الخطأ بين المخرجات المحسنة والحقيقة الأرضية (Ground Truth).

3. المساهمات الرئيسية

1. بنية MSFT: اقتراح شبكة متكاملة مرحلية تجمع بين تحويلات فوريه وإطار عمل U-net المختلط بين CNN وTransformer. يوازن هذا التصميم الهجين بين كفاءة CNN في التقاط الميزات المحلية وقدرة Transformer على نمذجة السياق العالمي.
2. وحدة FTG-MSA: تصميم آلية انتباه تدمج معلومات سعة النطاق الترددي كإشارة توجيه ديناميكية. يسمح هذا للشبكة بتعديل أوزان التحسين بشكل تكيفي بناءً على القيمة الرمادية القصوى في مناطق الإضاءة المنخفضة، مما يمنع عيوب التعرض.
3. وحدة MSSA: تقديم وحدة الانتباه التآزري متعدد الأشكال في فضاء التوجيه الأعلى أبعادًا. تدمج هذه الوحدة بفعالية المعلومات المتفرقة، وتوحد كثافة القنوات، وتستخرج معلومات النسيج العميقة باستخدام مزيج من SCSA وMSA (DSA/DRA) وCMUNeXt.
4. الأداء المتفوق: تثبت التجارب المكثفة أن MSFT يتفوق على الطرق الحالية (SOTA) عبر مجموعات بيانات متعددة (LOL, SID, SMID, SDSD) من حيث PSNR وSSIM، لا سيما في الحفاظ على تفاصيل النسيج واستعادة الإضاءة دون تعرض مفرط.

4. النتائج التجريبية

قام المؤلفون بتقييم MSFT على سبع مجموعات بيانات: LOL-v1، LOL-v2-real، LOL-v2-synthetic، SID، SMID، SDSD-indoor، وSDSD-outdoor.

• الأداء الكمي:
  • في مجموعة بيانات SDSD-outdoor، حقق MSFT قيمة PSNR بلغت 41.76 ديسيبل وSSIM بلغ 0.988. ويمثل هذا تحسنًا قدره 11.92 ديسيبل عن Retinexformer وتحسنًا بنسبة 13.80% في SSIM.
  • مقارنة بالطريقة الخاضعة للإشراف SOTA وهي Retinexformer، حقق MSFT مكاسب كبيرة في PSNR عبر جميع الاختبارات، تتراوح من 0.11 ديسيبل إلى 11.92 ديسيبل.
  • مقارنة بالطريقة غير الخاضعة للإشراف Retinexformer، كانت التحسينات أكثر وضوحًا، مع مكاسب تصل إلى 16.48 ديسيبل في بعض مجموعات البيانات.
• الكفاءة:
  • يحتوي MSFT على 1.25 مليون معلمة و18.07 GFLOPs. وهذا منخفض نسبيًا مقارنة بالنماذج عالية الأداء الأخرى مثل SNR-Net (4.01 مليون معلمة، 26.35 GFLOPs) ويقدم توازنًا أفضل بين الأداء والتكلفة الحوسبية.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة توجيه Retinex (المدخل ذو الأربع قنوات) إلى انخفاض كبير في الأداء (على سبيل المثال، ~9 ديسيبل في SDSD-outdoor)، مما يؤكد أهمية معرفة الإضاءة المسبقة.
  • أدت إزالة وحدة MSSA إلى تراجع كبير في كل من PSNR وSSIM، مما يؤكد دورها في التشابه الهيكلي واستعادة النسيج.
  • أدت إزالة مكون FFT داخل FTGT إلى التدهور الأكثر حدة في الأداء، مما يثبت أن التوجيه في نطاق التردد لا غنى عنه للاتساق العالمي.
• النتائج النوعية: تظهر المقارنات البصرية أن MSFT يلتقط أنسجة الخلفية بفعالية ويحافظ على إضاءة واقعية، بينما غالبًا ما تسبب الطرق الأخرى بقعًا مظلمة أو عيوبًا أو تعرضًا مفرطًا في المناطق الساطعة.

5. الأهمية والقيود

الأهمية:
يزعم البحث أن MSFT يوفر حلاً قويًا لتحسين الإضاءة المنخفضة من خلال دمج معلومات سعة النطاق الترددي مع آليات الانتباه متعددة المقاييس. إنه يقدم مرجعًا لبناء نماذج تستخدم الانتباه الموجه بالنطاق الترددي لاستعادة الصور المتدهورة، محققًا توازنًا بين استعادة الإضاءة الدقيقة وتعزيز تفاصيل النسيج دون العبء الحوسبي الثقيل لنماذج الانتشار أو قيود هياكل ViT الثابتة.

القيود:
يقر المؤلفون بعدة قيود:

• التلوث الضوئي: الطريقة محدودة في التعامل مع الصور الملوثة بالضوء القوي، حيث تواجه صعوبة في إزالة الضجيج من الأجزاء شديدة التعرض.
• المعالجة في الوقت الفعلي: ليست فعالة بما يكفي للمعالجة في الوقت الفعلي لسيناريوهات الضوء الطبيعي.
• الاعتماد على البيانات: يتطلب النموذج كمية كبيرة من البيانات المزدوجة للتدريب، وهو ليس مناسبًا حاليًا لمجالات التعزيز غير الخاضعة للإشراف التي تفتقر إلى البيانات المزدوجة.
• الحساسية للضجيج: لا يأخذ النموذج في الاعتبار الصور التي يتم الحصول عليها في سيناريوهات ذات ضجيج شديد؛ فهو يتطلب مجموعات بيانات مزدوجة نظيفة نسبيًا أو معالجة مسبقة للتنظيف.

العمل المستقبلي:
يقترح المؤلفون اتجاهات بحثية مستقبلية تشمل:

• دمج تحويل فوريه حقًا في طبقة الانتباه لإجراء حسابات الانتباه مباشرة في النطاق الترددي (باستخدام أطياف السعة والطور).
• استكشاف تطبيق نماذج الانتشار في النطاق الترددي، ربما من خلال تحسين هيكل الانتشار لتقليل الموارد الحوسبية مع الاستفاء من قدراتها التوليدية للتعزيز غير الخاضع للإشراف.