FPA-Net:Frequency and Position-Aware Deep Network for Low-Light Image Enhancement in HVI Color Space
تقدم هذه الورقة البحثية شبكة FPA-Net، وهي شبكة عميقة ثنائية الفرع تستفيد من نمذجة الترددات ذات القيم المركبة وآليات الانتباه المدركة للمواقع ضمن فضاء الألوان HVI لتحقيق تعزيز لصور الإضاءة المنخفضة بمستوى رائد يضمن دقة هيكلية فائقة واتساقاً لونياً متميزاً.
المؤلفون الأصليون:Huaping Zhou, Zihao Li, Kelei Sun
في الزوايا المعتمة من عالمنا، حيث تومض أضواء الشوارع وتتمدد الظلال طويلاً، غالباً ما تكافح الكاميرات في هواتفنا وأنظمة الأمان للرؤية. فعندما يندر الضوء، تلتقط المستشعرات إشارات خافتة يسهل طمسها بفعل التشويش والضجيج، مما ينتج صوراً محببة ومظلمة ومشوهة. لعقود من الزمن، حاول العلماء إصلاح هذه الصور، أولاً باستخدام قواعد رياضية لتخمين ما يجب أن يكون عليه الضوء، ولاحقاً بتعليم الحواسيب التعلم من آلاف الأمثلة. وقد كانت العقبة الرئيسية في هذا المجال هي الطريقة التي تعالج بها الحواسيب الألوان عادةً؛ إذ تعامل معظم الأنظمة السطوع واللون كحزمة واحدة متشابكة. فعندما يحاول الحاسوب تفتيح صورة مظلمة، فإنه غالباً ما يغير الألوان عن طريق الخطأ أو يخلق هالات غريبة حول الأجسام لأنه لا يستطيع فصل الضوء عن التدرج اللوني. ولحل هذه المشكلة، لجأ الباحثون إلى طريقة مختلفة لتنظيم المعلومات اللونية، وهي طريقة تحافظ على فصل السطوع عن اللون، مما يسمح بإجراء تعديلات أكثر نقاءً.
قدم فريق من الباحثين من جامعة آنهوي للعلوم والتكنولوجيا طريقة جديدة تسمى FPA-Net، صُممت لإصلاح هذه الصور المظلمة بدقة أكبر من أي وقت مضى. فبدلاً من مجرد النظر إلى الصورة كصورة مسطحة من البكسلات، ينظر نظامهم إلى الصورة بطريقتين مختلفتين في آن واحد: كصورة قياسية وكنمط من الموجات. تخيل الصورة ليس فقط كمجموعة من النقاط، بل كصوت معقد يتكون من ترددات مختلفة، حيث يمثل "الباص" العميق السطوع العام، بينما يمثل "التريبل" عالي النبرة التفاصيل الدقيقة والحواف. وقد وجد الباحثون أنه في الصور شديدة الظلمة، غالباً ما يبدو "الضجيج" كنبضة حادة ومسننة في هذه الأنماط الموجية، بينما يظل الهيكل الفعلي للمشهد ثابتاتاً. ومن خلال فصل الصورة إلى هذه المكونات الموجية، يمكن لنظامهم تحديد وتنعيم الضجيج المسنن دون طمس التفاصيل المهمة للمشهد.
جوهر هذا النهج الجديد هو شبكة ثنائية المسار، مما يعني أنها تمتلك مسارين منفصلين لمعالجة المعلومات. يركز أحد المسارين على لون وشكل الأجسام، بينما يركز الآخر بالكامل على مدى سطوع المشهد. هذا الفصل أمر بالغ الأهمية لأنه يمنع الحاسوب من تغيير لون تفاحة حمراء عن طريق الخطأ لمجرد أنه يحاول جعل الصورة بأكملها أكثر سطوعاً. وقد بنى الباحثون أداة خاصة داخل هذه الشبكة تعمل في نطاق التردد، مما يسمح لها بتعديل سطوع الصورة بأكملها مع حماية حدة الحواف بصرامة. كما أضافوا آلية تولي اهتماماً وثيقاً لموقع كل بكسل، مما يضمن أن يتواصل فرعا اللون والسطوع بشكل صحيح. وهذا يمنع المشكلة الشائعة حيث يبدو الجانب الأيسر من الصورة بلون مختلف عن الجانب الأيمن، وهو عيب غالباً ما يعيب الطرق الأخرى.
عند اختبار هذا النظام على عدة مجموعات معيارية من الصور منخفضة الإضاءة، بما في ذلك صور واقعية تم التقاطها ليلاً وصور اصطناعية تم إنشاؤها لاختبار الحدود، تفوق النظام على الأساليب الموجودة. ففي إحدى مجموعات الاختبار واسعة الانتشار، حقق النظام درجة 24.72 ديسيبل من حيث جودة الصورة ودرجة تشابه هيكلي بلغت 0.863، وهي أرقام تشير إلى مستوى عالٍ جداً من الدقة والحفاظ على التفاصيل. وفي المقارنات المباشرة مع التقنيات المتقدمة الأخرى، أنتجت الطريقة الجديدة صوراً لم تكن أكثر سطوعاً فحسب، بل كانت أيضاً أكثر أمانة للألوان والأنسجة الأصلية. وأظهر الباحثون أن نهجهم يزيل بفعالية التشويش المحبب والآثار الغريبة التي تشبه الشبكة والتي تظهر غالباً في الصور المظلمة، تاركاً خلفه صورة واضحة وطبيعية المظهر.
كما أجرى الفريق اختباراً ذاتياً، حيث طلب من البشر تقييم الجودة البصرية للصور المحسنة. وحصلت الطريقة الجديدة على أعلى متوسط درجات من المراقبين البشر، الذين وجدوا النتائج أكثر طبيعية وإرضاءً للعين مقارنة بالأنظمة الرائدة الأخرى. وهذا يشير إلى أن التحسينات الرياضية تترجم مباشرة إلى تجربة أفضل للعين البشرية. وبينما صُمم النظام الحالي للصور الثابتة، يشير الباحثون إلى إمكانية تكييف نهجهم للفيديو في المستقبل، شريطة ضمان بقاء الصور متسقة من إطار إلى آخر. وفي الوقت الحالي، يقدم هذا العمل حلاً قوياً للرؤية بوضوح في الظلام، مما يثبت أنه من خلال فهم الأنماط الموجية الخفية داخل الصورة، يمكننا استعادة العالم كما يبدو حقاً، حتى عندما تنطفئ الأضواء.
ملخص تقني: شبكة FPA-Net لتحسين الصور في الإضاءة المنخفضة ضمن فضاء HVI
بيان المشكلة
يهدف تحسين الصور في الإضاءة المنخفضة (LLIE) إلى استعادة صور جذابة بصرياً وأمينة هيكلياً من المدخلات ناقصة التعرض. تعاني الصور الملتقطة في ظروف إضاءة غير كافية من انخفاض السطوع، وتضخم الضجيج، وهياكل ضبابية، وتشوه لوني شديد. هذه التدهورات لا تضعف الإدراك البصري فحسب، بل تعيق أيضاً مهام الرؤية عالية المستوى مثل اكتشاف الأشياء والقيادة الذاتية.
تواجه الطرق الحالية قيوداً كبيرة:
قيود فضاء RGB: تعمل معظم مناهج التعلم العميق في فضاء RGB القياسي، حيث تكون قنوات السطوع واللون مرتبطة بقوة. هذا الارتباط يجعل عملية التحسين عرضة للتشوه اللوني وتضخم الضجيج، خاصة في مشاهد الإضاءة المنخفضة للغاية.
مشكلات فضاءات الألوان البديلة: بينما تحاول فضاءات مثل HSV وYCbCr فصل الإضاءة عن الكروماتية (اللونية)، إلا أنها تسبب عيوباً مثل ضجيج عدم الاستمرارية الأحمر، وضجيج المستوى الأسود، أو الارتباط المتبقي بين الإضاءة والكروماتية.
فجوات فضاء HVI: يقوم فضاء (الأفقي/الرأسي–الشدة) (HVI)، الذي اقترحه Yan وآخرون، بإزالة العيوب الحمراء والسوداء بفعالية من خلال تمثيل اللون المستقطب ودالة انهيار شدة قابلة للتعلم. ومع ذلك، لا تزال طرق HVI الحالية (مثل CIDNet) تعاني من عدم كفاية النمذجة الهيكلية متعددة المقاييس ومحدودية التكامل بين المجالين المكاني والترددي.
المنهجية: FPA-Net
يقترح المؤلفون FPA-Net (الشبكة العميقة المدركة للتردد والموضع)، وهي بنية ثنائية المسار تعمل ضمن فضاء الألوان HVI. تعالج الشبكة بشكل مستقل تمثيلات الكروماتية (HV) والشدة (I) مع دمج التعلم المكاني والترددي.
المكونات الأساسية
المدرك المتعدد الطبقات للتردد ذو القيم المعقدة (CFMLP):
الآلية: يقوم هذا النموذج بتحويل الميزات المكانية إلى المجال الترددي عبر تحويل فوريه السريع ثنائي الأبعاد (2D FFT). وهو يفصل الطيف صراحةً إلى سعة (A) وطور (P).
الاستراتيجية: يتم الحفاظ على مكون الطور، وهو أمر بالغ الأهمية لسلامة الهيكل، دون تغيير. أما السعة، فيتم تعزيزها تكيفياً باستخدام MLP خفيف الوزن مكون من طبقتين.
التحويل المعقد: يتم تطبيق تحويل خطي ذو قيم معقدة قابل للتعلم لنمذجة الارتباطات بين المكونات الحقيقية والخيالية، مما يسم يسمح بالاقتران عبر الترددات.
إعادة البناء: يتم دمج السعة المحسنة مع الطور الأصلي وإعادة إسقاطها إلى المجال المكاني عبر تحويل فوريه العكسي (IFFT). يتيح ذلك تعديلاً انتقائياً للإضاءة العالمية مع كبح العيوب عالية التردد.
الانتباه المزدوج متعدد المقاييس (MSDA):
الآلية: لالتقاط المعلومات السياقية عبر مقاييس مختلفة، يستخدم MSDA تلافيفات متسعة (dilated convolutions) متوازية بمعدلات اتساع مختلفة.
الانتباه: يدمج كلاً من الانتباه المكاني (باستخدام التجميع المتوسط والأقصى) وانتباه القناة (باست using التجميع المتوسط العالمي وSoftmax).
الوظيفة: يعزز هذا النموذج الهياكل المميزة ويقلل من الاستجابات غير ذات الصلة، مما يوفر نمذجة سياقية قوية تحت ظروف الإضاءة غير المنتظمة.
الانتباه المتقاطع المدرك للموضع (PACA):
الآلية: صُمم لسد الفجوة الدلالية بين فرعي الكروماتية (HV) والشدة (I)، حيث يدمج PACA تضمينات موضعية قابلة للتعلم في آلية الانتباه المتقاطع القياسية.
الاستراتيجية: يحسب درجات الانتباه المتقاطع بين الفروع ويجمعها مع درجات الانتباه المدركة للموضع باستخدام معلم توازن قابل للتعلم (α).
الوظيفة: يضمن هذا دقة لونية عالية وتماسكاً مكانياً، مما يخفف من عدم الاتساق المكاني والتشوه اللوني أثناء دمج الميزات.
التدريب ودالة الخسارة
يتم تدريب الشبكة باستخدام دالة خسارة مركبة تقيد المخرجات في فضاءات الألوان sRGB وHVI. تجمع الخسارة الإجمالية (Ltotal) ما يلي:
خسارة L1: لدقة مستوى البكسل.
خسارة SSIM: للحفاظ على هيكل الصورة.
خسارة الحواف (Edge Loss): لتعزيز تفاصيل الحواف.
الخسارة الإدراكية (Perceptual Loss): تُحسب باستخدام ميزات من شبكة VGG مدربة مسبقاً لتحسين الجودة الإدراكية.
المساهمات الرئيسية
تحدد الورقة أربع مساهمات رئيسية:
البنية ثنائية المجال: شبكة عميقة مبتكرة توحد معالجة المجال المكاني ونمذجة المجال الترددي ضمن إطار عمل ثنائي المسار يعتمد على HVI، مما يؤسس نموذجاً قوياً للتفاعل عبر المجالات.
نمذجة التردد ذات القيم المعقدة: استراتيجية تفصل صراحةً بين السعة والطور، مما يسمح بتعديل انتقائي للإضاءة العالمية مع الحفاظ الصارم على سلامة الهيكل عالي التردد لقمع العيوب في السيناريوهات المظلمة.
التفاعل الموجه بالموضع: آلية تفاعل ميزات متعددة المقاييس تجمع بين السياق المكاني الهرمي والانتباه المتقاطع المدرك للموضع لتعزيز التماسك المكاني والحد من التشوه اللوني.
الأداء المتفوق (State-of-the-Art): تجارب واسعة تثبت جودة صورة وكفاءة متفوقة مقارنة بالطرق الموجودة.
النتائج التجريبية
قيم المؤلفون FPA-Net على ثلاثة مجموعات بيانات: LOL-v1، وLOL-v2 (الحقيقية والاصطناعية)، وMIT-5K.
الأداء الكمي:
في LOL-v1، حققت FPA-Net قيمة 24.72 dB PSNR و0.863 SSIM، متفوقة على الطرق السابقة مثل CIDNet وRetirexFormer.
في LOL-v2-Real، حققت 23.62 dB PSNR و0.864 SSIM، متجاوزة RetirexFormer بمقدار 0.82 dB في PSNR مع تقليل التكلفة الحسابية بمقدار 7.21 GFLOPs.
في LOL-v2-Synthetic، وصلت إلى 25.28 dB PSNR و0.938 SSIM مع أدنى درجة LPIPS.
في MIT-5K، أظهرت قدرة قوية على التعميم بـ 24.32 dB PSNR و0.876 SSIM.
التحليل النوعي: تظهر المقارنات البصرية أن FPA-Net تنتج نتائج ذات إعادة إنتاج لوني أكثر أمانة وتفاصيل نسيجية أوضح مقارنة بالطرق التي تعاني من الإشباع المفرط، أو انزياح الألوان، أو الأنسجة الناعمة.
تحليل المجال الترددي: تشير التصورات الطيفية (2D FFT وتوزيعات السعة ثلاثية الأبعاد) إلى أن FPA-నేت تقمع بفعالية طفرات الضجيج غير الطبيعية عالية التردد بينما تستعيد بدقة إضاءة التردد المنخفض، مما يتوافق تماماً مع أطياف الحقيقة الأرضية (Ground Truth).
دراسات الاستئصال (Ablation Studies): أدى إزالة أي من المكونات الثلاثة الأساسية (CFMLP، MSDA، PACA) إلى تدهور الأداء، مما أكد أدوارها المتكاملة. وبشكل خاص، أظهر PACA تفوقاً على الانتباه الذاتي القياسي ووحدة LCA في تعزيز المحاذاة المكانية.
التقييم الذاتي: في دراسة مستخدمين مع 25 متطوعاً، حققت FPA-Net أعلى متوسط درجة رأي (MOS) بلغ 4.55، متفوقة على ثاني أفضل طريقة (CIDNet، 4.35).
الأهمية والادعاءات
يزعم المؤلفون أن FPA-Net توفر حلاً صالحاً لتحسين الإضاءة المنخفضة المدرك للتردد والموجه للموضع في فضاء HVI. ومن خلال الانتقال لما وراء معالجة المجال المكاني القياسية لتشمل نمذجة ترددية معقدة مبدئية، تعالج الطريقة تحديات محددة مثل قمع العيوب واتساق الألوان في ظروف الإضاءة المنخفضة للغاية.
يُعتبر هذا العمل خطوة هامة نحو تأسيس نموذج قوي للتفاعل عبر المجالات، مما يدعم الإدراك البصي الموثوق للتطبيقات الواقعية. يشير المؤلفون إلى أن العمل المستقبلي سيستكشف تقريبات فعالة للمجال الترددي لتقليل العبء الحسابي، وتوسيع النموذج ليشمل تحسين الفيديو عبر الاتساق الزمني، واستقصاء التحسين المشترك مع مهام الرؤية عالية المستوى اللاحقة.