HPGN: Hybrid Priors-Guided Network for Compressed Low-Light Image Enhancement
تقترح هذه الورقة البحثية شبكة HPGN، وهي شبكة هجينة فعالة موجهة بالأولويات توحد بين تحسين الصور منخفضة الإضاءة وإزالة آثار الضغط عبر الاستفادة من عوامل جودة JPEG ومصفوفات تكميم DCT للتعامل مع الصور ذات مستويات الضغط المتفاوتة.
المؤلفون الأصليون:Hantang Li, Qiang Zhu, Xiandong Meng, Lei Xiong, Shuyuan Zhu, Xiaopeng Fan
تخيل أن لديك صورة جميلة التُقطت في غرفة مظلمة. لكي توفر مساحة على هاتفك أو ترسلها بسرعة إلى صديق، تقوم بضغط الصورة (مثل ضغط الملفات بصيغة zip). لسوء الحظ، هذه العملية تسبب شيئين سيئين: فهي تحافظ على قتامة الصورة وتضيف أيضاً "تغبيشاً" مربعاتياً قبيحاً (عيوب الضغط).
تحاول معظم البرامج الحاسوبية الموجودة حالياً إصلاح هذه المشكلات في خطوتين منفصلتين: أولاً، تحاول إزالة التغبيش، ثم تحاول تفتيح الصورة. أو يقومون بتدريب "عقل حاسوبي" مختلف لكل مستوى محدد من الضغط. هذه الطريقة بطيئة ومكلفة، وغالباً ما تترك الصورة تبدو مليئة بالضجيج أو مشوهة.
يقترح مؤلفو هذه الورقة البحثية، HPGN، حلاً أكثر ذكاءً وشاملاً لكل شيء. إليك كيف يشرحون طريقتهم باستخدام مفاهيم بسيطة:
1. "المحقق الذكي" (المقدمات الهجينة - The Hybrid Priors)
فكر في الكمبيوتر وهو يحاول إصلاح الصورة كمحقق. عادةً، يبحث المحققون فقط في مسرح الجريمة (الصورة المظلمة والمغبشة). لكن HPGN يمنح المحقق ورقة غش سرية قبل أن يبدأ حتى في النظر.
ورقة الغش: عندما تضغط صورة ما (مثل صيغة JPEG)، يقوم الكمبيوتر بحفظ ملاحظة صغيرة تسمى عامل الجودة (QF) و مصفوفة التكميم (QM). هذه الملاحظات تخبر الكمبيوتر بالضبط كيف تم "إتلاف" الصورة أثناء عملية الضغط.
التشبيه: تخيل أنك تحاول إصلاح مزهرية مكسورة. معظم الناس ينظرون فقط إلى الشقوق. أما HPGH فينظر إلى الشقوق ويقرأ أيضاً الإيصال الذي يقول: "هذه المزهرية سقطت من ارتفاع قدمين على سجادة". ولأن الكمبيوتر يعرف بالضبط كيف حدث الضرر، فهو يعرف بالضبط كيف يصلحه دون ارتكاب أخطاء.
2. "المتجر الشامل" (الشبكة ذات المرحلة الواحدة - One-Stage Network)
كانت الطرق السابقة تشبه الذهاب إلى ميكانيكي لإصلاح المكابح، ثم القيادة إلى ورشة أخرى لإصلاح المحرك؛ كانت مهاماً منفصلة.
نهج HPGN: هذا هو "المتجر الشامل". فهو يصلح الظلام وتغبيش الضغط في نفس الوقت تماماً.
استراتيجية "الريموت كنترول الشامل": عادةً، إذا كان لديك جهاز تحكم عن بعد لتلفاز من نوع "سوني"، فلن يعمل على تلفاز من نوع "سامسونج"؛ فأنت تحتاج إلى جهاز تحكم مختلف لكل علامة تجارية. HPGN يشبه جهاز التحكم الشامل (Universal Remote). لقد درب المؤلفون الكمبيوتر باستخدام "مولد أرقام عشوائية" يحاكي كل مستويات الضغط الممكنة (من الجودة السيئة جداً إلى الجودة الجيدة) في وقت واحد. الآن، لا يحتاج النموذج إلى إعادة التدريب لكل صورة جديدة؛ بل يمكنه التعامل مع أي مستوى من الضغط فوراً.
3. "الفلتر السحري" (مرشح المعلومات الهجين - Hybrid Information Filter)
داخل النظام، يوجد وحدة خاصة تسمى مرشح المعلومات الهجين (HIF).
كيف يعمل: فكر في الصورة كأنها "حساء". "الظلام" هو مكون واحد، و"المربعات الناتجة عن الضغط" هي مكون آخر. الـ HIF هو مصفاة خاصة تعرف تماماً كيف تغرف كتل الضغط السيئة مع الحفاظ على التفاصيل الجيدة (مثل الحواف والمنسوجات) آمنة. يستخدم "ورقة الغش" (QF و QM) ليقرر أي أجزاء من الصورة تحتاج إلى التفتيح وأي أجزاء تحتاج إلى التنعيم.
التوصيل والتشغيل (Plug-and-Play): يقول المؤلفون إن هذا المرشح يشبه المحول الشامل (Universal Adapter). يمكنك أخذ هذا "المصفاة" تحديداً وتوصيلها ببرامج إصلاح الصور الأخرى لجعلها تعمل بشكل أفضل على الصور المضغوطة، دون الحاجة إلى إعادة بناء البرنامج بالكامل.
4. النتائج
اختبرت الورقة البحثية هذا النظام على عدة مجموعات بيانات (مجموعات من الصور المظلمة والمضغوطة).
جودة أفضل: بدت الصور أكثر وضوحاً وسطوعاً، وكانت تحتوي على عيوب "مربعاتية" أقل مقارنة بأفضل الطرق الأخرى.
أذكى وأسرع: نموذج HPGN أصغر بكثير (لديه عدد أقل من "المعلمات" أو الخلايا الدماغية) من الطريقة الأفضل السابقة التي تُدعى CAPformer. لقد حقق نتائج أفضل رغم كونه أصغر بنسبة 69%، ولم يحتج إلا للتدريب مرة واحدة فقط، بينما قد تحتاج الطرق الأخرى إلى تدريب منفصل لمستويات ضغط مختلفة.
با way باختصار: HPGN هو برنامج حاسوبي ذكي وواحد، يستخدم "إيصال" كيفية ضغط الصورة لإصلاح كل من الظلام والضجيج الرقمي فوراً، حيث يعمل مثل جهاز التحكم الشامل الذي يتعامل مع أي مستوى من جودة الصورة دون الحاجة إلى تدريب إضافي.
ملخص تقني: شبكة HPGN لتحسين الصور منخفضة الإضاءة والمضغوطة
بيان المشكلة في التطبيقات العملية، غالبًا ما يتم ضغط الصور منخفضة الإضاءة لتقليل تكالى التخزين والنقل. ومع ذلك، يؤدي هذا الضغط إلى إدخال عيوب (مثل التكتل والضبابية) التي تتراكم مع التدهور المتأصل في ظروف الإضاءة المنخفضة. تفشل طرق تحسين الصور منخفضة الإضاءة (LLIE) الحالية عادةً في التخفيف من عيوب الضغط هذه عند تطبيقها مباشرة على المدخلات المضغوطة. علاوة على ذلك، تعتمد النهج الحالية لتحسين الصور منخفضة الإضاءة والمضغوطة (CLLIE) غالبًا على استراتيجية مرحلتين: أولاً إزالة التكتل من الصورة، ثم تحسين الإضاءة. يؤدي هذا النهج المتسلسل إلى تراكم الأخطاء، وزيادة تعقيد النموذج، وتكاليف وقت تدريب كبيرة، حيث يتطلب الأمر غالبًا نماذج منفصلة لعوامل جودة (QF) مختلفة. بالإضافة إلى ذلك، لا تستخدم العديد من الطرق الحالية بيانات الضغط الوصفية (مثل عامل الجودة QF أو مصفوفات التكميم QM) بشكل صريح لتوجيه عملية التحسين.
المنهجية يقترح المؤلفون شبكة الهجين الموجهة بالمعلومات المسبقة (HPGN)، وهي إطار عمل من مرحلة واحدة مصمم لتحسين الصور منخفضة الإضاءة والمضغوطة بشكل مشترك عبر مستويات ضغط متفاوتة. تتكون البنية من مكونين رئيسيين:
مرشح المعلومات الهجين (HIF): وهو وحدة قابلة للتركيب والتشغيل (plug-and-play) تعمل على ضبط الميزات ديناميكيًا من خلال دمج ثلاثة أنواع من المعلومات المسبقة:
المعلومات المسبقة للإضاءة: تُستمد من الصورة المضغوطة المدخلة (Icomp) عبر عملية تقدير السطوع العالمي واستخراج ميزات الإضاءة المحلية.
المعلومات المسبقة للضغط:
فرع عامل الجودة (QF): يستخدم عامل الجودة لتوليد معاملات رسم الخرائط (Mqf1,Mqf2) التي تقوم بعملية ضرب في القنوات على ميزات الإضاءة. يعالج هذا التغيرات في ارتباط القنوات وانزياحات الميزات الناتجة عن التكميم.
فرع مصفوفة التكميم (QM): يستخدم مصفوفة تكميم DCT لتوليد معاملات رسم خرائط مكانية (Nqm). يتم تطبيق هذه المعاملات عبر الضرب العنصري لنمذجة توزيعات الميزات المكانية، مما يعزز التحسين في المناطق الرئيسية (مثل الأنسجة والحواف) ويصحح محليًا المناطق ذات التدهور الكبير في التكميم.
يقوم مرشح HIF بدمج هذه المعلومات المسبقة لإنتاج ميزات منقحة توجه عملية التحسين اللاحقة.
محسن الصورة (IE): هو وحدة قائمة على الشبكات العصبية الالتفافية (CNN) تتكون من كتل متبقية متعددة المقاييس تكرارية متراكمة (RMRB). تحتوي كل كتلة RMRB على كتل متبقية متعددة المقاييس (MRB) تستخدم بنية فرعية متعددة المقاييس. يتم خفض أبعاد ميزات المدخلات لالتقاط الارتباطات عند دقات مختلفة، ومعالجتها عبر كتل السياق (CB)، ودمجها ديناميكيًا. تهدف هذه البنية إلى التعامل مع مقاييس توزيع الضوء المتفاوتة مع الحفاظ على تعقيد منخفض.
استراتيجية التدريب لتمكين نموذج واحد من التعامل مع صور بجودات ضغط متفاوتة، يستخدم المؤلفون استراتيجية توليد عامل جودة (QF) عشوائي أثناء التدريب. بدلاً من تدريب نماذج منفصلة لعوامل جودة محددة، يتم تدريب الشبكة على صور مضغوطة بعوامل جودة مولدة عشوائيًا. يسمح هذا للنموذج بتعلم تمثيل موحد لمستويات الضغط المتنوعة، مما يقلل بشكل كبير من وقت التدريب والموارد الحسابية مقارنة بالنهج متعدد النماذج أو النهج ذي المرحلتين.
المساهمات الرئيسية
إطار عمل من مرحلة واحدة: تم اقتراح HPGN كشبكة موحدة من مرحلة واحدة لتحسين الصور منخفضة الإضاءة والمضغوطة، مما يلغي الحاجة إلى نماذج متسلسلة لإزالة التكتل والتحسين.
مرشح المعلومات الهجين (HIF): وحدة مبتكرة تستفيد من المعلومات المسبقة للضغط (QF و QM) جنبًا إلى جنب مع معلومات الإضاءة المسبقة للتخفيف من فقدان المعلومات أثناء تعديل السطوع. يسلط المؤلفون الضرف الضوء على طبيعتها "القابلة للتركيب والتشغيل"، مما يسمح بدمجها في طرق LLIE أخرى.
تدريب QF العشوائي: استراتيجية تمكن نموذجًا واحدًا من تحسين الصور بقوة عبر مستويات ضغط متنوعة، مما يعالج مشكلات القابلية للتوسع في الطرق السابقة التي تتطلب تحسينًا خاصًا لكل عامل جودة.
النتائج التجريبية تم تقييم الطريقة على أربع مجموعات بيانات: LOLv1، وLOLv2-real، وLOLv2-syn، ومجموعة بيانات LOLv1-randomQF المخصصة.
الأداء الكمي: على مجموعة بيانات LOLv1-randomQF، حققت HPGN أداءً هو الأفضل في فئتها (SOTA)، متفوقة على ثاني أفضل نهج (CAPformer) بما يصل إلى 0.21 ديسيبل في PSNR وتحقيق درجات SSIM أعلى.
الكفاءة: تظهر HPGN كفاءة فائقة، حيث تتطلب 2.69 مليون معلمة فقط، وهو ما يمثل حوالي 30.7% من المعلمات المستخدمة في CAPformer (8.77 مليون).
القابلية للتوسع: تظهر دراسات الاستئصال واختبارات التكامل (الجدول 2) أن إضافة وحدة HIF إلى أطر عمل LLIE الحالية (MIRNetv2 و Retinexformer) يحسن أداءها بشكل كبير في المهام المشتركة مع زيادة طفيفة في عدد المعلمات.
الجودة البصرية: تشير المقارنات النوعية إلى أن HPGN تنتج نتائج بصرية متفوقة مع تقليل الضوضاء وعيوب الضغط مقارنة بكل من طرق LLIE القياسية والنهج المتسلسل ذي المرحلتين.
الأهمية والادعاءات يزعم البحث أن HPGN تعالج الفجوة الحرجة في التعامل مع الصور منخفضة الإضاءة والمضغوطة من خلال توحيد إزالة عيوب الضغط وتحسين الإضاءة في مرحلة واحدة فعالة. من خلال الاستخدام الصريح لبيانات الضغط الوصفية (QF و QM) كدليل، تتكيف الطريقة مع مستويات الضغط المتفاوتة دون الحاجة لإعادة التدريب. يضع المؤلفون HPGN كحل متعدد الاستخدامات لا يتفوق فقط على طرق SOTA الحالية في الدقة، بل يقدم أيضًا إطار عمل أكثر كفاءة من الناحية الحسابية ومرونة للتطبيقات الواقعية حيث تختلف مستويات ضغط الصور. يشير البحث إلى أنه بينما ينصب التركيز الحالي على JPEG، فإن المفهوم الأساسي لاستخدام بيانات الضغط الوصفية لتوجيه التحسين قابل للتوسع إلى معايير أخرى، رغم أن تعديلات محددة ستكون مطلوبة للحالات غير التابعة لـ JPEG أو حالات الضغط الشديد.