Response-decomposed residual filtering for joint low-light enhancement and deblurring
تقترح هذه الورقة وحدة ترشيح متبقية مفككة الاستجابة مدمجة في واجهات النواة الديناميكية لشبكة LEDNet لتعزيز الصور ذات الإضاءة المنخفضة وإزالة الضبابية بشكل مشترك، مما يحقق تحسينات ملحوظة في التشابه الهيكلي والجودة الإدراكية على مجموعة اختبار مع تحمل زيادة طفيفة في المعلمات وزمن الاستجابة دون رفع قيمة PSNR.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول قراءة لافتة شارع في منتصف ليلة ضبابية. يجعل الظلام الحروف صعبة الرؤية، لكن الضباب أيضًا يطمس حوافها، مما يحول الخطوط الحادة إلى غشاوة ناعمة وغير واضحة. إن إصلاح مثل هذه الصورة يمثل تحديًا مزدوجًا للحواسيب: إذ يجب عليها تفتيح المشهد للكشف عن المحتوى، وفي الوقت نفسه شحذ الحواف لاستعادة التفاصيل. هذه هي مشكلة استعادة الصور في الإضاءة المنخفضة، وهي مهمة تتطلب موازنة بين حاجتين متنافستين. فإذا قام الحاسوب ببساطة برفع مستوى السطوع، فإنه غالبًا ما يضخم التمويه، مما يجعل الصورة تبدو باهتة وطينية. وإذا حاول شحذ الصورة بشكل مفرط، فقد يتسبب في ظهور عيوب أو ضجيج حاد. الهدف هو استعادة كل من الرؤية والتفاصيل المكانية في آن واحد، وهي عملية تتطلب تعديلًا دقيقًا وموضعيًا بدلاً من إصلاح شامل وبسيط.
في عالم التصوير الرقمي، طور الباحثون أدوات متنوعة لمعالجة هذا الأمر، لكن نهجًا محددًا يُسمى LEDNet أظهر واعدًا باستخدام طريقة مرنة وتكيفية لمعالجة الصور. فبدلاً من تطبيق نفس المرشح (الفلتر) على الصورة بأكملها، يتنبأ LEDNet بمرشحات فريدة وصغيرة لكل جزء صغير من الصورة، مما يسمح له بالتفاعل بشكل مختلف مع الظلال والأضواء والأنسجة. ومع ذلك، طرح الباحثون وراء هذه الدراسة الجديدة سؤالًا محددًا: هل يمكنهم إضافة طبقة تصحيح إلى هذا النظام القائم لجعله أفضل، دون كسر العمل الدقيق الذي تعلمه النظام الأصلي بالفعل؟ أرادوا معرفة ما إذا كان بإمكانهم تعليم الحاسوب إجراء تعديل أكثر دقة وثنائي الأجزاء على مرشحاته الخاصة، مما يحسن الصورة النهائية مع الحفاظ على عمل المحرك الأصلي بسلاسة.
اقترح الفريق، بقيادة باحثين من كلية جيانغشي المهنية والتقنية وجامعة شاندونغ الزراعية، طريقة أطلقوا عليها اسم "الترشيح المتبقي المستجيب المفكك" (response-decomposed residual filtering). لفهم ما يعنيه هذا، تخيل مرشح الحاسوب كأداة تعدل الصورة. أدرك الباحثون أن هذه الأداة لها سلوكان رئيسيان: يمكنها تغيير السطوع العام لمنطقة صغيرة، ويمكنها تغيير التباين أو شكل التفاصيل داخل تلك المنطقة. في تصميمهم الجديد، قاموا بفصل هذين السلوكين عن بعضهما. فقد أضافوا مسارًا محددًا يسمح للحاسوب بتحديد مقدار إزاحة السطوع بشكل صريح، ومسارًا منفصلاً يقرر كيفية إعادة تشكيل التفاصيل. ومن الأهمية بمكان أن جزء تشكيل التفاصيل مقيد بأربعة أنماط متعلمة فقط مجموعها صفر، مما يعني أنها تغير الشكل دون أن تؤدي بالخطأ إلى تفتيح أو تغميق الجزء بأكمله. يضمن هذا الفصل عدم خلط الحاسوب بين الحاجة إلى مزيد من الضوء والحاجة إلى حواف أكثر حدة.
لجعل هذا يعمل، يستخدم النظام نوعين مختلفين من المعلومات لتوجيه هذه القرارات. بالنسبة لإزاحة السطوع، فإنه ينظر فقط إلى الميزات الداخلية التي استخرجها الحاسوب بالفعل من الصورة المظلمة. أما بالنسبة لتعديلات الشكل، فإنه ينظر إلى تلك الميزات نفسها ولكن يستعين أيضًا بمعلومات الألوان الأصلية المتدهورة (الأحمر والأخضر والأزرق) للصورة نفسها. يتيح ذلك للنظام استخدام معلومات اللون الخام لضبط التفاصيل بدقة، مع إبقاء تعديل السطوع معتمدًا على الفهم الأعمق للمشهد. وقد بنى الباحثون هذا المسار ليبدأ بتأثير صفري، بحيث يتصرف تمامًا مثل النسخة الأصلية المثبتة عند بدء تدريب النظام. ومع تقدم التدريب، تعلمت المسارات الجديدة كيفية إجراء تصحيحات صغيرة ومفيدة.
تم قياس نتائج هذه التجربة مقابل مجموعة صارمة مكونة من 1,800 صورة اختبار مأخوذة من 30 فيديو مختلفًا. وعند مقارنة النظام الجديد، الذي يطلق عليه المؤلفون اسم LEDNet-P3، بنظام LEDNet الأصلي، أظهر تحسنًا واضحًا في مدى تشابه الصور المستعادة مع الأهداف الحادة الأصلية من حيث البنية والإدراك البشري. وتحديدًا، ارتفعت درجة التشابه الهيكلي، وانخفضت درجة الاختلاف الإدراكي، مما يشير إلى أن الصور بدت أكثر طبيعية واحتفظت بتخطيط المشهد الأصلي بشكل أكبر. كانت هذه التحسينات ثابتة عبر الغالبية العظمى من فيديوهات الاختبار. ومع ذلك، أشار الباحثون بحذر إلى أن هذا لم يترجم إلى تحسن ملموس في نسبة الإشارة إلى الضجيء القصوى (PSNR) المعيارية، وهو مقياس شائع لجودة الصورة يركز على دقة البكسل تلو الآخر. في الواقع، كان الفرق في ذلك المقياس المحدد صغيرًا جدًا لدرجة أنه كان مهملًا فعليًا، مما يشير إلى أنه بينما بدت الصور أفضل للعين، فإن بيانات البكسل الخام لم تكن أكثر دقة بشكل ملحوظ.
كان هناك ثمن لهذا التحسين؛ حيث يتطلب النظام الجديد ذاكرة حاسوبية أكبر ويستغرق وقتًا أطول بنسبة 17.7 بالمائة تقريبًا لمعالجة كل صورة مقارنة بالنسخة الأصلية. كما قارن الباحثون عملهم بنظام عام آخر معروف باسم DarkIR-m، والذي يستخدم طريقة تدريب وبنية مختلفة. لا يزال ذلك النظام يتفوق على نموذجهم في جميع المقاييس الرئيسية، مما يشير إلى أنه على الرغم من أن إضافتهم المحددة ساعدت نظام LEDNet، إلا أنها لم تجعله الحل الأفضل المتاح. كما اختبرت الدراسة ما إذا كانت الطريقة المحددة التي فصلوا بها مهام السطوع والشكل ضرورية، ووجدوا أن إزالة جزء إزاحة السطوع أو تغيير الطريقة التي يستخدم بها النظام معلومات الألوان أدى إلى نتائج أسوأ، مما أكد أن خيارات التصميم المحددة الخاصة بهم كانت مفيدة بالفعل.
في الختام، يوضح هذا العمل طريقة ناجحة لترقية نظام استعادة صور موجود عن طريق إضافة طبقة تصحيح متخصصة ومفككة. أظهر الباحثون أنه من خلال فصل قرار تغيير السطوع عن قرار تغيير الشكل، ومن خلال استخدام ألوان الصورة الخام لتوجيه تعديلات الشكل، تمكنوا من جعل الصور متفوقة هيكليًا. وبينما ليس النظام حلاً سحريًا يحل كل المشكلات أو يتفوق على جميع الأساليب الأخرى، فإنه يوفر فائدة واضحة وقابلة للقياس ضمن إطاره الخاص. إنه يثبت أنه حتى في نظام محسّن للغاية، لا تزال هناك مساحة لمنهج أكثر تفكيرًا وتفكيكًا في كيفية رؤية الحاسوب للعالم وتصحيحه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.