Evaluating Low-Light Image Enhancement Across Multiple Intensity Levels

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقييم تحسين الصور في الإضاءة المنخفضة عبر مستويات شدة إضاءة متعددة":

1. بيان المشكلة

يعد تحسين الصور في الإضاءة المنخفضة (LLIE) مهمة بالغة الأهمية في الرؤية الحاسوبية، ومع ذلك تعاني طرق التعلم العميق الحالية من قصور كبير: الافتقار إلى المتانة عبر شدات الإضاءة المتفاوتة.

• محدودية البيانات: تفتقر مجموعات بيانات LLIE الحالية (مثل LOL وLOLv2 وSID) عادةً إلى التنوع في الإشعاع؛ فهي إما تلتقط مشاهد تحت ظروف إضاءة منخفضة واحدة أو تحاكي الإضاءة المنخفضة عبر معالجة لاحقة أو تغيير معاملات الكاميرا.
• فشل التعميم: تفشل النماذج المدربة على مدخلات إضاءة منخفضة ثابتة في التعميم على السيناريوهات الواقعية حيث تتراوح ظروف الإضاءة ضمن نطاق مستمر من السطوع.
• تذبذب الأداء: يوضح المؤلفون أن نماذج الحالة الراهنة (SOTA) غالباً ما يتدهور أداؤها عند اختبارها على صور ذات مستويات سطوع متوسطة (ليست مظلمة للغاية ولا مضاءة بالكامل)، مما يؤدي إلى مشكلات مثل فرط التشبع أو تضخيم الضجيج.

2. المنهجية

أ. مجموعة بيانات MILL (الإضاءة المنخفضة متعددة الإضاءة)

لمعالجة محدودية البيانات، قدم المؤلفون مجموعة بيانات MILL، وهي أول مجموعة بيانات تلتقط نفس المشهد تحت شدات إضاءة متنوعة بشكل منهجي مع ثبات معلمات الكاميرا.

• إعداد الالتقاط:
  • البيئة: بيئة داخلية محكومة بدون مصادر ضوء خارجية.
  • الأجهزة: كاميرا Nikon D5200 (DSLR) وهاتف Samsung Galaxy S7 (هاتف ذكي).
  • الإضاءة: 9 مصابيح Philips Hue قابلة للبرمجة تغطي الطيف المرئي.
  • البروتوكول: تم التقاط 11 صورة لكل مشهد من أصل 50 مشهداً. تم ضبط شدة الإضاءة بزيادات قدرها 10% من الحد الأدنى (المستوى 1) إلى الحد الأقصى (المستوى 11).
  • الحقيقة الأرضية (Ground Truth): تُستخدم الصورة من المستوى 11 (أقصى شدة، غير مشبعة) كحقيقة أرضية. وتعمل المستويات من 1 إلى 10 كمدخلات إضاءة منخفضة.
  • البيانات الوصفية: تتضمن قياسات دقيقة لشدة الاستضاءة (Lux) باستخدام مقياس الضوء، والالتقاط بصيغة RAW (NEF/DNG) لتجنب عيوب المعالجة داخل الكاميرا.
• تقسيمات مجموعة البيانات:
  • MILL-s: تم تغيير حجمها إلى 600×400 لرفع الكفاءة الحسابية.
  • MILL-f: دقة Full HD (صور DSLR مقسمة إلى 9 قطع؛ وصور الهاتف الذكي بالدقة الأصلية).
  • الإجمالي: 1,100 صورة (30 تدريب، 12 تحقق، 8 مشاهد اختبار لكل جهاز).

ب. الطريقة المقترحة: فك الارتباط الميزي عبر الخسائر المساعدة

يقترح المؤلفون تعديل بنية Retinexformer (وهي من نماذج الحالة الراهنة) عن طريق إدخال حدّي خسارة مساعدين لفك ارتباط معلومات الإضاءة عن محتوى المشهد في السمات الكامنة للشبكة بشكل صريح.

1. خسارة التنبؤ بالشدة ($L_i$):

   • الهدف: إجبار القناة الكامنة الأولى على ترميز مستوى الإضاءة المدخل.
   • الآلية: تقليل مسافة $L_1$ بين قناة الشدة المتوقعة ($Z_I$) وشدة الأرضية المعيارية المعروفة ($I_{in}$).
   • الصيغة: $L_i = ||Z_I - I_{in}||_1$

2. خسارة محتوى المشهد ($L_s$):

   • الهدف: ضمان أن القنوات الكامنة المتبقية ترمز محتوى المشهد الثابت تجاه الإضاءة.
     ما يتم عبر خسارة الثلاثية (Triplet Loss) التي تجمع التمثيلات الكامنة لـ نفس المشهد الملتقط عند شدات إضاءة مختلفة (باستثناء قناة الشدة)، وتباعد التمثيلات لـ مشاهد مختلفة الملتقطة عند نفس شدة الإضاءة.
   • الصيغة: $L_s = \max(||Z_q - Z_p||_2 + m - ||Z_q - Z_n||_2, 0)$
     حيث $Z_q$ هو العينة المستعلم عنها، و $Z_p$ هي عينة موجبة (نفس المشهد، إضاءة مختلفة)، و $Z_n$ هي عينة سالبة (مشهد مختلف، نفس الإضاءة).

3. الهدف المشترك:

   • إجمالي الخسارة: $L = L_{re} + L_i + L_s$ (حيث $L_{re}$ هي خسارة إعادة البناء القياسية).

3. المساهمات الرئيسية

1. مجموعة بيانات MILL: معيار جديد يلتقط 11 مستوى إضاءة متميزاً لكل مشهد مع معلمات كاميرا ثابتة، ويوفر بيانات Lux دقيقة وبيانات RAW لكل من مستشعرات DSLR والهواتف الذكية.
2. التقييم الشامل: تقييم 12 طريقة من حالات الراهنة (بما في ذلك Retinexformer وLLFormer وKinD، إلخ) والتي كشفت أن الأداء يتفاوت بشكل جذري عبر مستويات الشدة، حيث تفشل العديد من الطرق في التعامل مع الصور ذات الإضاءة المتوسطة.
3. إطار عمل تحسين متين: تعديل بسيط وفعال لنموذج Retinexformer باستخدام حدود الخسارة المقترحة لتحقيق فك الارتباط الميزي، مما يحسن المتانة بشكل كبير عبر كامل طيف شدة الإضاءة.

4. النتائج

الأداء الكمي

• DSL (MILL-f): حققت الطريقة المقترحة ("Ours") تحسناً قدره 10 ديسيبل في PSNR (37.55 مقابل 27.47 لنموذج Retilexformer الأساسي) وخفضت خطأ اللون $\Delta E_{76}$ من 8.27 إلى 3.67.
• الهاتف الذكي (MILL-f): حققت تحسناً قدره 2 ديسيبل في PSNR (24.45 مقابل 22.53) وخفضت $\Delta E_{76}$ من 10.85 إلى 8.53.
• التعميم: على عكس النماذج الأساسية التي يتدهور أداؤها عند مستويات السطوع المتوسطة، يحافظ النموذج المقترح على أداء عالٍ ومتسق عبر جميع مستويات الإضاءة الـ 11.

الملاحظات النوعية

• تقليل العيوب: غالباً ما تنتج الطرق المنافسة ضجيجاً، أو عيوباً لونية، أو تشبعاً مفرطاً (على سبيل المثال في الظلال أو مناطق السماء) عند تطبيقها على صور ذات سطوع متغير. أنتجت الطريقة المقترحة حدوداً أكثر حدة وألواناً أكثر طبيعية.
• التعميم الخارجي: عند الاختبار على مجموعات بيانات خارجية (DICM, SICE)، نجح النموذج المدرب على MILL في التعامل مع مشكلات التعرض المفرط الشائعة في النماذج المدربة على مجموعات بيانات ذات شدة واحدة (مثل LoLv1).

دراسة الاستئصال (Ablation Study)

• خسارة الشدة ($I$-Retinexformer): قدمت أكبر مكسب فردي، حيث قامت بتصحيح مستويات التعرض.
• خسلة المشهد ($S$-Retinexformer): حسنت الحفاظ على الأنسجة واتساق التفاصيل.
• الدمج: أدى التطبيق المشترك إلى أفضل النتائج، مما أكد أن فك الارتباط الميزي الفعال يتطلب كلا القيدين.

5. الأهمية

• سد الفجوة: تسلط هذه الورقة الضوء على خلل حرج في أبحاث LLIE الحالية: الافتراض بأن الإضاءة المنخفضة هي حالة واحدة ثابتة. ومن خلال إثبات فشل النماذج في مستويات الإضاءة المتوسطة، تدعو الورقة إلى تحول في تصميم مجموعات البيانات ومعايير التقييم.
• القابلية للتطبيق في الواقع: يوفر الأسلوب المقترح مساراً لنشر خوارزميات تحسين الإضاءة المنخفضة في البيئات الديناميكية (مثل القيادة الذاتية، والتصوير بالهواتف المحمولة) حيث تتغير ظروف الإضاءة باستمرار، وليس فقط في الظلام الشديد.
• الرؤية المنهجية: يوضح نجاح حدود الخسارة المساعدة أن الفصل الصريح بين الإضاءة والانعكاس (محتوى المشهد) في الفضاء الكامن هو استراتيجية أكثر متانة من الاعتماد فقط على إعادة البناء من البداية إلى النهاية (end-to-end).

باختصار، تقدم الورقة معياراً جديداً صارماً (MILL) وتحسيناً هيكلياً مقابلاً يعزز بشكل كبير من متانة تحسين الصور في الإضاءة المنخفضة عبر كامل طيف شدات الإضاءة.