Dynamic Weight-based Temporal Aggregation for Low-light Video Enhancement Under Extreme Noise

ملخص تقني: التجميع الزمني القائم على الأوزان الديناميكية لتعزيز الفيديو في الإضاءة المنخفضة تحت ظروف الضجيج الشديد

بيان المشكلة
يواجه تعزيز الفيديو في الإضاءة المنخفضة (LLVE) تحديات كبيرة بسبب الضجيج الشديد، وانخفاض التباين، وتدهور الألوان، لا سيما في السيناريوهات الخارجية "في الواقع" (in-the-wild). وبينما توفر الطرق القائمة على التعلم استدلالاً سريعاً، إلا أنها غالباً ما تعاني تحت وطأة الضجيج الحقيقي الثقيل لأنها تفشل في استغلال الإشارات الزمنية طويلة المدى بشكل كافٍ. تعتمد النهج الحالية عادةً على معالجة النافذة المنزلقة أو التلافيف ثلاثية الأبعاد (3D convolutions) التي تأخذ في الاعتبار فقط جواراً قصيراً من الإطارات. هذه الطرق مكلفة حوسبياً، وتستهلك الكثير من الذاكرة، وغير قادرة على الاستفادة الكاملة من التكرار الزمني طويل المدى، وهو أمر بالغ الأهمية لإزالة الضجيج في الظروف القاسية. علاوة على ذلك، فإن النماذج المدربة على ضجيج اصطناعي أو ضجيج خفيف تتراجع قدرتها على التعميم بشكل سيئ أمام الضجيج الواقعي المعقد والمتغير مكانياً، مما يؤدي إلى عدم اتساق زمني مثل الوميض (flickering) وظاهرة الأشباح (ghosting).

المنهجية: شبكة DWTA-Net
يقترح المؤلفون DWTA-Net، وهو إطار عمل عصبي عميق مبتكر يعتمد على بنية مكونة من مرحلتين مصممة للتعامل مع الضجيج الحقيقي الثقيل مع الحفاظ على الاتساق الزمني.

1. المرحلة الأولى: تعزيز متعدد الإطارات (الترميم المحلي)

   • الهدف: استعادة البنية المحلية، واللون، والسطوع مع ضمان الاتساق الزمني قصير المدى.
   • الآلية: يتم أولاً محاذاة تسلسل قصير من الإطارات المجاورة مع إطار مرجعي باستخدام وحدة PCD (التلافيف المتغيرة بكسلية - Pixel-wise Convolutional Deformable) لتوليد ميزات معوضة للحركة.
   • العمود الفقري (Backbone): تتم معالجة هذه الميزات المحاذات بواسطة عمود فقري يشبه بنية U-Net يعتمد على نموذج Mamba. تم استبدال الكتل التلافيفية التقليدية بكتل VSS (الفضاء الحالة البصري - Visual State-Space). وبخلاف التلافيف القياسية ذات المجالات الاستقبالية المحدودة، تستخدم كتل VSS آلية مسح انتقائية لالتقاط التبعيات العالمية طويلة المدى، وهو أمر ضروري لاستعادة التماسك الهيكلي في المشاهد شديدة التدهور.

2. المرحلة الثانية: الصقل المتكرر الديناميكي (التجميع طويل المدى)

   • الهدف: كبح الضجيج وتثبيت التفاصيل عبر تسلسلات طويلة من خلال تراكم الأدلة الزمنية طويلة المدى.
   • الآلية: بدلاً من التكرار في الحالة الخفية (hidden-state recurrence)، تقوم DWTA-Net بالتجميع مباشرة في المجال المكاني (البكسلي)، حيث يظهر ضجيج الإضاءة المنخفضة كعيوب عالية التردد.
   • الأوزان الديناميكية: تستخدم المرحلة صيغة تكرارية موجهة بالتدفق البصري (باستخدام GMFlow). في كل خطوة زمنية $t$، يتم تحريف (warping) المخرج المصفى من الخطوة السابقة ($O'_{t-1}$) لمحاذاته مع مخرج المرحلة الأولى الحالي ($O_t$).
   • الدمج التكيفي: يتم حساب خريطة أوزان ديناميكية $\omega$ بناءً على متبقي الحركة $R = |O_t - O^W_{t-1}|$.
     • في المناطق الساكنة (متبقي منخفض)، يركز الوزن على التراكم من الإطار السابق المحرف لتثبيط الضجيج.
     • في المناطق الديناميكية (متبقي مرتفع)، يفضل الوزن الإطار الحالي للحفاظ على حدة الحركة.
   • توازن هذه الاستراتيجية بين كبح الضجيج وحدّة الحركة، متجاوزةً قيود المتوسط ذو النافذة الثابتة.

3. خسارة التكيف مع النسيج (Texture-Adaptive Loss)

   • لمعالجة التباين المكاني لضجيج الإضاءة المنخفضة، قدم المؤلفون دالة خسارة توازن بين الحفاظ على التفاصيل الدقيقة والنعومة المكانية.
   • يتم اشتقاق خريطة واعية بالنسيج ($M_T$) من المكونات عالية التردد للمخرج باستخدام تحويل المويجات المنفصل ثنائي الأبعاد (2D-DWT).
   • تجمع الخسارة الإجمالية بين خسارة إعادة البناء $\ell_2$ ومجموع مرجح من:
     • خسارة الإدراك البصري ($L_{VGG}$): تُطبق على المناطق ذات النسيج العالي ($M_T \to 1$) للحفاظ على التفاصيل الدقيقة.
     • خسارة التباين الكلي ($L_{TV}$): تُطبق على المناطق المتجانسة ($M_T \to 0$) لتشجيع النعومة وكبح الضجيج.

المساهمات الرئيسية

• إطار عمل DWTA-Net: إطار عمل عصبي مبتكر يعتمد على Mamba ومخصص للضجيج الحقيقي الثقيل، يتميز بتصميم مرحلتين يفصل بين الترميم المحلي والتجميع الزمني طويل المدى.
• التجميع المتكرر المكاني: استراتيجية تجميع زمني قائمة على الأوزان الديناميكية تعمل في المجال المكاني بدلاً من مجال الميزات. وهي تستخدم متبقيات الحركة لضبط أوزان الدمج بشكل تكيفي، مما يوازن بين الاتساق الزمني والحدة المدركة للحركة.
• خسارة التكيف مع النسيج: دالة خسارة مخصصة تزن ديناميكياً قيود الإدراك والنعومة بناءً على تعقيد النسيج المحلي، مما يضمن الحفاظ على التفاصيل في المناطق المنسوجة وتنعيم المناطق المتجانسة.

النتائج التجريبية
تم تدريب النموذج على مجموعة بيانات DID المزدوجة للفيديو منخفض الإضاءة، وتم تقييمه باستخدام المقاييس الكمية (PSNR, SSIM, LPIPS) والمقارنات النوعية في سيناريوهات "في الواقع" (تحديداً تسلسل Horse).

• الأداء الكمي: في مجموعة بيانات DID، حققت DWTA-Net أعلى قيم PSNR (24.27 dB) و LPIPS (0.15) بين الطرق المقارنة، متفوقة على أحدث الطرق القائمة على الصور (مثل Retinexformer و WaveMamba) والأساليب المرجعية القائمة على الفيديو (مثل EDVR و SMOID).
• القدرة على إزالة الضجيج: في تقييم تكميلي لمنطقة سماء ثابتة في مقطع Horse (باستخدام حقيقة أرضية زيفة تم إنشاؤها عبر متوسط الإطارات)، حققت DWTA-Net أعلى PSNR (27.81 dB) و SSIM (0.839)، متفوقة حتى على الطرق المثالية للسيناريوهات الثابتة القائمة على الصور.
• الجودة البصرية: تظهر المقارنات النوعية أن DWTA-Net تحافظ على التفاصيل الدقيقة (مثل السياج، الكابلات، نسيج العشب) والألوان الطبيعية دون عيوب التنعيم المفرط التي تظهر في طرق مثل Starlight-denoiser أو العيوب المشتتة التي تسببها SDSD-net.
• دراسات الاستئصال (Ablation Studies): أدى إزالة المرحلة الأولى إلى انخفاض حاد في PSNR والجودة الإدراكية، مما يؤكد دورها في الترميم الأساسي. وأدت إزالة المرحلة الثانية إلى ارتفاع قيم LPIPS، مما يثبت ضرورة التجميع الزمني طويل المدى للجودة البصرية. كما تبين أن خسارة التكيف مع النسيج كانت حاسمة في الموازنة بين إزالة الضجيج والحفاظ على النسيج.

الأهمية والادعاءات
يدعي البحث أن DWTA-Net توفر حلاً قوياً لتعزيز الفيديو في الإضاءة المنخفضة تحت ظروف الضجيج الشديد حيث تفشل الأنظمة التقليدية والأساليب الحالية القائمة على التعلم. من خلال استغلال التكرار الزمني طويل المدى عبر استراتيجية تجميع متكررة مدركة للحركة، يحقق الإطار اتساقاً زمنياً وتخفيفاً للضجيج فائقاً. يضع المؤلفون عملهم كتقدم عملي يعالج التحدي المتمثل في التعميم على توزيعات الضجيج الواقعية والمعقدة مع الحفاظ على التفاصيل الهيكلية الدقيقة، وهو ما تم التحقق منه من خلال الاختبارات المرجعية المكثفة والتقييمات الصعبة "في الواقع".