Degradation-Aware and Structure-Preserving Diffusion for Real-World Image Super-Resolution

إليك ملخص تقني مفصل لورقة البحث بعنوان "الانتشار الواعي بالتدهور والحافظ للهيكل لرفع دقة الصور في العالم الحقيقي" (DASP-SR).

1. بيان المشكلة

يهدف رفع دقة الصور (SR) في العالم الحقيقي إلى إعادة بناء صور عالية الدقة (HR) من مدخلات منخفضة الدقة (LR). وبينما أظهرت نماذج الانتشار (Diffusion Models) قدرة فائقة على توليد تفاصيل عالية التردد مقارنة بالطرق التقليدية القائمة على الانحدار، فإن تطبيقها على سيناريوهات العالم الحقيقي يظل أمراً صعباً بسبب مشكلتين رئيسيتين:

• التدهورات المعقدة والمتغايرة: على عكس المعايير الاصطناعية (مثل خفض العينة باستخدام Bicubic)، تعاني صور العالم الحقيقي من تدهورات غير معروفة ومتغيرة مكانياً (مثل الضبابية، الضجيج، وعيوب الضغط). غالباً ما تعامل طرق الانتشار الحالية المدخلات منخفضة الدقة كإشارة متجانسة، مما يؤدي إلى الفشل في فصل أنماط التدهور عن محتوى الصورة بشكل صريح. يؤدي هذا إلى غموض في عملية الاستعادة، حيث تجد النماذج صعوبة في التمييز بين الأنسجة الحقيقية والعيوب، مما ينتج عنه إما تنعيم مفرط أو تخيلات غير طبيعية.
• الحساسية الهيكلية للضجيج: يطبق تدريب الانتشار القياسي ضجيج غاوسي موحد مكانياً على الفضاء الكامن (Latent Space). يتجاهل هذا الأمر التباين المكاني للصور: فالمناطق الهيكلية عالية التردد (الحواف) تكون أكثر حساسية للاضطرابات الضوضائية من المناطق المسطحة. يمكن للضجيج الموحد أن يمحو الإشارات الهندسية الحرجة قبل الأوان، مما يجبر النموذج على "إعادة اختراع" الهندسة بدلاً من صقل الهياكل الموجودة بالفعل.

2. المنهجية

يقترح المؤلفون إطار عمل DASP-SR، وهو إطار يقدم وحدتين إضافيتين خفيفتين إلى هيكل أساسي لرفع دقة الصور بالانتشار (يعتمد تحديداً على بنية ControlNet/UNet). تركز هاتان الوحدتان على الاشتراط الواعي بالتدهور وتعديل الضجيج الواعي بالهيكل دون تغيير جوهري في صيغة الانتشار.

أ. حقن الرموز الواعي بالتدهور (DTI)

تعالج وحدة DTI نقص المعرفة الصريحة بالتدهور من خلال استخراج وصف مكثف وقابل للتفسير من الصورة منخفضة الدقة وحقنه في آلية الانتباه (Attention) الخاصة بالنموذج.

• استخراج الوصف: يتم حساب متجه مكون من 6 أبعاد $\mathbf{d}$ من الصورة الرمادية منخفضة الدقة، ليلتقط ما يلي:
  1. الضبابية (Blur): مقلوب تباين لابلاس (Laplacian variance).
  2. الضجيج (Noise): متوسط القيمة المطلقة للبواقي بعد عملية التجميع (Pooling).
  3. عيوب JPEG: عيوب التكتل الناتجة عن حدود $8\times8$.
  4. كثافة الحواف: نسبة البكسلات ذات تدرجات Sobel العالية.
  5. السطوع والتباين: إحصائيات السطوع العالمية.
• حقن الرمز: يتم إسقاط المتجه $\mathbf{d}$ عبر طبقة MLP خفيفة (طبقتان) إلى رمز تدهور $\mathbf{t}_{deg}$. وفي النسخة الديناميكية، يتم تعديل هذا الرمز أيضاً بواسطة الخطوة الزمنية للانتشار (Diffusion timestep).
• التكامل: يتم إلحاق رمز التدهور بحالات الصورة المخفية وحقنه في فروع الانتباه المتقاطع للصورة (Image cross-attention branches) لكل من ControlNet وUNet. وهذا يسمح لشبكة إزالة الضجيج بتكييف عملية الاستعادة الخاصة بها صراحةً بناءً على نوع التدهور وشدته المقدرة.

ب. حقن الضجيج غير المتماثل مكانياً (SANI)

تعالج وحدة SANI هشاشة الهيكل عند الحواف أثناء عملية التدريب من خلال تعديل مقدار الضجيج بناءً على هندسة الصورة المحلية.

• خريطة قوة الحافة: يتم حساب خريطة قوة الحافة $\mathbf{E}$ من المدخلات منخفضة الدقة باستخدام مرشح Sobel وتطبيعها لتكون في النطاق $[0, 1]$.
• تعديل الضجيج: خلال عملية الانتشار الأمامي، يتم تعديل الضجيج الغاوسي القياسي $\epsilon$ كالتالي:
  $$\epsilon' = \epsilon \odot (1 - \lambda \mathbf{E})$$
  حيث أن $\lambda$ هو معلمة فائقة (القيمة الافتراضية 0.6).
• الأثر: المناطق ذات قوة الحافة العالية تتلقى سعة ضجيج أقل بكثير (تصل إلى خفض بنسبة 60%)، مما يحافظ على الهيكل الهندسي للصورة. أما المناطق الناعمة فتحتفظ بمستويات الضجيج القياسية تقريباً، مما يسمح بتوليد أنسجة عشوائية.
• الاتساق عند الاستنتاج: تُعد SANI استراتيجية للتدريب فقط. أثناء الاستنتاج، تُستخدم عملية الانتشار العكسي القياسية دون تعديل. ويجادل المؤلفون بأن هيكل الانتشار المدرب مسبقاً قوي بما يكفي للتعامل مع الانزياح الطفيف في التوزيع الناتج عن هذا التعديل أثناء التدريب.

3. المساهمات الرئيسية

1. حقن الرموز الواعي بالتدهور (DTI): آلية مبتكرة تشفر صراحةً إحصائيات التدهور الفيزيائية (الضبابية، الضجيج، الضغط، إلخ) في رموز اشتراطية، مما يمكن نموذج الانتشار من إجراء استعادة مستهدفة بناءً على أنواع التلف المحددة.
2. حقن الضجيج غير المتماثل مكانياً (SANI): استراتيجية تدريب واعية بالهيكل تقلل من اضطراب الضجيج في المناطق الغنية بالحواف أثناء التدريب، مما يثبت العملية التوليدية على الطبوغرافيا الهيكلية الأصلية ويمنع تدمير الإشارات الهندسية.
3. تصميم خفيف الوزن: كلتا الوحدتين هما إضافات بسيطة. تضيف DTI حوالي 0.2 مليون معلمة فقط (0.01% من الإجمالي)، ولا تفرض SAPI أي تكلفة عند الاستنتاج. وتتطلب تعديلات طفيفة فقط في مسار الاشتراط لأطر رفع دقة الصور بالانتشار الموجودة.

4. النتائج التجريبية

تم تقييم الطريقة على معايير DIV2K و RealSR مقابل أحدث الطرق (مثل Real-ESRGAN، SeeSR، StableSR، DiffBIR).

• الجودة الإدراكية: تحقق DASP-SR نتائج رائدة (SOTA) أو تنافسية في مقاييس الإدراك غير المرجعية (NIQE، NRQM، PI، CLIP-IQA، MUSIQ). فعلى سبيل المثال، في RealSR، حققت أفضل درجات NIQE (3.709) و MUSIQ (69.597).
• مقايضة الإدراك والتشويه: بينما تحقق الطريقة درجات PSNR/SSIM أقل مقارنة بالنماذج القائمة على الانحدار (وهي مقايضة معروفة للنماذج التوليدية التي تعطي الأولوية للواقعية على الدقة المتطابقة للبكسل)، إلا أنها توفر توازناً فائقاً للتطبيقات الواقعية حيث تكون الواقعية البصرية هي الأهم.
• دراسات الاستئصال (Ablation Studies):
  • DTI وحدها: تحسن واقعية الأنسجة ولكنها قد تعاني من ضعف التماسك الهيكلي في حالات التدهور المعقدة بدون SANI.
  • SANI وحدها: تحسن بشكل كبير الحفاظ على الحواف والمقاييس الهيكلية (على سبيل المثال، تقليل NIQE بنحو 0.4 في RealSR).
  • الجمع بينهما: يؤدي التآزر بين كلتا الوحدتين إلى أفضل أداء إدراكي إجمالي، مما يؤكد أن التوجيه الواعي بالتدهور والحفاظ على الضجيج الهيكلي يكملان بعضهما البعض.
• الكفاءة: الزيادة في وقت الاستنتاج ضئيلة (+0.10 ثانية لكل صورة)، والزيادة في عدد المعلمات طفيفة جداً.

5. الأهمية والقيود

الأهمية:
يجسر هذا العمل الفجوة بين القدرة التوليدية لنماذج الانتشار والمتطلبات العملية لرفع دقة الصور في العالم الحقيقي. من خلال نمذجة إحصائيات التدهور صراحةً وحماية السلامة الهيكلية أثناء التدريب، تثبت DASP-SR أن الإشارات الصريحة والقابلة للتفسير حاسمة لتوجيه نماذج الانتشار في مهام الاستعادة المعقدة. إنها تقدم مساراً عملياً لتحسين رفع دقة الصور بالانتشار دون الحاجة إلى تغييرات هيكلية ضخمة.

القيود:

• تكلفة الاستنتاج: مثل جميع نماذج الانتشار متعددة الخطوات، تعاني من زمن استجابة مرتفع مقارنة بالطرق القائمة على GAN أو الخطوة الواحدة.
• جمود الوصف: قد يكون وصف التدهر المصنوع يدوياً (متجه 6D) غير كافٍ لأنواع التدهور المعقدة للغاية أو المختلطة أو الجديدة التي لا تغطيها المحاور المحددة مسبقاً.
• حالات الفشل: في السيناريوهات القصوى، يمكن للطريقة أن تنتج حوافاً حادة بشكل مفرط أو أنسجة متخيلة، كما هو موضح في تحليل حالات الفشل المقدمة.

يقترح المؤلفون عملاً مستقبلياً يتضمن تمثيلات تدهور متعلمة وصيغ انتشار أكثر كفاءة لمعالجة هذه القيود.