Time-Aware One Step Diffusion Network for Real-World Image Super-Resolution

إليك ملخص تقني مفصل لورقة البحث بعنوان "شبكة الانتشار أحادية الخطوة الواعية بالزمن لإعادة بناء الصور في العالم الحقيقي (TADSR)".

1. بيان المشكلة

تهدف عملية إعادة بناء الصور في العالم الحقيقي (Real-ISR) إلى استعادة صور عالية الجودة (HQ) من مدخلات منخفضة الجودة (LQ) تعرضت لعوامل تدهور معقدة وغير معروفة. وبينما أظهرت نماذج الانتشار (وتحديداً نموذج Stable Diffusion، أو SD) قدرات توليدية مثيرة للإعجاب في مجال Real-ISR، إلا أنها تعاني من تكاليف حوسبة عالية بسبب عمليات إزالة الضجيج التكرارية.

لمعالجة الكفاءة، حاولت الأعمال الحديثة تقطير (Distill) نموذج SD إلى نماذج أحادية الخطوة (one-step) باستخدام تقطير الدرجة المتغيرة (Variational Score Distillation - VSD). ومع ذلك، تعاني الطرق أحادية الخطوة الحالية من مشكلة حرجة:

• مشكلة الخطوة الزمنية الثابتة (Fixed Timestep Issue): فهي عادةً ما تضخ خطوة زمنية ثابتة (مثل $t=999$) في النموذج الطالب (Student)، بينما يتم أخذ عينات عشوائية للخطوات الزمنية للنموذج المعلم (Teacher).
• عدم المحاذاة (Misalignment): يُظهر نموذج SD أولويات توليدية (generative priors) مختلفة عند الخطوات الزمنية المختلفة (على سبيل المثال، الخطوات الزمنية المنخفضة تحافظ على الهيكل/النسيج، بينما تعتمد الخطوات الزمنية العالية على الأولويات الدلالية لإعادة بناء المحتوى).
• النتيجة: من خلال تثبيت الخطوة الزمنية للنموذج الطالب، تفشل هذه الطرق في الاستفادة الكاملة من القدرات التوليدية المتنوعة لنموذج SD عبر مسار الانتشار. علاوة على ذلك، فإن أخذ العينات العشوائي في النموذج المعلم يخلق توجيهاً غير متسق، مما يؤدي إلى أداء دون المستوى والقدرة على عدم الموازنة بشكل طبيعي بين الدقة (Fidelity) (الارتباط بالمدخلات) والواقعية (Realism) (المعقولية الدلالية).

2. المنهجية: TADSR

يقترح المؤلفون TADSR (شبكة الانتشار أحادية الخطوة الواعية بالزمن)، وهو إطار عمل مصمم لمحاذاة النماذج الطالبة والمعلمة ديناميكياً بناءً على الخطوات الزمنية. تتكون البنية من ثلاثة مكونات أساسية:

أ. مشفر VAE الواعي بالزمن (TAE)

• المفهوم: في الانتشار القياسي، يتغير التمثيل الكامن (Latent representation) للصورة مع إضافة الضجيج عبر الخطوات الزمنية. تستخدم طرق الخطوة الواحدة الحالية مشفر VAE قياسياً يقوم بخرائط الصورة إلى توزيع كامن ثابت واحد، متجاهلاً الخطوة الزمنية.
• الآلية: يقدم TADSR مشفر VAE واعي بالزمن (Time-Aware VAE Encoder) يدمج طبقة تضمين زمني (time-embedding layer).
• الوظيفة: يقوم بخرائط نفس الصورة منخفضة الجودة (LQ) إلى ميزات كامنة مختلفة مشروطة بالخطوة الزمنية المأخوذة $t_s$.
• الأثر: يضمن هذا أن المدخل الكامن الذي يتم تغذيته في UNet الخاص بالطالب يتغير مع الخطوة الزمنية، محاكياً التغيرات في مستوى الضجيج في نموذج SD المدرب مسبقاً. وهذا يسمح للنموذج الطالب بتنشيط أولويات توليدية مختلفة تتوافق مع خطوات زمنية محددة.

ب. فقدان تقطير الدرجة المتغيرة الواعي بالزمن (TAVSD)

• المفهوم: غالباً ما يستخدم فقدان VSD القياسي خطوة زمنية مأخوذة عشوائياً للمعلم، مما قد لا يتوافق مع خطوة الطالب الزمنية، مما يسبب إشارات تحسين متضاربة.
• الآلية: ينشئ TADSR خريطة حتمية بين خطوة الطالب الزمنية ($t_s$) وخطوة المعلم ($t_v$):
  $$t_v = \lambda t_s + \gamma$$
• الوظيفة:
  • عندما تكون $t_s$ صغيرة، تكون $t_v$ صغيرة. يركز النموذج المعلم على تفاصيل النسيج (Texture)، مما يوفر توجيهاً لـ الدقة (Fance/Fidelity).
  • عندما تكون $t_s$ كبيرة، تكون $t_v$ كبيرة. يعتمد النموذج المعلم على أولويات دلالية قوية لاستعادة المحتوى، مما يوفر توجيهاً لـ الواقعية (Realism).
• الأثر: تضمن هذه المحاذاة أن التوجيه التدريجي (Gradient guidance) من المعلم متسق مع الأولوية التوليدية المتوقعة عند خطوة الطالب الزمنية المحددة، مما يتيح مقايضة سلسة بين الدقة والواقعية.

ج. استراتيجية التدريب

• النموذج الطالب (Student Model): مشفر واعٍ بالزمن قابل للتدريب ($E_\theta$) ونموذج UNet تم ضبطه باستخدام LoRA ($F_\theta$).
• النموذج المعلم (Teacher Model): نموذج SD مدرب مسبقاً ومجمد.
• نموذج LoRA: نسخة مكررة من المعلم مع أوزان LoRA قابلة للتدريب، يتم تدريبها على مخرجات الطالب لتقدير "الدرجة الزائفة" (Fake score).
• دالة الفقد (Loss Function): تجمع الدالة الإجمالية بين فقد إعادة البناء (MSE مع ضبابية غاوسية للحفاظ على التفاصيل عالية التردد) وفقد TAVSD.

3. المساهمات الرئيسية

1. إطار عمل TADSR: طريقة مبتكرة لـ Real-ISR أحادية الخطوة تستفيد طبيعياً من الأولويات التوليدية المعتمدة على الزمن لنموذج Stable Diffusion.
2. مشفر VAE الواعي بالزمن (TAE): وحدة تقوم بترميز نفس الصورة إلى توزيعات كامنة متميزة بناءً على الخطوات الزمنية، مما يسمح للنموذج الطالب باستغلال القدرات التوليدية لـ SD بالكامل عبر مسار الانتشار.
3. فقدان TAVSD (Time-Aware VSD): دالة فقد تزامن الخطوات الزمنية لنماذج الطالب والمعلم، مما يوفر توجيهاً توليدياً متسقاً ويسمح بمقايضات يمكن التحكم فيها بين الدقة والواقعية ببساطة عن طريق تعديل الخطوة الزمنية المدخلة.
4. أداء رائد (State-of-the-Art): يحقق الأسلوب نتائج متفوقة على كل من مجموعات البيانات الاصطناعية والواقعية بخطوة استنتاج واحدة فقط.

4. النتائج التجريبية

قام المؤلفون بتقييم TADSR على مجموعات بيانات اصطناعية (DIV2K-Val) وواقعية (RealSR, DRealSR, RealLR200).

• الأداء الكمي:
  • الواقعية: يحقق TADSR أعلى درجات غير مرجعية (CLIPIQA, MUSIQ, MANIQA, TOPIQ, QALIGN) عبر جميع مجموعات البيانات، متفوقاً على طرق الانتشار متعددة الخطوات (مثل StableSR, DiffBIR) وطرق الخطوة الواحدة الأخرى (مثل OSEDiff, PisaSR).
  • الدقة: يحافظ على درجات PSNR و SSIM مقاربة لطرق الخطوة الواحدة الأخرى القائمة على SD، مما يثبت أنه لا يضحي بالدقة من أجل الواقعية.
• الأداء النوعي:
  • تُظهر المقارنات البصرية أن TADSR ينتج أنسجة أكثر حدة، وهياكل دلالية أكثر دقة (مثل ملامح الوجه، النصوص، عيون الحيوانات)، وآثاراً (Artifacts) أقل مقارنة بالمنافسين.
  • القابلية للتحكم: من خلال تغيير الخطوة الزمنية $t_s$، يمكن للمستخدمين التحكم في المخرجات. تؤدي $t_s$ المنخفضة إلى دقة أعلى (أقرب إلى المدخلات منخفضة الجودة)، بينما تؤدي $t_s$ العالية إلى واقعية أعلى (تفاصيل أكثر تخيلاً ولكنها معقولة). يعد هذا تحسيناً كبيراً عن طرق مثل PisaSR، حيث يؤدي زيادة الأوزان الدلالية غالباً إلى زيادة الحدة فقط دون تحسين المحتوى الدلالي.

5. الأهمية

يعالج TADSR فجوة جوهرية في عملية تقطير الانتشار أحادية الخطوة: وهي عدم محاذاة الخطوات الزمنية بين النماذج الطالبة والمعلمة. من خلال إدراك أن الخطوات الزمنية المختلفة تقابل مستويات مختلفة من التجريد التوليدي (النسيج مقابل الدلالات)، يطلق TADSR العنان للإمكانات الكاملة لنموذج Stable Diffusion في عملية إعادة بناء الصور فائقة الدقة (Super-resolution) بكفاءة وخطوة واحدة.

إن قدرته على تقديم مقايضة قابلة للتحكم بين الدقة والواقعية عبر معلم بسيط للخطوة الزمنية تجعله عملياً للغاية للتطبيقات الواقعية حيث قد يعطي المستخدمون الأولوية إما لإعادة البناء الصارم أو التحسين الفني. يضع هذا الأسلوب معياراً جديداً لـ Real-ISR، مُثبتاً أن استعادة الصور الواقعية عالية الجودة يمكن تحقيقها بأقل قدر من زمن الحوسبة (خطوة واحدة).