VOSR: A Vision-Only Generative Model for Image Super-Resolution

1. بيان المشكلة

يهدف رفع دقة الصور (Super-Resolution - SR) إلى إعادة بناء صورة عالية الدقة (HR) من مدخلات منخفضة الدقة (LR). وبينما تستخدم أحدث الأساليب المتطورة نماذج الانتشار القائمة على "النص إلى صورة" (T2I) (مثل Stable Diffusion) والمكيفة لمهام الـ SR، فإن هذا النموذج يعاني من قيود متأصلة:

• عدم المحاذاة (Misalignment): تُدرب نماذج T2I على التوليد الحر، وليس على الاستعادة المشروطة بالمدخلات. وغالباً ما تعطي الأولوية للواقعية الإدراكية على حساب الأمانة للمدخلات منخفضة الدقة (LR).
• الهلوسة (Hallucinations): الاعتماد على المطالبات النصية أو التمثيلات المحاذية للنصوص يؤدي إلى غموض دلالي، مما يتسبب في ظهور تفاصيل "مهلوسة" لا وجود لها في الصورة الأصلية منخفضة الدقة.
• التكلفة: يتطلب تكييف النماذج التأسيسية الضخمة متعددة الوسائط موارد تدريب وحوسبة هائلة.

يطرح البحث سؤالاً جوهرياً: هل يمكن لنموذج SR توليدي مُدرب حصرياً على البيانات البصرية (بدون تدريب مسبق متعدد الوسائط) أن ينافس أو يتفوق على الأساليب القائمة على T2I من حيث الجودة، والأمانة، والكفاءة؟

2. المنهجية: إطار عمل VOSR

يقترح المؤلفون إطار عمل VOSR (الرفع الفائق للرؤية فقط)، وهو إطار مصمم من الصفر لمهام الاستعادة باستخدام البيانات البصرية فقط. وتتكون المكونات الأساسية من:

أ. الشرط الدلالي البصري (Vision Semantic Condition)

على عكس طرق الـ SR السابقة التي تعتمد على الرؤية فقط والتي تكتفي بالإشارات الهيكلية من المدخلات منخفضة الدقة، يقدم VOSR استراتيجية شرطية ثنائية المسار لحل الغموض الدلالي في حالات التدهور الشديد:

1. الشرط الهيكلي ($c_{str}$): يتم تشفير الصورة منخفضة الدقة (LR) إلى نفس الفضاء الكامن للهدف عالي الدقة (HR) باستخدام مشفر VAE. وهذا يحافظ على التخطيط المكاني ودقة المحتوى.
2. الشرط الدلالي البصري ($c_{sem}$): يقوم مشفر بصري مدرب مسبقاً (مثل DINOv2) باستخراج ميزات دلالية عالية المستوى مباشرة من الصورة منخفضة الدقة.
   • التمييز الجوهري: يتم استخراج هذه الميزات بالكامل في النطاق البصري، مما يتجنب مشاكل الخشونة المكانية ومشكلات المحاذاة مع النصوص الموجودة في نماذج T2I. وهي توفر إشارات غنية ومتركزة مكانياً لتوليد التفاصيل.

ب. التوجيه الموجه نحو الاستعادة (Modified CFG)

يستخدم التوجيه التقليدي بدون مصنف (Classifier-Free Guidance - CFG) فرعاً غير مشروط بالكامل لتعزيز الجودة التوليدية. ويرى المؤلفون أن هذا غير مثالي لمهام الـ SR لأن الفرع غير المشروط يجبر النموذج على تعلم توليد الصور العامة من الصفر، مما يتعارض مع هدف الاستعادة الأمينة.

يستبدل VOSR الفرع غير المشروط بـ فرع مشروط جزئياً:

• الآلية: يحتفظ الفرع المساعد بـ إشارات هيكلية ضعيفة ($\alpha c_{str}$، حيث $\alpha \in (0,1)$) ولكنه يتخلى عن التوجيه الدلالي ($\emptyset$).
• الأثر: يظل كلا فرعي التدريب (المشروط بالكامل مقابل المشروط جزئياً) مرتبطين بالصورة منخفضة الدقة (LR).
• سلوك الاستدلال:
  • مقياس توجيه مرتفع ($s$): يدفع التنبؤات نحو الفرع المشروط بالكامل، مما يعطي الأولوية لـ الأمانة (Fidelity) للمدخلات منخفضة الدقة.
  • مقياس توجيه منخفض ($s$): يميل نحو الفرع المشروط جزئياً، مما يسمح بمزيد من الحرية التوليدية لتخليق التفاصيل.
  • المقارنة مع T2I: في الـ SR القائم على T2I، يؤدي زيادة $s$ عادةً إلى تضخيم الدلالات المهلوسة. أما في VOSR، فإن زيادة $s$ تقوي الاتساق مع المدخلات.

ج. التقطير في خطوة واحدة (One-Step Distillation)

لضمان الكفاءة العملية، يتم تقطير نموذج معلم VOSR متعدد الخطوات إلى نموذج طالب ذي خطوة واحدة.

• يتعلم الطالب التنبؤ بالسرعة المستهدفة في خطوة واحدة مع الحفاظ على نفس منطق التوجيه والشرط الموجه نحو الاستعادة.
• يستخدم المؤلفون استراتيجية تقطير قائمة على الاتساق التكراري (Recursive-Consistency - RC)، والتي تعمل صراحةً على محاذاة مسار الطالب مع المسار الموجه للمعلم، مما يتفوق على الطرق القائمة على الاختصارات في تحقيق التوازن بين الجودة والأمانة.

3. المساهمات الرئيسية

1. تحول في النموذج (Paradigm Shift): إثبات أنه يمكن تحقيق SR توليدي عالي الجودة دون الحاجة إلى تدريب مسبق متعدد الوسائط، مما يتحدى هيمنة الأساليب القائمة على T2I.
2. التوجيه الدلالي البصري فقط: تقديم طريقة لحقن الدلالات عالية المستوى مباشرة من المشفرات البصرية (DINO)، مما يضمن أن الميزات مرتبطة ارتباطاً وثيقاً بالصورة المدخلة.
3. التوجيه الموجه نحو الاستعادة: اقتراح نسخة جديدة من CFG تستبدل الفرع غير المشروط بفرع مشروط جزئياً، مما يحسن التوازن بين التفاصيل التوليدية والأمانة للمدخلات.
4. الكفاءة: تحقيق نتائج تنافسية بتكاليف تدريب أقل بكثير (حوالي 1/10 من تكلفة طرق T2I) ودعم الاستدلال السريع في خطوة واحدة.

4. النتائج التجريبية

قيم المؤلفون VOSR على مقاييس LSDIR (الاصطناعية) و RealSR و ScreenSR (الواقعية) مقابل الأساليب الرائدة القائمة على T2I (مثل StableSR و SeeSR و PASD) والأساليب القائمة على الرؤية فقط (مثل ResShift و SinSR).

• الجودة الإدراكية: يحقق VOSR نتائج إدراكية رائدة أو تنافسية (LPIPS, MUSIQ, MANIQA) في كل من إعدادات الخطوات المتعددة والخطوة الواحدة، وغالباً ما يتفوق على طرق T2I.
• الأمانة (Faithfulness): ينتج VOSR هلوسات أقل ويحافظ على الهياكل الدقيقة (مثل النصوص، الخطوط الرفيعة، كابلات الجسور) بأمانة أكبر من نماذج T2I، التي تميل إلى التنعيم الزائد أو اختراع تفاصيل غير موجودة.
• الكفاءة:
  • تكلفة التدريب: يتطلب VOSR حوالي 10% فقط من عدد بكسلات التدريب التي تستهلكها طرق SR المعتمدة على T2I.
  • سرعة الاستدلال: تعمل نماذج VOSR ذات الخطوة الواحدة في حوالي 0.09 ثانية (لحجم 512x512)، وهي سرعة تضاهي أو تتفوق على نماذج T2I الحالية ذات الخطوة الواحدة، وهي أسرع بكثير من نماذج T2I متعددة الخطوات (التي تستغرق من 2 إلى 12 ثانية).
• دراسة المستخدم: فضل المقيمون البشريون نتائج VOSR بسبب توازنها المتفوق بين الجودة الإدراكية والاتساق الهيكلي مع المدخلات.

5. الأهمية

يمثل VOSR خطوة مهمة للأمام في الرؤية منخفضة المستوى من خلال إثبات أن النماذج التوليدية المخصصة للمهام والمبنية على الرؤية فقط يمكن أن تتفوق على النماذج التأسيسية العامة متعددة الوسائط في مهام الاستعادة.

• يعالج معضلة "الأمانة مقابل الواقعية" من خلال تصميم آليات توجيه مخصصة للاستعادة بدلاً من التوليد.
• يوفر بديلاً فعالاً ومنخفض التكلفة لمتطلبات الموارد الثقيلة اللازمة لتكييف نماذج T2I، مما يجعل الـ SR التوليدي عالي الجودة أكثر سهولة في الوصول إليه.
• إن تقديم معيار ScreenSR (مجموعة بيانات واقعية عالية الجودة ومزدوجة) يعزز معايير التقييم في مجال الـ SR الواقعي.

ختاماً، يثبت VOSR أن إطار العمل الموجه نحو الاستعادة والمبني على الرؤية فقط هو بديل قابل للتطبيق، وغالباً ما يكون متفوقاً، على تكييف نماذج T2P لرفع دقة الصور.