SCEESR: Semantic-Control Edge Enhancement for Diffusion-Based Super-Resolution

تخيل أن لديك صورة ضبابية ومبكسلة لمشهورك المفضل أو لأصابع قدم ضفدع، وتريد تحويلها إلى تحفة فنية فائقة الوضوية وعالية الدقة. هذا هو تحدي الدقة الفائقة (Super-Resolution)، وهو فرع من فروع الرؤية الحاسوبية حيث يعلم العلماء الذكاء الاصطنا-عي لـ "يهلوس" بالتفاصيل المفقودة التي فُقدت عندما تم تصغير الصورة أو إضعاف جودتها. لسنوات، كانت أفضل الأدوات لهذه المهمة تشبه الرسامين المهرة الذين يمكنهم تخمين الأجزاء المفقودة، لكنهم غالبًا ما كانوا يرتكبون أخطاءً، مما يخلق أنسجة غريبة أو حواف ضبابية. ثم وصل نوع جديد من الذكاء الاصطنا-عي يسمى نماذج الانتشار (Diffusion Models). فكر في هذه النماذج كفنانين يبدأون بلوحة مغطاة بضجيج "الستاتيك"، ثم يقومون ببطء، خطوة بخط[]وة، بمسح الضجيج للكشف عن صورة. وبينما تبدع هذه الفنانة الجديدة صوراً واقعية ومتنوعة بشكل مذهل، فإن العملية بطيئة — مثل مشاهدة الطلاء وهو يجف لأن الفنان يتعين عليه مسح اللوحة مئات المرات. ولتسريع هذه العملية، طور الباحثون نماذج "الخطوة الواحدة" التي تحاول مسح كل الضجيج في ضربة واحدة ضخمة. لكن العيب هنا هو أن القيام بذلك في خطوة واحدة غالباً ما يؤدي إلى عمل متسرع، حيث يستعجل الفنان ويفقد الخطوط الدقيقة، مما يجعل الصورة تبدو باهتة أو مشوهة هيكلياً.

دخل SCEESR، وهي طريقة جديدة اقترحها الباحث "يون كاي زوانغ" من جامعة شنغهاي للتقنية، ليحل هذه المعضلة. تقترح هذه الورقة البحثية إطار عمل يعمل كمعلم فنون صارم يقف بجانب الذكاء الاصطنا-عي، ممسكاً بمجموعة من النظارات الكاشفة للحواف. قبل أن يقوم الذكاء الاصطنا-عي بضربته الواحدة الضخمة لإنشاء الصورة عالية الجودة، يقوم النظام بفحص المدخلات الضبابية ويولد "خريطتين" مختلفتين للحواف: إحداهما تجد الخطوط الحادة والقوية (مثل كاشف Canny) والأخرى تجد الحدود الدلالية الأكثر نعومة (مثل كاشف HED). بعد ذلك يستخدم الذكاء الاصطنا-عي آلية "بوابة" (gated mechanism) ليقرر أي خريطة هي الأكثر أهمية للجزء المحدد من الصورة الذي يرسمه. إذا كان يرسم زاوية مبنى حادة، فإنه يستمع لخريطة الخطوط الحادة؛ وإذا كان يرسم سحابة ناعمة أو ملمس جلد الضفدع، فإنه يستمع للخريطة الدلالية. ومن خلال الجمع بين هذا التوجيه الديناميكي وقاعدة تدريب خاصة تعاقب الذكاء الاصطنا-عي إذا لم تتطابق حوافه مع الصورة الحقيقية، ينجح SCEESR في إنتاج صور عالية الجودة في خطوة واحدة فقط. وتشير النتائج إلى أن هذا النهج ينتج صوراً ليست سريعة التوليد فحسب، بل تمتلك أيضاً هياكل أكثر حدة ودقة مقارنة بطرق الخطوة الواحدة الأخرى، محققاً توازناً نادراً بين السرعة والكمال.

المشكلة: العمل المتسرع

في عالم رفع دقة الصور، هناك مقايضة كلاسيكية: يمكنك الحصول على السرعة، أو الجودة، ولكن نادراً ما تحصل على كليهما. نماذج الذكاء الاصطنا-عي التقليدية التي تأخذ وقتها في مسح الضجيج عبر خطوات عديدة تنتج نتائج جميلة ولكنها بطيئة جداً للاستخدام في الوقت الفعلي. من ناحية أخرى، فإن نماذج الانتشار "ذات الخطوة الواحدة" سريعة للغاية — يمكنها توليد صورة فورياً تقريباً — لكنها غالباً ما تعاني من "عيوب التقطير" (distillation artifacts). تخيل محاولة تلخيص رواية كاملة في جملة واحدة؛ قد تحصل على الفكرة الرئيسية، لكنك ستفقد التفاصيل، وأسماء الشخصيات المحددة، وحبكات القصة. وبالمثل، غالباً ما تفقد نماذج الخطوة الواحدة التفاصيل الدقيقة، مما يؤدي إلى صور تبدو باهتة أو بها أخطاء هيكلية، مثل وجه يبدو ذائباً قليلاً أو مبنى بجدران متذبذبة.

الحل: التحكم الحواف الدلالي

يقترح مؤلف هذه الورقة، يون كاي زوانغ، حلاً يسمى SCEESR (تعزيز الحواف بالتحكم الدلالي لرفع الدقة القائم على الانتشار). بدلاً من ترك الذكاء الاصطنا-عي يخمن التفاصيل بشكل أعمى في تلك الخطوة الواحدة المتسرعة، فإنهم يمنحونه دليلاً مرجعياً.

الفكرة الجوهرية هي استخدام ControlNet، وهي آلية تعمل كمحول شرطي. فكر فيها كجهاز GPS للفنان الذكي الاصطنا-عي. قبل أن يبدأ الذكاء الاصطنا-عي في الرسم، يأخذ النظام صورة المدخلات الضبابية ويمررها عبر "كاشفين للحواف" مختلفين:

1. كاشف Canny: هذا يشبه المسطرة الصارمة. فهو يجد الحواف الحادة والقوية — فكر في مخطط مبنى أو حافة كوب. إنه ممتاز في الهندسة ولكنه قد يفتقد التفاصيل الناعمة.
2. كاشف HED (كشف الحواف الهيكلي المتداخل): هذا يشبه الفرشاة الناعمة. فهو يجد حوافاً أغنى وأكثر تعقيداً، بما في ذلك الأنسجة الدقيقة للجلد أو الحدود الناعمة لورقة شجر. إنه يلتقط المزيد من "المعنى" ولكنه قد يكون أحياناً مليئاً بالضجيج.

تشير الورقة إلى أن الاعتماد على واحد منهما فقط ليس كافياً. لذا، يقدم SCEESR نظام Gated ControlNet. وهو مفتاح ذكي (يعمل بواسطة شبكة عصبية صغيرة تسمى MLP) ينظر إلى الصورة ويقرر: "حسناً، لهذا الجزء المحدد من الصورة، أحتاج إلى المسطرة الصارمة (Canny). ولذلك الجزء الآخر، أحتاج إلى الفرشاة الناعمة (HED)". إنه يمزج هذين الدليلين ديناميكياً، مما يضمن حصول الذكاء الاصطنا-عي على النوع الصحيح من المساعدة الهيكلية في المكان المطلوب تماماً.

التدريب: معلم صارم

للتأكد من أن الذكاء الاصطنا-عي يتعلم بالفعل من هذه الأدلة، قام المؤلف أيضاً بتغيير كيفية تدريب الذكاء الاصطنا-عي. لقد قدموا دالة خسارة هجينة (Hybrid Loss Function)، وهي في الأساس نظام درجات لتقييم واجبات الذكما الاصطنا-عي المنزلية.

• دقة البكسل (L2 Loss): تتحقق مما إذا كانت الألوان والبكسلات قريبة من الأصل.
• الجودة الإدراكية (LPIPS Loss): تتحقق مما إذا كانت الصورة تبدو حقيقية للإنسان، حتى لو لم تكن البكسلات مطابقة تماماً.
• خسارة AME الواعية للحواف: هذا هو النجم الجديد. فهي تستخدم "طريقة وزن الإنتروبيا" لتحديد أي كاشف حواف يقوم بأفضل عمل لمجموعة معينة من الصور وتوزين العقوبة بناءً على ذلك. إذا أخطأ الذكاء الاصطنا-عي في الحواف، فإن هذا الجزء من نظام الدرجات يعطيه درجة "رسوب" كبيرة، مما يجبره على تعلم الأشكال الصحيحة.

النتائج: سريع وحاد

اختبر الباحثون SCEESR مقابل أفضل الطرق الأخرى، بما في ذلك نماذج الانتشار متعددة الخطوات البطيئة ونماذج الخطوة الواحدة السريعة.

• السرعة: تشير الورقة إلى أن SCEESR سريع للغاية، حيث يستغرق 0.15 ثانية فقط لمعالجة صورة بحجم 512×512 على وحدة معالجة رسومات قوية. وهذا يضاهي نماذج الخطوة الواحدة الأخرى مثل OSEDiff (0.12 ثانية) وهو أسرع بكثير من النماذج متعددة الخطوات مثل StableSR، التي تستغرق 11.40 ثانية.
• الجودة: فيما يتعلق بجودة الصورة، تشير الورقة إلى أن SCEESR يتفوق على طرق الخطوة الواحدة الأخرى. في مجموعات الاختبار القياسية، حقق PSNR قدره 23.78 (مقياس لدقة البكسل) و درجة CLIPIQA قدرها 0.6852 (مقياس لمدى واقعية الصورة).
• البصريات: عند النظر إلى أمثلة محددة، مثل صورة شخصية لأبراهام لينكولن أو أصابع قدم ضفدع، تشير الورقة إلى أن الطرق الأخرى غالباً ما تسبب ضبابية في التفاصيل أو تخلق أنسجة غير طبيعية. ومع ذلك، نجح SCEESR في استعادة الحواف الحادة والأنسجة الواقعية، مثل تجاعيد الوجه أو تدرج الألوان على إصبع الضفدع، دون المظهر "المائع" الشائع في نماذج الخطوة الواحدة.

العيب

توضح الورقة بعناً أنه بينما النتائج واعدة، لا تزال هناك قيود. تتطلب الطريقة ذاكرة أكبر قليلاً ووقتاً أكثر بقليل من أسرع نماذج الخطوة الواحدة المطلقة (0.15 ثانية مقابل 0.12 ثانية)، وهو مقايضة متعمدة من أجل جودة أفضل. علاوة على ذلك، يعترف المؤلف بأنه إذا كانت الصورة المدخلة مشوهة للغاية، فقد ترتبك كواشف الحواف وتنشئ "خرائط حواف بلا معنى"، مما قد يخدع الذكاء الاصطنا-عي لرسم أشياء خاطئة. وهم يقترحون أن العمل المستقبلي سيركز على جعل هذه الكواشف أكثر قوة حتى لا يتم خداعها بالضجيج الشديد.

باختصار، تقترح هذه الورقة أنه من خلال منح فنان الذكاء الاصطنا-عي السريع (ذو الخطوة الواحدة) نظارات كشف حواف ذكية وديناميكية ونظام درجات صارم، يمكننا الحصول على صور عالية الجودة وواقعية بشكل فوري تقريباً، مما يسد الفجوة بين السرعة والكمال في عالم الدقة الفائقة للصور.