ENAF: A Multi-Exit Network with an Adaptive Patch Fusion for Large Image Super Resolution
تُعد ENAF شبكة ديناميكية متعددة المخارج لرفع دقة الصور الكبيرة، حيث تعمل على تحسين التوازن بين الجودة والتعقيد باستخدام شبكة صغيرة لتقدير نسبة الإشارة إلى الضجيج (PSNR) لدمج رقع الصور تكيفياً وتخصيصها لمخارج مبكرة مناسبة بناءً على تعقيد نسيجها.
المؤلفون الأصليون:Duong M. Nguyen, Tuan Nghia Nguyen, Xuan Truong Nguyen
في عالم التصوير الرقمي، هناك توتر مستمر بين الوضوح والسرعة. نحن نعيش في عصر نمت فيه الشاشات من الدقة القياسية إلى الدقة العالية، والآن إلى دقة 4K و8K، مما يتطلب أن تكون الصور أكثر حدة وتفصيلاً من أي وقت مضى. وتتمثل إحدى المهام الشائعة في هذا المشهد في عملية "الرفع الفائق للصورة المفردة" (single image super-resolution)، وهي عملية يأخذ فيها الكمبيوتر صورة صغيرة ضبابية ومنخفضة الدقة ويعيد بناءها لتصبح نسخة كبيرة وواضحة. لسنوات، بنى الباحثون نماذج ذكاء اصطناعي قوية للقيام بهذا السحر، لكن هذه النماذج غالباً ما تكون ثقيلة وبطيئة؛ فهي تتطلب قدرة حوسبة هائلة تزدو بسرعة مع زيادة حجم الصورة، مما يجعل من الصعب تشغيلها على الأجهزة اليومية مثل الهواتف الذكية أو أجهزة التلفاز عند التعامل مع صور كبيرة جداً. لقد كان التحدي يكمن في إيجاد طريقة لجعل هذه الأنظمة الذكية أسرع دون التضحية بجودة الصورة النهائية، خاصة عندما يكون المدخل صورة ضخمة تحتاج إلى المعالجة قطعة قطعة.
ولحل هذه المعضلة، طور فريق من الباحثين من جامعة هانوي للعلوم والتكنولوجيا وجامعة سيول الوطنية نهجاً جديداً يسمى ENAF. فبدلاً من إجبار كل جزء من صورة كبيرة على المرور بنفس الخطوات المعقدة والمستهلكة للطاقة، يعمل هذا النظام كمنظم مرور ذكي. يقوم النظام بتقسيم الصورة الكبيرة إلى مربعات صغيرة، أو "رقع" (patches)، ثم يقرر مقدار الجهد الذي يستحقه كل جزء. لقد أدرك الباحثون أن أجزاء الصورة ليست متساوية في الصعوبة؛ فرقعة من السماء أو جدار أملس تحتوي على تفاصيل قليلة جداً ومن السهل ترميمها، بينما رقعة من شجرة ذات أوراق متشابكة أو وجه بملامح دقيقة هي أصعب بكثير. حاولت الأساليب السابقة تخمين الرقع الصعبة من خلال البحث عن الحواف أو الخطوط، لكن هذا غالباً ما أدى إلى أخطاء، حيث كانت تعامل المناطق البسيطة كما لو كانت معقدة والعكس صحيح. ويحسن ENAF من ذلك باستخدام شبكة مساعدة صغيرة ومتخصصة تتنبأ بدقة بمدى جودة النتيجة لكل رقعة إذا تمت معالجتها بسرعة مقابل معالجتها ببطء.
إن جوهر نظام ENAF هو شبكة رئيسية تحتوي على عدة "مخارج" على طول مسارها. تخيل ممرًا طويلاً به عدة أبواب تؤدي للخارج؛ يمكن للرقعة أن تخرج عبر باب مبكر إذا رأى النظام أنها أنجزت ما يكفي من العمل، أو يمكنها السفر حتى نهاية الممر إذا كانت بحاجة إلى مزيد من المعالجة. يستخدم النظام مساعده الصغير لتقدير درجة الجودة، المعروفة باسم PSNR، التي يمكن أن تحققها الرقعة عند كل مخرج من هذه المخارج. إذا توقع المساعد أن الرقعة ستبدو جيدة بما يكفي بعد خطوات قلي القليلة، يرسلها النظام للخروج مبكراً، مما يوفر قدراً هائلاً من قدرة الحوسبة. أما إذا كانت الرقعة معقدة، فيُسمح لها بالسفر لمسافة أبعد عبر الشبكة لضمان الجودة العالية. كما أضاف الباحثون حيلة ذكية للأجزاء الأبسط من الصورة، مثل الجدران الفارغة أو السماوات الصافية؛ فقد وجدوا أنه بالنسبة لهذه المناطق، قد تؤدي الشبكات العصبية الأكثر تعقيداً أحياناً أداءً أسوأ من تقنية تنعيم رياضية بسيطة وتقليدية. ولإصلاح ذلك، يتضمن ENAF كاشفاً يحدد هذه المناطق "الفارغة" ويرسلها فوراً إلى الطريقة البسيطة، متجاوزاً الآلات الثقيلة تماماً.
عندما اختبر الباحثون هذا النظام الجديد على مجموعات بيانات قياسية تحتوي على صور تتراوح دقتها من 2K إلى 8K، كانت النتائج كبيرة. فباستخدام هذا الأسلوب التكيفي، تمكن ENAF من تقليل كمية العمل الحوسبي المطلوب بنسبة تصل إلى 55 بالمائة مقارنة بالأساليب الرائدة السابقة، مع إنتاج صور ذات جودة مساوية أو أفضل. على سبيل المثال، في صور 8K الكبيرة جداً، استطاع النظام توفير ما يقرب من نصف قدرة الحوسبة التي كانت تطلبها النماذج القديمة. وأظهرت الدراسة أن هذا النهج يعمل بشكل جيد عبر أحجام مختلفة من نماذج الذكاء الاصطناعي الأساسية، بدءاً من النماذج الصغيرة المصممة للهواتف المحمولة وصولاً إلى النماذج الكبيرة للخوادم عالية الأداء. وقد أثبت الفريق أنه من خلال المطابقة الدقيقة بين صعوبة كل رقعة صورة ومقدار المعالجة المناسب لها، يمكنهم تحقيق توازن أفضل بكثير بين السرعة وجودة الصورة. وهذا يعني أنه في المستقبل، يمكن للأجهزة عرض فيديو عالي الدقة أو تحسين الصور في الوقت الفعلي دون الحاجة إلى أجهزة باهظة الثمن ومستهلكة للطاقة، مما يجلب معالجة الصور عالية الجودة إلى نطاق أوسع من التطبيقات اليومية.
ملخص تقني: ENAF - شبكة متعددة المخارج مع دمج تكيفي للرقع من أجل التكبير الفائق للصور الكبيرة
بيان المشكلة تواجه خوارزميات التكبير الفائق للصورة الواحدة (SISR) القائمة على الشبكات العصبية الالتفافية (CNNs) تحديات كبيرة عند معالجة الصور الكبيرة (من 2K إلى 8K دقة). حيث تزدף التكلفة الحسابية وبصمة الذاكرة لهذه النماذج بشكل تربيعي مع حجم المدخلات، مما يجعلها غير فعالة للتطبيقات العملية مثل الهواتف الذكية وأجهزة التلفاز عبر الإنترنت (IP TVs). وبينما تعتمد الأساليب الحديثة على تقسيم الصور الكبيرة إلى رقع أصغر واستخدام شبكات ديناميكية لتخصيص قدرات حسابية مختلفة بناءً على صعوبة الرقعة، إلا أن الطرق الحالية تعاني من قصور أساسي في جانبين:
التصنيف غير الدقيق للرقع: تعتمد الطرق الحالية غالبًا على درجات تقييم يدوية الصنع (مثل كثافة الحواف) لتقدير صعوبة الرقعة. وكما أوضح البحث، فإن هذه الاستدلالات ترتبط ارتباطًا ضعيفًا بين الملمس (Texture) والتعقيد الحسابي الفعلي المطلوب للترميم، مما يؤدي إلى خطأ في التصنيف (على سبيل المثال، تصنيف رقع متميزة ومنخفضة الملمس على أنها متطابقة رغم اختلاف احتياجات الترميم الخاصة بها).
سوء اختيار الشبكة الفرعية: نادرًا ما تقوم النهج الديناميكية الحالية بتحسين المقايضة بين الجودة والتعقيد بشكل فعال عبر الرقع المختلفة، حيث غالبًا ما تخصص رقعًا لشبكات شديدة التعقيد أو تفشل في الاستفادة من المسارات الأبسط للرقع السهلة.
المنهجية يقترح المؤلفون ENAF (الشبكة المعززة بالدمج التكيفي)، وهي بنية شبكة ديناميكية مصم للمعالجة هذه العيوب. تعتمد ENAF على هيكل أساسي قياسي لـ SISR ولكنها تتضمن أربعة مكونات رئيسية:
هيكل متعدد المخارج (Multi-Exit Backbone): تم تعديل الهيكل الأساسي القياسي لـ SISR ليشمل مخارج مبكرة (EEs) متعددة عند أعماق مختلفة (j∈[0,L]). وبدلاً من مشاركة طبقة sub-pixel نهائية واحدة، تضع ENAF خرائط قابلة للتعلم (طبقات Deconvolution) بعد المشفرات المتوسطة، مما يسمح بمعالجة الرقع وإخراجها في مراحل مختلفة من الشبكة.
مُقدر نسبة الإشارة إلى الضجيج (PSNR Estimator): على عكس المصنفات السابقة التي تخصص الرقع لمجموعات صعوبة منفصلة ("سهلة"، "متوسطة"، "صعبة")، تستخدم ENAF شبكة خفيفة الوزن لعمل انحدار (Regression) لنسبة (PSNR) المتوقعة للرقعة عند كل مخرج. وهذا ينقل المشكلة من التصنيف إلى الانحدار، مما يوفر ارتباطًا أكثر دقة وتفصيلًا بين ملمس البيانات وتكلفة الحوسبة.
مولد المتجه الفارغ (Blank Vector Generator): لاحظ المؤلفون أن الرقع ذات الملمس الأدنى (المناطق الفارغة) غالبًا ما يتم ترميمها بشكل أفضل بواسطة استكمال "Bicubic" البسيط بدلاً من الشبكات العصبية المعقدة، ومع ذلك قد تنحاز المقدرات القياسية ضد ذلك. يقوم نموذج مخصص باكتشاف هذه الرقع "الفارغة" باستخدام كشف الحواف بطريقة "Laplacian" ويولد "متجهًا فارغًا". يوجه هذا المتجه النظام لتفضيل مسار التنفيذ الأبسط (Bicubic) للمناطق منخفضة الملمس، مما يتجنب الحوسبة غير الضرورية.
الدمج المدرك للحوسبة (Computation-Aware Fusion): أثناء الاستنتاج، تختار ENAF مسار التنفيذ الأمثل لكل رقعة باستخدام استراتيجية دمج محددة بالمعادلة (9): j∗=argjmax(uj+γbj−ηcj) حيث uj هو الـ PSNR المقدر، و bj هو مساهمة المتجه الفارغ، و cj هي تكلفة الحوسبة المعيارية، و γ و η هما معاملات فائقة (Hyperparameters) تتحكمان في تأثير "الفراغ" وفي المقايضة بين الأداء والحوسبة، على التوالي.
استراتيجية التدريب تستخدم ENAF عملية تدريب مكونة من ثلاث مراحل:
التدريب المسبق (Pre-training): يتم تدريب الهيكل الأساسي بشكل تقليدي باستخدام فقدان L1 لترسيخ المعرفة العامة.
الضبط الدقيق متعدد المخارج (Multi-Exit Fine-tuning): تُضاف المخارج المبكرة وتُدرب باستخدام دالة فقدان متعددة المخارج. ومن المهم ملاحظة أن معاملات الهيكل الأساسي يتم تحديثها بمعدل تعلم ضئيل جدًا (10−8) لمنع تشويه الأوزان المدربة مسبقًا أثناء تحسين المخارج الجديدة.
تدريب المُقدر (Estimator Training): يتم تدريب مُقدر الـ PSNR للتنبؤ بـ PSNR لمخرجات المخارج المختلفة بينما تكون معاملات الهيكل الأساسي ثابتة (Frozen).
النتائج الرئيسية أُجريت تجارب مكثفة على مجموعات بيانات قياسية (Flickr2K, Test2K, Test4K, Test8K) باستخدام ثلاثة هياكل أساسية: FSRCNN (صغير)، CARN (متوسط)، و SRResNet (كبير).
الكفاءة: تتفوق ENAF باستمرار على الطرق الديناميكية الحديثة مثل ClassSR و ARM. فهي تحقق جودة ترميم (PSNR) مماثلة أو متفوقة مع تقليل التكاليف الحسابية بشكل كبير.
تقليل العمليات الحسابية (FLOPs): اعتمادًا على الهيكل ومجموعة البيانات، تقلل ENAF العمليات الحسابية بنسبة 24%-55% (FSRCNN)، و 43%-52% (CARN)، و 31%-52% (SRResNet) مقارنة بالشبكات الثابتة الأصلية. وتحديدًا، تتراوح التوفيرات عبر مجموعات البيانات F2K، Test2K، Test4K، و Test8K بين 24%-55%، و 43%-52%، و 43%-48%، و 31%-52%، على التوالي.
توسع الدقة (Resolution Scaling): تظهر مكاسب الكفاءة بشكل أوضح في الصور الأكبر (Test8K)، حيث تسمح وفرة الرقع منخفضة الملمس لمتجه الفراغ والدمج التكيفي باختيار مسارات تنفيذ أبسط بشكل متكرر.
دراسات الاستئصال (Ablation Studies): أدى إزالة مولد المتجه الفارغ إلى زيادة في التكلفة الحسابية بنسبة 5%-15% لتحقيق نفس مستوى PSNR، مما يؤكد أهميته. كما أظهر مُقدر الـ PSNR خطأً مطلقًا متوسطًا (MAE) أقل في التنبؤ بالأداء مقارنة بنهج جدول البحث (LUT) المستخدم في ARM.
الأهمية والادعاءات يزعم البحث أن ENAF توفر حلاً قويًا لتسريع الـ SISR على الصور الكبيرة من خلال الانتقال من مقاييس الصعوبة اليدوية الجامدة نحو نهج يعتمد على الانحدار والبيانات. ومن خلال دمج مُقدر صغير للـ PSNR ومولد متجه فارغ، توازن الطريقة بفعالية بين جودة الصورة والتعقيد الحسابي. ويؤكد المؤلفون أن هذا النهج يسمح لنماذج SISR بالتوسع بكفاءة عبر مختلف القيود العتادية دون المساس بشكل كبير بأداء الترميم، مما يجعلها مناسبة للنشر العملي في البيئات محدودة الموارد. وقد أتيحت الشفرة المصدرية لتسهيل المزيد من الأبحاث.