UCAN: Unified Convolutional Attention Network for Expansive Receptive Fields in Lightweight Super-Resolution

إليك ملخص تقني مفصل لورقة البحث: "UCAN: شبكة الانتباه التلافيفي الموحدة لتوسيع مجالات الاستقبال في التراكب الفائق خفيف الوزن."

1. بيان المشكلة

يهدف التراكب الفائق للصور المنفردة (SR) إلى إعادة بناء صور عالية الدقة (HR) من مدخلات منخفضة الدقة (LR). وبينما حققت البنى الهجينة الحديثة التي تجمع بين الشبكات التلافيفية (CNN) والمحولات (Transformer) نتائج قوية، إلا أنها تواجه عقبة حرجة: إن توسيع نوافذ الانتباه أو نوى التلافيف (convolution kernels) لزيادة مجال الاستقبال يؤدي بشكل كبير إلى زيادة التكلفة الحسابية واستهلاك الذاكرة.

• قصور الطرق الحالية:
  • الشبكات التلافيفية (CNNs): فعالة في الاعتمادات المحلية ولكنها تعاني في التقاط السياق العالمي دون عدد هائل من المعلمات (parameters).
  • المحولات (Transformers): ممتازة في السياق العالمي ولكنها تعاني من تعقيد حسابي تربيعي ($O(N^2)$) فيما يتعلق بالدقة المكانية، مما يجعلها غير فعالة للأجهزة ذات الموارد المحدودة.
  • الانتباه الخطي (Linear Attention): يوفر تعقيداً خطياً $O(N)$ ولكنه غالباً ما يعاني من انهيار الرتبة (rank collapse)، مما يؤدي إلى تنوع منخفض في الميزات وضعف في القدرة التمثيلية.
  • النماذج خفيفة الوزن الحالية: غالباً ما تضحي بالثراء التمثيلي من أجل الكفاءة أو تفشل في التقاط الاعتمادات طويلة المدى بشكل فعال.

التحدي الجوهري هو تحقيق مقايضة متفوقة بين الدقة، والكفاءة، والقابلية للتوسع عن طريق توسيع مجال الاستفعال الفعال دون تكبد أعباء حسابية ثقيلة.

2. المنهجية: بنية UCAN

يقترح المؤلفون UCAN (شبكة الانتباه التلافيفي الموحدة)، وهي بنية خفيفة الوزن توحد آليات التلافيف والانتباه. تتبع الشبكة تصميماً طبقياً:

1. استخراج الميزات الضحلة: تقوم عملية تلافيف $3 \times 3$ بنقل المدخلات منخفضة الدقة (LR) إلى ميزات ضحلة.
2. المشفر الأساسي (BERFG): تعالج مجموعة مجال الاستقبال الفعال الواسع (Broad Effective Receptive Field Group) الميزات من خلال "كتلة المشاركة" و"كتلة الاستقبال".
3. إعادة البناء: يتم تمرير الميزات المدمجة عبر وحدة إعادة البناء (تلافيف + إزاحة بكسلية/pixel shuffle) لتوليد المخرج عالي الدقة (HR).

المكونات التقنية الرئيسية

أ. انتباه القنفذ (Hedgehog Attention - HgA)
لمعالجة نقص الرتبة في الانتباه الخطي، قدم المؤلفون انتباه القنفذ.

• الآلية: يستخدم خريطة ميزات القنفذ (HFM) التي تدمج أزواج ميزات أسية متناظرة: $[\exp(W^T X + b), \exp(-W^T X - b)]$.
• الفائدة: على عكس وظائف ReLU أو ELU القياسية، تحافظ HFM على المعلومات من كلا اتجاهات ما قبل الإسقاط الموجبة والسالبة. هذا يمنع انهيار الرتبة، ويعزز تنوع الميزات، ويسمح للنموذج بالتقاط ميزات أكثر ثراءً وتعبيرية دون الحاجة إلى وحدات استعادة رتبة خارجية.

ب. آلية المشاركة شبه الكاملة (كتل المشاركة والاستقبال)
لتقليل التكرار الحسابي مع الحفاظ على الأداء، تستخدم UCAN استراتيجية المشاركة شبه الكاملة داخل مجموعة مجال الاستقبال الفعال الواسع (BERFG):

• كتلة المشاركة (Sharing Block - SB): تحسب خرائط الانتباه الكاملة ($A_{qk}$ و $A_{map}$) باستخدام الانتباه الهجين المشترك (SHA).
• كتلة الاستقبال (Receiving Block - RB): تعيد استخدام خرائط الانتباه المحسوبة مسبقاً من كتلة SB في وحدات الانتباه الهجين المستلم (RHA).
• النتيجة: يتجنب هذا إعادة حساب مصفوفات الانتباه المكلفة لكل طبقة، مما يقلل العبء الحسابي بشكل كبير مع تجديد تمثيل الميزات ديناميكياً.

ج. الانتباه عالي الأداء (HPA) وانتباه فلاش (Flash Attention)

• السياق المحلي: يستخدم (Convolutional MLP) مع نواة $7 \times 7$ لالتقاط التفاصيل المحلية دون عمليات إسقاط QKV صريحة.
• انتباه النافذة الكبيرة: يستخدم انتباه فلاش (Flash Attention) مع حجم نافذة $32 \times 32$. يتيح ذلك حساب الانتباه الدقيق مع استهلاك أقل بكثير للذاكرة وتنفيذ أسرع مقارنة بالانتباه الذاتي القياسي، مما يجعل نمذجة النوافذ الكبيرة أمراً ممكناً.

د. طبقة الدمج المزدوج (Dual Fusion Layer - DFL)
تقوم DFL بتجميع المعلومات المكانية والقنوية العالمية بكفاءة:

• الفرع المكاني: يجمع بين انتباه القنفذ مع تلافيف عميق (depthwise convolution) خفيف الوزن لنمذجة الاعتمادات المكانية المعقدة.
• الفرع القنوي: يستخدم انتباه القنوات القياسي (القائم على softmax) عبر البعد القنوي.
• التعقيد: يحقق كلا الفرعين تعقيداً خطياً ($O(N)$) بالنسبة للدقة المكانية، مما يضمن القابلية للتوسع.

هـ. تقطير النواة الكبيرة (Large Kernel Distillation - LKD)
للحفاظ على الهياكل عالية التردد والأنماط النسيجية الهرمية دون حسابات ثقيلة:

• الاستراتيجية: تقسيم القنوات إلى مجموعة فرعية دقيقة (تتم معالجتها بواسطة وحدة استخراج الميزات الثلاثية) ومجموعة فرعية خشنة (يتم تجاوزها).
• استخراج الميزات الثلاثي: يتكون من ثلاثة فروع متوازية: انتباه القنوات، وعنق زجاجة محلي ($1 \times 1 \to 3 \times 3 \to 1 \times 1$)، وفرع هرمي ذو نواة كبيرة باستخدام التلافيف المتسعة (dilated convolutions).
• الفائدة: يحصر الحسابات الثقيلة في مجموعة فرعية من القنوات مع توسيع مجال الاستقبال عبر التوسيع (dilation) وتقطير المعرفة.

3. المساهمات الرئيسية

1. انتباه القنفذ: آلية مبتكرة تعزز تنوع الميزات في الانتباه الخطي من خلال زيادة رتبة الميزات عبر خرائط ميزات أسية متناظرة، مما يلغي الحاجة إلى وحدات استعادة الرتبة المساعدة.
2. إطار عمل موحد وفعال (UCAN): نموذج ينجح في التقاط الاعتمادات المحلية والعالمية عبر مجالات استقبال متعددة من خلال دمج:
   • انتباه فلاش (Flash Attention) لمعالجة النوافذ الكبيرة بكفاءة.
   • انتباه القنفذ (Hedgehog Attention) للنمذجة العالمية القوية تحت موارد محدودة.
   • التلافيف متعدد النواة (Multi-kernel convolution) لاستخراج الميزات المحلية الأساسية.
3. بنية المشاركة والتقطير شبه الكاملة: تصميم مبتكر يوازن بين مشاركة المعلمات والتخصص المرتبط بالمهمة. فهو يقلل المعلمات والتكلفة الحسابية مع الحفاظ على جودة إعادة بناء قوية.

4. النتائج التجريبية

قيم المؤلفون UCAN على خمسة معايير قياسية: Set5، Set14، BSDS100، Urban100، و Manga109.

• الأداء مقابل الكفاءة:
  • Manga109 (4×): يحقق متغير UCAN-L قيمة 31.63 dB PSNR مع 48.4G MACs فقط، متفوقاً على النماذج خفيفة الوزن الحديثة مثل MambAIRV2 (بفارق 0.39 dB) مع تكلفة حسابية أقل بنسبة تصل إلى 36%.
  • BSDS100: تحقق UCAN قيمة 27.79 dB، متفوقة على الطرق ذات النماذج الأكبر بكثير.
  • Urban100 (2×): تتفوق UCAN على OmniSR بمقدار 0.12 dB باستخدام 11% أقل من المعلمات و 24% أقل من العمليات الحسابية (FLOPs).
• المقارنات: تتفوق UCAN باستمرار على أحدث الطرق المعتمدة على CNN، وTransformer، ونماذج فضاء الحالة (SSM) في التراكب الفائق خفيف الوزن (مثل SwinIR-light، وOmniSR، وATD-light، وMambaIR-light).
• التحليل النوعي:
  • مجال الاستقبال الفعال (ERF): تظهر التصورات أن UCA تمتلك مناطق تأثير أكثر قتامة وامتداداً مقارنة بالمنافسين، مما يشير إلى التقاط أفضل للسياق العالمي.
  • خرائط العزو المحلية (LAM): تظهر UCAN قدرة فائقة على تجميع المعلومات من سياقات أوسع، بما في ذلك الأنماط المتكررة، مقارنة بالنماذج ذات النوافذ الصغيرة الثابتة.

5. الأهمية

تمثل UCAN تقدماً كبيراً في التراكب الفائق للصور خفيف الوزن. فمن خلال توحيد كفاءة التلافيف مع نمذجة الانتباه العالمية، تحل مشكلة المقايضة الطويلة الأمد بين حجم مجال الاستقبال والتكلفة الحسابية.

• النشر العملي: يجعلها قلة عدد المعلمات وانخفاض الـ MACs مناسبة جداً للنشر على الأجهزة ذات الموارد المحدودة (مثل الهواتف المحمولة أو أجهزة الحافة).
• الابتكار الهيكلي: يوفر تقديم انتباه القنفذ وآلية المشاركة شبه الكاملة مخططاً جديداً لتصميم نماذج التعلم العميق الفعالة التي لا تضحي بالقوة التمثيلية من أجل السرعة.
• الريادة: تضع معياراً جديداً لترميم الصور عالي الدقة، مما يثبت أن مجالات الاستقبال الواسعة يمكن تحقيقها دون التكاليف الباهظة لهياكل الـ Transformer الكاملة.