Oracle Supervision Transfers for Hyperparameter Prediction in Model-Based Image Denoising

ملخص تقني: نقل الإشراف الأوراكلي (Oracle Supervision) للتنبؤ بالمعلمات الفائقة في إزالة ضجيج الصور القائم على النماذج

بيان المشكلة
تتطلب نماذج إزالة ضجيج الصور القائمة على النماذج، والتي تتراوح من الحلول التباينية الكلاسيكية (مثل TV وTGV) إلى النماذج الحديثة القائمة على الانتشار (مثل DiffPIR)، اختياراً دقيقاً للمعلمات الفائقة (hyperparameters) لتعظيم جودة إعادة البناء (مثل PSNR) لإعدادات صور وضجيج محددة. وبينما يمكن للمتنبئات المتعلمة تحقيق أداء يقارب أداء "الأوراكل" (القيم المثلى) لتكوين ثابت، إلا أن هذا النهج يعاني من ضعف القابلية للتوسع. إن توليد تسميات "الأوراكل" اللازمة (المعلمات الفائقة التي تعظم PSNR مقابل صورة نقية من الحقيقة الأرضية) يتطلب بحثاً هرمياً للشبكة (hierarchical grid search) مكلفاً حوسبياً لكل صورة تدريب. وتتوسع هذه التكلفة مع زيادة عدد المزالج (denoisers)، وأنواع الضجيج، ومزيجها. وبناءً على ذلك، فإن إنشاء متنبئ مخصص لكل تكوين جديد (مزلاج جديد، أو مزيج ضجيج جديد، أو دقة عرض جديدة) هو أمر باهظ التكلفة، حيث يتطلب كل منها مجموعة تدريب خاصة بتسميات الأوراكل.

المنهجية: HyperDn
يقترح المؤلفون HyperDn، وهو متنبئ موحد مشروط بالتكوين مصمم لنقل الإشراف الأوراكلي عبر تكوينات متنوعة لإزالة الضجيج. بدلاً من تدريب متنبئات منفصلة لكل تكوين، يقوم HyperDn بتجميع تسميات الأوراكل من عدة تكوينات مصدرية لتدريب نموذج موحد.

• البنية: يتكون النموذج من مشفر صور مشترك ورأس مخرجات مشروط بالتكوين.
  • مشفر الصور: مبني على نموذج ConvNeXtV2 مدرب مسبقاً على ImageNet ومقتطع (الجذع والمراحل 0-1)، يقوم باستخراج الميزات من الصورة المتدهورة. كما يدمج أبعاد الصورة ($H, W$) عبر تضمين لوغاريتمي.
  • مشفر التكوين: يشفر تكوين إزالة الضجيج، بما في ذلك معرفات حد البيانات ($d$) وحد المسبق ($r$)، بالإضافة إلى بيانات وصفية اختيارية لسمات الضجيج (مثل مزيجات أنواع الضجيج) ومعلمات الملاحظة (مثل عدد الفوتونات).
  • قراءة الفتحات المعايرة للمزالج (Denoiser-Calibrated Slot Readout): هذا هو الابتكار الجوهري للتعامل مع عدم التجانس. المخرج عبيد عبارة عن متجه محشو (padded vector) حيث يتوافق كل إحداثي (فتحة/slot) مع دور محدد للمعلمة الفائقة (على سبيل المثال، $\lambda$ لوزن المسبق، أو $\delta$ للعتبة، أو $\gamma$ لنسبة TGV). تستخدم القراءة تضمينات فتحات مشتركة للأدوار المتكررة عبر مختلف المزالج، ولكنها تطبق تحويلاً أفينياً متعلمًا (مقياس وإزاحة) خاصاً بتكوين المزلاج المستهدف. وهذا يسمح للنموذج بتعلم دلالات (semantics) دور المعلمة الفائقة (مثل موازنة دقة البيانات والمسبق) من مصادر رخيصة بينما يتكيف مع النطاقات العددية المحددة للأهداف المكلفة.
• استراتيجية التدريب: يتم تدريب HyperDn عبر الانحدار على تسميات الأوراكل المجمعة من التكوينات المصدرية. تعاقب دالة الخسرة فقط الفتحات "النشطة" ذات الصلة بالتكوين المحدد للعينة، متجاهلة فتحات الحشو. بالنسبة لتجارب نقل DiffPIR، يتم تدريب HyperDn أولاً عبر ما قبل التدريب على مجمع من 13 تكويناً مصدرياً (باستخدام حلول TV/TGV)، ثم يتم ضبطه بدقة (fine-tuning) باستخدام عدد قليل من تسميات الهدف.

المساهمات الرئيسية

1. نقل الإشراف الأوراكلي القابل للنقل: يفترض البحث ويثبت أن تسميات الأوراكل للمعلمات الفائقة ليست خاصة بالتكوين، بل تحتوي على معرفة قابلة للنقل حول خصائص الصورة (الضجيج، الملمس، الحواف) وأدوار المعلمات الفائقة.
2. التدريب متعدد التكوينات المجمع: يستخدم HyperDn متنبئاً واحداً مدرباً على بيانات مجمعة من 13 تكويناً مصدرياً، مستخدماً مشفراً مشتركاً ورأس قراءة متخصص للتعامل مع اختلاف عدد ودلالات المعلمات الفائقة.
3. النقل غير المتماثل في التكلفة: ينجح HyperDn في نقل الإشراف من التكوينات ذات تسميات الأوراكل الرخيصة (حلول TV/TGV السريعة، الصور الصغيرة) إلى التكوينات المكلفة (أخذ عينات الانتشار البطيئة في DiffPIR، الصور عالية الدقة).

النتائج التجريبية
يقيم المؤلفون HyperDn عبر ثلاثة محاور للنقل:

1. النقل بلقطات قليلة (Few-Shot) إلى DiffPIR: النقل من مصادر TV/TGV إلى نموذج DiffPIR المكلف على صور بحجم 256×256.

   • باستخدام تسميتين فقط من أوراكل الهدف، حقق HyperDn قيمة 30.23 dB، وهو ما يقع ضمن 0.90 dB من الأوراكل (31.13 dB).
   • يتفوق هذا الأداء على نموذج CNN مخصص لكل تكوين تم تدريبه من الصفر باستخدام 64 تسمية (29.92 dB)، مما يعني استخدامه لـ 1/32 فقط من التسميات المطلوبة للنموذج المرجعي.
   • بدون التدريب المسبق من المصدر (باستخدام تهيئة ImageNet فقط)، ينخفض الأداء بشكل كبير، مما يبرز قيمة الإشراف المجمع.

2. النقل بدون أمثلة (Zero-Shot) إلى الضجيج المختلط: التنبؤ بالمعلمات الفائقة لمزيج الضجيج (مثل الضجيج النبضي + الضجيج الغاوسي) الذي لم يظهر أثناء التدريب، باستخدام بيانات ضجيج أحادي فقط.

   • باستخدام صفر من تسميات الهدف، حقق HyperDn أداءً يقارب الأوراكل (ضمن 0.21 dB و0.09 dB من الأوراكل على هدفين مختلفين للضجيج المختلط).
   • تفشل النماذج المرجعية التي تكتفي بمتوسط التنبؤات أو القيم المثلى لنماذج الضجيج الفردي بشكل كبير (فجوة 5–7 dB)، مما يثبت أن HyperDn يتعلم تمثيلاً غير بديهي لمزيج الضجيج.

3. النقل عبر الدقة (Cross-Resolution) بدون أمثلة: النقل من صور مصدرية صغيرة (96×96) إلى صور مستهدفة كبيرة (512×768)، حيث تكون تكلفة توليد تسميات الأوراكل أعلى بنحو 40 ضعفاً.

   • باستخدام صفر من تسميات الهدف، حافظ HyperDn على أداء قريب من الأوراكل (الفجوة < 0.27 dB) عبر مجموعات بيانات مختلفة (Kodak24, CBSD68, Urban100) وتكوينات متنوعة.

الأهمية والادعاءات
يدعي البحث أن الإشراف الأوراكلي المكلف للتنبؤ بالمعلمات الفائقة يمكن نقله بفعالية من المصدر إلى تكوينات مستهدفة جديدة. هذا يقلل من الحاجة إلى إعادة بناء تسميات الأوراكل لكل إعداد جديد لإزالة الضجيج. تكمن الأهمية في:

• تقليل تكاليف النشر: من خلال تمكين التكيف بلقطات قليلة أو بدون أمثلة، يقلل الأسلوب بشكل جذري من التكلفة الحسابية لتوليد تسميات الأوراكل لتكوينات جديدة (مثل نماذج الانتشار أو الصور عالية الدقة).
• التعميم: يثبت أن متنبئاً واحداً يمكنه التعميم عبر نماذج إزالة ضجيج مختلفة (تباينية مقابل انتشارية)، وأنواع ضجيج، ودقات صور مختلفة.
• العملية: تكلفة الاستدلال ضئيلة (تمرير أمامي واحد فقط) مقارنة بمحلل إزالة الضجيج في المرحلة اللاحقة، مما يجعله مكوناً قابلاً للتطبيق في خطوط معالجة ترميم الصور العملية.

يظل المؤلفون متواضعين، مشيرين إلى أن نقل المزلاج الجديد هو نقل بلقطات قليلة وليس "بدون أمثلة" تماماً (يتطلب عدداً صغيراً من تسميات الهدف للضبط الدقيق)، وأن نتائج "بدون أمثلة" للضجيج المختلط تقتصر على مزيجات من أنواع الضجيج التي ظهرت بشكل فردي أثناء التدريب. هم لا يدعون وجود ضمانات رسمية خارج الإعدادات المختبرة، لكنهم يقدمون أدلة تجريبية على قابلية نقل الإشراف الأوراكلي.