A Principled Self-Referenced Early Stopping Approach for Deep Image Prior

ملخص تقني: نهج مبدئي للإيقاف المبكر ذاتي المرجعية لنموذج "الأولوية العميقة للصورة" (Deep Image Prior)

بيان المشكلة
برزت تقنية "الأولوية العميقة للصورة" (Deep Image Prior - DIP) كمنهجية قوية تعتمد على البيانات التدريبية فقط لحل مشكلات التصوير العكسي (IIPs)، مثل إزالة الضجيج، وتكبير الدقة (super-resolution)، وإعادة بناء الصور الطبية. من خلال تحسين شبكة عصبية تلافيفية (CNN) ذات تهيئة عشوائية لتناسب القياسات المشوبة بالضجيج، تلتقط تقنية DIP الإحصائيات منخفضة التردد للصور بفعالية. ومع ذلك، وبسبب فرط المعلمات (over-parameterization) في الشبكة، تكون تقنية DIP عرضة لفرط التخصيص (overfitting) لضجيج القياس أو عيوب الفراغ الصفري (null-space artifacts). وبناءً على ذلك، يعد تحديد نقطة التوقف المثلى (الإيقاف المبكر - Early Stopping) أمراً بالغ الأهمية.

تواجه طرق الإيقاف المبكر الحالية قيوداً كبيرة:

1. الطرق القائمة على التباين (مثل WMV-ES): تقوم هذه الطرق بتتبع التقلبات في التباين الجاري لمخرجات الشبكة. ورغم فعاليتها في بعض السياقات، إلا أنها غالباً ما تكتشف فرط التخصيص قبل الأوان في الصور عالية الدقة أو تلك التي تحتوي على هياكل دقيقة (مثل الصور الطبيعية ذات الأنسجة أو الصور الطبية)، مما يؤدي إلى عمليات إعادة بناء غير مستقرة بعيدة عن نقطة التوقف "المثالية" (oracle).
2. الطرق القائمة على المخاطر (مثل SURE): يوفر مقدر "شتاين" للمخاطر غير المنحاز (SURE) تقديراً مبدئياً للمخاطر، لكنه يتطلب معرفة دقيقة بمستوى الضجيج. وفي حالات DIP لكل حالة على حدة، يمكن أن تظهر هذه التقديرات تبايناً عالياً، مما يؤدي إلى قرارات غير موثوقة.
3. غياب بيانات التحقق: يتطلب التحقق القياسي صورة مرجعية نظيفة (ground-truth)، وهي غير متوفرة في مشكلات التصوير العكسي. وبينما قد يسمح الحصول على نسختين مستقلتين تماماً من الصورة المشوبة بالضجيج باكتشاف فرط التخصيض بشكل شبه مثالي، إلا أن هذا الأمر غير ممكن عملياً في معظم الحالات.

المنهجية
يقترح المؤلفون إطار عمل يختزل عملية الإيقاف المبكر لتقنية DIP إلى مشكلة تحقق باستخدام صور مرجعية ذاتية زائفة (pseudo self-referenced images). وتتمثل الرؤية النظرية الأساسية في أن المرجع الزائف لا يشترط أن يكون مستقلاً تماماً عن بيانات المطابقة؛ بل يكفي أن يكون المكون المشترك بين إشارات المطابقة والتحقق صغيراً، أو ألا يتم مطابقة المكون المشترك بشكل تفضيلي قبل بقية الضجيج.

تقدم الورقة ثلاث خوارزميات محددة بناءً على هذا المبدأ، مصممة لأنواع مختلفة من الصور ونماذج الضجيج:

1. الإيقاف المبكر بالمرجع المتشابه للقنوات (CSR-ES) للصور الملونة (RGB):

   • الآلية: تستغل حقيقة أن قنوات RGB تشترك في المعلومات الهيكلية ولكنها تحتوي على ضجيج متباعد جزئياً.
   • الإجراء: تحدد الطريقة زوج القنوات $(i, j)$ الذي يمتلك أقل مسافة (أعلى تشابه). يتم تدريب DIP على صورة RGB كاملة، ولكن تُستخدم الاتساق عبر القنوات (مطابقة القناة $i$ مقابل القناة المرجعية $j$) كمعيار للتوقف.
   • التعليل: يقلل هذا من الانحياز الناتج عن النظافة في القنوات المتقاطعة مع ضمان بقاء الضجيج الخاص بكل قناة غير مرتبط بالقناة التي يتم مطابقتها.

2. الإيقاف المبكر بالمرجع القناعي (MR-ES) للصور الرمادية (Grayscale):

   • الآلية: ينشئ مرجعاً زائفاً عن طريق استبعاد مجموعة فرعية صغيرة من البكسلات (مثلاً 2% من البكسلات) عبر قناع ذي احتفاظ عالٍ $M$.
   • الإجراء: يتم تدريب DIP باستخدام خسارة مقنعة $\|M \odot (f_\theta(z) - y)\|^2$، حيث يتم استبعاد البكسلات المستبعدة صراحةً من عملية التحسين. معيار التوقف هو الخطأ في البكسلات المستبعدة: $\|H \odot (\hat{x}_t - y)\|^2$، حيث $H = 1-M$.
   • التعليل: بما أن البكسلات المستبعدة لا تدخل في خسارة التدريب، فإن الضجيج في هذه المواقع يكون مستقلاً عن مسار المطابقة، مما يوفر إشارة تحقق صالحة.

3. الإيقاف المبكر بالمرجع للقنوات المعززة (ACR-ES) للضجيج المرن/الصعب:

   • الآلية: تعمل على تعزيز فضاء المخرجات لشبكة DIP للتعامل مع الحالات التي تكون فيها الأقنعة البسيطة أو تقسيم القنوات غير موثوقة (مثل ضجيج بواسون المرتبط بالإشارة).
   • الإجراء: يتم إنشاء نسختين زائفتين من الصورة المشوبة بالضجيج $y^{(1)} = y + \zeta_1$ و $y^{(2)} = y + \zeta_2$، حيث $\zeta_1, \zeta_2$ هما اضطرابات مساعدة مستقلة. يتم تدريب شبكة DIP ذات قناتين (2C) لتناسب $Y = \text{concat}(y, y^{(1)})$. تقوم القنوات الأساسية بإعادة بناء الصورة، بينما يتم مراقبة القنوات المساعدة مقابل النسخة الزائفة المستقلة $y^{(2)}$.
   • مقياس التوقف: بدلاً من استخدام MSE الخام، يستخدم ACR-ES درجة انحياز التردد (العزم الثاني لطيف البواقي). تصل هذه الدرجة إلى ذروتها عندما تنتقل الشبكة من استعادة التفاصيل الهيكلية إلى مطابقة الضجيج، مما يجعلها أكثر حساسية للانحياز الطيفي لـ DIP.

المساهمات النظرية
تقدم الورقة تبريراً نظرياً لهذه المنهجيات:

• التحقق بالمرجع المنفرد: تثبت أنه إذا توفر مرجع ضجيجي مستقل، فإن خسارة التحقق ستتركز حول متوسط مربع الخطأ (MSE) للصورة النظيفة مضافاً إليه ثابت، مما يسمح بتوقف قريب من الحالة المثالية (oracle).
• تحليل التحقق الزائف: توضح أنه حتى مع وجود مكون مشترك $s$ بين المطابقة والتحقق، فإذا كانت الطاقة المشتركة تمثل جزءاً صغيراً من التباين غير المشترك، فإن الخطأ الزائد في MSE بالنسبة للحالة المثالية يكون أكثر إحكاماً بشكل تربيعي من أسوأ حالة.
• التعميم: توسع الورقة نظرية التحقق لتشمل مشكلات التصوير العكسي الخطي العامة ($y = A(x) + \eta$) وتضع الشروط التي يمكن بموجبها نقل التحقق من مجال القياس إلى مخاطر مجال الصورة.

النتائج التجريبية
قيم المؤلفون طرقهم مقابل خطوط الأساس (WMV-ES و SURE-ES) عبر استعادة الصور الطبيعية (Set14, CBSD68, Urban100, إلخ) وإعادة بناء الصور الطبية (MRI, CT, PD, T2) تحت ضجيج غاوسي، وبواسون، وضجيج نبضي.

• الأداء: حققت الطرق المقترحة (CSR-ES, MR-ES, ACR-ES) باستمرار نقاط توقف أقرب بكثير إلى الحالة المثالية (التي تعطي أقصى قيمة PSNR) مقارنة بالطرق الموجودة.
  • بالنسبة للصور الطبيعية، قللت CSR-ES و ACR-ES الفجوة في PSNR عن الحالة المثالية بشكل كبير (على سبيل المثال، من ~1.0 dB إلى ~0.1–0.2 dB في كثير من الحالات).
  • بالنسبة للصور الطبية، تفوقت MR-ES و ACR-ES على WMV-ES و SURE-ES، خاصة في سيناريوهات ضجيج بواسون الصعبة حيث غالباً ما يتوقف WMV-ES قبل الأوان.
• المتانة: لم تتطلب هذه الطرق تقديرات دقيقة لمستوى الضجيج. وأظهرت ACR-ES متانة تجاه التغيرات في مقدار الضجيج المساعد وأنواع الضجيج غير المتطابقة.
• التعميم: تم تطبيق مبدأ الإيقاف بنجاح على مهام تكبير الدقة (super-resolution) وإكمال الصور (inpainting)، حيث فشلت طرق التباين في التوافق مع منطقة التوقف المثالية.

الأهمية والادعاءات
تدعي الورقة أن الإيقاف المبكر لتقنية DIP يمكن اختزاله بفعالية إلى مشكلة تحقق يمكن حلها دون الحاجة إلى صورة نظيفة أو تقديرات دقيقة للضجيج. ومن خلال إنشاء صور مرجعية ذاتية زائفة تعمل على تقليل ارتباط إشارة التحقق بعملية المطابقة بشكل كافٍ، يقدم المؤلفون بديلاً مبنياً على أسس متينة لمراقبة التباين التجريبية.

تكمن الأهمية في:

1. النهج المبدئي: الانتقال من مراقبة التباين التجريبية إلى إطار عمل قائم على التحقق مدعوم بمتباينات التركيز.
2. القابلية للتطبيق العملي: تقديم خوارزميات محددة ومتكيفة مع المهام (CSR, MR, ACR) تعمل عبر مختلف مشكلات التصوير العكسي (إزالة الضجيج، تكبير الدقة، إكمال الصور) دون الحاجة إلى بيانات تدريب خارجية أو ضبط مستوى الضجيج.
3. الموثوقية: إثبات أن هذه الطرق تختار باستمرار تكرارات أقرب إلى جودة إعادة البناء المثلى من تقنيات الإيقاف المبكر الحالية، مما يخفف من مشكلة فرط التخصيص المتأصلة في شبكات DIP ذات المعلمات الكثيرة.