LiteKD-Net: Lightweight Knowledge-Distilled Network for Mobile Image Denoising
تقترح الورقة البحثية شبكة LiteKD-Net، وهي شبكة خفيفة الوزن تعتمد على تقنية تقطير المعرفة، تستخدم محاكاة ضوضاء موجهة بالفيزياء ونموذج طالب يعتمد على الالتفافات القابلة للفصل بعمق لتحقيق توازن أمثل بين استعادة الصور عالية الجودة والكفاءة الحسابية لإزالة الضوضاء من الصور على الأجهزة المحمولة.
تخيل أنك تحاول التقاط صورة مثالية لغروب الشمس باستخدام هاتفك الذكي. تريد أن تبدو السماء واضحة والألوان زاهية، لكن كاميرا هاتفك صغيرة جداً مقارداً بالعدسات الضخمة الموجودة في الكاميرات الاحترافية. ولأن مستشعر الهاتف صغير للغاية، فإنه يكافح لالتقاط ما يكفي من الضوء، مما يؤدي إلى صور تبدو "محببة" أو مليئة بـ "الضجيج"، خاصة في الظلام. ولإصلاح ذلك، يستخدم العلماء برامج حاسوبية تسمى "الشبكات العصبية" تعمل مثل محرري الصور الرقميين، حيث تتعلم كيفية مسح الحبيبات وكشف الصورة النظيفة الكامنة تحتها. ومع ذلك، فإن هؤلاء المحررين الأقوياء يشبهون غالباً الروبوتات الضخمة والثقيلة: فهم يحتاجون إلى كميات هائلة من الطاقة والذاكرة للعمل، مما يستنزف بطارية هاتفك ويجعل معالجة الصورة تستغرق وقتاً طويلاً. السؤال الكبير في هذا الركن من علوم الحاسوب هو: كيف يمكننا بناء محرر صور ذكي بما يكفي لتنظيف الضجيج، ولكنه صغير وسريع بما يكفي ليعيش بسعادة داخل جيبك؟
هذا هو اللغز ذاته الذي يحاول الباحثون وراء LiteKD-Net حله. لقد أدركوا أنه بينما نمتلك نماذج "معلمة" قوية يمكنها تنظيف الصور بشكل جميل، إلا أنها ثقيلة جداً بالنسبة للهواتف المحمولة. كما لاحظوا أيضاً أن تعليم هذه النماذج أمر صعب لأن من الصعب الحصول على أزواج من الصور "المزعجة" والصور "النظيفة تماماً" لنفس المشهد بالضبط للتدريب عليها. لذا، قاموا ببناء نظام جديد يعمل مثل رئيس طهاة يدرب مساعد طباخ. أولاً، أنشأوا "محاكي ضجيج" خاصاً يضيف حبيبات واقعية للصور النظيفة، بما في ذلك تأثير معقد يسمى "تداخل البكسل" (حيث يتسرب إشارة بكسل واحد بالخطأ إلى جاره، مثل همسة تنتشر عبر الحشد). بعد ذلك، أخذوا شبكة "معلمة" ثقيلة وعالية الأداء وعلموها كيفية تنظيف الصور لشبكة "طالبة" صغيرة وخفيفة الوزن. السر في الخلطة؟ لم يتعلم "الطالب" فقط من خلال النظر إلى الصورة النهائية؛ بل تعلم من خلال مراقبة العملية الفكرية الداخلية لـ "المعلم"، ونسخ "سمات" المعلم دون الحاجة إلى حمل عقل المعلم الثقيل.
النتائج التي أسفرت عنها هذه التجربة واعدة للغاية لأي شخص يحب التصوير بالهاتف المحمول. وجد الفريق أن نموذج LiteKD-Net الجديد فعال بشكل لا يصدق. فعند اختباره على صورة قياسية بحجم 256×256، تطلب النموذج 1.67 مليون معلمة فقط (مقارنة بـ 16.70 مليون للمعلم و 11.46 مليون لنموذج SwinIR الشهير الآخر). ومن حيث قوة الحوسبة الخام المطلوبة، استخدم LiteKD-Net 108.28 جيجا ماك (GigaMACs) فقط، وهو انخفاض هائل من 1.17 تيرا ماك (TeraMACs) للمعلم و 752.13 جيجا ماك لـ SwinIR. ترجمت هذه الكفاءة مباشرة إلى السرعة: استطاع النموذج معالجة الصور بمعدل 11.98 إطاراً في الثانية (FPS)، مما يجعله أسرع بمرتين تقريباً من المعلم الثقيل (الذي عمل بمعدل 6.72 إطاراً في الثانية) وأسرع بنحو خمس مرات من SwinIR (2.44 إطاراً في الثانية).
وعلى الرغم من كونه أصغر وأسرع بكثير، إلا أن النموذج لم يضحِّ بالكثير من الجودة. ففي الاختبارات التي تقيس مدى قرب الصورة المنظفة من الأصلية، حقق LiteKD-Net درجة PSNR بلغت 37.9102 و SSIM بلغت 0.8975. وبينما سجل نموذج المعلم الثق heavy Teacher درجة أعلى قليلاً (بـ PSNR قدره 38.1400)، إلا أن أداء الطالب كان قريباً بشكل ملحوظ، مما يشير إلى أن خدعة "تقطير المعرفة" قد نجحت. كما لاحظ الباحثون أن النموذج قدم أفضل أداء في مقياس يسمى MUSIQ، حيث سجل 44.3044، مما يشير إلى مستوى عالٍ من الجودة البصرية المدركة. ومع ذلك، يحرص المؤلف على الإشارة إلى أن طريقة التدريب الخاصة بهم لها حدود: نظرًا لأنهم قاموا بمحاكاة الضجيج على صور تمت معالجتها بالفعل بدلاً من بيانات الكاميرا الخام، فإن نظامهم لا يحاكي بدقة كل خطوة في رحلة الكاميرا الحقيقية، مثل تصحيح الألوان أو رسم النغمات (tone mapping). ومع ذلك، تشير الدراسة إلى أنه من خلال الجمع بين محاكي ضجيج قائم على الفيزياء واستراتيجية تعليم ذكية، يمكننا جعل الهواتف المحمولة تلتقط صوراً أنظف وأكثر حدة دون الحاجة إلى سوبر كمبيوتر في جيبك.
ملخص تقني: شبكة LiteKD-Net لإزالة الضجيج في صور الهواتف المحمولة
بيان المشكلة تواجه عملية إزالة الضجيج في صور الهواتف المحمولة تحديًا مزدوجًا: تحقيق جودة استعادة عالية مع الحفاظ على تكلفة حوسبة منخفضة للنشر على الأجهزة. تستخدم الأجهزة المحمولة مستشعرات وبكسلات أصغر من الكاميرات الاحترافية، مما يؤدي بطبيعته إلى نسب إشارة إلى ضجيج (SNR) أقل، وأنماط ضجيج معقدة تعتمد على الإشارة (مثل ضجيج الفوتونات، وضجيج القراءة، وضجيج الصفوف) والتي تفشل نماذج الضجيج الغاوسي المضافة البسيطة في التقاطها. علاوة على على ذلك، فإن تدريب نماذج التعلم العميق لهذه المهمة يعوقه ندرة أزواج الصور المتطابقة تمامًا بين الجودة المنخفضة (LQ) والحقيقة الأرضية (GT)، حيث يصعب التقاط مشاهد متطابقة بخصائص ضجيج مختلفة بسبب الحركة وتغير المعالجة داخل الكاميرا. تعاني الشبكات الحالية ذات السعة العالية (مثل تلك التي تحتوي على عشرات الملايين من المعلمات) من زمن انتقال مرتفع، واستهلاك مفرط للطاقة، وبصمات ذاكرة كبيرة على أجهزة المحمول، بينما تسبب المعالجة القائمة على السحابة تأخيرًا ومخاوف تتعلق بالخصوصية.
المنهجية يقترح المؤلف LiteKD-Net، وهو إطار عمل موحد يدمج ثلاثة مكونات أساسية لمعالجة ندرة البيانات، وكفاءة النموذج، واستعادة الأداء:
خط أنابيب محاكاة الضجيج (NSP): للتغلب على نقص الأزواج الواقعية المتطابقة، قام المؤلف بتكييف نموذج ضجيج قائم على الفيزياء (كان مخصصًا لكاميرات DSLR) لتوليد بيانات تدريب اصطناعية من صور sRGB نظيفة. يقوم خط الأنابيب بتحويل صور sRGB إلى صور خطية، ويحاكي ضجيج فوتونات الضوء، وضجيج قراءة "تكي-لامدا" (Tukey–Lambda)، وضجيج الصفوف، ويقدم بشكل حاسم تداخل البكسلات (pixel crosstalk). يتم نمذجة هذا التداخل عبر نواة تلافيف (convolution kernel) محددة تخلق ارتباطات مكانية محلية بين البكسلات المتجاورة، مما يحاكي التسرب الكهربائي/البصري الموجود في مستشعرات الهواتف المحمولة المدمجة. أخيرًا، يتم إضافة ضجيج التكميم (quantization noise)، ثم يتم قص الصورة وتحويلها مرة أخرى إلى sRGB.
بنية Lite-RRDB: قام المؤلف بتكييف بنية Real-ESRGAN لمهام إزالة الضجيذ عند نفس الدقة عن طريق إزالة وحدات رفع العينات (upsampling). ولإنشاء شبكة "طالب" (Student) خفيفة الوزن، استبدل وحدات Residual Dense Blocks (RRDBs) القياسية بوحدات Lite-RRDBs. في هذا التصميم، تم استبدال التلافيف القياسية بـ تلافيف منفصلة بعمق (Depthwise متبوعة بـ Pointwise)، وتم إلغاء عمليات دمج الميزات الكثيفة لصالح المعالجة المتسلسلة بعرض قنوات ثابت (64). يقلل هذا بشكل كبير من عدد المعلمات والتعقيد الحسابي مع الحفاظ على هيكل التدريب المتبقي داخل المتبقي (residual-in-residual).
تقنية نقل المعرفة للضجيج (Noise-KD): لتعويض السعة المنخفضة لشبكة "الطالب" خفيفة الوزن، تم استخدام استراتيجية نقل المعرفة على مستوى الميزات. يتم أولاً تدريب شبكة "معلم" (Teacher) عالية السعة (وهي نسخة معدلة من Real-ESRGAN) ثم تجميدها. أثناء تدريب "الطالب"، يتم توجيه الطالب لمطابقة خرائط الميزات المتوسطة لـ "المعلم" باستخدام فقدان متوسط المربعات (LKD). يتم تحسين "الطالب" بشكل مشترك باستخدام فقدان إعادة البناء على مستوى البكسل (L1)، وفقدان الإدراك (Lper)، وفقدان التقطير (distillation loss). ومن المهم ملاحظة أنه يتم التخلص من "المعلم" بعد التدريب، مما يعني عدم وجود تكلفة إضافية عند الاستنتاج.
المساهمات الرئيسية
خط أنابيب محاكاة الضجيج (NSP): خط أنابيب مبتكر يولد بيانات متطابقة تمامًا (GT و LQ) من خلال نمذجة تداخل البكسلات صراحةً، مما يعالج الفجوة في محاكاة ضجيج الهواتف المحمولة.
وحدة Lite-RRDB: وحدة معمارية خفيفة الوزن تستبدل التلافيف القياسية بتلافيف منفصلة بعمق وتزيل عمليات الدمج الكثيفة، مما يقلل حجم النموذج وعمليات الفاصلة العائمة (FLOPs) بشكل جذري.
استراتيجية Noise-KD: طريقة نقل معرفة على مستوى الميزات تنقل قدرات الاستعادة من "معلم" ثقيل ومجمد إلى "طالب" خفيف الوزن دون زيادة في معلمات الاستنتاج أو الحوسبة.
التقييم الشامل: تم تقييم النموذج على مجموعات بيانات واقعية، مما أظهر توازنًا قويًا بين جودة الاستعادة والكفاءة الحسابية.
النتائج التجريبية تظهر التجار تجرى على مجموعات بيانات واقعية (Mobile AI Denoising Dataset و MIDD) أن LiteKD-Net يحقق تقليلًا كبيرًا في المقاييس الحسابية مع الحفاظ على جودة صورة تنافسية:
الكفاءة: مقارنة بالنموذج المرجعي Real-ESRGAN، يقلل LiteKD-Net حجم النموذج بنحو 10 أضعاف (من 16.70 مليون إلى 1.67 مليون معلمة)، مع تحقيق تقليل بمقدار أربعة أضعاف في عمليات الضرب والتراكم (MACs) والعمليات الحسابية (FLOPs).
السرعة: تم تقليل وقت الاستنتاج بنحو ضعفين (من ~148 مللي ثانية إلى ~83 مللي ثانية لمدخلات 256×256)، مما أدى إلى معدل إطارات في الثانية (FPS) أعلى (11.98 FPS مقابل 6.72 FPS).
الجودة: في حين أن "الطالب" خفيف الوزن وحده يظهر انخفاضًا في الجودة مقارنة بـ "المعلم" الثقيل، فإن إضافة Noise-KD تستعيد الأداء. يحقق LiteKD-Net درجات PSNR و SSIM قريبة جدًا من خط الأساس Real-ESRGAN الثقيل ويتفوق على SwinIR في مقاييس الكفاءة. ومن حيث المقاييس الإدراكية (LPIPS، DISTS، MUSIX)، يؤدي النموذج بشكل تنافسي، محققًا أفضل درجة MUSIQ بين النماذج المقارنة.
الأهمية والادعاءات يزعم البحث أن LiteKD-Net يوفر توازنًا رائعًا بين جودة الاستعادة والكفاءة الحسابية لإزالة الضجيج في صور الهواتف المحمولة. من خلال دمج خط أنابيب محاكاة ضجيج قائم على الفيزياء مع بنية خفيفة الوزن ونقل المعرفة، يوضح المؤلف أنه من الممكن نشر نماذج إزالة ضجيج عالية الجودة على أجهزة المحمول دون التكاليف الباهظة للشبكات واسعة النطاق أو زمن انتقال المعالجة السحابية. تشير النتائج إلى أن الطريقة المقترحة تستعيد بفعالية جودة الاستعادة للنماذج الثقيلة مع الالتزام بالقيود الصارمة لموارد أجهزة المحمول. يشير المؤلف بتواضع إلى أن المحاكاة تعمل على صور sRGB الخطية بدلاً من بيانات RAW الحقيقية، مما يعني أن خط الأنابيب لا ينمذج سلسلة تصوير الكاميرا الكاملة (مثل demosaicing أو tone mapping)، لكنه يظل فعالًا لتوليد بيانات تدريب متطابقة لإزالة الضجيج القائم على sRGB.