A Transfer Learning Evaluation of Deep Neural Networks for Image Classification

ملخص تقني: تقييم التعلم بنقل الخبرة للشبكات العصبية العميقة لتصنيف الصور

بيان المشكلة
يُعد التعلم بنقل الخبرة (Transfer Learning) تقنية واسعة الانتشار في التعلم العميق، حيث تستفيد من الأوزان المدربة مسبقاً من نطاق مصدر (غالباً ما يكون ImageNet) لتسريع عملية التعلم وتحسين الأداء في نطاق مستهدف. وبينما يتم اعتماد هذه التقنية على نطاق واسع في مجالات متنوعة مثل التصوير الطبي، والاستشعار عن بُعد، وتطبيقات الهاتف المحمول، فإن اختيار النموذج المدرب مسبقاً الأمثل لمهمة مستهدفة معينة يظل معضلة معقدة. فغالباً ما تركز الأدبيات الحالية بشكل أساسي على الدقة، متجاهلةً قيوداً حاسمة مثل وقت التدريب، ومتطلبات الذاكرة، وحجم النموذج. ويواجه الباحثون تكراراً حالة من الارتباك عند الموازنة بين هذه المقايضات، لا سيية عند التعامل مع مجموعات بيانات محدودة أو بيئات مقيدة بالأجهزة (مثل الأنظمة المدمجة). تعالج هذه الورقة الحاجة إلى تقييم شامل يأخذ في الاعتبار مقاييس متعددة تتجاوز مجرد الدقة البسيطة لتوجيه عملية اختيار النماذج.

المنهجية
أجرى المؤلفون دراسة تجريبية واسعة النطاق لتقييم أحد عشر هيكلاً شائعاً للشبكات العصبية التلافيفية (CNN) المدربة مسبقاً مقابل خمس مجموعات بيانات مستهدفة متميزة. استخدمت الدراسة المكونات التالية:

• النماذج المختبرة: أحد عشر هيكلاً تغطي عصوراً وخصائص تصميمية مختلفة: AlexNet، وVGG-16، وGoogLeNet (Inception-V1)، وResNet-18، وSqueezeNet، وResNext، وDenseNet، وMobileNet، وWideResNet، وShuffleNet-V2، وMnasNet. وتتفاوت هذه النماذج في العمق، والعرض، واستخدام اتصالات القفز (skip connections)، والميزات المتخصصة مثل التلافيفات المنفصلة عميقاً (depthwise separable convolutions).
• مجموعات البيانات: استُخدمت خمس مجموعات بيانات لتمثيل مستويات متفاوتة من التعقيد والخصوصية النطاقية:
  1. CIFAR-10: مجموعة بيانات قياسية تحتوي على 60,000 صورة.
  2. MNIST: مجموعة بيانات قياسية تحتوي على 70,000 صورة.
  3. Hymenoptera: مجموعة بيانات صغيرة (245 للتدريب، 153 للاختبار) لتصنيف النمل والنحل.
  4. Smartphone Dataset: مجموعة بيانات مخصصة مكونة من 654 صورة تمثل 12 فئة من طرازات الهواتف الذكية (مثل Apple، وSamsung، وHuawei) لتصنيف النفايات الإلكترونية.
  5. Augmented Smartphone Dataset: مجموعة بيانات الهواتف الذكية الموسعة عبر التدوير وحقن الضجيج لتصل إلى 8,502 صورة.
• الإعداد التجريبي: أُجريت التجارب على وحدة معالجة رسومات Nvidia GTX 1080 Ti باستخدام إطار العمل PyTorch. واستخدمت الدراسة البحث الشبكي (grid search) لمعدلات التعلم ($\eta \in \{10^{-2}, 10^{-3}, 10^{-4}\}$) مع مُحسّن ADAM، وحجم دفعة (batch size) قدره 10. كما طُبقت آلية التوقف المبكر (early stopping) بناءً على دقة التحقق.
• استراتيجيات الضبط الدقيق (Fine-Tuning): تم تقييم سيناريوهين متميزين للتعلم بنقل الخبرة:
  1. طبقة المصنف فقط (Classifier Layer Only): حيث يتم تجميد طبقات استخراج الميزات، ويتم إعادة تهيئة وتدريب طبقة التصنيف النهائية فقط.
  2. الضبط الدقيق الكامل (Full Fine-Tuning): حيث يتم إلغاء تجميد جميع طبقات الشبكة وتدريبها.
• حلقات التعلم (Learning Episodes): تم اختبار نظامين للتدريب: "الحلقة الواحدة" (تقديم العينات مرة واحدة) و"العشر حلقات" (تقديم العينات عشر مرات).
• مقاييس التقييم: تم قياس الأداء باستخدام:
  • الدقة (Accuracy): الأداء القياسي للتصنيف.
  • كثافة الدقة (Accuracy Density): وتُعرف بأنها الدقة مقسومة على عدد المعلمات ($\text{density} = \frac{\text{accuracy}}{\#\text{parameters}}$)، وتعمل كمقياس لكفاءة المعلمات.
  • حجم النموذج (Model Size): يُقاس بعدد المعلمات (ميجابايت).
  • وقت التدريب (Training Time): يُقاس بالثواني.

النتائج الرئيسية
أسفرت الدراسة عن نتائج محددة فيما يتعلق بأداء النماذج تحت قيود مختلفة:

• كثافة الدقة:
  • في حالة الضبط الكامل (Full Tuning)، أظهر SqueezeNet باستمرار أعلى كثافة دقة عبر مجموعات البيانات، مما يؤكد هدف تصميمه المتمثل في الحفاظ على دقة بمستوى AlexNet مع عدد أقل بكثير من المعلمات.
  • في حالة ضبط المصنف فقط (Classifier-Only Tuning)، برز ResNet-18 كأكثر مرشح كفاءة فيما يتعلق بكثافة الدقة.
• الدقة:
  • بالنسب_ة للتطبيقات التي تتطلب أعلى دقة مطلقة، تم تحديد DenseNet (في ضبط المصنف فقط) ونماذج مثل GoogLeNet، وResNet-18، وResNext، وShuffleNet-V2 كمرشحات قوية.
• وقت التدريب:
  • تطلب AlexNet باستمرار أقصر وقت تدريب.
  • أظهر SqueezeNet أيضاً أوقات تدريب قصيرة جداً، لا سيما في ضبط المصنف فقط.
  • تم تحديد VGG-16 كأكثر النماذج تعقيداً مع أطول أوقات تدريب وأكبر أحجام نماذج، مما يجعله أقل ملاءمة للبيئات المقيدة بالموارد.
• حجم النموذج:
  • قدمت نماذج SqueezeNet، وShuffleNet، وMobileNet، وMnasNet، وGoogLeNet أصغر أحجام النماذج، مما يجعلها مثالية للتطبيقات المدمجة والمحمولة.
  • أظهر MnasNet تعقيداً منخفضاً وأوقاف تدريب قصيرة، لكنه سجل أسوأ أداء من حيث مقاييس الخطأ في بعض التكوينات.

الأهمية والادعاءات
تدعي الورقة أنها توفر "إرشادات قابلة للتطبيق" و"رؤية متعمقة" للباحثين والممارسين عند اختيار النماذج المدربة مسبقاً. وبدلاً من تقديم نموذج واحد "أفضل"، يجادل المؤلفون بأن الخيار الأمثل يعتمد بشدة على قيود التطبيق المحددة:

• الدقة العالية: GoogLeNet، وDenseNet، وShuffleNet-V2، وResNet-18، وResNext.
• كفاءة المعلمات (كثافة الدقة): SqueezeNet (الضبط الكامل) وResNet-18 (ضبط المصنف).
• السرعة (وقت التدريب): AlexNet وSqueezeNet.
• النشر في الأنظمة المدمجة/المحمولة (الحجم الصغير): SqueezeNet، وShuffleNet، وMobileNet، وMnasNet، وGoogLeNet.

يصرح المؤلفون بتواضع أن عملهم لا يقدم "حكماً نهائياً"، بل يدعم اتخاذ القرار بناءً على المقايضات بين وقت التدريب، وحجم النموذج، والدقة. ويؤكدون أنه بينما يعد التعلم بنقل الخبرة قوياً، فإن إعادة استخدام النماذج المدربة مسبقاً تتطلب مراعاة دقيقة لمتطلبات النطاق المستهدف (مثل حجم مجموعة البيانات، والقيود العتادية) لتجنب التنفيذات غير المثلى. كما تسلط الدراسة الضوء على أن ضبط طبقات المصنف فقط غالباً ما يحقق أداءً عالياً مع عدد أقل من المعلمات وأوقات تدريب أقصر، خاصة عندما تكون الملصقات (labels) نادرة، في حين أن الضبط الكامل يكون أكثر ملاءمة عندما تكون الملصقات وفيرة.

العمل المستقبلي
يشير المؤلفون إلى خطط لاختبار مقاييس تقييم إضافية لتسهيل اتخاذ القرار بشكل أكبر، وللتحقيق المنهجي في استخدام البيانات الوصفية (metadata) لتقدير المعلمات الفائقة (hyperparameters) المفيدة للتعلم بنقل الخبرة.