SET-CNN: Stacked Ensemble of CNNs for Robust Image Embedding and Similarity Retrieval

ملخص تقني: SET-CNN – تجميع متراكم لشبكات CNN من أجل تضمين صور قوي واسترجاع التشابه

بيان المشكلة
تعتمد أنظمة استرجاع الصور بشكل متزايد على تقنيات التضمين (embedding) التي تحول البيانات المرئية إلى ناقلات عددية للمقارنة بين التشابه. وبينما حققت الشبكات العصبية الالتفافية (CNNs) تقدماً كبيراً في تصنيف الصور وكشف الأشياء، فإن بنيات الشبكة الواحدة التقليدية غالباً ما تعاني في استرجاع مستوى المثيل (instance-level retrieval). فغالباً ما تفتقر هذه النماذج إلى القدرة على التقاط المعلومات المرئية المعقدة والدقيقة اللازمة لمطابقة التشابه الدقيق. علاوة على ذلك، تعتمد الحلول الحالية غالباً على تحسينات خاصة بمجالات معينة أو تصميمات أحادية النموذج، مما يحد من قدرتها على التعميم عبر مجموعات بيانات متنوعة. أما الطرق القائمة على التجزئة (Hashing-based methods) فهي توفر الكفاءة ولكنها غالباً ما تضحي بالقدرة التمييزية، بينما قد تحقق البنيات المعقدة القائمة على الانتباه دقة تصنيف عالية دون أن تترجم بالضرورة إلى أداء استرجاع متفوق.

المنهجية
لمعالجة هذه القيود، يقترح المؤلفون SET-CNN (التجميع المتراكم لشبكات CNN)، وهو إطار عمل مصمم لتوليد تضمينات صور قوية من خلال دمج الميزات على مستوى الميزة. تتكون المنهجية من المكونات الأساسية التالية:

• البنيات الأساسية: يدمج إطار العمل ثلاث نماذج متنوعة ومسبقة التدريب من شبكات CNN وهي: DenseNet121 و ResNet50 و VGG16. تم ضبط هذه النماذج بدقة (fine-tuning) باستخدام مجموعة بيانات CIFAR-10 (60,000 صورة RGB عبر 10 فئات).
• استخراج الميزات والدمج: يتم استخراج ناقلات الميزات عالية المستوى من الطبقات قبل الأخيرة لكل نموذج أساسي. هذه التضمينات (بأبعاد 64، 64، و94 على التوالي) يتم دمجها أفقياً باستخدام استراتيجية دمج على مستوى الميزة (hstack) لتشكيل ناقل ميزة مركب موحد.
• النموذج الميتا (Meta-Model) وتحسين الخسارة: تتم معالجة الناقل المدمج بواسطة نموذج ميتا ضمن إطار عمل التجميع المتراكم. تم تدريب هذا النموذج الميتا باستخدام خسارة الثلاثي شبه الصعبة (Triplet Semi-Hard Loss). تم اختيار دالة الخسارة هذه خصيصاً لتحسين فضاء التضمين عن طريق تقليل التباين داخل الفئة الواحدة (جذب الصور المتشابهة لتقترب من بعضها) وتعظيم الفصل بين الفئات (دفع الصور غير المتشابهة بعيداً عن بعضها)، وذلك باستخدام عينات سلبية شبه صعبة لضمان التعلم الفعال.
• آلية الاسترجاع: يتم إجراء مطابقة التشابه النهائية باستخدام خوارزمية أقرب الجيران (KNN) مع تشابه جيب التمام لاسترجاع الصور الأكثر صلة بناءً على التضمينات المتعلمة.
• استراتيجية البيانات: تستخدم الدراسة توسيع البيانات المكثف (الدوران، الإزاحة، القلب، القص، التكبير، وإزاحة القنوات) واستراتيجية تقسيم صارمة للبيانات (70% تدريب، 10% تحقق، 20% اختبار) لضمان التعميم القوي ومنع الإفراط في التخصيص (overfitting).

المساهمات الرئيسية
يحدد البحث خمس مساهمات رئيسية:

1. تصميم إطار العمل: تطوير SET-CNN، الذي يدمج بنيات CNN غير متجانسة (DenseNet121، ResNet50، VGG16) عبر دمج الميزات لإنشاء تضمينات مرئية غنية ومتكاملة.
2. التحسين الخاص بالاسترجاع: تطبيق خسارة الثلاثي شبه الصعبة لتعزيز الجودة التمييزية لفضاء الميزات المتعلم خصيصاً، مما يحسن من تماسك المجموعات داخل الفئة الواحدة والفصل بين الفئات.
3. التقييم الشامل: منهجية تقييم متعددة الأوجه تجمع بين المقاييس الكمية (MAP@5)، والتصور النوعي (t-SNE و K-Means clustering)، ودراسات حالة الاسترجاع.
4. مكاسب الأداء: إظهار تحسينات على النماذج الفردية لـ CNN وطرق التجزئة الحديثة على معيار CIFAR-10، محققة تحسناً يصل إلى 19.9% في MAP@5 مقارنة بـ Deep Supervised Hashing.
5. استقلالية البنية: تصميم يسمح بالتوسع السلس لمجموعات بيانات ونطاقات استرجاع أخرى دون الحاجة إلى تعديلات هيكلية في إطار العمل الأساسي.

النتائج التجريبية
أسفرت التجارات التي أجريت على مجموعة بيانات CIFAR-10 عن النتائج التالية:

• مقاييس الأداء: حقق SET-CNN ذروة MAP@5 للتدريب بلغت 0.9286 و MAP@5 للاختبار بلغت 0.8745.
• التحليل المقارن: تفوق النموذج المقترح على أفضل نموذج أساسي فردي (VGG16، بـ MAP اختبار قدره 0.8207) بنسبة 7.6%. وبالمقارنة مع طرق التجزيد الحديثة، حقق SET-CNN مكاسب مطلقة قدرها +8.6% فوق Deep Semantic Ranking Hashing (DSRH) و +19.9% فوق Deep Supervised Hashing (DSH).
• التعميم: أظهر النموذج فجوة ضئيلة بين درجات التدريب والاختبار، مما يشير إلى تعميم قوي وتقليل الحد الأدنى من الإفراط في التخصيص.
• جودة التضمين: أكد دمج K-Means مع تصور t-SNE أن SET-CNN ينتج مجموعات غنية دلالياً وجيدة الفصل مع تشابه عالٍ داخل الفئة الواحدة وفصل واضح بين الفئات، وهو ما يتفوق على النماذج الأساسية الفردية.
• دقة الاسترجاع: أظهر الفحص البصري لنتائج استرجاع KNN أن SET-CNN قدم المطابقات الأكثر صلة دلالياً مع أقل قدر من خلط الفئات مقارنة بـ DenseNet121 و ResNet50 و VGG16 وحدها.

الأهمية والادعاءات
يدعي المؤلفون أن SET-CNN يوفر اتجاهاً واعداً لتطوير أنظمة استرجاع قائمة على التجميع وقابلة للتعميم. فمن خلال الاستفادة من نقاط القوة المتكاملة للبنيات المتنوعة والتحسين خصيصاً لأهداف الاسترجاع، يعالج إطار العمل قيود نهج الشبكة الواحدة. ويفترض البحث أن هذا النهج يحقق أداءً تنافسياً — يضاهي نماذج ResNet ذات تجميع الانتباه المعقدة — دون الحاجة إلى تعديلات هيكلية متخصصة. ويشير المؤلفون إلى أن مرونة إطار العمل تجعله مناسباً للتوسعات المحتملة في مجموعات البيانات الضخمة ومتعددة الوسائط وسيناريوهات النشر في الوقت الفعلي، رغم ملاحظتهم أن هناك حاجة لعمل مستقبلي للتحقق من هذه التوسعات على بيانات ذات دقة أعلى وفي مهام عابرة للمجالات.