Comparative Evaluation of Vision Transformer, Hybrid CNN–MLP, and Transfer-Learned ResNet-18 for CIFAR-10 Image Classification
تقيم هذه الدراسة نماذج "Vision Transformer"، و"hybrid CNN–MLP"، و"ResNet-18" المُنتقل تعلمها على مجموعة بيانات "CIFAR-10"، لتجد أنه في حين يتعلم نموذج "Vision Transformer" تمثيلات ذات مغزى، فإن نموذج "ResNet-18" المُنتقل تعلمه يحقق أعلى دقة (88.7%) بفضل مزايا الانحيازات الاستقرائية التلافيفية والتدريب المسبق واسع النطاق في إعدادات البيانات المحدودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت التعرف على العالم من حوله، ولكن بدلاً من إعطائه زوجاً من العيون، يتعين عليك تعليمه كيف "يرى" باستخدام الرياضيات فقط. هذا هو جوهر الرؤية الحاسوبية، وهو مجال يبني فيه العلماء أدمغة اصطناعية لتصنيف الصور إلى فئات مثل "قطة" أو "سيارة" أو "سحابة". لفترة طويلة، كانت الطريقة الأفضل للقيام بذلك هي استخدام نوع محدد من الرياضيات يسمى الشبكة العصبية الالتفافية (CNN). يمكنك التفكير في الـ CNN كأنها محقق دقيق للغاية ينظر إلى الصورة مربعًا صغيرًا تلو الآخر، ملاحظًا كيف تتصل الحواف والمنسوجات لتشكل صورة أكبر. إنها طريقة تعمل بشكل رائع لأنها تحاكي كيف تعالج أدمغتنا التفاصيل المحلية بشكل طبيعي.
ومع ذلك، فقد دخلت مؤخرًا طريقة جديدة وأكثر بريقًا تسمى "محول الرؤية" (Vision Transformer - ViT) على الخط. فبدلاً من النظر إلى المربعات الصغيرة واحدًا تلو الآخر، يقوم الـ ViT بتقطيع الصورة بأكملها إلى قطع أحجية وينظر إليها جميعًا في وقت واحد، مستخدمًا آلية تسمى "الانتباه الذاتي" (self-attention) لمعرفة كيفية ارتباط هذه القطع ببعضها البعض. الأمر يشبه محققًا يلقي نظرة خاطفة على مسرح الجريمة بأكمله فورًا ليرى الصورة الكبيرة، بدلاً من فحص كل بصمة إصبع على حدة. والسؤال الكبير الذي يواجه العلماء هو: هل يعمل هذا المحقق الجديد الذي يعتمد على "الصورة الكبيرة" بشكل أفضل من محقق "بصمات الأصابع" القديم، خاصة عندما لا يمتلك الروبوت مكتبة ضخمة من الأمثلة لدراستها؟ هذا هو بالضبط ما سعى بحث حديث لاكتشافه.
قرر الباحثون في هذه الورقة البحثية وضع ثلاثة "محققين" مختلفين للاختبار في ميدان تدريب شهير يسمى CIFAR-10، وهو عبيد من 60,000 صورة ملونة صغيرة ومنخفضة الدقة لأشياء يومية مثل الطائرات والكلاب والشاحنات. أرادوا معرفة أي نهج يمكنه التعرف على هذه الأشياء بدقة أكبر. وكانت المتنافسون الثلاثة هم:
- محول الرؤية (ViT): الوافد الجديد الذي ينظر إلى قطع الصور دفعة واحدة.
- النموذج الهجين (CNN–MLP): مزيج من المحقق التقليدي (CNN) ودماغ نمطي قياسي للتعرف على الأنماط (MLP).
- النموذج المكتسب الخبرة (ResNet-18): محقق خبير درس بالفعل ملايين الصور الأخرى (من مجموعة بيانات تسمى ImageNet) قبل وصوله إلى هذا الاختبار.
كانت النتائج واضحة، وإن كانت مفاجئة بعض الشيء لمحبي التكنولوجيا الجديدة. فقد احتل نموذج ResNet-18 المكتسب الخبرة المركز الأول، محققًا دقة بلغت 88.7%. لقد بدأ هذا النموذج بتقدم هائل لأنه تعلم بالفعل من مكتبة ضخمة من الصور، مما سمحه بالتعرف على الأنماط في هذه الصور الصغيرة بسهولة. وجاء في المرتبة الثانية نموذج الـ Hybrid CNN–MLP، الذي سجل 84.2%. وقد أثبت هذا النموذج أن التمسك بالطريقة التقليدية في البحث عن التفاصيل المحلية لا يزال فعالاً للغاية، حتى بدون ذلك التقدم الهائل.
أما محول الرؤية (ViT)، ورغم قدرته على التعلم، فقد حل في المرتبة الثالثة بدقة بلغت 78.2% في مجموعة تقييم محددة مكونة من 500 صورة. تشير الدراسة إلى أنه بينما يمكن للـ ViT تعلم التعرف على هذه الصور الصغيرة بالتأكيد، إلا أنه يعاني قليلاً مقارنة بالآخرين عندما لا يمتلك كمية هائلة من بيانات التدريب المسبق للاعتماد عليها. لاحظ الباحثون أنه مع استمرار تدريب الـ ViT، أصبح بارعًا جدًا في حفظ صور التدريب، لكنه لم يكن جيدًا في التعميم على الصور الجديدة، مما أظهر فجوة بين أدائه أثناء التدريب وأدائه أثناء الاختبار.
في النهاية، تشير الورقة البحثية إلى أنه بالنسبة للصور الصغيرة ومنخفضة الدقة مثل تلك الموجودة في هذه المجموعة، فإن النهج القديم باستخدام الطبقات الالتفافية (التي تبحث عن الأنماط المحلية) واستراتيجية استخدام النماذج المدربة مسبقًا لا تزال هي الرابحة. إن محول الرؤية (ViT) ليس فاشلاً — فقد نجح في تعلم المهمة — ولكنه يبدو بحاجة إلى مزيد من البيانات أو المزيد من التدريب المسبق ليتألق حقًا مقارنة بمنافسيه في هذا الإعداد المحدد. تسلط الدراسة الضوء على أنه بينما تعتبر طريقة "الصورة الكبيرة" الجديدة قوية، فإن طريقة "بصمة الإصبع" و"المحقق الخبير" لا تزالان تحتفظان بالتاج لهذا التحدي تحديدًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.