Vision Transformers and Convolutional Neural Networks for Land Use Scene Classification

ملخص تقني: محولات الرؤية والشبكات العصبية التلافيفية لتصنيف مشاهد استخدام الأراضي

بيان المشكلة
يعد تصنيف مشاهد استخدام الأراضي (LUSC) من صور الاستشعار عن بعد مهمة أساسية للمراقبة البيئية، والتخطيط الحضري، وإدارة الموارد. وبينما هيمنت الشبكات العصبية التلافيفية (CNNs) تاريخياً على هذا المجال نظراً لقدرتها على التقاط الميزات المكانية المحلية ومتانتها في السيناريوهات محدودة البيانات، إلا أنها تمتلك قيوداً متأصلة في نمذجة التبعيات المكانية طويلة المدى والعلاقات السياقية العالمية. وفي المقابل، توفر محولات الرؤية (ViTs)، التي تستفيد من آليات الانتباه الذاتي لمعالجة الصور كمتواليات من الرقع (patches)، قدرات فائقة في التقاط السياق العالمي، ولكنها تتطلب عادةً مجموعات بيانات أكبر وموارد حوسبية أكبر. تعالج الورقة البحثية الحاجة إلى مقارنة منهجية ومنضبطة بين هذين النموذجين المعماريين لتحديد نقاط قوياهما ومدى ملاءمتهما لتطبيقات متنوعة في الاستشعار عن بعد.

المنهجية
تستخدم الدراسة إطار عمل مقارن صارم يقيم بنية نموذجية للشبكات العصبية التلافيفية (AlexNet) مقابل بنية محول الرؤية (ViT-B/16). ولضمان تقييم عادل، خضع كلا النموذجين لظروف تجريبية متطابقة، بما في ذلك:

• مجموعات البيانات: تم استخدام مجموعتي بيانات مرجعيتين للاستشعار عن بعد: مجموعة بيانات UC Merced لاستخدام الأراضي (2,100 صورة جوية عالية الدقة، 21 فئة) ومجموعة بيانات EuroSAT (27,000 صورة من القمر الصناعي Sentinel-2، 10 فئات). أُجريت التجارب على مجموعات فرعية تحتوي على 5 و10 فئات لكل مجموعة بيانات.
• تقسيم البيانات: في جميع التجارب، تم تقسيم البيانات إلى 80% للتدريب، 10% للتحقق، و10% للاختبار.
• المعالجة المسبقة: خضعت الصور لتوحيد المعايير عبر القنوات (channel-wise standardization) وتعزيز عشوائي (stochastic augmentation) (قلب، تدوير، قص، واضطراب لوني) للحد من الإفراط في التخصيص (overfitting).
• التنفيذ: تم تنفيذ كلا النموذجين باستخدام برنامج MATLAB على نظام مجهز بمعالج AMD Ryzen 9 7950X وذاكرة وصول عشوائي (RAM) بسعة 128 جيجابايت.
• استراتيجية التدريب: استخدم كلا النموذجين فقدان التقاطع المتقاطع الفئوي (categorical cross-entropy loss)، والتحسين القائم على التدرج، والتوقف المبكر، واضمحلال الوزن (weight decay)، والإسقاط (dropout)، وجدولة معدل التعلم.
• مقاييس التقييم: تم تقييم الأداء باستخدام الدقة (Accuracy)، والضبط (Precision)، والاستدعاء (Recall)، ومقياس F1-score، والوقت الحوسبي.

المساهمات الرئيسية والنتائج
تقدم الورقة مقارنة مباشرة في الأداء بين الشبكات العصبية التلافيفية (CNNs) ومحولات الرؤية (ViTs) تحت ظروف متسقة، مما أسفر عن النتائج التالية:

1. الأداء مع البيانات المحدودة (UC Merced): في مجموعة بيانات UC Merced، التي تتميز بحوالي 100 عينة لكل فئة، أظهر نموذج AlexNet (CNN) أداءً فائقاً مقارنة بـ ViT. تشير النتائج إلى أن الشبكات العصبية التلافيفية أكثر فعالية عندما تكون عينات التدريب محدودة، ويرجع ذلك على الأرجح إلى انحيازاتها الاستقرائية القوية (المحلية والثبات تجاه الانتقال) التي تسهل التعلم المستقر في البيئات شحيحة البيانات.
2. الأداء مع البيانات واسعة النطاق (EuroSAT): في مجموعة بيانات EuroSAT، التي تحتوي على عدد أكبر بكثير من العينات لكل فئة (2,000–3,000)، حقق نموذج ViT-B/16 دقة تصنيف أفضل قليلاً من AlexNet. يشير هذا إلى أن محولات الرؤية يمكنها استغلال البيانات الوفيرة بشكل أفضل لتعلم التمثيلات السياقية العالمية والتبعيات طويلة المدى التي قد تفقدها الشبكات التلافيفية.
3. الكفاءة الحوسبية: تسلط الدراسة الضوء على المقايضة بين الأداء واستهلاك الموارد. تطلب تدريب نموذج ViT-B/16 على مجموعة بيانات EuroSAT المكونة من 10 فئات حوالي 253 دقيقة، بينما استغرق AlexNet 137 دقيقة فقط تحت نفس تكوين الأجهزة. كما أظهرت محولات الرؤية استهلاكاً أعلى للذاكرة وتعقيداً حوسبياً أكبر.

الأهمية والادعاءات
تخلص الورقة إلى أنه لا يوجد بنية معمارية متفوقة بشكل مطلق؛ بل يعتمد الخيار الأمثل على القيود المحددة للتطبيق.

• تُحدد الشبكات العصبية التلافيفية (CNNs) كخيار قوي للسيناريوهات ذات بيانات التدريب المحدودة أو حيث تكون الأنماط المكانية والنسيجية المحلية هي المميزات الأساسية.
• تُقدم محولات الرؤية (Vision Transformers) كخيار مفضل عندما تتوفر بيانات تدريب كافية وتتطلب المهمة فهم العلاقات المكانية العالمية المعقدة، رغم التكلفة الحوسبية الأعلى.

تكمن أهمية الدراسة في تقديم إرشادات عملية للباحثين والممارسين في مجال الاستشعار عن بعد، حيث تقدم رؤى قائمة على الأدلة لاختيار النماذج المناسبة بناءً على حجم مجموعة البيانات والموارد الحوسبية المتاحة. ولا يدعي المؤلفون أنهم حلوا مشكلة التعميم عبر جميع المجالات، بل حددوا الظروف المحددة التي يتفوق فيها كل نموذج معماري.