Building Damage Detection using Satellite Images and Patch-Based Transformer Methods

ملخص تقني: كشف أضرار المباني باستخدام صور الأقمار الصناعية وطرق المحولات القائمة على الرقع (Patch-Based Transformer Methods)

بيان المشكلة
يعد التقييم السريع لأضرار المباني في أعقاب الكوارث الطبيعية أمراً بالغ الأهمية للاستجابة الفعالة لما بعد الكوارث. وبينما توفر صور الأقمار الصناعية وسيلة قابلة للتوسع لزيادة الوعي بالموقف، فإن تطوير مصنفات موثوقة للأضرار يعوقه تحديات كبيرة في البيانات. وتحديداً، تعاني مجموعات بيانات الأقمار الصناعية غالباً من عدم توازن شديد في الفئات (ميل حاد نحو تسميات "لا يوجد ضرر") وضجيج في التسميات (Label Noise). علاوة على ذلك، فإن الفروق البصرية بين فئات الأضرار — لا سيما بين "ضرر طفيف"، و"ضرر جسيم"، و"مدمر" — غالباً ما تكون دقيقة. وتعد مجموعة بيانات xBD، وهي معيار قياسي لتحديد مستوى أضرار المباني عبر مناطق جغرافية متنوعة، نموذجاً لهذه المشكلات، حيث تقدم اختباراً صعباً لنماذج تعلم الآلة.

المنهجية
تقيم الدراسة أداء بنيات المحولات الرؤية (Vision Transformer - ViT) على مجموعة بيانات xBD، مع التركيز بشكل خاص على DeiT-Tiny و DINOv2-small. يستخدم البحث خط معالجة مسبقة مبتكر ومستهدف واستراتيجيات ضبط دقيق محددة لمعالجة قيود البيانات ضمن بيئات حوسبة محدودة (Google Colab Pro/Pro+).

• المعالجة المسبقة القائمة على الرقع (Patch-Based Pre-processing): للتخفيف من ضجيج الخلفية (مثل السحب، والطرق) وعزل السمات الهيكلية، صمم المؤلفون خط معالجة مخصصاً. تقوم هذه العملية بتصفية الصور للاحتفاظ فقط بتلك التي تحتوي على مبانٍ ذات تسميات أضرار محددة. ثم تستخرج رقعاً عشوائية ممركزة حول مراكز ثقل المباني (centroids). وتتضمن خطوة حاسمة تتمثل في حساب "نسبة الفراغ" (نسبة البكسلات الشفافة أو السوداء)؛ حيث يتم إعادة قص الرقع التي تتجاوز عتبة 0.01 لضمان بقاء المبنى هو التركيز الأساسي. يقلل هذا الإجراء حجم مجموعة البيانات بنسبة 1.50% تقريباً ولكنه يزيد من كثافة الإشارة.
• بنيات النماذج:
  • DeiT-Tiny: نموذج يحتوي على 5 ملايين معلمة (parameter)، تم تدريبه مسبقاً على ImageNet، ويستخدم نهج التقطير (distillation) بين المعلم والطالب مع رمز [CLS] ورمز تقطير متميز.
  • DINOv2-small: نموذج يحتوي على 22 مليون معلمة، تم تدريبه مسبقاً بطريقة التعلم الذاتي على مجموعة بيانات LVD-142M. يستخدم وحدات خطية ذات بوابات "سويش" (SwiGLUs) ورمز [CLS]، لكنه يفتقر إلى رمز التقطير المستخدم في DeiT.
• استراتيجيات التدريب: قارن المؤلفون بين نهجين للتدريب:
  1. الضبط الدقيق الشامل (End-to-End Fine-tuning): تدريب النموذج بالكامل مع إجراء بحث شبكي للمعلمات الفائقة (معدلات التعلم، أحجام الدفعات) المقيدة بذاكرة وحدة معالجة الرسومات والوقت.
  2. الضبط الدقيق للرأس المجمد (Frozen-Head Fine-tuning): يتم تدريب رأس المصنف فقط بينما تظل أوزان العمود الفقري (backbone) مجمدة، وهي استراتيجية تم اعتمادها لإدارة التكاليف الحوسبية.
• التقييم: تم تقييم النماذج باستخدام الدقة (Accuracy)، والدقة المحددة (Precision)، والاستدعاء (Recall)، ومقياس F1 المتوسط الكلي (macro-averaged F1). وللتخفيف من آثار عدم توازن الفئات أثناء التقييم، تكررت عملية الاختبار عبر خمس دورات مستقلة.

المساهمات الرئيسية

1. خط معالجة مسبقة مستهدف: تقديم طريقة قائمة على الرقع تعزل هياكل المباني وتقلل من ضجيج الخلفية، مصممة خصيصاً للتعامل مع الطبيعة الصاخبة وغير المتوازنة لمجموعة بيانات xBD.
2. تقييم المحولات (Transformer Benchmarking): تقييم مقارن لـ DINOv2-small و DeiT لتصنيف أضرار المباني متعدد الفئات، مما يوفر دليلاً تجريبياً على أدائهما على بيانات الكوارث غير المتوازنة للغاية.
3. تحسين الموارد المحدودة: تحليل استراتيجيات الضبط الدقيق (الشامل مقابل الرأس المجمد) المصممة خصيصاً لبيئات ذات موارد حوسبية محدودة، مثل Google Colab.

النتائج
وجدت الدراسة أن بنيات ViT الصغيرة، عند دمجها مع المعالجة المسبقة المقترحة وطرق التدريب، حققت أداءً تنافسياً ضد النماذج المرجعية للشبكات العصبية التلافيفية (CNN).

• مقاييس الأداء: حقق نموذج DeiT (End-to-End) أعلى أداء إجمالي بدقة بلغت 0.782 ومقياس F1 متوسط كلي قدره 0.599. وجاء نموذج DINOv2 (End-to-End) في المرتبة الثانية بمقياس F1 قدره 0.565.
• المقارنة مع النماذج المرجعية:
  • تفوقت كلا من نماذج المحولات على نموذج ResNet المرجعي الأصلي (Gupta et al., 2019)، الذي سجل F1 قدره 0.320.
  • كان نموذج DeiT (E2E) أقل أداءً قليلاً من نموذج التعلم من أمثلة قليلة (few-shot baseline) (Koukouraki et al., 2021) الذي حقق F1 قدره 0.638، لكنه ظل منافساً.
  • مقارنة بطريقة UNet Encoder + ResNet18 (Chen, 2020)، أظهرت نماذج المحولات مقاييس متوسطة كلية أقل، ولكنها أظهرت أداءً فائقاً في الفئات الفردية لـ "لا يوجد ضرر" (0.90 مقابل 0.88)، و"ضرر جسيم" (0.73 مقابل 0.53)، و"مدمر" (0.73 مقابل 0.55).
• التحديات الخاصة بالفئات: واجهت النماذج صعوبة كبيرة في فئة "الضرر الطفيف" (مقياس F1 بلغ 0.14)، حيث تكون الإشارات البصرية أكثر دقة. وعلى العكس من ذلك، كان الأداء قوياً لفئات "لا يوجد ضرر"، و"الضرر الجسيم"، و"مدمر".

الأهمية والادعاءات
يزعم البحث أن بنيات ViT الصغيرة، عند اقترانها بخط معالجة مسبقة مستهدف قائم على الرقع، يمكنها التعامل بفعالية مع البيانات الصاخبة وغير المتوازنة النموذجية لاستجابات الكوارث. ويؤكد المؤلفون أن نهجهم يحقق درجات F1 متوسطة تنافسية مقارنة بالنماذج المرجعية لـ CNN، وخاصة في تحسين اكتشاف فئات الأضرار الشديدة.

يظل المؤلفون متواضعين فيما يتعلق بتصنيف "الضرر الطفيف"، حيث يقرون بأن الفروق البصرية الدقيقة بين الضرر الطفيف وعدم وجود ضرر تظل تحدياً. ويقترحون أن العمل المستقبلي يمكن أن يعالج ذلك من خلال إعادة موازنة مجموعة البيانات بشكل صريح (على سبيل المثال، تقليل عينات "لا يوجد ضرر" أو استخدام الذكاء الاصطناعي التوليدي للتعزيز)، أو نمذجة سياقات المشهد الأوسع بدلاً من محاصيل المباني الفردية، ومن المحتمل أيضاً تبسيط مساحة التسميات لتتماشى بشكل أفضل مع بروتوكولات الفرز البشري. وتخلص الدراسة إلى أن هذه الخطوات يمكن أن ترسخ نماذج المحولات كمعايير قوية وموثوقة لتصنيف الكوارث.