Post-Disaster Affected Area Segmentation with a Vision Transformer (ViT)-based EVAP Model using Sentinel-2 and Formosat-5 Imagery

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تجزئة المناطق المتضررة من الكوارث باستخدام نموذج يعتمد على محول الرؤية (ViT) باستخدام صور Sentinel-2 و Formosat-5."

1. بيان المشكلة

يعد التحديد السريع والدقيق للمناطق المتضررة من الكوارث أمراً بالغ الأهمية للاستجابة الطارئة. تستخدم وكالة الفضاء التايوانية (TASA) حالياً نظام المنتج ذو القيمة المضافة الناشئة (EVAP)، وهو سير عمل شبه مؤتمت يعتمد على المؤشرات الطيفية (مثل NDVI و NDWI)، وتحليل ناقل التغيير، وطريقة إحصائية غاوسية خاضعة للإشراف.

• القيود في الأنظمة الحالية: يتطلب نظام EVAP من المحللين تسمية عدد قليل من المضلعات يدوياً لتحديد فترات الثقة. كما أنه يعتمد على التصنيف الإحصائي لكل بكسل، وهو أمر مكلف حاسوبياً للصور واسعة النطاق ويواجه صعوبة في التعميم في البيئات المعقدة وغير المتجانسة.
• ندرة البيانات: تتطلب نماذج التعلم العميق عادةً تسميات توضيحية كثيفة على مستوى البكسل للحقيقة الأرضية، وهي تسميات نادراً ما تتوفر في سيناريوهات الكوارث الحرجة زمنياً.
• الهدف: سد الفجوة بين الكفاءة التشغيلية وقدرات التعلم العميق من خلال تطوير إطار عمل يستخدم محولات الرؤية (ViTs) للتجزئة تحت إشراف ضعيف، مع الاستفوة من بيانات الأقمار الصناعية متعددة المصادر (Sentinel-2 و Formosat-5) بأقل قدر من التسمية اليدوية.

2. المنهجية

يتكون إطار العمل المقترح من أربعة مكونات رئيسية:

أ. دمج البيانات

يستخدم النموذج صوراً متعددة الفترات الزمنية من قمرين صناعيين متكاملين:

• Sentinel-2 (ESA): دقة متوسطة (10م/20م/60م)، 13 حزمة طيفية.
• Formosat-5 (TASA): دقة عالية (2م بانكروماتيك، 4م متعدد الأطياف)، 4 حزم طيفية (الأحمر، الأخضر، الأزرق، والأشعة تحت الحمراء القريبة NIR).
• بناء المدخلات: يتم تسجيل الصور قبل الكارثة وبعدها وتغيير حجمها لتناسب شبكة مشتركة. مصفوفة المدخلات $X$ هي تجميع ذو 8 قنوات يتكون من دمج 4 حزم من صور ما قبل الكارثة و4 حزم من صور ما بعد الكارثة ($X = [I_{pre}; I_{post}]$).

ب. الإشراف الضعيف عبر توسيع التسميات

للتغلب على نقص الحقيقة الأرضية الكثيفة، اقترح المؤلفون استراتيجية توسيع التسميات القائمة على تحليل المكونات الرئيسية (PCA):

1. اختيار البذور: يقوم المحللون بتسمية منطقة صغيرة جداً (مجموعة البذور $A$) من البكسلات المتضررة يدوياً.
2. تقليل الأبعاد: يتم تطبيق تحليل المكونات الرئيسية (PCA) على المتجهات الطيفية ذات الـ 8 أبعاد للصورة بأكملها لإسقاطها في فضاء مخفض ذي $k$ من الأبعاد.
3. التوسيع الإحصائي: بافتراض أن البكسلات المتضررة من الكارثة تشكل عنقوداً غاوسياً متماسكاً في فضاء PCA، يقوم النظام بحساب المتوسط ($\mu$) والتباين ($\Sigma$) لمجموعة البذور.
4. فترة الثقة: يتم تعيين البكسلات التي تقع ضمن عتبة مسافة ماهالانوبيس ($\tau$) المستمدة من توزيع "كا مربع" (على سبيل المثال، مستوى ثقة 99%) كعلامات إيجابية تلقائياً.
5. النتي نتيجة: يولد هذا مجموعة تدريب كثيفة وموسعة ($L$) من مدخلات يدوية ضئيلة، مما يسمح بالتعلم الخاضع للإشراف الضعيف.

ج. بنية النموذج

يستخدم إطار العمل هيكلاً نمطياً من نوع المُشفّر-المُفكك (Encoder-Decoder):

• المُشفّر (Encoder): يُستخدم محول الرؤية (ViT) لاستخراج ميزات عالية المستوى غير محلية، مما يلتقط السياق العالمي والعلاقات المكانية طويلة المدى بشكل أفضل من الشبكات العصبية التلافيفية (CNNs) التقليدية.
• متغيرات المُفكك (Decoder Variants): تم تقييم ثلاثة هياكل للمفكك لتحديد التوازن الأمثل بين التعقيد والأداء:
  • المفكك A: طبقة تلافيفية أحادية الكتلة (خفيف الوزن).
  • المفكक B: مفكك CNN مكون من أربع طبقات.
  • المفكك C: مفكك من نوع U-Net مع اتصالات تخطي (يحافظ على التفاصيل المكانية الدقيقة).

د. دالات الخسارة (Loss Functions)

لضمان المتانة في ظل الإشراف الضعيف، تم اختبار ثلاث استراتيجيات للخسارة:

1. الإنتروبيا المتقاطعة الثنائية (BCE): خسارة تصنيف قياسية لكل بكسل.
2. BCE-Dice Loss: يجمع بين BCE وخسارة Dice للتعامل مع عدم توازن الفئات.
3. Two-Stage BCE-IoU: يتم تدريب النموذج أولاً حتى التقارب باستخدام BCE، ثم يتم ضبطه بدقة باستخدام خسارة التقاطع فوق الاتحاد (IoU) لتحسين التداخل المكاني.

3. المساهمات الرئيسية

1. تكييف ViT للإشراف الضعيف: نجاح في تكييف محولات الرؤية لصور الكوارث متوسطة الدقة ومتعددة المصادر حيث تتوفر فقط تسميات متفرقة ومنخفضة الدقة.
2. توسيع التسميات القائم على PCA: تقديم استراتيجية مبتكرة باستخدام PCA ومسافة ماهالانوبيس وفترات ثقة لتوسيع تسميات البذور المتفرقة إلى مجموعة تدريب كثيفة دون الاعتماد على التسميات الزائفة المولدة بواسطة النموذج (والتي قد تنشر الأخطاء).
3. التحقق التشغيلي: التحقق من النهج في سيناريوهات حقيقية واسعة النطاق (جفاف بحيرة بويانغ 2022 وحريق غابات رودس 2023) باستخدام مجموعة بيانات هجينة من Sentinel-2 و Formosat-5، مما أظهر أداءً متفوقاً على خط الأساس EVAP التشغيلي.

4. النتائج التجريبية

تم تقييم الطريقة في دراستي حالة مقابل خط الأساس EV_AP المقدم من TASA والحقيقة الأرضية المنقحة يدوياً.

• الأداء الكمي:

  • حريق الغابات (رودس، اليونان): حقق أفضل نموذج (ViT + مفكك U-Net + خسارة مرحلتين) نسبة IoU بلغت 0.754، متفوقاً على EVAP (0.734)، و PA (0.924 مقابل 0.914)، و UA (0.804 مقابل 0.790).
  • الجفاف (بحيرة بويانغ، الصين): حقق أفضل نموذج نسبة IoU بلغت 0.845، متفوقاً بشكل كبير على EVAP (0.815)، مع PA قدره 0.951 مقابل 0.914 و UA قدره 0.884 مقابل 0.847.
  • ملاحظة: حققت النماذج الكلاسيكية (SVM، K-Means) المدربة على تسميات منقحة بالكامل نتائج جيدة، لكن الطريقة المقترحة حققت نتائج مماثلة أو أفضل باستخدام تسميات موسعة ضعيفاً فقط، مما يبرز كفاءة التسمية.

• التحسينات النوعية:

  • التماسك المكاني: أنتج نموذج ViT حدوداً أكثر سلاسة واستمرارية مقارنة بمخرجات EVAP المجزأة والمشوشة على مستوى البكسل.
  • تقليل الأخطاء: أظهر التحليل البصري انخفاضاً في كل من أخطاء الارتكاب (الإيجابيات الكاذبة) وأخطاء الإغفال (السلبيات الكاذبة)، لا سيالما في المناظر الطبيعية المعقدة وغير المتجانسة.

5. الأهمية والخاتمة

يُظهر هذا العمل أنه يمكن نشر محولات الرؤية (Vision Transformers) بفعالية في أنظمة الاستجابة للكوارث التشغيلية حتى عندما لا تتوفر حقيقة أرضية عالية الجودة.

• القابلية للتوسع: من خلال أتمتة عملية توسيع التسميات عبر PCA، يقلل النظام من العبء اليدوي على المحللين، مما يسمح بالمعالجة السريعة لصور الأقمار الصناعية واسعة النطاق.
• المتانة: يسمح دمج البيانات متعددة المستشعرات (Sentinel-2 و Formosat-5) ونمذجة السياق العالمي لـ ViTs بتحقيق تعميم أفضل عبر أنواع الكوارث المختلفة (الحرائق مقابل الجفاف) والمناطق الجغرافية المختلفة.
• الأثر التشغيلي: يوفر خط العمل المقترح ترقية قابلة للتوسع لسير العمل الحالي مثل EVAP، مما يوفر خرائط كوارث أكثر دقة وتماسكاً مكانياً وفي الوقت المناسب لدعم جهود الاستجابة للطوارئ.

يخلص المؤلفون إلى أنه بينما تظل التحديات المتعلقة بعدم تطابق المستشعرات والظروف البيئية قائمة، فإن إطار العمل هذا يوفر أساساً واعداً لتعزيز رسم خرائط الكوارث المؤتمتة وذات الكفاءة في التسمية.