Cross-Scale Pretraining: Enhancing Self-Supervised Learning for Low-Resolution Satellite Imagery for Semantic Segmentation

ملخص تقني: التدريب المسبق عبر المقاييس لصور الأقمار الصناعية منخفضة الدقة

بيان المشكلة
يعد التقسيم الدلالي (Semantic segmentation) في الاستشعار عن بُعد أمراً حيوياً لتطبيقات مثل الأمن الغذائي، وإدارة الكوارث، وأبحين المناخ. ومع ذلك، فإن أداء التعلم العميق في هذا المجال غالباً ما يكون مقيداً بندرة التوصيفات على مستوى البكسل. وبينما يقدم التعلم الخاضع للإشراف الذاتي (SSL) حلاً عبر الاستفادة من الصور غير المصنفة الوفيرة، تعتمد معظم أدبيات التعلم الخاضع للإشراف الذاتي في الاستشعار عن بُعد حالياً على مجموعات البيانات متوسطة الدقة (MR) (مثل Sentinel-1/2، بمسافة تباعد أرضي ≥10 أمتار) نظراً لتوفرها. ورغم أن مجموعات البيانات عالية الدقة (HR) (≤5 أمتار GSD) توفر تفاصيل مكانية أغنى تؤدي طبيعياً إلى أداء متفوق، إلا أنها غالباً ما تكون مكلفة، أو مملوكة لجهات معينة، أو مقيدة الاستخدام.

إن النهج المباشر المتمثل في التدريب المسبق حصرياً على بيانات عالية الدقة (HR) يفشل في التقاط فوائد صور الدقة المتوسطة (MR)، مثل الأبعاد الطيفية الأعلى، وقد لا ينتقل بشكل جيد إلى المهام اللاحقة التي تستخدم مدخلات MR. وعلى العكس من ذلك، فإن التدريب المسبق حصرياً على بيانات MR يفتقد التفاصيل المكانية المتاحة في صور HR. ويتمثل التحدي الجوهري الذي يعالجه هذا العمل في كيفية دمج مجموعات البيانات عالية الدقة (HR) في عملية التدريب المسبق الخاضع للإشراف الذاتي لصور الدقة المتوسطة (MR) لتعزيز تعلم التمثيلات دون فقدان المزايا المحددة لبيانات MR.

المنهجية
يقترح المؤلفون استراتيجية تدريب مسبق عبر المقاييس (Cross-Scale Pretraining) باستخدام مكون التقارب المكاني (Spatial Affinity Component) المصمم للدمج في أطر التعلم الخاضع للإشراف الذاتي (SSL) الحالية. وتستخدم المنهجية مجموعة بيانات حقيقية مقترنة (Sen2Venus)، تحتوي على صور متزامنة زمنياً من Sentinel-2 (10 أمتار) وVenus (5 أمتار).

• البنية (Architecture): يستخدم المكون بنية (طالب-معلم) للتقطير الذاتي.
  • المُشفّر الطالب (Student Encoder): يعالج رقع (patches) الصورة متوسطة الدقة ($I_{MR}$). ويتم مشاركة هذا المُشفّر مع إطار عمل SSL المضيف ويتم تحديثه عبر الانتشار العكسي (backpropagation).
  • المُشفّر المعلم (HR Teacher Encoder): يعالج رقع الصورة عالية الدقة ($I_{HR}$). ويشترك في نفس بنية الطالب، ولكنه يُحدث عبر المتوسط المتحرك الأسي (EMA) لمعلمات الطالب لمنع الانهيار (collapse).
• تطابق الرقع (Patch Correspondence): نظراً لأن عامل القياس هو $s=2$، فإن كل رقعة في $I_{MR}$ تقابل $s^2$ من الرقع في $I_{HR}$. ويتم تقليل أبعاد مخرجات معلم HR للرقع المقابلة (عبر الإسقاط الخطي، أو التكعيبي، أو الثنائي الخطي) لتتطابق مع أبعاد مخرجات الطالب.
• دالة الخسارة (Loss Function): جوهر الطريقة هو خسارة غرام (Gram Loss). فبدلاً من تقليل متوسط الخطأ التربيعي (MSE) بين التمثيلات مباشرة، تقوم الطريقة بتقليل MSE بين مصفوفات غرام (الضرب النقطي المتبادل للتمثيلات المعيرة بـ L2) للطالب والمعلم المقلص الأبعاد. يتسامح هذا النهج مع الاختلافات الخاصة بالمستشعرات بين الدقتين، بينما يعاقب الاختلافات في البنية المكانية على مستوى الرقعة.
• أطر العمل المختبرة: تم تقييم المكون على إطاري عمل للنمذجة الصورية المقنعة (MIM): I-JEPA (الذي يستخدم أخذ العينات بالكتل) و LatetMIM (الذي يستخدم أخذ العينات العشوائي غير المتصل).

المساهمات الرئيسية

1. مكون التقاف المكاني (Spatial Affinity Component): وحدة مبتكرة تمكن أطر SSL الحالية من الاستفادة من الصور عالية الدقة (HR) لتعلم تمثيلات أغنى لصور الدقة المتوسطة (MR) من خلال هدف التراكب عالي الدقة في الفضاء الكامن (latent-space super-resolution).
2. استراتيجية التدريب المسبق عبر المقاييس: برهنة على أن الجمع بين بيانات الأزواج الحقيقية (HR/MR) أثناء التدريب المسبق يعطي أداءً أفضل من التدريب المسبق على أي من الدقتين بمفردها.
3. التحقق التجريبي: تقييم شامل عبر أربع مهام متنوعة للتقسيم الدلالي لصور MR (نوع المحاصيل، رسم خرائط الفيضانات، رسم خرائط المحاصيل، واكتشاف الملوثات البحرية) أظهر تحسينات مستمرة.

النتائج
قيم المؤلفون نموذج SA-model (المدرب مسبقاً باستخدام مكون التقاف المكاني على أزواج HR/MR) مقابل نماذج MR-models (المدربة مسبقاً على MR فقط) ونماذج HR-models (المدربة مسبقاً على HR فقط) باستخدام الاختبار الخطي (linear probing) على أربع مجموعات بيانات: m-SA-Crop-Type، و Sen1Floods11، و PASTIS، و MADOS.

• الأداء: تفوق نموذج SA-model على نموذج MR في جميع الحالات باستثناء حالة واحدة، وتفوق على نموذج HR في معظم الحالات عبر كلا إطاري العمل I-JEPA و LatentMIM. على سبيل المثال، باستخدام LatentMIM، حقق نموذج SA-model متوسط تقاطع فوق الاتحاد (mIoU) قدره 23.39 في m-SA-Crop-Type، مقارنة بـ 21.41 (MR) و 22.39 (HR).
• الحقيقي مقابل الزائف (Real vs. False HR): أكدت دراسات الاستئصال (Ablation studies) أن مكاسب الأداء تنبع من المحتوى المعلوماتي لبيانات HR الحقيقية. فالنماذج المدربة على بيانات HR "الزائفة" (التي تم إنشاؤها عبر الاستيفاء لصور MR) سجلت أداءً أقل عموماً من تلك المدربة على أزواج HR الحقيقية، مما يؤكد أن الطريقة تتعلم الخصائص الفعلية للمستشعرات بدلاً من مجرد تغيير المقياس.
• الاستئصال (Ablations):
  • خسارة غرام (Gram Loss): تفوقت على خسارة MSE القياسية في المهام اللاحقة.
  • تقليل الأبعاد (Downsampling): أثبت التقليل الثنائي (Bilinear downsampling) أنه الأكثر فعالية وكفاءة حسابية مقارنة بالتكعيبي أو الخطي.
  • أخذ العينات (Sampling): لم يحسن أخذ العينات بالكتل (Block sampling) الأداء مقارنة بأخذ العينات العشوائي الافتراضي لـ LatentMIM.

الأهمية والادعاءات
يزعم البحث أن مكون التقاف المكاني المقترح يستغل بفعالية التفاصيل المرئية الأغنى لصور الأقمار الصناعية عالية الدقة (HR) مع الاحتفاظ بمزايا صور الدقة المتوسطة (MR) (مثل الأبعاد الطيفية والتوفر). ويرى المؤلفون أن هذا النهج يثبت أن استراتيجيات التدريب الفعالة التي تستخدم بيانات HR و MR معاً يمكن أن تتفوق على النماذج المدربة على دقة واحدة.

يسلط العمل الضوء على أنه رغم قيمة بيانات HR، إلا أن التدريب المسبق عليها ببساطة يعد غير مثالي لمهام MR اللاحقة. ومن خلال استخدام أزواج HR/MR حقيقية وتوزيع قائم على خسارة غرام (Gram-loss)، يتعلم النموذج تمثيل رقع MR بمستوى من التفاصيل المكانية يقترب من صور HR. ويختتم المؤلفون بتواضع بأن طريقتهم فعالة، لكن العمل المستقبلي يجب أن يركز على تقليل الاعتماد على أزواج الصور HR/MR المتزامنة وعالية الجودة، نظراً لصعوبة الحصول على مثل هذه المجموعات من البيانات.