💻 computer science

Densification and forecasting of Sentinel-2 time series from multimodal SAR and Optical satellite data using deep generative models

تقترح هذه الورقة إطار عمل للتعلم العميق الاحتمالي يستفيد من بيانات سنتينل-1 (Sentinel-1) الرادارية (SAR) وبيانات سنتينل-2 (Sentinel-2) البصرية متعددة الأنماط لتوليد صور أقمار صناعية بصرية في تواريخ ماضية أو مستقبلية تعسفية، مما يعالج بفعالية كلاً من التكثيف الزمني للملاحظات المحجوبة بالسحب والتنبؤ المستقبلي مع نمذجة عدم اليقين في التوليد بشكل صريح.

المؤلفون الأصليون: Véronique Defonte, Dawa Derksen, Alexandre Constantin, Bastien Nespoulous

نُشر 2026-05-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Véronique Defonte, Dawa Derksen, Alexandre Constantin, Bastien Nespoulous

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول مشاهدة فيلم عن حقل مزارع يتغير عبر الفصول، لكن جهاز العرض معطل. أحياناً يقفز الفيلم، وأحياناً تغطيه التشويشات (الغيوم)، وأحياناً تختفي بكرات الأفلام تماماً. لديك نوعان من شرائط الأفلام:

الفيلم البصري (Sentinel-2): صور جميلة وملونة للحقل، لكنها لا تعمل إلا عندما تكون السماء صافية. إذا كانت هناك غيوم، تصبح الصورة بيضاء وغير مفيدة.
فيلم الرادار (Sentinel-1): صور بالأبيض والأسود وحبيبية يمكنها "الرؤية" من خلال الغيوم والأمطار، لكنها لا تظهر الألوان الزاهية للمحاصيل.

المشكلة:
يريد العلماء فيلماً مثالياً ومستمراً وملوناً للأرض. ولكن بسبب الغيوم، توجد فجوات ضخمة في الفيلم البصري. الأدوات الموجودة حالياً يمكنها محاولة "ملء الفراغات" بين صورتين معلومتين (مثل التخمين لما حدث في منتصف مشهد مفقود)، لكنها لا تستطيع تخمين ما سيحدث بعد انتهاء الفيلم، ولا يمكنها إخبارك بمدى تأكدها من تخميناتها.

الحل:
قام المؤلفون ببناء "مخرج" ذكي يعمل بالذكاء الاصطناعي، يعمل كأنه محرر بارع. يأخذ الفيلم البصري المتقطع وفيلم الرادار الحبيبي ويجمعهما معاً لإنشاء فيلم سلس ومستمر وملون لأي تاريخ — سواء كان هذا التاريخ في الماضي (ملء الفجوات) أو في المستقبل (التنبؤ بما سيأتي لاحقاً).

إليك كيف يعمل "المخرج" الذكي باستخدام تشبيهات بسيطة:

1. العينان المتخصصتان

يمتلك الذكاء الاصطناعي "عينين" منفصلتين للنظر إلى البيانات.

العين البصرية: تنظر إلى الصور الملونة.
عين الرادار: تنظر إلى الصور بالأبيض والأسود.
بدلاً من إجبار كلتا العينين على الرؤية بنفس الطريقة، يترك الذكاء الاصطناعي لكل منهما تعلم لغته الخاصة أولاً. هذا يشبه عمل رسام ونحات بشكل منفصل قبل أن يتعاونا؛ فالرسام يفهم اللون، والنحات يفهم الشكل والبنية.

2. تقويم "السفر عبر الزمن"

لا ينظر الذكاء الاصطناعي إلى الصور فحسب؛ بل يعرف متى تم التقاطها. إنه يستخدم "تقويم السفر عبر الزمن" الخاص به.

إذا أراد الذكاء الاصطناعي التنبؤ بصورة ليوم الثلاثاء القادم، فإنه يسأل: "كيف كان شكل الحقل يوم الاثنين الماضي؟ وماذا عن قبل ثلاثة أسابيع؟"
يقوم بحساب المسافة بين "الآن" و"آنذاك". يساعده هذا في فهم أن الحقل يبدو مختلفاً جداً في الربيع عنه في الخريف، حتى لو كانت الصور ضبابية.

3. تسليط الضوء الذكي (الانتباه المتقاطع - Cross-Attention)

هذه هي الحيلة الأكثر ذكاءً للذكاء الاصطناعي. تخيل تسليط ضوء على خشبة مسرح بها العديد من الممثلين (صور الأقمار الصناعية المختلفة). يحتاج الذكال الاصطناعي إلى تحديد أي الممثلين يجب أن يستمع إليهم للمشهد النهائي.

السيناريو أ (سماء صافية قريبة): إذا كانت هناك صورة ملونة وصافية من يوم أمس، فإن الضوء يسلط بقوة على تلك الصورة. هنا يتجاهل الذكاء الاصطناعي صور الرادار لأنه لا يحتاج إليها؛ فاللون موجود بالفعل.
السيناريو ب (غيوم كثيفة): إذا كانت الصور الملونة القليلة الأخيرة مغطاة بالغيوم (تشويش أبيض)، يدرك الذكاء الاصطناعي: "لا يمكنني استخدام هذه!" ويقوم فوراً بتوجيه تسليط الضوء نحو صور الرادار. ورغم أنها بالأبيض والأسود، إلا أنها تظهر شكل المحاصيل، مما يساعد الذكاء الاصطناعي على تخمين الألوان التي يجب أن تكون موجودة.
السيناريو ج (فخ الغيوم): إذا التُقطت صورة بالأمس ولكنها مغطاة بالغيوم، يتعلم الذكاء الاصطناعي تجاهلها تماماً، حتى لو كانت "قريبة" في الزمن. فهو يعلم أن الصورة الغائمة أسوأ من صورة صافية قبل أسبوع.

4. "مقياس الثقة" (عدم اليقين)

معظم أدوات الذكاء الاصطناعي تعطيك صورة فقط وتأمل الأفضل. لكن هذا الذكاء الاصطناعي مختلف: فهو يقدم لك أيضاً "مقياس ثقة" (خريطة عدم اليقين).

إذا كان الذكاء الاصطناعي يخمن بناءً على صورة صافية من يوم أمس، فإن المقياس يقول: "أنا متأكد بنسبة 100%".
إذا كان عليه التخمين لما سيبدو عليه الحقل بعد شهرين من الآن، أو إذا كان يخمن من خلال عاصفة شديدة، فإن المقياس يقول: "لست متأكداً تماماً من هذا الجزء".
لماذا هذا مهم: الأمر يشبه قول خبير الأرصاد الجوية: "سوف تمطر، لكنني متأكد بنسبة 60% فقط"، بدلاً من مجرد قول "سوف تمطر". وهذا يساعد المستخدمين على معرفة متى يثقون في الصورة ومتى يجب عليهم الحذر.

5. النتائج

اختبر المؤلفون هذا "المخرج" على بيانات أراضٍ زراعية حقيقية:

ملء الفجوات: نجح في إعادة بناء الأيام المفقودة في الفيلم، خاصة للمحاصيل التي تتغير بسرعة (مثل نمو القمح)، حيث أدى أداءً أفضل من الحيل الرياضية البسيطة أو نماذج الذكاء الاصطناعي القديمة.
التنبؤ بالمستقبل: استطاع تخمين كيف سيبدو الحقل بعد أساب_ من آخر صورة تم التقاطها. لم يكن مثالياً (فكلما ابتعد في التخمين، أصبحت الصورة أكثر ضبابية)، لكنه حافظ على الألوان والأشكال العامة بشكل صحيح.
خطأ "الثلج": يعترف المؤلفون بأن الذكاء الاصطناعي يرتبك بسبب الثلج. وبما أنه تدرب على الغيوم، فإنه أحياناً يعتقد أن الثلج هو نوع آخر من الغيوم، ويحاول "مسحه" لإظهار الأرض الموجودة تحته، وهو أمر خاطئ. كما يرتبك أيضاً بسبب أضواء المدن الساطعة جداً.

الملخص

تقدم هذه الورقة طريقة جديدة لمشاهدة قصة الأرض دون انقطاع. من خلال الجمع بين كاميرات "الألوان" (التي تعيقها الغيوم) وكاميرات "الشكل" (التي ترى من خلال الغيوم)، ومن خلال تعليم الذكاء الاصطناعي متى يثق في أي كاميرا، استطاعوا إنشاء نظام يمكنه ملء مشاهد الفيلم المفقودة والتنبؤ بالمشاهد المستقبلية. والأهم من ذلك، أنه يخبرك بمدى ثقته في توقعاته، ليعمل كمحرر مسؤول يعترف قائلاً: "أنا أخمن هنا".

ملخص تقني: تكثيف والتنبؤ بالسلاسل الزمنية لبيانات Sentinel-2 من بيانات رادارية وبصرية متعددة الأنماط

بيان المشكلة

تعد السلاسل الزمنية لصور الأقمار الصناعية البصرية (SITS) بالغة الأهمية لتطبيقات مراقبة الأرض مثل الزراعة، ومراقبة المناخ، وتحليل سطح الأرض. ومع ذلك، فإن فائدتها مقيدة بشدة بفجوات الاستحواذ وعدم انتظام أخذ العينات الناتج عن الغطاء السحابي وحواف المسح الضوئي. وبينما نجحت منهجيات التعلم العميق الحالية في معالجة إزالة السحب والتكثيف الزمني (الاستكمال) ضمن النطاق الزمني للبيانات المتاحة، إلا أنها تواجه قيودين أساسيين:

الافتقار إلى قدرة التنبؤ: تقتصر معظم الطرق على إعادة بناء الفجوات ضمن الامتداد الزمني للبيانات المتاحة ولا يمكنها التنبؤ بالملاحظات المستقبلية (الاستقراء).
غياب تقدير عدم اليقين: لا توفر النماذج الحالية عادةً سوى تقديرات نقطية دون تحديد موثوقية أو ثقة تنبؤاتها بشكل صريح، وهو أمر بالغ الأهمية لاتخاذ القرارات اللاحقة.
قيود البيانات: تعتمد العديد من المنهجيات على مدخلات متعددة الأنماط متوافقة زمنياً أو أقنعة سحب صريحة، مما يحد من متانتها في السيناريوهات الواقعية المتفرقة وغير المنتظمة.

المنهجية

يقترح المؤلفون إطار عمل للتعلم العميق الاحتمالي مصمم لتوليد صور بصرية في تواريخ ماضية (استكمال) أو مستقبلية (استقراء) عشوائية من سلاسل زمنية متفرقة وغير منتظمة ومتعددة الأنماط (Sentinel-2 البصرية وSentinel-1 الرادارية SAR). يتم صياغة النهج كمسألة توليد صور مشروطة بالهدف.

نظرة عامة على البنية

يتكون النموذج من ثلاثة مكونات رئيسية:

استخراج الميزات المكانية:
- تعالج مشفرات تلافيفية ثنائية الأبعاد (2D convolutional encoders) منفصلة بيانات Sentinel-2 (RGB-NIR) وSentinel-1 (VV/VH) بشكل مستقل لالتقاط الأنماط المكانية الخاصة بكل نمط.
- يتم استخدام آلية تجميع الهرم المكاني (SPP) لتجميع المعلومات السياقية متعددة المقاييس مع الحفاظ على التفاصيل المكانية الدقيقة ومنع التنعيم المفرط.
- يتم إعادة تشكيل تسلسلات المدخلات لمعالجة كل عملية استحواذ بشكل مستقل في البعد المكاني قبل النمذجة الزمنية.
الترميز الزمني والانتباه المتقاطع:
- الترميز الزمني: يقوم النموذج بترميز الزمن صراحة للتعامل مع أخذ العينات غير المنتظم.
  - يتم ترميز التاريخ المستهدف ( $d_{target}$ ) باستخدام تمثيل مستمر يعتمد على يوم السنة (DOY) لالتقاط الموسمية.
  - يتم ترميز تواريخ الاستحواذ المدخلة ( $d_i$ ) بالنسبة للتاريخ المستهدف ( $\Delta d = d_i - d_{target}$ )، مما يلتقط كلاً من المسافة والاتجاه الزمني (ماضي/مستقبل).
- آلية الانتباه المتقاطع (Cross-Attention): يعمل الترميز الزمني للتاريخ المستهدف كـ استعلام (Query)، بينما تعمل الرموز الزمكانية لجميع عمليات استحواذ Sentinel-1 وSentinel-2 المتاحة كـ مفاتيح (Keys) وقيم (Values).
- تسمح هذه الآلية للنموذج بتجميع المعلومات من الملاحظات الأكثر صلة زمنياً بشكل انتقائي دون الحاجة إلى أقنعة سحب صريحة أو مدخلات متوافقة زمنياً. يتعلم النموذج من البداية إلى النهاية (end-to-end) لوزن الملاحظات الموثوقة وتجاهل غير الموثوقة منها (مثل البكسلات السحابية).
المفكك الاحتمالي (Probabilistic Decoder):
- بدلاً من التنبؤ بصورة حتمية واحدة، يتنبأ المفكك بمعلمات توزيع لابلاس (Laplace distribution) لكل بكسل (المتوسط $\mu$ والمقياس $b$ ) لكل نطاق طيفي.
- تم اختيار توزيع لابلاس بسبب ذيوله الثقيلة، والتي تعد أكثر متانة تجاه أخطاء التنبؤ الكبيرة وتقلل من التنعيم المفرط مقارنة بافتراضات التوزيع الطبيعي (Gaussian).
- يخرج النموذج كلاً من الصورة البصرية المعاد بناؤها ( $\mu$ ) وخريطة عدم اليقين (المشتقة من معامل المقياس $b$ ).
- تتم عملية التدريب عن طريق تقليل السلب اللوغاريتمي (negative log-likelihood) لتوزيع لابلاس.

المساهمات الرئيسية

الاستكمال والاستقراء الموحد: على عكس الأعمال السابقة المقتصرة على ملء الفجوات، يقوم هذا الإطار بتوليد صور في تواريخ مستهدفة عشوائية، مما يدعم كلاً من إعادة البناء داخل نافذة الملاحظة والتنبؤ لما وراءها.
نمذجة عدم اليقين الصريحة: يوفر الصياغة الاحتمالية تقديرات عدم يقين لكل بكسل تكون جيدة المعايرة، مما يوفر مقياساً لموثوقية التنبؤ يزداد عندما تكون البيانات متفرقة أو بعيدة زمنياً.
الدمج القوي متعدد الأنماط: يستغل النهج بيانات Sentinel-1 SAR وSentinel-2 البصرية بشكل مشترك دون الاعتماد على أقنعة سحب خارجية أو توافق زمني صارم. تعمل آلية الانتباه المتقاطع على الاستفادة التكيفية من بيانات SAR عندما تكون الملاحظات البصرية مفقودة أو ملوثة.
التعلم من البداية إلى النهاية: يتعلم النموذج التعامل مع أخذ العينات غير المنتظم وتلوث السحب بشكل ضمني، مما يلغي الحاجة إلى خطوات المعالجة المسبقة مثل قناع السحب.

النتائج التجريبية

تم تقييم الطريقة على مجموعة بيانات من رقع Sentinel-1 وSentinel-2 (96×96 بكسل) تغطي مناظر طبيعية متنوعة، مع التركيز على المناطق الزراعية.

أداء الاستكمال (Interpolation)

المقاييس الكمية: تفوق النموذج المقترح على كل من خط الأساس للاستكمال الخطي ونموذج U-TILISE (تسلسل إلى تسلسل بصري فقط) عبر جميع أنواع غطاء الأرض (حضري، غابات، أراضي زراعية) من حيث MAE وRMSE وPSNR.
المناطق الديناميكية: كانت فجوة الأداء أكثر وضوحاً في مناطق الأراضي الزراعية، حيث نجح النموذج في التقاط الديناميكيات الموسمية المعقدة وغير الخطية التي فشلت الاستكمال الخطي والنماذج البصرية فقط في نمذجتها بدقة.
التحليل النوعي: في سيناريوهات الفجوات الزمنية الكبيرة، أنتج النموذج عمليات إعادة بناء أكثر حدة من النماذج المرجعية. والأهم من ذلك، أن المناطق ذات صعوبة إعادة البناء العالية (مثل الفجوات الكبيرة) أظهرت عدم يقين متوقعاً أعلى، مما أظهر تقديراً متسقاً لعدم اليقين.

أداء الاستقراء (Extrapolation)

نجح النموذج في توليد ملاحظات مستقبلية معقولة، مع الحفاظ على الاتساق الإشعاعي رغم الصعوبة المتأصلة في الاستقراء.
على الرغم من أن الأخطاء كانت أعلى من الاستكمال، إلا أن النموذج حافظ على ديناميكيات الغطاء النباتي الرئيسية (مثل تطور NDVI) عبر فترات طويلة (مثل شهر و20 يوماً).
سلطت خرائط عدم اليقين الضوء بشكل صحيح على المناطق ذات الثقة المنخفضة أثناء الاستقراء.

دراسات الاستئصال (Ablation Studies)

متعدد الأنماط مقابل البصري فقط: أدى تضمين بيانات Sentinel-1 SAR باستمرار إلى تحسين الأداء (انخفاض MAE/RMSE، وارتفاع PSNR) مقارنة بالنسخة البصرية فقط، مما يؤكد قيمة المعلومات الهيكلية لـ SAR في الظروف الغائمة أو المتفرقة.
الترميز الزمني: تفوق استخدام الترميز الزمني النسبي ( $\Delta d$ ) بشكل كبير على ترميز التاريخ المطلق، مما يشير إلى أن إبلاغ الشبكة صراحة بالإزاحة الزمنية للتاريخ المستهدف أمر بالغ الأهمية للأداء.
تحليل الانتباه: كشفت رؤية أوزان الانتباه أن النموذج يغير تركيزه بشكل تكيفي: فهو يعتمد بشدة على البيانات البصرية القريبة زمنياً عند توفرها، ولكنه يزيد بشكل كبير من الانتباه لأقرب عملية استحواذ SAR عندما تكون البيانات البصرية مفقودة أو شديدة التلوث بالسحب.

الأهمية والقيود

الأهمية:
يزعم البحث أن هذا الإطار يمثل خطوة للأمام في توليد سلاسل زمنية بصرية مستمرة وموثوقة من خلال معالجة التحديات المزدوجة المتمثلة في التنبؤ وتقدير عدم اليقين. وتبرز القدرة على توفير تقديرات عدم يقين جيدة المعايرة كمساهمة رئيسية للتطبيقات التي تتطلب دعم القرار، وتحليل السيناريوهات، وتقييم المخاطر. كما أن الدمج التكيفي لبيانات SAR والبصرية دون قناع يدوي يظهر نهجاً متيناً للتعامل مع عدم انتظام البيانات في العالم الحقيقي.

القيود:
يقر المؤلفون بوجود بعض القيود:

الانعكاس الشديد: يميل النموذج إلى التقليل من قيم الانعكاس العالية جداً (مثل الأسطح الاصطناعية أو المحاصيل الساطعة) بسبب التنظيم من توزيع التدريب.
الثلوج والجبال: يفتقر النموذج للتدريب على المناطق الجبلية أو المغطاة بالثلوج. وغالباً ما يخلط بين الثلج والسحب، محاولاً إعادة بناء السطح الأساسي (مثل التربة) بدلاً من الحفاظ على إشارة الثلج، مما يؤدي إلى تنبؤات غير صحيحة فيزيائياً.
خارج نطاق التوزيع: يظهر النموذج انخفاضاً في المتانة في الظروف غير الموجودة في مجموعة التدريب (مثل الثلج)، وإن كان عدم اليقين العالي المرتبط بها يعمل كمؤشر تحذيري.

يخلص المؤلفون إلى أنه بينما يعد هذا الإطار فعالاً لمراقبة سطح الأرض العامة، يجب أن يركز العمل المستقبلي على توسيع مجموعات التدريب لتشمل ظروفاً بيئية متنوعة (الثلج، الجبال) وربما دمج نطاقات طيفية إضافية للتمييز بشكل أفضل بين الأسطح عالية الانعكاس.