Towards Knowledge Guided Pretraining Approaches for Multimodal Foundation Models: Applications in Remote Sensing

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نحو نهج تدريب مسبق موجه بالمعرفة للنماذج التأسيسية متعددة الوسائط: تطبيقات في الاستشعار عن بعد."

1. بيان المشكلة

تعتمد نماذج التدريب المسبق الحالية لنماذج الجيولوجيا الأساسية بشكل أساسي على إعادة بناء القناع (Masked Reconstruction - MR) أو التنبؤ بالخطوة التالية/المتغيرة (Next-Token/Variable-Step Forecasting - VSF).

• محدودية MR: رغم فعاليتها في استخراج الميزات المكانية، إلا أن MR تركز على إعادة بناء الأجزاء المحجوبة من صورة (أو تسلسل) دون نمذجة العلاقات السببية بين المتغيرات البيئية المختلفة بشكل صريح. فهي تلتقط البنية المكانية ولكنها غالباً ما تفشل في التقاط الديناميكيات الزمنية المدفعة بعوامل خارجية.
• محدودية VSF القياسي: تتنبأ نماذج التنبؤ القياسية بالحالات المستقبلية بناءً على الملاحظات السابقة لنفس الوسيط (على سبيل المثال، التنبؤ بصور الأقمار الصناعية المستقبلية من صور الأقمار الصناعية السابقة). وهي غالباً ما تتجاهل علاقة "المحرك-الاستجابة" (driver-response) حيث تؤثر المتغيرات الخارجية (المحركات، مثل الطقس) سببياً على حالة سطح الأرض (الاستجابة، مثل نمو الغطاء النباتي).
• الفجوة: لا تستفيد النهج الحالية بشكل كامل من التفاعل السببي المعروف بين المتغيرات الجيومكانية (مثل كيف يدفع المطر ودرجة الحرارة ظاهرة اخضرار النباتات). وبناءً على ذلك، قد تفتقر التضمينات (embeddings) التي يتم تعلمها عبر هذه الطرق إلى الاتساق الفيزيائي المطلوب للمهام التي يكون فيها فهم "لماذا" حدث التغيير بنفس أهمية فهم "ماذا" تغير.

2. المنهجية: التنبؤ بخطوة متغيرة موجه بالمعرفة (KG-VSF)

يقترح المؤلفون KG-VSF، وهو مهمة تدريب مسبق مبتكرة تصيغ التنبؤ كـ مهمة توليد شرطية. بدلاً من التنبؤ بالمستقبل بناءً على صور الماضي فقط، يتنبأ النموذج بصور الأقمار الصناعية المستقبلية مشروطة بـ صور الأقمار الصناعية الماضية وبيانات الطقس المستقبلية (حتى تاريخ التنبؤ).

المفهوم الجوهري

• متغيرات المحرك (Driver Variables): تعمل بيانات الطقس (مثل درجة الحرارة، الهطول، الرياح) كـ "محرك".
• متغيرات الاستجابة (Response Variables): تعمل صور الأقمار الصناعية (النطاقات الطيفية) كـ "استجابة".
• الهدف: بالنظر إلى تاريخ صور الأقمار الصناعية والطقس، وبيانات الطقس حتى زمن مستقبلي $T + \delta t$، يتم التنبؤ بصورة القمر الصناعي عند $T + \delta t$. هذا يجبر النموذج على تعلم كيفية تغيير أنماط طقس معينة لسطح الأرض سببياً.

البنية (Architecture)

يتبع النموذج تصميم مشفر ثقيل / فك تشفير خفيف (Heavy Encoder / Lightweight Decoder):

1. مشفر الأقمار الصناعية (Satellite Encoder): يقوم محول رؤية (ViT) مشترك باستخراج الميزات المكانية من رقع الصور الطيفية عبر الفترات الزمنية.
2. مشفر الطقس (Weather Encoder): يقوم نموذج LSTM أحادي الاتجاه بتشفير بيانات السلاسل الزمنية للطقس (نظراً لدقتها المكانية الخشنة وطبيعتها التسلسلية).
3. المشفرات الزمنية (Temporal Encoders): مشفرات منفصلة لتضمينات "يوم السنة" (DOY) و"فارق الزمن" ($\Delta t$) لتوفير السياق الزمني.
4. مشفر التسلسل متعدد الوسائط (Multimodal Sequence Encoder): محول (Transformer) يستخدم انتباهً اتجاهياً فقط (causal attention) لدمج تضمينات الأقمار الصناعية، والطقس، والتضمينات الزمنية. وهذا يضمن عدم تسرب المعلومات من المستقبل.
5. المتنبئ (Forecaster): طبقة MLP خفيفة الوزن تقوم بترجمة تضمينات الطابع الزمني الحالي إلى تضمينات الطابع الزمني المستقبلي باستخدام سياق الطقس.
6. فك التشفير (Decoder): طبقة MLP خفيفة الوزن تعيد بناء صورة القمر الصناعي من التضمينات المتنبأ بها.

استراتيجية التدريب المسبق ثنائية المرحلة

لضمان أن التضمينات تلتقط العلاقات السببية وليس مجرد الارتباطات، يستخدم المؤلفون عملية تدريب من مرحلتين:

• المرحلة 1 (إعادة بناء القناع - Masked Reconstruction): يتم تدريب النموذج مسبقاً لإعادة بناء صور الأقمار الصناعية وبيانات الطقوة المحجوبة بشكل مستقل. هذا يؤسس تمثيلات أساسية قوية لكل وسيط.
• المرحلة ce (التنبؤ - Forecasting): يتم إدخال المتنبئ. يُدرب النموذج على التنبؤ بصور الأقمار الصناعية المستقبلية باستخدام التضمينات الحالية وبيانات الطقس المستقبلية. تجبر هذه المرحلة المشفر على مواءمة إشارات الطقس "المحركة" مع إشارات الأقمار الصناعية "المستجيبة" لتقليل خطأ التنبؤ.

3. المساهمات الرئيسية

1. هدف تدريب مسبق مبتكر: تقديم KG-VSF، الذي ينمذج صراحةً التبعيات السببية بين الوسائط (الطقس $\leftarrow$ سطح الأرض) بدلاً من مجرد الارتباطات الدلالية أو إعادة البناء ذاتي الإشراف.
2. التضمينات السببية: إثبات أن KG-VSF ينتج تضمينات تشفر بطبيعتها القوانين الفيزيائية (مثل: المطر يؤدي إلى الاخضرار، الثلج يؤدي إلى غطاء أبيض) دون إشراف صريح.
3. تقييم شامل: مقارنة مرجعية واسعة النطاق ضد الخطوط المرجعية القياسية (SM-MR, MM-MR, SM-VSF, MM-VSF) والنماذج المتطورة (Prithvi EO.2, WSTATT) عبر مهام متنوعة.
4. الاستئصال والتحقق (Ablation & Verification): تجارب صارمة (استقصاء الطقس الافتراضي المضاد، واختبارات الإسكات/الخلط) تثبت أن مكاسب الأداء تنبع من تعلم الآليات السببية، وليس مجرد وجود مدخل إضافي.

4. النتائج التجريبية

قيم المؤلفون الطريقة على مجموعتي بيانات: مجموعة بيانات عالمية (مناطق متنوعة) ومجموعة بيانات المحاصيل الأمريكية (تركيز زراعي).

أداء المهام اللاحقة (Downstream Tasks)

• رسم خرائط نوع المحصول على مستوى البكسل: حقق KG-VSF أعلى متوسط لدرجة F1 (0.7602)، متفوقاً بشكل كبير على MM-MR (0.7056) وMM-VSF (0.5426). كما أظهر أداءً متفوقاً بعدد عينات تدريب أقل مقارنة بالنماذج المدربة من الصفر.
• تقدير رطوبة التربة: حقق KG-VSF معامل تحديد $R^2$ قدره 0.8081، متفوقاً على MM-VSF (0.7606) وPrithvi EO.2 (0.3377). وهذا يسلط الض الضوء على الدور الحاسم لبيانات الطเสีย في التنبؤ برطوبة التربة.
• التنبؤ برطوبة التربة: حافظ KG-VSF على دقة متفوقة عبر جميع آفاق التنبؤ (من 0-25 يوماً إلى أكثر من 100 يوم)، مع اتساع فجوة الأداء مع زيادة أفق التنبؤ.
• التنبؤ بالصور المفقودة: أظهر KG-VSF أدنى متوسط خطأ تربيعي (MSE) في ملء البيانات المفقودة (مثل الغطاء السحابي)، حيث استنتج بشكل صحيح الحالات الفيزيائية (مثل جفاف مجاري الأنهار) في حين قامت النماذج الأخرى بهلوسة ميزات خاطئة (مثل إضافة الماء إلى الأسرّة الجافة).
• التنبؤ بصور المستقبل (Zero-Shot): في إعداد "الصفر تدريب"، تفوق KG-VSF بشكل كبير على خطوط VSF المرجعية في التنبؤ بتغيرات الغطاء الأرضي المستقبلية (مثل الحصاد، أو تساقط الثلوج) عبر آفاق طويلة (تصل إلى 255 يوماً)، ملتقطاً الديناميكيات الخاصة بالتضاريس التي فاتت النماذج القائمة على الارتباط.

تحليل جودة التضمينات

• تصور t-SNE: شكلت تضمينات KG-VSF مجموعات ضيقة ومتسقة دلالياً لأنواع المحاصيل المختلفة، بينما أنتجت نماذج MR مجموعات منتشرة ومتداخلة.
• الاستقصاء الافتراضي المضاد (Counterfactual Probing): عند تغذيته بطقس افتراضي مضاد (مثل "جاف حار" مقابل "بارد رطب")، تغيرت الصور المتنبأ بها في KG-VSF فيزيائياً بشكل صحيح (مثل إضافة الثلج فقط إلى الحقول المفتوحة، وليس الغابات)، مما يثبت أنه تعلم القواعد السببية.
• الاستئصال (الإسكات/الخلط): أدى إسكات أو خلط بيانات الطقس إلى انخفاض حاد في الأداء (على سبيل المثال، انخفض $R^2$ لرطوبة التربة من 0.8081 إلى 0.3143 عند جعل بيانات الطقس صفراً)، مما يؤكد أن النموذج يعتمد على الإشارة السببية، وليس مجرد وجود وسيط ثانٍ.

5. الأهمية والأثر

• الاتساق الفيزيائي: ينقل KG-VSF النماذج التأسيسية من تعلم الارتباطات الإحصائية إلى تعلم الديناميكيات السببية المتسقة فيزيائياً. وهذا أمر بالغ الأهمية لتطبيقات علوم الأرض حيث يكون فهم "لماذا" (الآلية) بنفس أهمية فهم "ماذا" (التنبؤ).
• كفاءة البيانات: تحقق الطريقة أداءً عالياً مع بيانات ضبط دقيق (fine-tuning) محدودة، مما يجعلها مناسبة للمجالات التي تندر فيها البيانات المصنفة.
• القابلية للتعميم: رغم إثباتها في الاستشعار عن بعد، فإن نموذج "التدريب المسبق الموجه بالمعرفة" قابل للتطبيق في مجالات أخرى تتضمن علاقات المحرك-الاستجابة، مثل الرعاية الصحية (العوامل السريرية $\leftarrow$ نتائج المرضى) أو التمويل (المؤشرات الكلية $\leftarrow$ ديناميكيات السوق).
• القابلية للتوسع: تظهر التجارب أن الأداء يتوسع خطياً مع كمية بيانات التدريب المسبق، مما يشير إلى أن KG-VSF يمكن أن يستفيد من الكميات الهائلة من بيانات الأقمار الصناعية والطقس غير المصنفة المتاحة عالمياً.

في الختام، تثبت الورقة أن دمج المعرفة بالمجال (المحركات السببية) مباشرة في هدف التدريب المسبق ينتج نماذج تأسيسية أكثر قوة، وقابلية للتفسير، وفعالية للمهام الجيولوجية المعقدة مقارنة بنهج التعلم الذاتي التقليدية.