Above-ground Biomass Estimation with Geospatial Foundation Models
تقدم هذه الورقة بحثاً مرجعياً شاملاً يوضح أنه في حين أن النماذج الجيومكانية التأسيسية المجمدة لا تؤدي أداءً جيداً في تقدير الكتلة الحيوية فوق الأرض على مستوى عالمي، فإن منتجات التضمين مسبقة الحساب مثل AlphaEarth Foundations تتفوق بشكل ملحوظ على النماذج الخاضعة للإشراف والمتطورة من خلال تحقيق دقة وتعميم فائقين عبر الزمان والمكان.
المؤلفون الأصليون:Ghjulia Sialellia, Linus Scheibenreif, Jan Dirk Wegner, Konrad Schindler
تخيل أنك تحاول عدّ الكربون المخزن في كل شجرة على وجه الأرض. هذه ليست مجرد لعبة "كم عدد الأشجار؟"، بل هي مهمة حاسمة لفهم مناخ كوكبنا، بما أن الغابات تعمل مثل إسفنجات عملاقة تمتص ثاني أكسيد الكربون. للقيام بذلك، يحتاج العلماء إلى معرفة "الكتلة الحيوية فوق سطح الأرض" (AGB) — وهو مصطلح معقد يشير إلى الوزن الإجمالي لكل الخشب والأوراق والأغصان في الغابة. المشكلة هي أنه لا يمكنك الطيران فوق الأمازون أو الكونج ووزن كل شجرة؛ فهذا سيستغرق وقتاً طويلاً وسيكلف ثروة طائلة. لذا، نحن نستخدم الأقمار الصناعية. تلتقط هذه الكاميرات الفضائية صوراً للأرض، لكن تحويل صورة ملونة مسطحة إلى وزن دقيق يشبه محاولة تخمين وزن بطيخة بمجرد النظر إلى قشرتها. إنه أمر صعب للغاية، والخرائط الحالية غالباً ما تخطئ في تقدير الغابات الكثيفة، فإما تفترض أنها أخف مما هي عليه أو تضيع في التفاصيل.
مؤخراً، ظهر نوع جديد من الذكاء الاصطناعي يسمى "النموذج التأسيسي الجيومكاني" (GFM). فكر في هذه النماذج كطلاب فائق الذكاء قرأوا كل صورة التقطها القمر الصناعي على الإطلاق. من المفترض أن تكون هذه النماذج مدربة جيداً لدرجة أنها تستطيع فهم أنماط الأرض دون الحاجة لأن تُعلّم لها تفاصيل محددة لكل مهمة. السؤال الكبير الذي واجه العلماء هو: هل يمكن لهؤلاء "الطلاب المتفوقين" مساعدتنا في وزن الغابات بدقة، أم أنهم بارعون فقط في حل اختبارات الاختيار من متعدد (مثل تحديد أنواع الأراضي) ولكنهم سيئون في إجراء العمليات الحسابية (مثل حساب الوزن)؟
تضع هذه الورقة البحثية مواجهة ضخمة لمعرفة ذلك. فقد جمع الباحثون مجموعة بيانات ضخمة من أوزان الغابات وصور الأقمار الصناعية، واختبروا طريقتين مختلفتين لاستخدام نماذج الذكاء الاصطناعي هذه. الطريقة الأولى هي إعطاء النماذج "الكتاب المدرسي" الخام (أوزان النموذج) وطلب تشغيلها من المستخدم كآلة حاسبة. الطريقة الثانية هي إعطاء المستخدم "ورقة مرجعية" (تمثيلات مدمجة محسوبة مسبقاً) كان النموذج قد حلّها بالفعل، لتكون جاهزة للاستخدام. كانت النتائج مفاجئة. فعندما حاول المستخدمون تشغيل النماذج بأنفسهم كآلات حاسبة جامدة، واجهوا صعوبات، وغالباً ما كان أداؤهم أسوأ من الطرق الأقدم والأبسط. ومع ذلك، عندما استخدموا "الأوراق المرجعية" الجاهزة من نماذج محددة، كانت النتائج رائعة. في الواقع، تفوق برنامج حاسوبي بسيط تم تدريبه على هذه الأوراق المرجعية على أكثر نماذج الذكاء الاصطناعي تعقيداً والتي تم تدريبها من الصفر. تشير الورقة إلى أنه بالنسبة لعملية وزن الغابات، فإن النهج الأفضل ليس بالضرورة منح الجميع الآلات الثقيلة لبناء الذكاء الاصطناعي، بل منحهم المعرفة عالية الجودة والمُهضومة مسبقاً التي تعلمها الذكاء الاصطناعي بالفعل. اتضح أنه بالنسبة لهذه المهمة المحددة، فإن "نموذج الإجابة" أقوى بكثير من "الكتاب المدرسي".
ملخص تقني: تقدير الكتلة الحيوية فوق الأرض باستخدام النماذج التأسيسية الجيومكانية
بيان المشكلة يعد التقدير الدقيق للكتلة الحيوية فوق الأرض (AGB) من صور الأقمار الصناعية أمراً بالغ الأهمية لمراقبة مخزون الكربون العالمي وسياسات المناخ. ومع ذلك، لا يزال إنشاء خرائط الكتلة الحيوية عالية الدقة، العالمية، والمحدثة بانتظام مهمة انحدار (regression) تنطوي على تحديات كبيرة. تواجه النهج الحالية ثلاثة عوائق رئيسية: (1) الانحيازات المستمرة حيث تتشبع إشارات الأقمار الصناعية فوق الغطاء النباتي الكثيف، مما يؤدي إلى تقدير أقل من الواقع للكتلة الحيوية العالية؛ (2) التوزيع غير المتكافئ لبيانات المرجعية (على سبيل المثال، بصمات GEDI محصورة في خطوط العرض تحت 51.6 درجة شمالاً، مما يستبعد الغابات الشمالية/البورية)؛ (3) التكال Kosten الحسابية الباهظة لمعالجة بيتابايت من بيانات المراقبة الأرضية (EO) بدقة 10 أمتار. وبينما ظهرت النماذج التأسيسية الجيومكانية (GFMs) كنموذج لتعلم تمثيلات عامة من البيانات غير المصنفة، إلا أن فائدتها في مهام الانحدار الكمي مثل تقدير الكتلة الحيوية لا تزال غير مستغلة إلى حد كبير، حيث تركز معظم الاختبارات المعيارية الحالية على التصنيف والتقسيم.
المنهجية يقدم المؤلفون اختباراً معيارياً شاملاً للنماذج التأسيسية الجيومكانية لتقدير الكتلة الحيوية على نطاق عالمي باستخدام مجموعة بيانات AGBD، وهي مجموعة بيانات معيارية جاهزة للتعلم الآلي تغطي مناطق حيوية متنوعة مع حوالي 16 مليون عينة تجمع بين قيم كتلة GEDI L4A وبيانات الأقمار الصناعية متعددة المصادر (Sentinel-2، وALOS-2 PALSAR-2، ومعالم إضافية).
تميزت الدراسة بين نمطين متميزين لنشر النماذج التأسيسية الجيومكانية وتم تقييمهما مقابل نموذج أساسي (SOTA) خاضع للإشراف بالكامل:
المشفرات المجمدة (توزيع الأوزان): تم تقييم 11 نموذجاً من النماذج التأسيسية الجيومكانية الموزعة كأوزان نماذج (مثل CROMA، وPrithvi، وSSL4EO-MoCo) ضمن إطار عمل PANGAEA. تم تشغيل هذه النماذج كمشفرات مجمدة، مع تدريب فك تشفير خاص بالمهمة فقط (UPerNet) فوقها. ومن الأهمية بمكان أن هذه النماذج كانت مقيدة بمجموعة الميزات المدخلة التي تدعمها (بشفي أساسي نطاقات Sentinel-2 البصرية)، مما جعلها تفتقر إلى الوصول إلى بيانات L-band SAR والمتغيرات الإضافية المتاحة في مجموعة بيانات AGBD الكاملة.
التمثيلات (Embeddings) مسبقة الحساب (جاهزة للاستخدام): تم تقييم منتجين للتمثيلات مسبقة الحساب، وهما AlphaEarth Foundations (AEF) وTESSERA. هذه تمثيلات لكل بكسل، محسوبة مسبقاً ومستمدة من بيانات مراقبة أرضية متعددة الأنماط ومتعددة الفترات الزمنية. اختبر المؤلفون هذه التمثلات باستخدام الاختبار الخطي (Linear Probes)، والشبكات العصبية متعددة الطبقات (MLP)، والشبكة التلافيفية المتطورة (fcn_film).
تضمن التقييم ما يلي:
الاختبار المعياري القياسي: مقارنة جذر متوسط مربع الخطأ (RMSE) على مجموعة بيانات AGBD.
اختبارات التعميم: تقييم الأداء في سيناريوهات التعميم عبر المناطق (Zero-shot cross-region) (التدريب على جميع المناطق باستثناء المنطقة المستهدفة) وعبر السنوات (Cross-year) (التدريب على عام 2019 والاختبار على 2020).
التحقق التشغيلي: مقارنة النتائج مع مجموعة بيانات AGBref المستقلة ومنتج ESA CCI Biomass التشغيلي.
المساهمات الرئيسية
اختبار معياري شامل: قام المؤلفون باختبار 11 نموذجاً تأسيسياً جيومكانياً موزعاً كأوزان، ومنتجين للتمثيلات مسبقة الحساب، على مجموعة بيانات AGBD، وهي أكبر وأكثر مجموعات بيانات الكتلة الحيوية تنوعاً جغرافياً وجاهزية للتعلم الآلي.
التحليل المقارن: أقاموا مقارنة مباشرة بين مشفرات النماذج التأسيسية المجمدة، والتمثيلات مسبقة الحساب، ونموذج SOTA خاضع للإشراف بالكامل مدرب على ميزات AGBD الخام.
تجارب التعميم: صممت الدراسة وحللت تجارب محددة لاختبار قدرات التعميم الجغرافي (عبر القارات) والزمني (عبر السنوات).
التحقق التشغيلي: تم التحقق من النتائج مقابل مجموعة بيانات مرجعية مستقلة (AGBref) ومقارنتها بخرائط ESA CCI biomass واسعة الاستخدام.
النتائج
قصور أداء المشفرات المجمدة: عندما تم تشغيلها كمشفرات مجمدة، أدت الـ 11 نموذجاً من النماذج التأسيسية الجيومكانية الموزعة كأوزان أداءً أقل بكثير من نموذج SOTA الخاضع للإشراف بالكامل والمدرب على ميزات AGBD الخام. حقق أفضل نموذج (SSL4EO-MoCo) قيمة RMSE بلغت 60.56 Mg/ha، مقارنة بـ 53.73 Mg/ha للنموذج الأساسي الخاضع للإشراف. ويُعزى هذا الفارق إلى عدم قدرة النماذج على استيعاب بيانات L-band SAR والبيانات الإضافية، وتقيدها بمدخلات تاريخ واحد أو نطاقات محددة.
تفوق التمثلات (Embeddings) مسبقة الحساب: في المقابل، أثبتت منتجات التمثلات مسبقة الحساب فعاليتها العالية. فقد تفوق نموذج MLP المدرب حصرياً على تمثلات AEF (بواقع 52.22 Mg/ha) على النموذج الأساسي الخاضع للإشراف المدرب على ميزات AGBD الخام. وتحقق أفضل نتيجة إجمالية بواسطة نموذج fcn_film المدرب على تمثلات AEF المعززة بميزات خام مختارة (غطاء الأرض، الميل، الاتجاه، الإحداثيات)، حيث حقق RMSE قدره 50.79 Mg/ha.
التعميم: أظهرت النماذج القائمة على AEF قدرة فائقة على التعميم الجغرافي والزمني. في حالات نقل التعلم عبر المناطق (Zero-shot cross-region) (مثل أفريقيا وأمريكا الجنوبية)، قللت تهيئة AEF+ من قيمة RMSE بنسبة 17-25% مقارنة بالميزات الخام. ومع ذلك، في جنوب آسيا، عانى نموذج AEF وحده من انخفاض في الأداء في إعدادات التعميم، وهو ما تم التخفيف من حدته عبر تهيئة AEF+ (الاحتفاظ بالميزات الخام). زمنياً، ظلت تمثلات AEF مستقرة عبر الفجوات الزمنية حيث تدهورت الميزات الطيفية الخام بشكل ملحوظ.
التكافؤ التشغيلي: عند التقيடம் مقابل مجموعة بيانات AGBref المستقلة، حقق النموذج المدرب على تمثلات AEF (المدرب على 11 منطقة فقط) تكافؤاً تقريباً مع منتج ESA CCI العالمي من حيث معامل التحديد (R²) وRMSE، رغم استخدام الأخير لبيانات مرجعية موزعة عالمياً.
الأهمية والادعاءات يزعم البحث أن الوعد الذي تقدمه النماذج التأسيسية للمراقبة البيئية الكمية يتحقق بأفضل صورة عندما يتم توزيع نموذج مدرب على بيانات غنية، متعددة الأنماط، ومتعددة الفترات الزمنية كـ طبقة تمثلات (embeddings) مسبقة الحساب وسهلة الوصول، بدلاً من توزيعها كأوزان ليقوم المستخدمون بتشغيلها كمشفرات مجمدة.
يجادل المؤلفون بما يلي:
ثراء المدخلات أمر حاسم: إن التفوق في أداء AEF وTESSERA لا ينبع فقط من حجم التدريب المسبق، بل من ثراء سياق المدخلات (متعدد الأنماط، متعدد الفترات الزمنية) المقطر في التمثلات. غالباً ما تفتقر النماذج التأسيسية الموزعة كأوزان إلى المرونة الهيكلية لاستيعاب المستشعرات المحددة (مثل L-band SAR) المطلوبة لتقدير دقيق للكتلة الحيوية.
الكفاءة وسهولة الوصول: تلغي التمثلات مسبقة الحساب الحاجة إلى استخراج الميزات المكثف باستخدام وحدات معالجة الرسومات (GPU)، مما يسمح للنماذج خفيفة الوزن (مثل MLP بسيط) بالتفوق على الشبكات المعقدة الخاضعة للإشراف بالكامل والمدربة على البيانات الخام.
المتانة: توفر التمثلات تمثيلات إيكولوجية قابلة للنقل وتعمم بشكل أفضل عبر المكان والزمان، وإن كان الاحتفاظ بالميزات الخام (AEF+) يوفر حماية ضد حالات الفشل خارج التوزيع (out-of-distribution) في المناطق ذات الخصائص الإيكولوجية المتميزة.
تخلص الدراسة إلى أنه بينما يمكن أن تكون ميزات النماذج التأسيسية المجمدة غنية بالمعلومات، إلا أن فائدتها حالياً محدودة بقيود المدخلات والعقبات الهندسية. إن المسار الأكثر فعالية يتضمن إما جعل النماذج الموزعة كأوزان أكثر مرونة للتعامل مع المدخلات والدقات المختلفة، أو الاستمرار في تقديم التمثلات كطبقات تمثلات جاهزة للتحليل ومحسوبة مسبقاً.