How should machine-learning bias correction of satellite solar irradiance be built and validated? A methodological protocol from a tropical monsoon station network
تقترح هذه الورقة بروتوكولاً منهجياً من أربع مراحل لتصحيح انحياز تعلم الآلة للإشعاع الشمسي الساتلي، وهو ما يكشف كيف يمكن للتحقق المتقاطع المعياري أن يحجب فشل النموذج في التعميم عبر المحطات، مما يثبت أن الخوارزميات المرنة غالباً ما تحفظ الخصائص النوعية لكل موقع بدلاً من تعلم العلاقات الجوية القابلة للنقل في شبكات الموسمي المداري.
تعد أشعة الشمس المحرك للحياة المعاصرة، فهي تغذي كل شيء بدءاً من الألواح الشمسية على أسطح المنازل وصولاً إلى المحاصيل التي تطعم المليارات. ولتسخير هذه الطاقة بفعالية، يحتاج العلماء والمهندسون إلى معرفة مقدار ضوء الشمس الذي يسقط على الأرض بدقة في أي موقع محدد. وفي أجزاء كثيرة من العالم، لا سيما عبر المناطق الاستوائية، يصعب الحصول على هذه المعلومات نظراً لأن شبكات الأدوات الأرضية التي تقيس ضوء الشمس نادرة ومكلفة في الصيانة. ولسد هذه الفجوات، يعتمد الباحثون على الأقمار الصناعية التي تدور حول الأرض وتقدر مستويات ضوء الشمس من الفضاء. ومع ذلك، فإن تقديرات الأقمار الصناعية هذه ليست مثالية؛ إذ غالباً ما تحتوي على أخطاء منهجية ناتجة عن السحب أو الغبار أو الطريقة المعقدة التي يتفاعل بها ضوء الشمس مع الغلاف الجوي. ولإصلاح ذلك، يستخدم العلماء نماذج حاسوبية لتعديل أرقام الأقمار الصناعية بحيث تتطابق مع القليل من القياسات الأرضية الموجودة بالفعل. وتعد هذه العملية، المعروفة باسم "تصحيح الانحياز"، ممارسة قياسية، لكن دراسة جديدة تشير إلى أن الطريقة التي تُختبر بها هذه النماذج قد تخفي خللاً جوهرياً.
تركز الأبحاث، التي أجراها فريق في جامعات إندونيسية، على تحدٍ محدد: كيفية معرفة ما إذا كان النموذج الحاسوبي الذي يصحح بيانات الأقمار الصناعية سيعمل بالفعل عند تطبيقه في موقع جديد. قام العلماء ببناء بروتوكول لاختبار خمسة أنواع مختلفة من نماذج تعلم الآلة باستخدام بيانات من خمس محطات أرصاد جوية في وسط جاوة. تقع هذه المحطات في مناخ استوائي موسمي، حيث يتغير الطقس بسرعة بين الموسمين الرطب والجاف. ولم تكن القياسات الأرضية مأخوذة بواسطة مستشعرات ضوء الشمس المباشرة، بل تم حسابها من سجلات مدة سطوع الشمس كل يوم، وهي طريقة تنطوي على أخطاء صغيرة خاصة بها. وقد ربط الفريق بين هذه السجلات الأرضية وتقديرات الأقمار الصناعية اليومية من مشروع ناسا باور (NASA POWER). وبما أن جميع المحطات الخمس تقع ضمن نفس خلية الشبكة الكبيرة للقمر الصناعي، فإن القمر الصناعي يرى جميعها وكأنها تمتلك نفس ظروف ضوء الشمس تماماً، رغم أن الأدوات الأرضية تسجل كميات مختلفة قليضاً من الطاقة.
اختبر الباحثون نماذجهم باستخدام طريقتين مختلفتين تماماً لمعرفة مدى أدائها في العالم الحقيقي. الطريقة الأولى، وهي الأكثر شيوعاً في المؤلفات العلمية، قامت بخلط البيانات اليومية من جميع المحطات معاً وتقسيمها عشوائياً إلى مجموعات تدريب واختبار. وتحت هذا الإعداد، ظهرت نماذج تعلم الآلة ناجحة للغاية. فقد نجح النموذج الأكثر مرونة، وهو نوع من الخوارزميات الحاسوبية يُعرف باسم "تعزيز التدرج" (gradient boosting)، في تقليل الخطأ في بيانات الأقمار الصناعية بنسبة واحد وعشرين بالمئة. كما نجح في إزالة الانحيازات الموسمية وجعل أرقام الأقمار الصناعية تتطابق مع السجلات الأرضية بشكل وثيق للغاية. ولو توقف الباحث عند هذه النقطة، لخلص إلى أن هذه النماذج الحاسوبية الذكية هي أفضل أداة لتحسين بيانات ضوء الشمس في أي مكان في المنطقة.
ومع ذلك، طبق الفريق بعد ذلك اختباراً ثانياً أكثر صرامة، صُمم لمحاكاة سيناريو واقعي أكثر صعوبة: التنبؤ بضوء الشمس لموقع لا توجد فيه أداة أرضية. في هذا الاختبار، قاموا بتدريب النماذج على أربع محطات وحاولوا التنبؤ بضوء الشمس للمحطة الخامسة، مع تكرار هذه العملية حتى يتم استبعاد كل محطة على حد. كانت النتائج مذهلة ومختلفة تماماً. فبموجب هذا الاختبار الصارم، كان أداء جميع نماذج تعلم الآلة أسوأ من مجرد استخدام بيانات الأقمار الصناعية الخام غير المصححة. والنماذج التي بدت مبهرة جداً في الاختبار الأول أصبحت في الواقع تزيد من حجم الأخطاء. أما النماذج الأكثر مرونة، والتي كانت هي الفائزة في الاختبار العشوائي، فقد أصبحت الأسوأ أداءً على الإطلاق.
تعمق البحث لفهم سبب فشل النماذج بهذا الشكل السيئ في الاختبار الثاني. واكتشفوا أن النماذج لم تكن تتعلم فيزياء الغلاف الجوي أو كيفية تأثير السحب على ضوء الشمس، بل كانت تحفظ الهوية المحددة لكل محطة. ولأن بيانات الأقام الصناعي كانت متطابقة لجميع المواقع الخمسة، استخدمت النماذج أدلة أخرى متاحة، مثل الضغط السطحي، لمعرفة أي محطة تنظر إليها. يتغير الضغط السطحي قليلاً مع الارتفاع، مما يعمل كبصمة لكل موقع. تعلمت النماذج تطبيق تصحيح محدد لـ "المحطة أ" وتصحيح مختلف لـ "المحطة ب"، فهي فعلياً تحفظ "السمات الغريبة" للأداة الأرضية بدلاً من فهم أخطاء القمر الصناعي. وعندما طُلب من النموذج التنبؤ لمحطة لم يسبق له رؤيتها، لم يكن لديه ذاكرة ليعتمد عليها وفشل تماماً.
يدفع هذا الاكتشاف نحو تغيير في كيفية تقديم العلماء لأعمالهم. وتخلص الدراسة إلى أنه لا يوجد نموذج واحد "أفضل" لجميع الحالات. فإذا كان الهدف هو تحسين البيانات لمحطة تمتلك بالفعل أداة أرضية، فإن نماذج تعلم الآلة المرنة ممتازة ويجب استخدامها. ولكن إذا كان الهدف هو تقدير ضوء الشمس لموقع جديد غير مزود بأدوات داخل نفس المنطقة، فلا ينبغي استخدام هذه النماذج المعقدة على الإطلاق؛ إذ إن بيانات الأقمار الصناعية الخام هي في الواقع أكثر موثوقية. ويقترح الباحثون معياراً جديداً للتحقق يتطلب اختبار النماذج بالطريقتين معاً: إحداهما للتحقق مما إذا كانت تعمل للمحطات الموجودة، والأخرى للتحقق مما إذا كان بإمكانها التعميم حقاً على أماكن جديدة. ومن خلال القيام بذلك، يمنعون نشر أدوات تبدو ذكية في المختبر ولكنها تفشل في الميدان، مما يضمن أن القرارات المتعلقة بالطاقة الشمسية والزراعة تستند إلى بيانات صادقة ودقيقة.
ملخص تقني: تصحيح انحياز الإشعاع الشمسي للأقمار الصناعية باستخدام تعلم الآلة في الشبكات المدارية الموسمية
بيان المشكلة يُستخدم تعلم الآلة (ML) بشكل متزايد لتصحيح الأخطاء المنهجية في الإشعاع الأفقي العالمي (GHI) المستمد من الأقمار الصناعية عبر ربطه بالملاحظات الأرضية. ومع ذلك، لا يزال هناك خلل منهجي حرج في الأدبيات العلمية: غالبًا ما تعتمد تصميمات التحقق من الصحة على التحقق المتقاطع لـ k-طية العشوائي أو الحجز الزمني الفردي. تفترض هذه النهج أن البيانات المحجوزة قابلة للتبادل مع ظروف النشر. وفي الشبكات الرصدية المتكتلة، كما هو الحال في المناطق المدارية حيث تكون المحطات الأرضية نادرة وغالبًا ما تشترك في خلية شبكية واحدة للأقمار الصناعية، يفشل هذا الافتراض. فالتحقق العشوائي يختبر قدرة النموذج على الاستكمال (Interpolation) داخل المحطات المعروفة، بينما يتطلب الممارسون في الواقع نقلًا مكانيًا (Spatial Transfer) إلى مواقع غير مرصودة. إن تجاهل هذا التمييز يمكن أن يؤدي إلى تضخيم مقاييس الأداء، وعكس ترتيب النماذج، ونشر نماذج تتدهور دقتها عند تطبيقها في مواقع جديدة.
المنهجية: بروتوكول مكون من أربع مراحل يقترح المؤلفون ويوضحون بروتوكولًا مكونًا من أربع مراحل باستخدام 5,075 ملاحظة يومية من خمس محطات مناخية في وسط جاوة، إندونيسيا (2022-2024)، مقترنة بتقديرات قمر ناسا (NASA POWER) الصناعية.
ضبط جودة الشبكة:
التحقق من الإحداثيات: ضمان مطابقة إحداثيات المحطة لنقاط الاسترجاع الخاصة بالقمر الصناعي لتجنب أخطاء الاقتران.
الفحص الفيزيائي: إزالة القيم غير المعقولة (مثل الإشعاع السالب).
اتساق الشبكة: مقارنة توزيع كل محطة مقابل متوسط الشبكة. حدد هذا الإجراء شذوذًا كبيرًا في محطة "سيمبو" (SEMPU)، حيث تسبب مقياس سطوع الشمس الذي يعطي قراءات منخفضة في خلق "انحياز قمر صناعي" زائف قدره +21.7%، بينما أظهرت المحطات المجاورة في نفس بكسل القمر الصناعي انحيازات تتراوح بين -3.2% و+4.6%.
بناء المتنبئات المستندة إلى الفيزياء:
تم بناء مجموعة من 24 متنبئًا، تشمل الإشعاع الأفقي العالمي (GHI) من القمر الصناعي، ومؤشرات السماء الصافية، وخصائص السحب، والعمق البصري للهباء الجوي، والضغط السطحي، والمتغيرات الأرصادية (درجة الحرارة، الرطوبة، الرياح).
ومن الأهمية بمكان استبعاد المتغيرات المقاسة أرضيًا لضمان بقاء النماذج قابلة للنشر في المواقع التي تفتقر إلى هذه الأجهزة.
المتغير المستهدف هو الـ GHI المرجعي اليومي (المستمد عبر علاقة أنجستروم-بريسكولت من مدة سطوع الشمس)، مما يسمح لتقدير القمر الصناعي غير المصحح بأن يعمل كخط أساس طبيعي.
مقارنة النماذج متعددة العائلات:
تمت مقارنة خمسة نماذج انحدار ذات مرونة متزايدة: الانحدار الخطي العادي (OLS)، وانحدار ريدج (Ridge Regression)، والغابة العشوائية (Random Forest)، وتعزيز التدرج (Gradient Boosting)، والمجموعة المتراكمة (Stacked Ensemble).
تم تثبيت المعلمات الفائقة (Hyperparameters) عند إعدادات معتدلة ومنظمة عبر جميع التصميمات لضمان أن الاختلافات تعكس استراتيجيات التحقق وليس جهود الضبط.
التحقق المزدوج:
التحقق المتقاطع العشوائي لـ 5-طيات: يختبر الاستكمال داخل أيام المحطات المرصودة.
الحجز الزمني (2024): يختبر التنبؤ بالبيانات المستقبلية في المحطات المعايرة.
التحقق بترك محطة واحدة خارج المجموعة (LOSO): يختبر النقل المكاني إلى محطات جديدة تمامًا.
تم قياس الأداء باستخدام RMSE وMAE وMBE وR2.
النتائج الرئيسية تكشف الدراسة عن تباين صارخ في أداء النماذج اعتمادًا على تصميم التحقق:
الأداء داخل الشبكة (العشوائي والزمني): تحت التحقق المتقاطع العشوائي والحجز الزمني لعام 2024، تفوقت نماذج تعلم الآلة المرنة على منتج القمر الصناعي غير المصحح. حقق تعزيز التدرج أفضل النتائج، حيث قلل جذر متوسط مربع الخطأ (RMSE) المجمع من 3.25 إلى 2.55 ميجا جول م⁻² يوم⁻¹ (تحسن بنسبة 21%) وقضى على هياكل الانحياز الموسمي. ومن الجدير بالذكر أن النموذج نجح في تصحيح محطة "سيمبو" الشاذة، حيث خفض RMSE الخاص بها من 4.20 إلى 2.02 ميجا جول م⁻² يوم⁻¹.
أداء النقل المكاني (LOSO): عند التحقق باستخدام LOSO، انعكس الترتيب. أدى كل نموذج لتعلم الآلة إلى أداء أسوأ من منتج القمر الصناعي غير المصصح. تدهورت أكثر النماذج مرونة (تعزيز التدرج) بشكل أكبر، حيث ارتفع RMSE إلى 3.68 ميجا جول م⁻² يوم⁻¹ مقارنة بـ 3.26 ميجا جول م⁻² يوم⁻¹ للمنتج غير المصحح. أما النماذج الخطية، رغم تدهورها أيضًا، فقد كانت "الأقل سوءًا".
آلية الفشل: أكدت تشخيصات ثنائية أن النماذج المرنة لم تكن تتعلم العلاقات الجوية القابلة للنقل، بل كانت تحفظ هوية المحطة.
دراسة الاستئصال (Ablation Study): عندما تمت إزالة "سيمبو" من مجموعة التدريب، انهار قدرة النموذج على تصحيح "سيمبو" في عام 2024 (ارتفع RMSE إلى 4.78 ميجا جول م⁻² يوم⁻¹)، مما أثبت أن التصحيح اعتمد على تاريخ المحطة نفسه.
أهمية التبديل (Permutation Importance): ظهر الضغط السطحي كثاني أهم متغير تنبؤي. وبما أن الضغط يعد وسيطًا للارتفاع، فقد استخدمه النموذج لتحديد المحطة بدقة وتطبيق إزاحة خاصة بكل محطة، مما يعني الاعتماد فعليًا على الإزاحات الخاصة بالموقع بدلاً من تصحيح فيزياء القمر الصناعي.
المساهمات الرئيسية
البروتوكول المنهجي: تؤسس الورقة لبروتوكول مكون من أربع مراحل يفصل صراحةً بين ضبط جودة الشبكة، وبناء المتنبئات، ومقارنة النماذج، والتحقق المزدوج.
ضرورة التحقق المزدوج: توضح الدراسة أن تصميم التحقق الوحيد غير كافٍ للبيانات المتكتلة. إن الإبلاغ عن نتائج التحقق العشوائي/الزمني فقط يؤدي إلى استنتاج خاطئ بأن نماذج تعلم الآلة المرنة هي الأفضل عالميًا، بينما قد يؤدي الإبلاغ عن نتائج LOSO فقط إلى استبعاد نماذج فعالة جدًا لاستخدامها المقصود (مثل سد الفجوات في المحطات الموجودة).
أدوات التشخيص: يوضح المؤلفون أن أدوات تشخيص بسيطة (استئصال مجموعة التدريب وأهمية التبديل) يمكنها التمييز بين التعلم الجوي الحقيقي وحفظ هوية المحطة (مثل بصمات الارتفاع).
قائمة التحقق للإبلاغ: اقتراح قائمة تحقق مكونة من خمس عناصر للدراسات المستقبلية، تؤكد على ضرية الإبلاغ عن هيكل الشبكة، وأصل المرجع، ومطابقة التصميم مع الادعاء، وانضباط خط الأساس، وتشخيصات الهوية.
الأهمية والادعاءات تزعم الورقة أن اختيار تصميم التحقق ليس مجرد تفصيل تقني، بل هو خيار نمذجة جوهري يحدد الإجابة على سؤال النشر.
للمحطات الموجودة: إذا كان الهدف هو التمديد أو سد الفجوات أو توحيد السجلات في المحطات المزودة بأجهزة، فإن التحقق الزمني هو الذي يحكم. وتوصي الدراسة باستخدام تعزيز التدرج المنظم، الذي يوفر تحسنًا بنسبة 21% في RMSE وإزالة للانحياز.
للمواقع غير المرصودة: إذا كان الهدف هو رسم خرائط للإشعاع لمواقع جديدة غير مزودة بأجهزة ضمن نفس خلية القمر الصناعية، فإن التحقق من نوع LOSO هو الذي يحكم. والتوصية الصادقة هنا هي استخدام منتج القمر الصناعي غير المصحح، حيث تؤدي التصحيحات المتعلمة إلى تدهور الدقة في هذا السياق.
يخلص المؤلفون إلى أنه في الإعدادات الرصدية المتكتلة، يكون تصميم التحقق جزءًا من النموذج نفسه. إن الإبلاح عن النتائج في أزواج متطابقة — تصميم واحد لكل ادعاء نشر — يمنع الأخطاء المتماثلة المتمثلة في نشر تصحيحات تؤدي إلى تدهور الدقة، أو استبعاد تصحيحات تعمل بفعالية في سياقها المحدد. لا تدعي الدراسة أن تصحيحات تعلم الآلة غير مجدية بشكل عام، لكنها تجعل مسألة قابليتها للنقل مسألة تجريبية غير مرئية لتصاميم التحقق القياسية، وهذا البروتوكول يجعل تلك الإجابة مرئية.