📊 statistics

Warped multifidelity Gaussian processes for data fusion of skewed environmental data

تقدم هذه الورقة البحثية عملية غاوس المتعددة الدقة الملتوية (WMFGP)، وهي طريقة مبتكرة لدمج البيانات مصممة للتعامل مع البيانات البيئية الملتوية وتفاوت دقة البيانات، والتي تم إثباتها من خلال عمليات المحاكاة ودراسة حالة على شبكة سرعة الرياح التابعة لـ ARPA Lombardia لسد فجوات البيانات بفعالية وتحسين إدارة جودة الهواء.

المؤلفون الأصليون: Pietro Colombo, Claire Miller, Xiaochen Yang, Ruth O'Donnell, Paolo Maranzano

نُشر 2026-04-30

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pietro Colombo, Claire Miller, Xiaochen Yang, Ruth O'Donnell, Paolo Maranzano

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول رسم لوحة مثالية للرياح وهي تهب عبر منطقة ما. لديك نوعان من المساعدين لتزويدك بالمعلومات:

١. الخبير (عالي الدقة): هذا الشخص يقف في بضعة أماكن محددة، ويعطيك قراءات دقيقة وعالية الجودة للرياح، لكن استئجاره مكلف ولا يمكنه التواجد إلا لفترات قصيرة. وأحياناً، يذهب في إجازة، مما يترك فجوات كبيرة في بياناتك.
٢. المبتدئ (منخفض الدقة): هذا الشخص موجود في كل مكان، ويعطي قراءات للرياح باستمرار. ومع ذلك، فإن قياساته قد تكون "مشوشة" أو غير موثوقة؛ فقد تكون منحرفة قليلاً، لكنه موجود دائماً لملء الفراغات.

المشكلة:
عادةً ما تكون بيانات الرياح ليست منحنى سلسًا ومتوقعًا مثل منحنى الجرس. إنها "ملتوية" (skewed). فكر في الأمر كحشد من الناس: في معظم الأيام تكون الرياح لطيفة، ولكن من حين لآخر تضرب عاصفة هائلة. إذا حاولت استخدام أدوات رياضية قياسية (التي تفترض أن كل شيء عبارة عن منحنى جرس مثالي) لدمج بيانات الخبير والمبتدئ، فإن الرياضيات ستصاب بالارتباك بسبب تلك العواصف المفاجئة. فهي تحاول فرض شكل لا يتناسب مع البيانات، مما يؤدي إلى تنبؤات سيئة.

الحل: العملية الغاوسية "المشوّهة" (Warped Gaussian Process)
ابتكر مؤلفو هذه الورقة أداة جديدة تسمى العملية الغاوسية متعددة الدقة المشوهة (WMFGP). وإليك كيف تعمل، باستخدام تشبيه بسيط:

التشويه (Warping): تخيل أن بيانات الرياح هي قطعة من المطاط تم شدها والتواء شكلها بسبب تلك العواصف المفاجئة. جزء "التشويه" في طريقتهم يشبه زوجًا من الأيدي السحرية التي تقوم بشد وإعادة تشكيل تلك القطعة من المطاط بلطف حتى تصبح سلسة ومستديرة (طبيعية).
الدمج (Fusion): بمجرد تنعيم البيانات، تقوم الأداة بدمج بيانات الخبير الدقيقة ولكن النادرة، مع بيانات المبتدئ الوفيرة ولكن المشوشة. ولأن البيانات أصبحت الآن "سلسة"، يمكن للرياضيات أن ترى بسهولة كيف يرتبط المصدران ببعضهما البعض.
إلغاء التشويه (Un-warping): بعد أن تقوم الرياضيات بعملها للتنبؤ بسرعات الرياح المفقودة، تقوم الأداة بعكس السحر. فهي تعيد شد التنبؤ السلس إلى شكله "الملتوي" الأصلي ليتطابق مع الواقع مجددًا.

لماذا هذا الأمر مميز؟
حاولت معظم الطرق السابقة استخدام "قاعدة شد" واحدة لكل من الخبير والمبتدئ. ولكن بما أنهما شخصان مختلفان، فهما يحتاجان إلى قواعد مختلفة. إذا قمت بشد كليهما بنفس الطريقة، فإن العلاقة بينهما ستنكسر.

هذه الطريقة الجديدة ذكية بما يكفي لتعلم قاعدة تشويه فريدة لكل مصدر بيانات مع ضمان بقاء ترتيب البيانات كما هو (إذا كانت الرياح أقوى في المحطة (أ) منها في المحطة (ب) قبل التشويه، فستظل أقوى بعد التشويه). وهذا يسمح لها بدمج البيانات بشكل مثالي دون كسر الاتصال بين المصدرين.

الاختبار في العالم الحقيقي
اختبر المؤلفون هذه الطريقة على بيانات حقيقية من ARPA Lombardia، وهي وكالة بيئية في إيطاليا. تمتلك شبكتهم من محطات الطقس العديد من الثغرات في البيانات (فجوات) بسبب أعطال المعدات أو سوء الأحوال الجوية.

التحدي: كان عليهم ملء بيانات سرعة الرياح المفقودة، خاصة خلال الفجوات الطويلة (التي تصل إلى أسبوع)، للمساعدة في التنبؤ بتلوث الهواء.
النتيجة: كانت طريقتهم "المشوّهة" الجديدة أفضل في ملء هذه الفجوات من الطرق القديمة. وقد كانت جيدة بشكل خاص لأن بيانات سرعة الرياح "ملتوية" بطبيعتها (أيام هادئة كثيرة، وأيام عاصفة قليلة)، وقد تعاملت طريقتهم مع هذا الشكل بشكل مثالي.

باختสร (ملخص)
تقدم هذه الورقة طريقة ذكية لخلط البيانات عالية الجودة ولكن النادرة، مع البيانات منخفضة الجودة ولكن الوفيرة. من خلال "تشويه" البيانات أولاً إلى شكل سلس، ثم إجراء العمليات الحسابية، ثم "إلغاء التشويه" والعودة بها إلى شكلها الأصلي، يمكنهم ملء سجلات الطقبة المفقودة بدقة، حتى عندما تكون البيانات فوضوية ومليئة بالقيم المتطرفة. وهذا يساعد الوكالات البيئية في الحصول على صورة أوضح للرياح، وهو أمر بالغ الأهمية لإدارة جودة الهواء.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "العمليات الغاوسية متعددة الدقة المشوهة لدمج البيانات البيئية الملتوية" (Warped Multifidelity Gaussian Processes for Data Fusion of Skewed Environmental Data).

1. بيان المشكلة

تعاني شبكات الرصد البيئي، مثل تلك التي تديرها الوكالات الإقليمية (على سبيل المثال، ARPA Lombardia في إيطاليا)، بشكل متكرر من فجوات البيانات (تسلسلات مفقودة) وتوزيعات بيانات ملتوية.

التحدي: تفترض طرق دمج البيانات والتعويض (Imputation) القياسية، وخاصة تلك القائمة على العمليات الغاوسية (GPs)، أن البيانات والأخطاء تتبع توزيعاً طبيعياً (غاوسياً). ومع ذلك، فإن المتغيرات البيئية مثل سرعة الرياح، ودرجة الحرارة، وهطول الأمطار غالباً ما تظهر التواءً (Skewness) كبيراً.
قصور الطرق الحالية:
- تفترض العمليات الغاوسية متعددة الدقة (MFGP) القياسية علاقات خطية وطبيعية، مما يؤدي إلى أداء تنبؤي ضعيف عندما تكون البيانات ملتوية.
- تُستخدم التحويلات البارامترية (مثل تحويل Box-Cox) غالباً لتقويم البيانات، لكنها تتطلب معاملات تعتمد على البيانات. وفي سياق تعدد الدقة الذي يتضمن مصادر بيانات متعددة (دقة عالية ودقة منخفضة)، فإن تطبيق تحويلات مختلفة لكل مصدر يمكن أن يشوه العلاقة بينهما، مما ينتهك مبدأ ثبات المئينات (Quantile Invariance).
- تواجه الطرق الحالية صعوبة في استعادة التسلسلات المفقودة الطويلة (الفقد الهيكلي) بفعالية، خاصة عندما يتجاوز طول الفجوة طول مقياس الارتباط للعمليات الغاوسية القياسية.

2. المنهجية: العملية الغاوسية متعددة الدقة المشوهة (WMFGP)

يقترح المؤلفون العملية الغاوسية متعددة الدقة المشوهة (WMFGP)، وهي امتداد لإطار العمل التراجعي للعمليات الغاوسية متعددة الدقة (autoregressive MFGP) الذي يدمج دالة تشويه غير بارامترية للتعامل مع الالتواء.

المفهوم الجوهري

تعمل الطريقة في فضاء كامن (Latent Space) حيث يتم تحويل البيانات غير الطبيعية إلى توزيع طبيعي، ثم يتم تدريب نموذج تعدد الدقة، وتُعاد النتائج إلى الفضاء الأصلي.

الخطوات الرئيسية:

التشويه غير البارامتري (التحويل):
- بدلاً من التحويلات البارامترية، تستخدم الطريقة دالة تشويه غير بارامترية تعتمد على البيانات ( $g(\cdot)$ ).
- تقوم بتقدير دالة التوزيع التراكمي (CDF) للبيانات المرصودة (سواء الدقة العالية $y_H$ أو الدقة المنخفضة $y_L$ ) باستخدام تقدير كثافة النواة (Kernel Density Estimation).
- يتم رسم خرائط البيانات إلى فضاء كامن باستخدام معكوس دالة التوزيع الطبيعي القياسية ( $\Phi^{-1}$ ):
  $N_y = \Phi^{-1}(F_y(y))$
- يضمن هذا ثبات المئينات: حيث يتم الحفاظ على الترتيب النسبي لنقاط البيانات، ويظل الارتباط بين بيانات الدقة العالية (HF) والدقة المنخفضة (LF) ثابتاً في الفضاء الكامن.
النمذجة متعددة الدقة في الفضاء الكامن:
- يتم تطبيق نموذج MFGP التراجعي على البيانات الكامنة المعيرة ( $N_{y_H}, N_{y_L}$ ).
- يفترض النموذج علاقة تراجعية: $u_H = \rho u_L + \delta + \epsilon$ ، حيث $\rho$ هو معامل القياس و $\delta$ هي عملية التباين (discrepancy process).
- نظرًا لأن البيانات في الفضاء الكامن أصبحت معيرة، فإن افتراضات العملية الغاوسية القياسية (طبيعية الأخطاء) تتحقق.
التحويل العكسي:
- يتم تحويل التنبؤات (المتوسط والتباين) التي تمت في الفضاء الكامن إلى الفضاء الفيزيائي الأصلي باستخدام جدول بحث عكسي مشتق من دوال التوزيع التراكمي (CDFs) المقدرة.
- تقوم هذه الخطوة بإعادة بناء خصائص التوزيع الملتوي للبيانات الأصلية.
استراتيجية التطبيق (التجميع):
- للتعامل مع عدم التجانس المكاني، يستخدم المؤلفون تجميع k-means المقيد بناءً على خط العرض، وخط الطول، والارتفاع.
- يتم تجميع محطات الرصد في مجموعات (clusters). وضمن كل مجموعة، يتم إقران محطة ذات بيانات مفقودة (دقة عالية) بمحطة قريبة ومرتبطة بها ارتباطاً وثيقاً (دقة منخفضة) لإجراء دمج البيانات.

3. المساهمات الرئيسية

خوارزمية مبتكرة: تقديم WMFGP، التي تدمج بنجاح التشويه غير البارامتري مع العمليات الغاوسية متعددة الدقة التراجعية.
التعامل مع الالتواء: تعالج الطريقة صراحةً عدم طبيعية البيانات البيئية دون انتهاك هيكل الارتباط بين مستويات الدقة المختلفة.
ثبات المئينات: من خلال استخدام تشويه يعتمد على CDF، تضمن الطريقة الحفاظ على العلاقة الإحصائية بين بيانات الدقة العالية والدقة المنخفضة أثناء التحويل.
الأتمتة: على عكس النهج البارامترية التي تتطلب ضبطاً يدويًا لكل سلسلة زمنية، يمكن أتمتة WMFGP لشبكات واسعة من السلاسل الزمنية المتنوعة.

4. النتائج التجريبية

تحققت الدراسة من صحة الطريقة من خلال تجربتين محاكاتين ودراسة حالة واقعية.

التجربة 1: الفقد العشوائي

الإعداد: بيانات سرعة رياح محاكات مع درجات متفاوتة من الالتواء (باستخدام توزيعات Closed Skew-Normal وWeibull) وأنماط فقد عشوائية.
المقارنة: WMFGP مقابل GP القياسي، وWGP المشوه، وMFGP القياسي، وBCMF (Box-Cox MFGP).
النتائج:
- تفوق WMFGP باستمرار على جميع النماذج الأخرى من حيث متوسط الخطأ المطلق (MAE)، بغض النظر عن مستوى الالتواء.
- عانت نماذج MFGP القياسية وBCMF من الالتواء العالي. وفشل BCMF بشكل خاص عندما تم توليد الأخطاء من توزيعات Weibull، مما يسلط الض الضوء على حساسية التحويلات البارامترية لتوزيع البيانات.
- أظهرت WMFGP استقراراً حتى عندما كانت نسبة بيانات الدقة العالية إلى الدقة المنخفضة منخفضة (تصل إلى 30-35% من بيانات الدقة العالية).

التجربة 2: الفقد الهيكلي (الفجوات الطويلة)

الإعداد: تسلسلات مفقودة طويلة (من 24 إلى 192 ساعة) في بيانات سرعة الرياح الحقيقية لـ ARPA Lombardia.
المقارنة: WMFGP مقابل GP، وMFGP، والبديل (LF فقط)، والتعويض البسيط (SI).
النتائج:
- حققت WMFGP أقل متوسط خطأ مطلق (MAE) عبر جميع أطوال الفجوات.
- قللت من التباين بين التنبؤ وبيانات الدقة العالية الحقيقية بنسبة تقارب 50% مقارنة بالفرق الخام بين بيانات الدقة المنخفضة والدقة العالية.
- على عكس الاستكمال (interpolation) القياسي، لم يتدهور أداء WMFGP بشكل كبير مع زيادة طول الفجوة، مما يشير إلى المتانة في التعامل مع البيانات المفقودة طويلة الأمد.
- عدم اليقين: بلغت احتمالية تغطية فترات التنبؤ بنسبة 95% حوالي 90-91%، مما يشير إلى تقدير موثوق لعدم اليقين.

دراسة الحالة: ARPA Lombardia

التطبيق: ملء فجوات سرعة الرياح في شبكة رصد Lombardy (أكثر من 120 محطة).
النتيجة: نجحت الطريقة في استعادة بيانات سرعة الرياح المفقودة، حيث التقطت الأنماط الموسمية والدورية التي فاتها الاستكمال البسيط. وهذا أمر بالغ الأهمية لإدارة جودة الهواء، حيث تلعب سرعة الرياح دوراً في تشتت الملوثات.

5. الأهمية والتأثير

الإدارة البيئية: توفر أداة قوية للوكالات البيئية لسد فجوات البيانات في شبكات الرصد، مما يؤدي إلى تقييمات أكثر دقة لجودة الهواء وقرارات سياساتية أكثر استنارة.
القابلية للتوسع: تتميز الطة بكفاءة حسابية وقابلية للأتمتة، مما يجعلها مناسبة لمجموعات البيانات البيئية واسعة النطاق التي تضم آلاف السلاسل الزمنية.
التقدم النظري: تجسر الفجوة بين النمذجة متعددة الدقة والتعامل مع البيانات غير الطبيعية، مما يقدم حلاً في الحالات التي تفشل فيها افتراضات GP التقليدية.
الاتجاهات المستقبلية: أشار المؤلفون إلى أنه بينما يركز إطار العمل الحالي على الارتباط الزمني، يمكن للعمل المستقبلي دمج الأبعاد المكانية (مثل دمج الليدار لمحطات طاقة الرياح)، رغم أن ذلك سيزيد من التعقيد الحسابي.

باختالاف، تقدم هذه الورقة تقدماً كبيراً في دمج البيانات البيئية من خلال إثبات أن التشويه غير البارامتري يسمح للعمليات الغاوسية متعددة الدقة بالتعامل بفعالية مع البيانات الملتوية، متفوقة بذلك على الطرق الحالية في كل من الدقة والمتانة في ملء فجوات البيانات الحرجة.