Learning with the Nash-Sutcliffe loss

إليك ملخص تقني مفصل للورقة البحثية "التعلم باستخدام خسارة ناش-سوتكليف" (Learning with the Nash-Sutcliffe loss) للباحثين هيستوس تيراليس وجورجيا باباتشارالامبوس.

1. بيان المشكلة

تُعد كفاءة ناش-سوتكليف (NSE) مقياساً مستخدماً على نطاق واسع في علوم الأرض (خاصة الهيدرولوجيا) لتقييم أداء التنبؤ عبر سلاسل زمنية متعددة. وتُعرف بأنها درجة مهارة بالنسبة لمعيار مرجعي ساذج (التنبؤ بالمتوسط):
$$NSE = 1 - \frac{MSE}{MSE_{benchmark}}$$
وعلى الرغم من شعبيتها، تحدد الورقة فجوة نظرية حرجة: تفتقر NSE إلى أساس نظري لاتخاذ القرار في تقدير النماذج.

• عدم المواءمة: يقوم الممارسون عادةً بتدريب النماذج عن طريق تقليل متوسط مربع الخطأ (MSE) (الذي يستهدف المتوسط الشرطي) ولكنهم يقيمونها باستخدام NSE.
• خلل نظري: تجادل الورقة بأن NSE ليست متسقة تماماً للمتوسط الشرطي. لذلك، فإن تقليل MSE لا يؤدي بالضرورة إلى تحسين NSE، مما يؤدي إلى تنبؤات دون المستوى الأمثل عندما تكون NSE هي مقياس التقييم الأساسي.
• تعقيد السلاسل المتعددة: عند حساب متوسط قيم NSE عبر سلاسل زمنية متعددة ($\overline{NSE}$)، فإن الافتراض الضمني هو أن جميع السلاسل تنشأ من عملية عشوائية واحدة. تسعى الورقة إلى توصيف الدالة الوظيفية المحددة التي تستهدفها $\overline{NSE}$ فعلياً وتقديم إطار تقدير متسق.

2. المنهجية

استخدم المؤلفون نظرية دوال الخسارة المتسقة تماماً والقابلية للاستحثاث (elicitability) (Gneiting, 2011) لإعادة صياغة المشكلة.

أ. خسارة ناش-سوتكليف ($L_{NS}$)

يعرف المؤلفون دالة خسارة ذات توجه سلبي، وهي خسارة ناش-سوتكليف:
$$L_{NS}(\mathbf{z}_d, \mathbf{y}_d) = 1 - NSE(\mathbf{z}_d, \mathbf{y}_d) = \frac{\|\mathbf{z}_d - \mathbf{y}_d\|_2^2}{\|\mu(\mathbf{y}_d)\mathbf{1}_d - \mathbf{y}_d\|_2^2}$$
حيث $\mathbf{y}_d$ هو تحقق ذو $d$ بُعد (سلسلة زمنية واحدة بطول $d$)، و $\mathbf{z}_d$ هو التنبؤ، ويمثل المقام تباين الملاحظة بالنسبة لمتوسطها.

ب. دالة ناش-سوتكليف الوظيفية (Nash-Sutcliffe Functional)

باستخدام نظريات دوال الخسارة الموزونة، يثبت المؤلفون أن تقليل المتوقع لـ $L_{NS}$ لا يعطي المتوسط الشرطي. بدلاً من ذلك، فإنه يستحث دالة وظيفية جديدة، وهي الدالة الوظيفية لناش-سوتكليف ($T^{(w)}$):
$$T^{(w)}(F) = \frac{\mathbb{E}_F[\mathbf{y}_d w(\mathbf{y}_d)]}{\mathbb{E}_F[w(\mathbf{y}_d)]}$$
حيث $w(\mathbf{y}_d) = 1 / \|\mu(\mathbf{y}_d)\mathbf{1}_d - \mathbf{y}_d\|_2^2$.

• التفسير: هذه الدالة الوظيفية هي متوسط مكوناتي موزون بالبيانات. فهي تعيد وزن الملاحظات بناءً على تباينها الداخلي. السلاسل ذات التباين الداخلي المنخفض تتلقى أوزانًا أعلى في التقدير.
• القابلية للاستحثاث والتعريف: تثبت الورقة أن $L_{NS}$ متسقة تماماً لهذه الدالة الوظيفية، وأن الدالة قابلة للتعريف عبر دالة تحديد معينة.

ج. الانحدار الخطي لناش-سوتكليف

للمواءمة بين التقدير والتقييم، يقترح المؤلفون الانحدار الخطي لناش-سوتكليف.

• الصياغة: بدلاً من طريقة المربعات الصغرى العادية (OLS)، التي تقلل من المعيار الإقليدي، تقوم هذه الطريقة بتقليل خسارة ناش-سوتكليف المحققة.
• الحل: الحل ذو الصيغة المغلقة هو مُقدر المربعات الصغرى الموزونة (WLS) حيث يتم تحديد الأوزان بواسطة مقلوب التباين لكل سلسلة زمنية بالنسبة لمتوسطها الخاص.
  $$\hat{\Theta} = \mathbf{Y}\mathbf{W}\mathbf{X}(\mathbf{X}^T\mathbf{W}\mathbf{X})^{-1}$$
  هنا، $\mathbf{W}$ هي مصفوفة قطرية، حيث يتوافق كل مدخل مع الوزن $w(\mathbf{y}_j)$ للسلسلة الزمنية $j$.

د. توجهات البيانات

تميز الورقة بين نوعين من توجهات مصفوفة البيانات:

1. $d \times n$ (مكانية/تجميعية): $d$ من الخطوات الزمنية، $n$ من السلاسل. تفترض أن جميع السلاسل هي تحققات لنفس العملية العشوائية.
2. $n \times d$ (زمنية/تنبؤية): $n$ من الخطوات الزمنية، $d$ من المتغيرات. تفترض أن متجه المتغيرات عند كل خطوة زمنية هو تحقق لمتجه عشوائي ذي $d$ من الأبعاد.
   وقد اشتق المؤلفون صياغات انحدار محددة لكل منهما، مشيرين إلى أن قيمة NSE المحققة القياسية (المتوسط عبر السلاسل) تتوافق مع رؤية $d \times n$، بينما تتطلب رؤية التنبؤ معالجة دقيقة لدالة الوزن.

3. المساهمات الرئيسية

1. الأساس النظري: أثبتت الورقة أن NSE متسقة تماماً مع الدالة الوظيفية لناش-سوتكليف (متوسط موزون)، وليس المتوسط الشرطي القياسي. وهذا يفسر سبب اختلاف ترتيب النماذج بين NSE و MSE.
2. المُقدر الجديد: قدمت انحدار ناش-سوتكليف الخطي، وهو نهج مربعات صغرى موزون بالبيانات يربط هدف التدريب بمقياس تقييم NSE.
3. حل عدم الاتساق: أثبتت أن التدريب باستخدام MSE والتقييم باستخدام NSE غير متسق نظرياً ما لم تتبع البيانات شروطاً محددة (مثل المتغيرات المستقلة الغاوسية حيث يتساوى المتوسط الموزون مع المتوسط الحسابي).
4. التعامل مع عدم الاستقرار العددي: اقترحت خسارة ناش-سوتكليف الممتدة (بإضافة ثابت صغير $\epsilon$ إلى المقام) للتعامل مع الحالات التي يكون فيها للسلاسل الزمنية تباين صفري، مع إثبات أنها تستحث دالة وظيفية متحولة.
5. إرشادات عملية: قدمت إطاراً لكيفية ومتى استخدام NSE، مع التأكيد على أن حساب متوسط قيم NSE عبر مجموعات بيانات متباينة (مثل خلط التدفقات اليومية والشهرية) غير صالح إحصائياً ما لم تشترك في نفس العملية العشوائية الأساسية.

4. النتائج

تحقق المؤلفون من نظريتهم من خلال المحاكاة والتطبيقات الواقعية:

• المحاكاة 1 (تباعد الدوال الوظيفية): في ظل التوزيعات غير الغاوسية (مثل التوزيع اللوغاريتمي الطبيعي)، ابتعدت الدالة الوظيفية لناش-سوتكليف بشكل كبير عن المتوسط المكوناتي. حققت مناخات ناش-سوتكليف (المتوسط الموزون) خسارة NSE محققة أقل من المتوسط القياسي، مما أكد الهدف النظري.
• المحاكاة 2 و3 (أداء الانحدار):
  • في السيناريوهات ذات الأخطاء غير الغاوسية، تفوق انحدار ناش-سوتكليف بشكل كبير على الانحدار الخطي متعدد الأبعاد (OLS) عند تقييمه بواسطة NSE (مقللاً الخسارة بعدة مراتب في بعض الحالات).
  • وعلى العكس من ذلك، كان OLS أفضل عند تقييمه بواسطة المعيار الإقليدي (MSE)، مما يؤكد أن كل طريقة تستهدف دالتها الوظيفية الخاصة.
• التطبيق الواقعي (الهيدرولوجيا والأرصاد الجوية):
  • طُبق على التنبؤ بتدفق الجداول ودرجات الحرارة لأحواض الأنهار الفرنسية.
  • تدفق الجداول: قلل انحدار ناش-سوتكليف من خسارة NSE المحققة بنسبة ~46% مقارنة بالانحدار الخطي متعدد الأبعاد وبنسبة ~68% مقارنة بالانحدار الخطي أحادي البعد.
  • درجة الحرارة: رغم أن المكاسب كانت أصغر (بسبب كون بيانات درجة الحرارة أكثر غاوسية)، إلا أن انحدار ناش-سوتكليف لا يزال يتفوق على OLS تحت مقياس NSE.

5. الأهمية والآثار المترتبة

• تحول في النموذج المعرفي في الهيدرولوجيا/علوم الأرض: تتحدى الورقة الممارسة القياسية باستخدام MSE للتدريب وNSE للاختبار. وتجادل بأنه لتعظيم NSE، يجب التدريب باستخدام خسارة ناش-سوتكليف.
• النماذج العالمية مقابل المحلية: توضح النتائج فوائد النماذج العالمية (التي تناسب جميع السلاسل في آن واحد) على النماذج المحلية. يمكن لانحدار ناش-سوتكليف العالمي الاستفادة من المعلومات المتبادلة بين السلاسل لتقدير الدالة الموزونة بشكل أكثر قوة من النماذج المحلية المنفصلة.
• الدقة في اتخاذ القرار: من خلال ربط NSE بنظرية الاستحثاث، توفر الورقة تبريراً صارماً لسبب سلوك NSE بشكل مختلف عن MSE، لا سيما فيما يتعلق بكيفية معاقبة الأخطاء في السلاسل ذات التباين المنخفض مقابل السلاسل ذات التباين العالي.
• الفائدة العملية: طريقة الانحدار المقترحة فعالة حسابياً (لها حل بصيغة مغلقة) ويمكن تنفيذها بسهولة في البرامج الإحصائية الحالية (مثل R وPython) كمسألة مربعات صغرى موزونة.

في الختام، توفر هذه الورقة الحلقة النظرية المفقودة لكفاءة ناش-سوتكليف، محولة إياها من مجرد مقياس مهارة استدلالي إلى دالة هدف معرفة بدقة لتقدير النماذج، مع تطبيقات فورية في تحسين التنبؤ متعدد السلاسل في العلوم البيئية.