Data Leakage Inflates Generalizability of Power Outage Prediction Models
تُثبت هذه الورقة أن ممارسات التقييم الشائعة في نماذج التنبؤ بانقطاع التيار الكهربائي، ولا سيما التقسيم العشوائي لبيانات التدريب والاختبار، تضخم القدرة على التعميم بشكل مصطنع من خلال الفشل في مراعاة الارتباط الذاتي المكاني والزماني، مما يكشف أن هذه النماذج غالبًا ما تفتقر إلى القيمة التشغيلية في ظل ظروف النشر الواقعية وتتطلب تحسين تغطية البيانات وبروتوكولات التقييم لمعالجة القيود الهيكلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما تهب العاصفة، تنطفئ الأنوار. وبالنسبة لشركات المرافق وفرق الاستجابة للطوارئ، فإن معرفة مكان وزمان انقطاع تلك الأنوار بدقة هو مسألة تتعلق بالسلامة العامة. فتنقطع الكهرباء عن إمدادات المياه، وشبكات الاتصالات، والمستشفيات، مما يحول يوماً سيئاً في الطقس إلى أزمة قد تستمر لأيام أو حتى أسابيع. ولمنع حدوث ذلك، أمضى العلماء السنوات الخمس عشرة الماضية في بناء نماذج حاسوبية مصممة للتنبؤ بانقطاعات التيار الكهربائي هذه. تعمل هذه النماذج مثل متنبئي الأرصاد الجوية للشبكة الكهربائية، حيث تستخدم بيانات عن الرياح، والأمطار، والغطاء الشجري، والكثافة السكانية لتخمين الأحياء التي ستفقد الطاقة. وكان الأمل هو أن تتمكن هذه النماذج من التعلم من العواصف الماضية للاستعداد للعواصف المستقبلية، خاصة مع جعل تغير المناخ الطقس المتطرف أكثر تكراراً وشدة.
ومع ذلك، تشير دراسة جديدة إلى أن الثقة التي نضعها في هذه التنبؤات قد تكون في غير محلها. فقد بحث باحثون من جامعة تورنتو وجامعة ولاية نورث كارولاينا فيما إذا كانت هذه النماذج قادرة حقاً على التعامل مع المجهول. ووجدوا أن العديد من قصص النجاح المثيرة للإعجاب التي نُشرت في الأدبيات العلمية هي على الأرجح أوهام ناتجة عن خلل في كيفية اختبار هذه النماذج. وتكمن المشكلة الجوهرية في أن الاختبارات غالباً ما تسمح للنموذج بـ "استخدام معلومات لا ينبغي أن يمتلكها"، مما يجعل التنبؤات تبدو أفضل بكثير مما هي عليه في الواقع. وعندما أجبر الباحثون النماذج على مواجهة مواقف جديدة حقاً — مثل عاصفة في ولاية لم يرها النموذج من قبل، أو نوع عاصفة لم يسبق له مواجهته — انهارت قدرتها على التنبؤ بانقطاعات التيار، وفشلت في كثير من الأحيان في تقديم أداء أفضل من مجرد تخمين بسيط.
ركز الباحثون على الساحل الشرقي للولايات المتحدة، وهي منطقة تتعرض باستمرار للأعاصان، والعواصف الشتوية، والعواصف الرعدية. وجمعوا بيانات عن انقطاعات التيار الكهربائي من عام 2018 إلى 2023، وربطوا كل انقطاع مسجل بظروف الطقس والمعالم الأرضية. ولتختبر النماذج، جربوا ثلاث طرق مختلفة لتقسيم البيانات إلى مجموعات تدريب واختبار. الطريقة الأولى، وهي المعيار السائد في معظم الدراسات السابقة، هي "الخلط العشوائي". تخيل مجموعة من أوراق اللعب، تم خلطها جيداً، ثم تم توزيع نصفها للنموذج ليتعلم منها والنصف الآخر لاختباره. ولأن أنماط الطقس مترابطة عبر المكان والزمان، فإن الخلط العشوائي غالباً ما يضع أياماً متشابهة جداً أو مقاطعات قريبة في كل من مجموعتي التعلم والاختبار. وبذلك يكون النموذج قد حفظ المنطقة بدلاً من تعلم قواعد العاصفة.
كانت الطريقتان الثانية والثالثة أكثر صرامة. في الاختبار الصارم الأول، أزال الباحثون ولاية كاملة من بيانات التدريب وطلبوا من النموذج التنبؤ بانقطاعات التيار في تلك الولاية فقط. وهذا يحاكي سيناريو يتم فيه نشر نموذج تم تدريبه في منطقة معينة في منطقة جديدة تماماً. وفي الاختبار الصارم الثاني، أزالوا حدثاً عاصفياً كاملاً من بيانات التدريب، وطلبوا من النموذج التنبؤ بتأثير إعصار أو عاصفة شتوية محددة لم يسبق له رؤيتها من قبل. تحاكي هذه الاختبارات العالم الحقيقي، حيث قد تواجه شركة مرافق نوعاً جديداً من الكوارث في موقع جديد ليس لها تاريخ سابق مع هذا الحدث المحدد.
عندما اختُبرت النماذج باستخدام طريقة الخلط العشوائي، كان أداؤها جيداً، حيث فسرت حوالي 45 بالمائة من التباين في نسب انقطاع التيار. وتتوافق هذه النتيجة مع ما ادعته دراسات أخرى. ولكن عندما طبق الباحثون الاختبارات الأكثر صرامة، انخفض الأداء بشكل كبير. ففي الاختبارات القائمة على الولايات، كان أداء النماذج غالباً لا يتفوق على "النموذج الصفري" (null model)، وهو نموذج أساسي يقوم ببساطة بتخمين متوسط عدد الانقطاعات في تلك المنطقة في كل مرة. وبالنسبة للتنبؤ بالعدد المطلق للعملاء الذين انقطعت عنهم الكهرباء، فشلت النماذج في التفوق على هذا التخمين البسيط في كل الحالات تقريباً. وحتى بالنسبة للتنبؤ بنسبة العملاء المتأثرين، واجهت النماذج صعوبة كبيرة، حيث تفاوتت دقتها بشكل هائل اعتماداً على الولاية أو العاصفة.
كما بحثت الدراسة فيما إذا كان استخدام الذكاء الاصطناعي المتقدم يمكن أن يحل المشكلة. حاول الباحثون تغذية النماذج بـ "تضمينات" (embeddings) من نموذج تأسيسي قوي يسمى Prithvi WxC. هذا النموذج مدرب على بيانات الطقس العالمية ومصمم لفهم الأنماط المعقدة في الغلاف الجوي. وكان الأمل هو أن يساعد هذا النهج عالي التقنية النماذج على التعميم بشكل أفضل. وبينما قدم النموذج التأسيسي تحسناً طفيفاً في بعض الاختبارات المكانية، إلا أنه لم يحل المشكلة الأساسية. فعند مواجهة حدث عاصف جديد، كان أداء النموذج المتقدم سيئاً تماماً مثل النماذج الأبسط، وفي بعض الحالات، كان أداؤه أسوأ. ووجد الباحثون أن التعقيد العالي لبيانات النموذج التأسيسي جعل من الصعب على النموذج تعلم الأنماط المحددة اللازمة للأحداث الجديدة، مما أدى إلى "الفرط في التخصيص" (overfitting)، حيث قام النموذج بحفظ بيانات التدريب بدلاً من فهم الفيزياء الكامنة وراءها.
تشير النتائج إلى أن الجيل الحالي من نماذج التنبؤ بانقطاع التيار الكهربائي، عند تدريبها على البيانات المتاحة علناً، يقدم قيمة محدودة لتخطيط الكوارث في العالم الحقيقي. النماذج لا تفشل بسبب نقص في الخوارزميات المتطورة؛ بل تفشل لأن البيانات التي تتدرب عليها لا تحتوي على أمثلة متنوعة بما يكفي للأحداث المتطرفة لتعليمها كيفية التعامل مع المجهول. فالعلاقة بين العاصفة وانقطاع التيار ليست قاعدة بسيطة تنطبق في كل مكان. فالإعصار الذي يقطع التيار في فلوريدا يتصرف بشكل مختلف عن العاصة الشتوية في نيوجيرسي، والنموذج المدرب على أحدهما لا يمكنه بسهء التنبؤ بالآخر. وتشير الدراسة إلى أنه بدون تغطية أفضل للبيانات، وطرق اختبار أكثر واقعية، والتحول بعيداً عن محاولة استخراج تحسينات هامشية من مجموعات البيانات الموجودة، ستظل هذه النماذج غير موثوقة للمهمة الحرجة المتمثلة في حماية المجتمعات من العاصفة الكبرى القادمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.