Data Leakage Inflates Generalizability of Power Outage Prediction Models
यह शोध पत्र यह प्रदर्शित करता है कि बिजली कटौती के पूर्वानुमान मॉडल में सामान्य मूल्यांकन पद्धतियां, विशेष रूप से यादृच्छिक प्रशिक्षण-परीक्षण विभाजन (random train-test splits), स्थानिक और लौकिक ऑटोकोरिलेशन (spatial and temporal autocorrelation) को ध्यान में न रखकर कृत्रिम रूप से सामान्यीकरण क्षमता को बढ़ाकर दिखाती हैं, जिससे यह स्पष्ट होता है कि ये मॉडल अक्सर वास्तविक तैनाती की स्थितियों के तहत परिचालन मूल्य की कमी रखते हैं और संरचनात्मक सीमाओं को दूर करने के लिए बेहतर डेटा कवरेज एवं मूल्यांकन प्रोटोकॉल की आवश्यकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब कोई तूफान आता है, तो बिजली चली जाती है। उपयोगिता कंपनियों और आपातकालीन प्रतिक्रियाकर्ताओं के लिए, यह जानना कि बिजली ठीक कहाँ और कब जाएगी, सार्वजनिक सुरक्षा का मामला है। बिजली कटौती से पानी की आपूर्ति, संचार नेटवर्क और अस्पताल बाधित होते हैं, जिससे एक खराब मौसम वाला दिन एक ऐसे संकट में बदल जाता है जो दिनों या हफ्तों तक चल सकता है। इसे रोकने के लिए, वैज्ञानिकों ने पिछले पंद्रह वर्षों से कंप्यूटर मॉडल बनाने में समय बिताया है जिन्हें इन ब्लैकआउट की भविष्यवाणी करने के लिए डिज़ाइन किया गया है। ये मॉडल इलेक्ट्रिकल ग्रिड के लिए मौसम पूर्वानुमानकर्ताओं की तरह काम करते हैं, जो हवा, बारिश, पेड़ों के आवरण और जनसंख्या घनत्व के डेटा का उपयोग करके यह अनुमान लगाते हैं कि किन मोहल्लों में बिजली गुल होगी। उम्मीद यह रही है कि ये मॉडल भविष्य के तूफानों के लिए तैयारी करने हेतु पिछले तूफानों से सीख सकते हैं, विशेष रूप से तब जब जलवायु परिवर्तन अत्यधिक मौसम को अधिक बार और गंभीर बना रहा है।
हालाँकि, एक नया अध्ययन बताता है कि इन भविष्यवाणियों पर हमारा विश्वास गलत हो सकता है। टोरंटो विश्वविद्यालय और नॉर्थ कैरोलिना स्टेट यूनिवर्सिटी के शोधकर्ताओं ने इस बात की जांच की कि क्या ये मॉडल वास्तव में अज्ञात स्थितियों को संभाल सकते हैं। उन्होंने पाया कि वैज्ञानिक साहित्य में रिपोर्ट की गई कई प्रभावशाली सफलता की कहानियाँ संभवतः एक त्रुटि के कारण पैदा हुए भ्रम हैं, जिससे परीक्षण के तरीके में खामी आती है। मुख्य समस्या यह है कि परीक्षण अक्सर मॉडल को "ऐसी जानकारी का उपयोग करने देते हैं जो उसके पास नहीं होनी चाहिए थी," जिससे भविष्यवाणियाँ वास्तव में जितनी अच्छी हैं, उससे कहीं अधिक बेहतर दिखाई देती हैं। जब शोधकर्ताओं ने मॉडलों को वास्तव में नई स्थितियों का सामना करने के लिए मजबूर किया—जैसे कि किसी ऐसे राज्य में तूफान जो उन्होंने पहले कभी नहीं देखा था, या एक ऐसा तूफान का प्रकार जिसका उन्होंने पहले कभी सामना नहीं किया था—तो उनकी आउटेज (बिजली कटौती) की भविष्यवाणी करने की क्षमता ढह गई, और वे अक्सर एक साधारण अनुमान से बेहतर प्रदर्शन करने में विफल रहे।
शोधकर्ताओं ने संयुक्त राज्य अमेरिका के पूर्वी तट पर ध्यान केंद्रित किया, जो हरिकेन, शीतकालीन तूफानों और गरज के साथ होने वाली बारिश से प्रभावित रहता है। उन्होंने 2018 से 2023 तक बिजली कटौती के डेटा को एकत्र किया, प्रत्येक रिपोर्ट की गई ब्लैकआउट को मौसम की स्थिति और भूमि की विशेषताओं के साथ जोड़ा। मॉडलों का परीक्षण करने के लिए, उन्होंने डेटा को प्रशिक्षण (training) और परीक्षण (testing) समूहों में विभाजित करने के तीन अलग-अलग तरीके आजमाए। पहला तरीका, जो अधिकांश पिछले अध्ययनों में मानक है, एक रैंडम शफल (random shuffle) है। कल्पना कीजिए कि आप ताश की एक गड्डी लेते हैं, उसे अच्छी तरह मिलाते हैं, और आधा मॉडल को सीखने के लिए और आधा परीक्षण के लिए बांट देते हैं। क्योंकि मौसम के पैटर्न स्थान और समय में जुड़े होते हैं, इसलिए एक रैंडम शफल अक्सर बहुत समान दिनों या नजदीकी काउंटियों को सीखने और परीक्षण दोनों समूहों में डाल देता है। मॉडल वास्तव में तूफान के नियमों को सीखने के बजाय उस मोहल्ले को ही याद कर लेता है।
दूसरा और तीसरा तरीका बहुत अधिक सख्त था। पहले सख्त परीक्षण में, शोधकर्ताओं ने प्रशिक्षण डेटा से एक पूरा राज्य हटा दिया और मॉडल से केवल उस राज्य के लिए आउटेज की भविष्यवाणी करने को कहा। यह उस परिदृश्य का अनुकरण करता है जहाँ एक क्षेत्र में प्रशिक्षित मॉडल को पूरी तरह से नए क्षेत्र में तैनात किया जाता है। दूसरे सख्त परीक्षण में, उन्होंने एक पूरी तूफान की घटना को प्रशिक्षण डेटा से हटा दिया, और मॉडल को एक विशिष्ट तूफान या शीतकालीन तूफान की भविष्यवाणी करने के लिए कहा जिसे उसने पहले कभी नहीं देखा था। ये परीक्षण वास्तविक दुनिया का अनुकरण करते हैं, जहाँ एक उपयोगिता कंपनी को एक नए स्थान पर एक नए प्रकार की आपदा का सामना करना पड़ सकता है, जिसका कोई पिछला इतिहास नहीं है।
जब मॉडलों का परीक्षण रैंडम शफल विधि का उपयोग करके किया गया, तो वे अच्छा प्रदर्शन करते दिखे, जो आउटेज प्रतिशत के लगभग 45 प्रतिशत भिन्नता की व्याख्या करते हैं। यह परिणाम अन्य अध्ययनों के दावों के अनुरूप है। लेकिन जब शोधकर्ताओं ने सख्त परीक्षण लागू किए, तो प्रदर्शन नाटकीय रूप से गिर गया। राज्य-दर-राज्य परीक्षणों में, मॉडल अक्सर एक "नल मॉडल" (null model) से बेहतर प्रदर्शन नहीं कर पाए, जो एक आधार रेखा है जो हर बार उस क्षेत्र के लिए आउटेज की औसत संख्या का अनुमान लगाती है। बिना बिजली वाले ग्राहकों की पूर्ण संख्या की भविष्यवाणी करने के लिए, मॉडल लगभग हर मामले में इस साधारण अनुमान से बेहतर प्रदर्शन करने में विफल रहे। प्रभावित ग्राहकों के प्रतिशत की भविष्यवाणी करने के लिए भी, मॉडल काफी संघर्ष करते दिखे, और उनकी सटीकता राज्य या तूफान के आधार पर बहुत अधिक बदलती रही।
अध्ययन ने यह भी जांचा कि क्या उन्नत आर्टिफिशियल इंटेलिजेंस का उपयोग करने से समस्या हल हो सकती है। शोधकर्ताओं ने मॉडलों को 'प्रिटवी डब्ल्यूएक्स (Prithvi WxC)' नामक एक शक्तिशाली फाउंडेशन मॉडल से "एम्बेडिंग्स" (embeddings) खिलाने का प्रयास किया। यह मॉडल वैश्विक मौसम डेटा पर प्रशिक्षित है और वायुमंडल में जटिल पैटर्न को समझने के लिए डिज़ाइन किया गया है। उम्मीद यह थी कि यह उच्च-तकनीकी दृष्टिकोण मॉडलों को बेहतर सामान्यीकरण (generalize) करने में मदद करेगा। हालांकि फाउंडेशन मॉडल ने कुछ स्थानिक परीक्षणों में मामूली सुधार प्रदान किया, लेकिन इसने मौलिक समस्या को हल नहीं किया। जब एक नए तूफान की घटना का सामना किया गया, तो उन्नत मॉडल उतना ही खराब प्रदर्शन कर गया जितना कि सरल मॉडल, और कुछ मामलों में, यह और भी खराब प्रदर्शन करता दिखा। शोधकर्ताओं ने पाया कि फाउंडेशन मॉडल के डेटा की उच्च जटिलता ने वास्तव में मॉडल के लिए नए कार्यक्रमों के लिए आवश्यक विशिष्ट पैटर्न सीखना कठिन बना दिया, जिससे 'ओवरफिटिंग' हुई जहाँ मॉडल ने अंतर्निहित भौतिकी को समझने के बजाय प्रशिक्षण डेटा को ही याद कर लिया।
निष्कर्ष बताते हैं कि वर्तमान पीढ़ी के बिजली कटौती भविष्यवाणी मॉडल, जब उन्हें सार्वजनिक रूप से उपलब्ध डेटा पर प्रशिक्षित किया जाता है, तो वास्तविक दुनिया की आपदा योजना के लिए सीमित मूल्य प्रदान करते हैं। मॉडल इसलिए विफल नहीं हो रहे हैं क्योंकि उनमें परिष्कृत एल्गोरिदम की कमी है; वे इसलिए विफल हो रहे हैं क्योंकि जिस डेटा पर उन्हें प्रशिक्षित किया गया है, उसमें अज्ञात स्थितियों को सिखाने के लिए चरम घटनाओं के पर्याप्त विविध उदाहरणों की कमी है। तूफान और बिजली कटौती के बीच का संबंध एक सरल नियम नहीं है जो हर जगह लागू होता है। फ्लोरिडा में बिजली काटने वाला तूफान न्यू जर्सी में शीतकालीन तूफान से अलग व्यवहार करता है, और एक मॉडल जो एक पर प्रशिक्षित है, वह दूसरे की आसानी से भविष्यवाणी नहीं कर सकता। अध्ययन संकेत देता है कि बेहतर डेटा कवरेज, अधिक यथार्थवादी परीक्षण विधियों और मौजूदा डेटासेट से मामूली सुधार निकालने के बजाय एक बदलाव के बिना, ये मॉडल समुदातों को अगले बड़े तूफान से बचाने के महत्वपूर्ण कार्य के लिए अविश्वसनीय बने रहेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।