Model selection with proper scoring rules on data sets of time series
यह शोध पत्र इस बात की जांच करता है कि कैसे स्कोर वितरण की विषमता (skewness) टाइम सीरीज़ डेटा पर माध्य (mean), माध्यिका (median) और रैंक-आधारित सांख्यिकी के बीच परस्पर विरोधी मॉडल चयन परिणामों का कारण बनती है, यह प्रदर्शित करते हुए कि जबकि बड़े परीक्षण सेटों के साथ ये मानदंड अभिसरित (converge) होते हैं, माध्य स्कोर छोटे परीक्षण सेटों पर वास्तविक मॉडल की पहचान करने के लिए विशिष्ट रूप से विश्वसनीय है, जैसा कि M5 प्रतियोगिता सहित रुक-रुक कर आने वाली (intermittent) टाइम सीरीज़ के विश्लेषण से सिद्ध होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कोच हैं जो अपनी टीम के लिए सबसे अच्छा खिलाड़ी चुनने की कोशिश कर रहे हैं। आपके पास खिलाड़ियों की एक बहुत बड़ी सूची (टाइम सीरीज़) है, और आप देखना चाहते हैं कि औसतन कौन सबसे अच्छा प्रदर्शन करता है। उन्हें आंकने के लिए, आप एक "स्कोरकार्ड" (एक प्रॉपर स्कोरिंग रूल) का उपयोग करते हैं जो उनके द्वारा की गई हर गलती के लिए एक दंड संख्या (penalty number) देता है। यह संख्या जितनी कम होगी, खिलाड़ी उतना ही बेहतर होगा।
यह पेपर इस बारे में है कि जब आपके पास कई खिलाड़ी और देखने के लिए कई गेम हों, तो उस स्कोरकार्ड को कैसे पढ़ा जाए। लेखकों ने पाया कि जिस तरह से हम आमतौर पर स्कोर की गणना करते हैं, वह कभी-कभी हमें गलत खिलाड़ी चुनने के लिए धोखा दे सकता है, खासकर जब गेम छोटे हों या गलतियाँ दुर्लभ लेकिन बहुत बड़ी हों।
यहाँ सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: गिनने के दो तरीके
जब आपके पास खिलाड़ियों की एक टीम होती है, तो आप केवल एक गेम को नहीं देख सकते। आपको उनके परिणामों को जोड़ना होगा। पेपर कहता है कि कोच आमतौर पर इसे करने के दो मुख्य तरीके अपनाते हैं:
- विधि A: "औसत दंड" (मीन स्केल्ड स्कोर)। आप खिलाड़ी द्वारा प्राप्त प्रत्येक पेनल्टी पॉइंट को लेते हैं, उन सभी को जोड़ते हैं, और खेलों की संख्या से विभाजित करते हैं। यह उनकी गलतियों की औसत लागत बताता है।
- विधि B: "जीत-हार का रिकॉर्ड" (मीन रैंक)। आप अंकों को नहीं देखते हैं। इसके बजाय, आप बस पूछते हैं: "खिलाड़ी A ने खिलाड़ी B को कितने खेलों में हराया?" आप जीत गिनते हैं। यदि खिलाड़ी A ने अधिक गेम जीते हैं, तो उसे शीर्ष स्थान मिलता है।
2. जाल: "बड़ी गलती" का झुकाव (The "Big Mistake" Skew)
लेखकों ने पाया कि कुछ प्रकार के अनुमानों (जैसे दुर्लभ घटनाओं या उच्च मूल्यों की भविष्यवाणी करना) के लिए, "स्कोरकार्ड" झुका हुआ (skewed) होता है।
उपमा:
कल्पना कीजिए कि एक खेल है जहाँ आप आमतौर पर छोटी गलतियाँ करते हैं (जैसे अपने जूतों के फीते से लड़खड़ाना), लेकिन कभी-कभी, आप एक बहुत बड़ी, विनाशकारी गलती करते हैं (जैसे किसी खाई में गिर जाना)।
- "औसत दंड" (विधि A) उस खाई में गिरने को देखता है। यह आपके छोटे-छोटे लड़खड़ाने और एक बड़े गिरने को जोड़ता है, जिससे एक उच्च औसत दंड मिलता है। यह जानता है कि आप खतरनाक हैं।
- "जीत-हार का रिकॉर्ड" (विधि B) खेलों को व्यक्तिगत रूप से देखता है। 100 में से 99 खेलों में, आप केवल अपने जूतों के फीतों से लड़खड़ाते हैं, जो एक बहुत छोटा दंड है। उस 1 गेम में, आप खाई में गिर जाते हैं।
- यदि आप अपने प्रतिद्वंद्वी के खिलाफ खेल रहे हैं जो कभी भी खाई में नहीं गिरता लेकिन आपसे थोड़ा अधिक लड़खड़ाता है, तो विधि B कह सकती है: "हे, आपने 99 गेम जीते! आप चैंपियन हैं!"
- लेकिन विधि A कहती है: "रुको, उस एक खाई में गिरने ने आपका पूरा सीजन बर्बाद कर दिया। आपका औसत दंड वास्तव में बहुत खराब है।"
पेपर का तर्क है कि विधि B (मीन रैंक) खतरनाक है क्योंकि यह गलतियों के आकार को अनदेखा करती है। इसे केवल इस बात से फर्क नहीं पड़ता कि किसने अधिक व्यक्तिगत राउंड जीते। यदि "खाई में गिरना" (बड़ी गलतियाँ) दुर्लभ है, तो विधि B अक्सर उन्हें मिस कर देती है, खासकर यदि आपने पर्याप्त गेम नहीं देखे हैं (छोटे टेस्ट सेट)।
3. समाधान: अधिक गेम देखें
लेखकों ने सिमुलेशन चलाकर देखा कि जैसे-जैसे आप अधिक गेम देखते हैं (टेस्ट सेट का आकार बढ़ाते हैं) तो क्या होता है।
- छोटे टेस्ट सेट (कम गेम): विधि B अविश्वसनीय है। यह अक्सर उस "भाग्यशाली" खिलाड़ी को चुन लेती है जो केवल संयोग से बड़ी गलतियों से बच जाता है, भले ही उनका औसत प्रदर्शन वास्तव में खराब हो।
- लंबे टेस्ट सेट (कई गेम): जैसे-जैसे आप अधिक और अधिक गेम देखते हैं, "खाई में गिरने" की घटनाएँ इतनी बार होती हैं कि विधि B सच्चाई देखना शुरू कर देती है। दोनों विधियाँ सहमत होने लगती हैं।
मुख्य निष्कर्ष: यदि आपके पास डेटा का छोटा इतिहास (एक छोटा टेस्ट सेट) है, तो विधि A (औसत दंड) ही एकमात्र है जो लगातार वास्तव में सबसे अच्छे मॉडल को चुनती है। विधि B आसानी से धोखा खा सकती है—यह "भाग्य" के कारण बड़ी गलतियों से बचने वाले मॉडल को चुन लेती है।
4. वास्तविक दुनिया का परीक्षण: M5 प्रतियोगिता
लेखकों ने प्रसिद्ध "M5 फोरकास्टिंग प्रतियोगिता" के वास्तविक डेटा पर इसका परीक्षण किया, जिसमें हजारों उत्पादों (जिनमें से कुछ "इंटरमिटेंट" हैं, यानी वे बहुत कम बिकते हैं) की बिक्री की भविष्यवाणी करना शामिल है।
उन्होंने दो गणितीय मॉडलों की तुलना की:
- पॉइसन मॉडल (Poisson Model): एक सरल मॉडल।
- नेगेटिव बाइनोमियल मॉडल (Negative Binomial Model): एक अधिक जटिल मॉडल जो मांग के "स्पाइक्स" (अचानक उछाल) को संभालने में बेहतर माना जाता है।
क्या हुआ?
- छोटे डेटा पर विधि B (मीन रैंक) का उपयोग करते समय, इसने अक्सर पॉइसन मॉडल को चुना। इसने सोचा कि सरल मॉडल बेहतर था क्योंकि इसने अधिक व्यक्तिगत राउंड "जीते"।
- विधि A (औसत दंड) का उपयोग करते हुए, इसने लगातार नेगेटिव बाइनोमियल मॉडल को चुना, जिससे सही पहचान हुई कि यह बड़े उछाल (spikes) को बेहतर ढंग से संभालता है।
लेखकों ने निष्कर्ष निकाला कि "औसत दंड" सही था। "जीत-हार का रिकॉर्ड" को धोखा दिया गया क्योंकि टेस्ट सेट इतने छोटे थे कि वे उन दुर्लभ, बड़ी त्रुटियों को पकड़ नहीं सके जिन्हें सरल मॉडल पहचानने में विफल रहा था।
5. क्या इससे फर्क पड़ता है कि हम दंड को कैसे मापते हैं?
पेपर ने यह भी जांचा कि क्या दंड को मापने के लिए उपयोग किए जाने वाले "रूलर" (स्केलिंग फैक्टर) को बदलने से परिणाम बदलते हैं।
- अच्छी खबर: "औसत दंड" विधि बहुत मजबूत (robust) है। चाहे आप दंड को डॉलर में मापें, प्रतिशत में, या किसी बेसलाइन के मुकाबले, यह लगभग हमेशा एक ही विजेता को चुनती है।
- बुरी खबर: "जीत-हार का रिकॉर्ड" विधि नाजुक है। यह इस बात पर निर्भर करती है कि आप चीजों को कैसे मापते हैं और आपके पास कितना डेटा है, और यह बदल सकती है।
निचोड़ (The Bottom Line)
यदि आप सबसे अच्छे फोरकास्टिंग मॉडल को चुनने की कोशिश कर रहे हैं:
- केवल जीत न गिनें। (केवल मीन रैंक पर भरोसा न करें)।
- गलतियों की औसत लागत देखें। (मीन स्केल्ड स्कोर का उपयोग करें)।
- छोटे डेटा के साथ सावधान रहें। यदि आपके पास पर्याप्त इतिहास नहीं है, तो "जीत-हार" वाली विधि आपको ऐसे मॉडल को चुनने के लिए धोखा दे सकती है जो कागजों पर तो अच्छा दिखता है लेकिन एक दुर्लभ, बड़ी घटना होने पर विफल हो जाता है।
पेपर मूल रूप से कहता है: "एक ऐसे खिलाड़ी को, जो एक बड़ी आपदा से बचने के लिए भाग्यशाली रहा हो, आपको यह विश्वास दिलाने न दें कि वह सबसे अच्छा खिलाड़ी है। उनके कुल औसत प्रदर्शन को देखें।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।