Using dynamic loss weighting to boost improvements in forecast stability

कल्पना कीजिए कि आप एक मौसम विज्ञानी हैं जो अगले सप्ताह के तापमान की भविष्यवाणी करने की कोशिश कर रहे हैं। हर सुबह, आपको डेटा का एक नया हिस्सा मिलता है—कल की तापमान रीडिंग। स्वाभाविक रूप से, आप अगले मंगलवार के लिए अपने पूर्वानुमान को अपडेट करते हैं। लेकिन यहाँ एक पेंच है: हर बार जब आप अपडेट करते हैं, तो अगले मंगलवार के लिए आपका पूर्वानुमान बहुत अधिक ऊपर या नीचे जा सकता है। एक दिन आप कहते हैं कि यह 70°F होगा, अगले दिन 65°F, फिर 72°F। यह निरंतर उतार-चढ़ाव "पूर्वानुमान अस्थिरता" (forecast instability) कहलाता है। यह किसी पिकनिक या आपूर्ति श्रृंखला (supply chain) के लिए परेशान करने वाला है क्योंकि वे संख्याओं पर भरोसा नहीं कर सकते कि वे स्थिर रहेंगी।

वैज्ञानिक ऐसे कंप्यूटर मॉडल बनाने की कोशिश कर रहे हैं जो न केवल सटीक हों (तापमान सही बताना) बल्कि स्थिर भी हों (अपनी बात पर टिके रहना)। हाल ही में, शोधकर्ताओं ने एक तरीका खोजा जिससे वे इन मॉडलों को एक "स्थिरता दंड" (stability penalty) जोड़कर थोड़ा अधिक स्थिर बनाना सीख सकते हैं। इसे एक शिक्षक की तरह समझें जो छात्र को कहता है, "सिर्फ सही उत्तर मत दो; हर बार नया संकेत मिलने पर अपना उत्तर मत बदलो।" हालाँकि, इसे सिखाने का पुराना तरीका थोड़ा कठोर था। इसने एक निश्चित नियम पुस्तिका का उपयोग किया जिसमें कहा गया था, "स्थिरता पर 10% ध्यान दें और सटीकता पर 90%," और यह अनुपात पूरे प्रशिक्षण प्रक्रिया के दौरान कभी नहीं बदला।

यह शोध पत्र एक सरल, जिज्ञासु प्रश्न पूछता है: क्या होगा अगर हम नियम पुस्तिका को गतिशील (dynamic) बना दें? क्या होगा यदि कंप्यूटर पहले सटीकता पर ध्यान केंद्रित करना सीख सके, और केवल तब स्थिरता के बारे में चिंता करना शुरू करे जब वह बुनियादी बातों में अच्छा हो जाए? शोधकर्ताओं की टीम ने एक शक्तिशाली पूर्वानुमान मॉडल N-BEATS का उपयोग करके इस विचार का परीक्षण किया। उन्होंने कई "डायनेमिक लॉस वेटिंग" (dynamic loss weighting) तकनीकों का परीक्षण किया—ऐसे तरीके जो कंप्यूटर को सटीकता बनाम स्थिरता के महत्व को बदलने की अनुमति देते हैं। उन्होंने पाया कि डायनेमिक वेटिंग का उपयोग करके, उन्हें ऐसे पूर्वानुमान प्राप्त हुए जो उतने ही सटीक थे लेकिन पहले की तुलना में बहुत कम अस्थिर थे। यह एक छात्र को खुद पर संदेह करना बंद करने के लिए सिखाने जैसा है एक बार जब उसने पाठ में महारत हासिल कर ली हो, जिसके परिणामस्वरूप ऐसे पूर्वानुमान मिलते हैं जिन पर लोग वास्तव में भरोसा कर सकते हैं।

झटकेदार पूर्वानुमान की कहानी

टाइम सीरीज़ फोरकास्टिंग की दुनिया में, कंप्यूटर अतीत को देखकर भविष्य का अनुमान लगाने वाले क्रिस्टल बॉल की तरह होते हैं। लेकिन इन क्रिस्टल बॉल्स की एक बुरी आदत है: वे चंचल होते हैं। जब नया डेटा आता है, तो मॉडल अगले सप्ताह के लिए अपने पूर्वानुमान को पूरी तरह से बदल सकता है। इसे रोलिंग ओरिजिन फोरकास्ट इंस्टेबिलिटी (rolling origin forecast instability) कहा जाता है। कल्पना कीजिए कि आप एक पार्टी की योजना बना रहे हैं। यदि आपका दोस्त आपसे कहता है, "मुझे लगता है कि 10 लोग आएंगे," और फिर पांच मिनट बाद कहता है, "दरअसल, शायद 20," और फिर एक घंटे बाद कहता है, "रुको, शायद 5," तो आप काफी निराश होंगे। आपको एक ऐसे पूर्वानुमान की आवश्यकता है जो इतना विश्वसनीय हो कि आप सही मात्रा में पिज्जा ऑर्डर कर सकें।

लंबे समय तक, लक्ष्य केवल पूर्वानुमान को यथासंभव सटीक बनाना था। लेकिन वास्तविक दुनिया में, केवल सटीकता ही सब कुछ नहीं है। यदि पूर्वानुमान बहुत अधिक उछलता है, तो लोग उस पर भरोसा करना बंद कर देते हैं। वे अपने स्वयं के "अंतर्ज्ञान" (gut feeling) आधारित समायोजन करना शुरू कर सकते हैं, जो अक्सर पूर्वानुमान को कम सटीक बना देता है। इसलिए, शोधकर्ता मॉडलों को "सटीक" होने के साथ-साथ "स्थिर" होना सिखाना चाहते थे।

पुराना तरीका: एक स्थिर नियम पुस्तिका

इससे पहले, इसे हल करने के लिए N-BEATS-S नामक एक विधि पेश की गई थी। यह कंप्यूटर को एक दो-भाग वाला होमवर्क असाइनमेंट देकर काम करता था:

1. भाग A: नंबरों को सही रखें (सटीकता/Accuracy)।
2. भाग B: नया डेटा मिलने पर अपने उत्तर को बहुत अधिक न बदलें (स्थिरता/Stability)।

कंप्यूटर को इन दोनों कार्यों के बीच संतुलन बनाना था। इसे करने का पुराना तरीका एक स्थिर हाइपरपैरामीटर (जिसे हम $\lambda$ कह सकते हैं) का उपयोग करना था। यह एक डायल की तरह है जिसे मानव प्रशिक्षक कंप्यूटर के सीखने से पहले सेट करता है। यदि आप डायल को 0.025 पर सेट करते हैं, तो कंप्यूटर को बताया जाता है, "हे, 97.5% सटीक होने पर ध्यान केंद्रित करें और केवल 2.5% स्थिरता पर।" यदि आप इसे 0.275 पर सेट करते हैं, तो आप उसे कहते हैं, "ठीक है, स्थिरता पर अधिक ध्यान दें।"

इस स्थिर डायल के साथ समस्या यह है कि यह पूरे प्रशिक्षण प्रक्रिया के लिए पत्थर की लकीर है। कंप्यूटर यह तय नहीं कर सकता कि कब किस पर ध्यान केंद्रित करना है। यह एक छात्र को यह बताने जैसा है कि, "अपना 20% समय गणित पर और 80% इतिहास पर बिताएं," पूरे सेमेस्टर के लिए, भले ही वह गणित में जीनियस हो और उसे बस थोड़े इतिहास का अभ्यास करने की आवश्यकता हो। शोधकर्ताओं को संदेह था कि एक कठोर नियम पुस्तिका कंप्यूटर को रोक रही है।

नया विचार: एक गतिशील नृत्य

इस शोध पत्र के लेखकों ने सोचा: क्या होगा यदि कंप्यूटर सीखते समय खुद डायल बदल सके? इसे डायनेमिक लॉस वेटिंग (DLW) कहा जाता है। एक निश्चित नियम के बजाय, कंप्यूटर निर्णय ले सकता है, "ठीक है, अभी मैं सटीकता में बहुत खराब हूँ, इसलिए मैं एक पल के लिए स्थिरता को अनदेखा कर दूँगा। लेकिन एक बार जब मैं सटीकता में अच्छा हो जाऊँगा, तो मैं स्थिरता के बारे में चिंता करना शुरू कर दूँगा।"

उन्होंने इस तरह के गतिशील संतुलन को बनाने वाले कई मौजूदा तरीकों का परीक्षण किया, और उन्होंने टास्क-अवेयर रैंडम वेटिंग (TARW) नामक एक नया तरीका भी बनाया।

• GradNorm: यह तरीका यह सुनिश्चित करने की कोशिश करता है कि कंप्यूटर दोनों कार्यों को समान गति से सीखे। यदि वह सटीकता को बहुत तेज़ी से सीख रहा है, तो वह स्थिरता पर ध्यान केंद्रित करने के लिए उसे धीमा कर देता है।
• Uncertainty Weighting: यह तरीका पूछता है, "मैं इस कार्य के बारे में कितना अनिश्चित हूँ?" यदि कंप्यूटर स्थिरता के बारे में बहुत अनिश्चित है, तो वह इस पर कम ध्यान देता है।
• Random Weighting (RW): यह थोड़ा अराजक है। यह हर बार जब कंप्यूटर डेटा का एक नया बैच सीखता है, तो स्थिरता डायल के लिए 0 और 1 के बीच एक यादृच्छिक संख्या चुनता है। आश्चर्यजनक रूप से, यह यादृच्छिकता अक्सर अच्छा काम करती है।
• TARW (नया खिलाड़ी): लेखकों ने "रैंडम वेटिंग" के विचार को थोड़ा बदला। 0 और 1 के बीच संख्या चुनने के बजाय, उन्होंने 0 और एक विशिष्ट सीमा (मान लीजिए $\kappa$) के बीच एक संख्या चुनी। यह सुनिश्चित करता है कि कंप्यूटर स्थिरता के प्रति बहुत अधिक जुनूनी न हो जाए और सटीकता को न भूल जाए। यह कहने जैसा है, "आप यादृच्छिक हो सकते हैं, लेकिन पागल मत हो जाइए।"

उन्होंने क्या पाया: सही संतुलन

टीम ने दो विशाल टाइम सीरीज़ डेटासेट्स (M3 और M4 डेटासेट) पर ये प्रयोग चलाए, जिनमें बिक्री के आंकड़े या मौसम के डेटा जैसे हजारों अलग-अलग टाइम सीरीज़ शामिल हैं। उन्होंने नए डायनेमिक तरीकों की तुलना पुराने स्टैटिक तरीके (एक निश्चित डायल के साथ N-BEATS-S) से की।

यहाँ उनके आंकड़ों ने उन्हें क्या बताया:

1. स्थिरता में वृद्धि (Stability Boost): लगभग सभी डायनेमिक तरीकों ने पूर्वानुमानों को बहुत अधिक स्थिर बना दिया। भविष्यवाणियों में "उतार-चढ़ाव" काफी कम हो गया। उदाहरण के लिए, M4 डेटासेट पर, कुछ तरीकों ने अस्थिरता मीट्रिक (RMSSC) को लगभग 0.537 (पुराना स्टैटिक तरीका) से घटाकर 0.146 या 0.224 कर दिया। यह अस्थिरता में एक बड़ी गिरावट है।
2. सटीकता स्थिर रही (Accuracy Held Steady): बड़ा डर यह था कि स्थिरता पर ध्यान केंद्रित करने से कंप्यूटर सटीक होने में खराब हो जाएगा। परिणामों ने दिखाया कि सबसे अच्छे तरीकों के लिए, सटीकता लगभग वैसी ही रही। वास्तव में, M3 डेटासेट पर, नए TARW high ने वास्तव में पुराने N-BEATS मॉडल की तुलना में अधिक सटीक पूर्वानुमान दिए, जिसका स्कोर (RMSSE) 1.088 की तुलना में 1.082 था।
3. विजेता (The Winner): TARW विधि (विशेष रूप से "high" संस्करण) सबसे अलग रही। इसने सटीकता को नुकसान पहुँचाए बिना स्थिरता में महत्वपूर्ण सुधार किया। यह एक ऐसा तरीका खोजने जैसा था जिससे पूर्वानुमान को एक साथ चट्टान की तरह मजबूत और अत्यंत सटीक बनाया जा सके।
4. "क्यों" (The Why): जब उन्होंने गहराई से जांच की, तो उन्होंने देखा कि डायनेमिक तरीके ठीक वही कर रहे थे जिसकी लेखकों को उम्मीद थी। प्रशिक्षण की शुरुआत में, कंप्यूटर ने सटीकता पर भारी ध्यान केंद्रित किया। एक बार जब वह इसमें अच्छा हो गया, उसके बाद ही उसने स्थिरता पर ध्यान देना शुरू किया। इसके विपरीत, स्टैटिक तरीका पहले दिन से ही दोनों को करने की कोशिश कर रहा था, जिससे कभी-कभी मॉडल भ्रमित हो जाता था या एक "लोकल ऑप्टिमम" (एक ऐसी जगह जहाँ वह स्थिर तो है लेकिन बहुत सटीक नहीं है) में फंस जाता था।

निष्कर्ष

यह शोध पत्र सुझाव देता है कि हमें कंप्यूटर को एक कठोर, पूर्व-निर्धारित नियम के साथ सटीकता और स्थिरता को संतुलित करने के लिए मजबूर करने की आवश्यकता नहीं है। इसके बजाय, मॉडल को अपनी प्राथमिकताओं को गतिशील रूप से समायोजित करने देने से—विशेष रूप से पहले सटीकता को प्राथमिकता देने और फिर स्थिरता को पेश करने से—बेहतर परिणाम मिलते हैं।

लेखक TARW को एक सरल, प्रभावी उपकरण के रूप में प्रस्तावित करते हैं। यह अनिवार्य रूप से एक "स्मार्ट रैंडमाइज़र" है जो कंप्यूटर को बहुत जल्दी स्थिरता के प्रति जुनूनी होने से रोकता है। हालांकि प्रशिक्षण के दौरान कम्प्यूटेशनल लागत थोड़ी अधिक है (कंप्यूटर को वेट्स को एडजस्ट करने के लिए थोड़ा अधिक गणित करना पड़ता है), वास्तविक उपयोग (इन्फरेंस) के दौरान लागत पुराने तरीकों के समान ही है।

अंत में, यह शोध बताता है कि यदि आप एक ऐसा पूर्वानुमान प्रणाली चाहते हैं जिस पर लोग भरोसा कर सकें, तो आपको केवल उससे सटीक होने के लिए नहीं कहना चाहिए। आपको उसे यह भी सिखाना चाहिए कि वह सुसंगत (consistent) बने, लेकिन आपको उसे सही समय पर यह सबक सीखने देना होगा। इन डायनेमिक तरीकों का उपयोग करके, हम ऐसे पूर्वानुमान प्राप्त कर सकते हैं जो न केवल सही हैं बल्कि विश्वसनीय भी हैं, जिससे व्यवसायों और योजनाकारों को लगातार बदलते नंबरों के सिरदर्द से बचाया जा सकता है।