Dispersion-Matched Forecast Comparison: Separating Skill from Shrinkage in the Evaluation of Financial Prediction Models
यह शोध पत्र यह प्रदर्शित करता है कि वर्ग त्रुटि (squared error) पर आधारित पारंपरिक वित्तीय पूर्वानुमान तुलनाएं मौलिक रूप से त्रुटिपूर्ण हैं क्योंकि वे अनजाने में मॉडलों को उनके वास्तविक पूर्वानुमान कौशल के बजाय उनके प्रकीर्णन संकुचन (dispersion shrinkage) द्वारा रैंक करती हैं, जिससे भ्रामक सांख्यिकीय सार्थकता उत्पन्न होती है, और एक "प्रकीर्णन-मैचड" (dispersion-matched) सुधार का प्रस्ताव देता है जो वास्तविक पूर्वानुमान क्षमता को अलग करने और सटीक रूप से परीक्षण करने के लिए पूर्वानुमानों को लक्ष्य के विचरण (variance) के अनुरूप पुनर्गठित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वित्त की दुनिया में, भविष्य की स्टॉक कीमत का पूर्वानुमान लगाना एक 'होली ग्रेल' (अत्यंत दुर्लभ उपलब्धि) है। निवेशक और बैंक अरबों रुपये परिष्कृत कंप्यूटर प्रणालियों में झोंक देते हैं, इस उम्मीद में कि वे दैनिक बाजार के उतार-चढ़ाव के बीच किसी पैटर्न को खोज लेंगे। ये प्रणालियाँ, जो अक्सर डीप लर्निंग का उपयोग करके बनाई जाती हैं, बड़ी मात्रा में जानकारी—जैसे पिछले मूल्य और आर्थिक रिपोर्ट—को पचाने के लिए डिज़ाइन की गई हैं, ताकि यह अनुमान लगाया जा सके कि कल स्टॉक बढ़ेगा या गिरेगा। इन प्रणालियों में से किसी एक के वास्तव में अच्छा होने का निर्णय लेने का मानक तरीका यह है कि उसके पूर्वानुमानों की तुलना अन्य प्रणालियों की सूची से की जाए। यदि एक नया मॉडल पुराने मॉडलों की तुलना में कम गलतियाँ करता है, तो उसे विजेता घोषित कर दिया जाता है, और इसके निर्माता परिणामों को एक बड़ी सफलता के रूप में प्रकाशित करते हैं। यह प्रक्रिया एक सरल धारणा पर निर्भर करती है: कि कम त्रुटि स्कोर (error score) का अर्थ है कि मॉडल ने डेटा में एक वास्तविक संकेत (signal) खोज लिया है, यानी वह ऐसी चीज़ देखने की वास्तविक क्षमता रखता है जिसे अन्य नहीं देख सकते।
हालाँकि, एक नया अध्ययन उन आधारों को चुनौती देता है कि कैसे विजेताओं को चुना जाता है। कंप्यूटर विज्ञान और प्रबंधन के विशेषज्ञों की एक टीम के साथ काम करने वाले शोधकर्ताओं ने पाया कि मानक स्कोरिंग पद्धति को धोखा दिया जा सकता है। उन्होंने पाया कि एक कंप्यूटर मॉडल एक पूर्ण स्कोर प्राप्त कर सकता है, इसलिए नहीं कि उसने बाजार की भविष्यवाणी करना सीख लिया है, बल्कि इसलिए क्योंकि उसने लगभग कुछ भी न करने का कौशल सीख लिया है। जब बाजार की भविष्यवाणी करना कठिन होता है, तो सबसे सुरक्षित गणितीय चाल हर बार औसत परिणाम का अनुमान लगाना होता है। यदि कोई मॉडल बहुत अधिक सतर्क है, या यदि उसका डिज़ाइन उसे बहुत रूढ़िवादी बनने के लिए मजबूर करता है, तो वह अपने पूर्वानुमानों को इतना सिकोड़ देगा कि वे लगभग सपाट हो जाएंगे। अध्ययन से पता चलता है कि वर्तमान रैंकिंग प्रणालियाँ इस सिकुड़ने वाले व्यवहार को कौशल समझकर गलती करती हैं, जिससे एक ऐसा लीडरबोर्ड बन जाता है जहाँ "सर्वश्रेष्ठ" मॉडल वास्तव में वे होते हैं जिन्होंने कुछ भी भविष्यवाणी करना छोड़ दिया है।
शोधकर्ताओं ने दैनिक स्टॉक रिटर्न का पूर्वानुमान लगाने के लिए डिज़ाइन किए गए एक विशिष्ट, आधुनिक आर्किटेक्चर का परीक्षण करने का निर्णय लिया। इस प्रणाली को MFGate-Net कहा जाता है, जिसे एक अत्याधुनिक भविष्यवक्ता के रूप में बनाया गया था। इसने दो अलग-अलग प्रकार की जानकारी को जोड़ा: तकनीकी संकेतक जो मूल्य चार्ट से प्राप्त होते हैं और व्यापक आर्थिक डेटा जैसे ब्याज दरें और बाजार की अस्थिरता, साथ ही इन इनपुट को गतिशील रूप से तौलने के लिए एक तंत्र। यह देखने के लिए कि क्या यह काम करता है, टीम ने इसे सात साल के ऐतिहासिक डेटा पर प्रशिक्षित किया और फिर 2022 से 2024 तक की एक नई, अनदेखी अवधि पर इसका परीक्षण किया। इस परीक्षण अवधि को सावधानीपूर्वक चुना गया था ताकि इसमें उच्च मुद्रास्फीति और रिकवरी चरण सहित विभिन्न बाजार स्थितियाँ शामिल हों, जिससे यह सुनिश्चित हो सके कि मॉडल के सामने एक वास्तविक चुनौती हो।
जब टीम ने मानक तुलना चलाई, तो परिणाम एक बड़ी जीत की तरह दिखे। नए मॉडल ने हर अन्य प्रतियोगी को हरा दिया, जिसमें पुराने, सरल मशीन लर्निंग तरीके और अन्य जटिल डीप लर्निंग नेटवर्क भी शामिल थे। इसकी त्रुटि दर सबसे कम थी, और सांख्यिकीय परीक्षणों ने पुष्टि की कि इसका लाभ कोई इत्तेफाक नहीं था। सभी पारंपरिक खातों के अनुसार, यह एक बड़ी सफलता होनी चाहिए थी: बाजार की भविष्यवाणी करने का एक नया, बेहतर तरीका। लेकिन शोधकर्ता वहीं नहीं रुके। उन्होंने एक सरल, अधिक मौलिक प्रश्न पूछा: क्या इस मॉडल ने वास्तव में सबसे बुनियादी संभव भविष्यवाणी को हराया है? वित्त में, सबसे सरल भविष्यवाणी यह मानना है कि कल की कीमत में बदलाव बिल्कुल शून्य होगा। इसे 'अनकंडीशनल बेंचमार्क' (unconditional benchmark) के रूप में जाना जाता है। यह कुछ न करने का आधार है।
जब उन्होंने अपने परिष्कृत मॉडल की तुलना इस 'शून्य' भविष्यवाणी के साथ की, तो कहानी पूरी तरह बदल गई। जटिल मॉडल शून्य पूर्वानुमान को नहीं हरा सका। वास्तव में, यह शून्य पूर्वानुमान के समान ही था। मॉडल के पूर्वानुमान शून्य के इतने करीब थे कि वे केवल यह अनुमान लगाने की तुलना में कोई वास्तविक लाभ नहीं दे रहे थे कि कुछ नहीं होगा। और भी चौंकाने वाली बात यह थी कि लीडरबोर्ड पर मौजूद अन्य सभी मॉडल, नवीनतम डीप लर्निंग नेटवर्क से लेकर पुराने सांख्यिकीय तरीकों तक, भी शून्य पूर्वानुमान को हराने में विफल रहे। वे सभी 'कुछ न करने' से भी बदतर थे। शोधकर्ताओं ने महसूस किया कि जिस रैंकिंग को वे पहले देख रहे थे, वह यह नहीं माप रही थी कि कौन सबसे अच्छा भविष्यवक्ता है, बल्कि यह कि कौन सबसे अधिक सतर्क है। जिन मॉडलों ने अपने पूर्वानुमानों को सबसे अधिक सिकोड़ा, यानी शून्य के सबसे करीब लाया, वे सबसे कम त्रुटि दिखाते थे। रैंकिंग इस बात का माप थी कि मॉडल कितना ढह (collapse) गया है, न कि यह कि उसने कितना सीखा है।
इसे सिद्ध करने के लिए, टीम ने एक गणितीय स्पष्टीकरण निकाला कि ऐसा क्यों होता है। उन्होंने दिखाया कि जब बाजार लगभग अप्रत्याशित होता है, तो एक मॉडल का त्रुटि स्कोर लगभग पूरी तरह से इस बात पर निर्भर करता है कि उसके पूर्वानुमान वास्तविक बाजार की तुलना में कितने भिन्न होते हैं। यदि कोई मॉडल बहुत कम हलचल की भविष्यवाणी करता है, तो उसका त्रुटि स्कोर अच्छा दिखेगा, भले ही वह गलत हो। अध्ययन ने प्रदर्शित किया कि एक मॉडल की दूसरे मॉडल पर स्पष्ट श्रेष्ठता केवल उनके पूर्वानुमानों के सिकुड़ने के अंतर के कारण थी। जिसे विजेता घोषित करने के लिए उपयोग किए जाने वाले सांख्यिकीय परीक्षण थे, वे वास्तव में इस 'सिकुड़न' (shrinkage) को माप रहे थे, और जैसे-जैसे उन्होंने अधिक डेटा एकत्र किया, वे एक गलत निष्कर्ष के प्रति उतने ही आश्वस्त होते गए। डेटासेट जितना बड़ा होता गया, कौशल का भ्रम उतना ही मजबूत होता गया, भले ही कोई कौशल मौजूद न हो।
इसके बाद शोधकर्ताओं ने एक सरल समाधान प्रस्तावित किया। मॉडलों की तुलना करने से पहले, उन्होंने प्रत्येक पूर्वानुमान को समायोजित किया ताकि उसकी गति की सीमा वास्तविक बाजार की सीमा से मेल खा सके। यह प्रक्रिया, जिसे वे 'डिस्पर्शन मैचिंग' (dispersion matching) कहते हैं, सिकुड़ने के प्रति पूर्वाग्रह को हटा देती है। एक बार जब उन्होंने इस सुधार को लागू किया, तो मॉडलों के बीच के नाटकीय अंतर गायब हो गए। जो मॉडल पहले स्पष्ट विजेता लग रहे थे, वे अब हारने वालों के साथ सांख्यिकीय रूप से बराबरी पर थे। वह "अत्यधिक" महत्व जो एक बड़ी सफलता का सुझाव दे रहा था, गायब हो गया, और इसकी जगह एक ऐसे परिणाम ने ले ली जो दिखा रहा था कि सभी मॉडल मूल रूप से एक यादृच्छिक अनुमान (random guess) के समान प्रदर्शन कर रहे थे। एक विशिष्ट मामले में, एक मॉडल जिसे सर्वश्रेष्ठ घोषित किया गया था, पाया गया कि वह निरंतर शून्य पूर्वानुमान से बेहतर नहीं था, जिसमें यह सांख्यिकिक संभावना 0.97 थी कि अंतर संयोग के कारण था।
अध्ययन ने यह भी देखा कि क्या ये मॉडल पैसा कमा सकते हैं। भले ही कोई मॉडल कीमत की सटीक भविष्यवाणी न कर सके, लेकिन यदि वह लाभदायक व्यापार के लिए मार्गदर्शन कर सकता है, तो वह उपयोगी हो सकता है। शोधकर्ताओं ने मॉडलों के पूर्वानुमानों के आधार पर ट्रेडिंग रणनीतियों का अनुकरण किया, जिसमें खरीदने और बेचने की लागत को भी शामिल किया गया। परिणाम स्पष्ट थे। किसी भी मॉडल ने जोखिम मुक्त निवेश से बेहतर लाभ नहीं कमाया, भले ही लेनदेन की लागत शून्य रखी गई हो। त्रुटि चार्ट पर सबसे सफल मॉडल वास्तव में पैसे के मामले में सबसे खराब प्रदर्शन करने वाला निकला, क्योंकि उसके सतर्क पूर्वानुमानों के कारण एक ऐसी रणनीति बनी जो मुश्किल से चलती थी, जिससे पूंजी की लागत के विरुद्ध छोटे नुकसान होते रहे। इसने पुष्टि की कि सांख्यिकीय रैंकिंग न केवल भ्रामक थी, बल्कि आर्थिक रूप से भी अप्रासंगिक थी।
शायद सबसे परेशान करने वाला निष्कर्ष उन उपकरणों के बारे में था जिनका उपयोग यह समझाने के लिए किया जाता है कि ये मॉडल कैसे काम करते हैं। आर्टिफिशियल इंटेलिजेंस के क्षेत्र में, शोधकर्ता अक्सर विज़ुअलाइज़ेशन का उपयोग यह दिखाने के लिए करते हैं कि मॉडल किन डेटा बिंदुओं पर ध्यान दे रहा है, इस उम्मीद में कि इससे यह सिद्ध होगा कि सिस्टम ने सार्थक पैटर्न सीख लिए हैं। टीम ने इसका परीक्षण उस डेटा पर मॉडल को प्रशिक्षित करके किया जहाँ लक्ष्य (target) को यादृच्छिक रूप से बदल दिया गया था, जिससे इनपुट और आउटपुट के बीच का वास्तविक संबंध नष्ट हो गया। ऐसे शोर (noise) पर प्रशिक्षित मॉडल के लिए कुछ भी सीखना असंभव है। फिर भी, जब उन्होंने इस "टूटे हुए" मॉडल का विश्लेषण किया, तो इसने लगभग उन्हीं विज़ुअलाइज़ेशन को उत्पन्न किया जो वास्तविक मॉडल से मिलते-जले थे। विज़ुअलाइज़ेशन ने उन्हीं विशेषताओं को हाइलाइट किया और ध्यान के उन्हीं पैटर्न को दिखाया। यह सुझाव देता है कि व्याख्यात्मक उपकरण (interpretability tools) अक्सर डेटा की अपनी संरचना को दर्शाते हैं, न कि उस विशिष्ट ज्ञान को जो मॉडल ने प्राप्त किया है। वे एक ऐसे मॉडल के बीच अंतर नहीं कर सकते जिसने कोई गुप्त रहस्य सीखा है और एक ऐसे मॉडल के बीच जिसने कुछ भी नहीं सीखा है।
शोधकर्ताओं ने निष्कर्ष निकाला कि वित्तीय भविष्यवाणी के पूरे क्षेत्र को अपने परिणामों को रिपोर्ट करने के तरीके को बदलने की आवश्यकता है। वे अनुशंसा करते हैं कि प्रत्येक अध्ययन में यह सिद्ध करने के लिए एक सरल शून्य पूर्वानुमान के विरुद्ध तुलना शामिल की जानी चाहिए कि मॉडल के पास वास्तव में कोई कौशल है। वे यह रिपोर्ट करने का भी सुझाव देते हैं कि मॉडल के पूर्वानुमानों में कितनी भिन्नता है, ताकि यह सुनिश्चित हो सके कि कम त्रुटि स्कोर केवल अत्यधिक सावधानी का परिणाम नहीं है। इन जाँचों के बिना, साहित्य उन मॉडलों से भरा हुआ है जो अत्याधुनिक तकनीक को आगे बढ़ाते हुए प्रतीत होते हैं, लेकिन वास्तव में वे केवल इस आधार पर खुद को रैंक कर रहे हैं कि वे कितनी अच्छी तरह से 'कुछ भी नहीं' होने का नाटक कर सकते हैं। यह अध्ययन यह दावा नहीं करता कि बाजार की भविष्यवाणी करना असंभव है, न ही यह कहता है कि डीप लर्निंग बेकार है। यह केवल यह दिखाता है कि सफलता को मापने का वर्तमान तरीका दोषपूर्ण है, और जब तक नियमों को ठीक नहीं किया जाता, तब तक लीडरबोर्ड पर विजेता वे नहीं होंगे जो वास्तव में भविष्य देख सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।