Latent-Regime Bias Auditing for Volatility Forecasting
यह शोध पत्र एक मॉडल-अज्ञेय (model-agnostic) ऑडिट फ्रेमवर्क प्रस्तुत करता है जो लेटेंट मार्केट रिजीम्स (latent market regimes) के माध्यम से अस्थिरता पूर्वानुमानों का मूल्यांकन करता है ताकि यह प्रकट किया जा सके कि प्रतिस्पर्धी समग्र सटीकता वाले मॉडल अभी भी महत्वपूर्ण सशर्त पूर्वाग्रहों और टेल अंडरप्रेडिक्शन (tail underpredictions) से ग्रस्त हो सकते हैं, जिससे औसत त्रुटि मेट्रिक्स के बजाय रिजीम-विशिष्ट विश्वसनीयता आकलन की वकालत की जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मौसम विज्ञान हैं। वर्षों से, आपको एक साधारण संख्या के आधार पर आंका गया है: आपकी औसत सटीकता। यदि आप पूरे वर्ष में 90% बार तापमान को सही बताते हैं, तो आप एक नायक हैं। लेकिन यहाँ एक पेंच है: क्या होगा यदि आपकी 10% गलतियाँ हमेशा तब होती हैं जब कोई तूफान आने वाला होता है? आप "औसत पर सटीक" हो सकते हैं, लेकिन आप ठीक उसी समय बेकार हैं जब आपकी सबसे अधिक आवश्यकता होती है। यह वोलैटिलिटी फोरकास्टिंग (volatility forecasting) नामक क्षेत्र में एक मुख्य समस्या है। वित्त (finance) में, "वोलैटिलिटी" केवल कीमतों के उतार-चढ़ाव के लिए एक फैंसी शब्द है। जब बाजार शांत होता है, तो कीमतें मुश्किल से हिलती हैं; जब वे तनाव में होते हैं, तो वे तेजी से झूलती हैं। निवेशक और जोखिम प्रबंधक अपने पैसे की सुरक्षा के लिए इन उतार-चढ़ावों की भविष्यवाणी करने की आवश्यकता महसूस करते हैं। पारंपरिक रूप से, उन्होंने केवल अपने भविष्यवाणी मॉडल के "औसत त्रुटि" (average error) को देखा है। लेकिन ठीक मौसम विज्ञानी की तरह, एक मॉडल कागज पर बहुत अच्छा दिख सकता है, जबकि सबसे खतरनाक क्षणों के दौरान बुरी तरह विफल हो सकता है।
यह शोध पत्र, जिसका शीर्षक "लेटेंट-रेजीम बायस ऑडिटिंग फॉर वोलैटिलिटी फोरकास्टिंग" (Latent-Regime Bias Auditing for Volatility Forecasting) है, इन वित्तीय भविष्यवाणी मॉडलों के लिए एक जासूस की तरह कार्य करता है। ब्राजील के फेडरल यूनिवर्सिटी ऑफ मिनास गेराइस के लेखक तर्क देते हैं कि हमें केवल अंतिम ग्रेड की जांच करना बंद करना चाहिए और यह देखना शुरू करना चाहिए कि मॉडल कब और क्यों गलतियाँ करता है। उन्होंने एक नया "ऑडिट" सिस्टम बनाया है यह देखने के लिए कि क्या एक मॉडल तब भी विश्वसनीय रहता है जब बाजार शांत होता है या जब वह घबराहट की स्थिति में होता है।
जासूस का टूलकिट: छिपे हुए रेजीम (Regimes) को खोजना
यह समझने के लिए कि यह कैसे काम करता है, कल्पना कीजिए कि आप अलग-अलग लोगों की तस्वीरों के एक विशाल ढेर को छाँटने की कोशिश कर रहे हैं। यदि आप उन सभी को एक ही बड़े बाल्टी में डाल देते हैं और पैटर्न की तलाश करते हैं, तो आप भ्रमित हो सकते हैं क्योंकि कुछ लोग लंबे हैं, कुछ छोटे हैं, और कुछ ने टोपी पहनी हुई है। वित्त में, विभिन्न संपत्तियों (जैसे बिटकॉइन, सोना, या स्टॉक मार्केट फंड) के अपने अनूठे "व्यक्तित्व" होते हैं। बिटकॉइन जंगली तरीके से झूल सकता है जबकि सोना अपेक्षाकृत स्थिर रह सकता है। यदि आप उन सभी को एक साथ मिला देते हैं, तो आपका विश्लेषण गड़बड़ा जाएगा।
लेखकों की पहली तरकीब यह थी कि कंप्यूटर को यह सिखाया जाए कि संपत्ति कौन है इसे अनदेखा करे और केवल इस पर ध्यान केंद्रित करे कि वह कैसे व्यवहार कर रही है। उन्होंने "एडवर्सरियल लर्निंग" (adversarial learning) नामक एक चतुर तकनीक का उपयोग किया। इसे दो कंप्यूटर प्रोग्रामों के बीच लुका-छिपी के खेल के रूप में समझें। एक प्रोग्राम यह अनुमान लगाने की कोशिश करता है कि फोटो में कौन सी संपत्ति है (खोजने वाला), जबकि दूसरा फोटो को इस तरह से बदलने की कोशिश करता है ताकि खोजने वाला उसे पहचान न सके (छिपने वाला)। छिपने वाले को जीतने के लिए प्रशिक्षित करके, कंप्यूटर संपत्ति की विशिष्ट पहचान को हटाकर केवल बाजार के शुद्ध "मिजाज" (mood) को बनाए रखना सीख जाता है।
एक बार जब उन्होंने पहचान को हटा दिया, तो उन्होंने बाजार के दिनों को तीन "रेजीम" या मिजाज में वर्गीकृत किया: शांत (Calm), मध्यवर्ती (Intermediate), और तनाव (Stress)। ये पूरी दुनिया के लिए सार्वभौमिक नियम नहीं हैं; ये प्रत्येक संपत्ति के सापेक्ष हैं। बिटकॉइन के लिए, एक "तनाव" वाला दिन 10% की गिरावट हो सकता है, जबकि एक स्थिर गोल्ड फंड के लिए, एक "तनाव" वाला दिन 1% की गिरावट हो सकता है। मुख्य बात यह है कि कंप्यूटर ने यह सीखा कि कैलेंडर को देखने के बजाय उस समय बाजार कैसा महसूस कर रहा था, इसके आधार पर इन मिजाजों को पहचाना जाए।
ऑडिट: कौन कब विफल होता है?
इन मिजाज समूहों को परिभाषित करने के बाद, लेखकों ने दर्जनों अलग-अलग भविष्यवाणी मॉडलों को परीक्षण के लिए रखा। उन्होंने सरल गणितीय सूत्रों (जैसे "HAR" मॉडल जिनका अर्थशास्त्रियों द्वारा दशकों से उपयोग किया जा रहा है) से लेकर ट्रांसफॉर्मर (Transformers) और न्यूरल नेटवर्क जैसे फैंसी, जटिल AI सिस्टम तक सब कुछ देखा।
यहाँ बड़ा खुलासा है: जो मॉडल औसत पर सबसे अच्छे दिखते थे, वे अक्सर तनाव को संभालने में सबसे खराब थे।
शोध से पता चला कि कई मॉडलों में, जिनमें सबसे लोकप्रिय और जटिल AI मॉडल भी शामिल हैं, एक छिपा हुआ दोष था। वे सामान्य दिनों की भविष्यवाणी करने में बहुत अच्छे थे लेकिन "तनाव" वाले रेजीम के दौरान व्यवस्थित रूप से अंडरप्रेडिक्ट (कम अनुमान लगाना) करते थे। यह एक ऐसे मौसम ऐप की तरह है जो हर दिन "धूप" कहता है, लेकिन जब वास्तव में तूफान आता है, तो वह अभी भी "धूप" कहता है क्योंकि वह औसत पर सही होने की कोशिश कर रहा है।
लेखकों ने इसे मापने का एक नया तरीका पेश किया जिसे कहा जाता है। इसे एक "विश्वसनीयता स्कोर" के रूप में सोचें। एक उच्च स्कोर का अर्थ है कि मॉडल एक बड़े पूर्वाग्रह (bias) को छिपा रहा है। उन्होंने पाया कि उत्कृष्ट औसत स्कोर (कम RMSE) वाले मॉडलों में अक्सर खराब विश्वसनीयता स्कोर होता है। उदाहरण के लिए, एक मॉडल का औसत त्रुटि 0.026 हो सकता है, जो बहुत अच्छा दिखता है, लेकिन जब बाजार घबराहट में होता है, तो यह एक बहुत बड़े अंतर से भटक सकता है, जिससे निवेशक भारी नुकसान के प्रति असुरक्षित हो जाते हैं।
निर्णय: जटिलता कोई समाधान नहीं है
सबसे दिलचस्प निष्कर्षों में से एक यह है कि मॉडलों को अधिक जटिल बनाने से समस्या हल नहीं हुई। लेखकों ने उन्नत "ट्रांसफॉर्मर" मॉडल (वही प्रकार के AI जो कई आधुनिक चैटबॉट्स के पीछे हैं) का परीक्षण किया और पाया कि बाजार के चरम उतार-चढ़ाव की भविष्यवाणी करने के मामले में वे पुराने, सरल मॉडलों से बेहतर प्रदर्शन नहीं कर पाए। वास्तव में, कुछ फैंसी AI मॉडल साधारण, पुराने-स्कूल के सूत्रों की तुलना में टेल-एंड रिस्क (दुर्लभ, चरम घटनाओं) को संभालने में और भी बुरे थे।
शोध पत्र सुझाव देता है कि वित्तीय जगत "औसत सटीकता" पर बहुत अधिक केंद्रित रहा है। यदि आप एक जोखिम प्रबंधक हैं, तो आपको औसत की परवाह नहीं है; आपको सबसे खराब स्थिति की परवाह है। लेखक दिखाते हैं कि उनके नए ऑडिट फ्रेमवर्क का उपयोग करके, हम देख सकते हैं कि एक मॉडल समग्र रूप से "सटीक" हो सकता है लेकिन "अविश्वसनीय" भी हो सकता है, ठीक उसी समय जब हमें इसकी सबसे अधिक आवश्यकता होती है।
यह क्यों मायने रखता है
यह केवल गणित के बारे में नहीं है; यह सुरक्षा के बारे में है। यदि कोई बैंक यह तय करने के लिए एक मॉडल का उपयोग करता है कि कितनी राशि आरक्षित रखनी है, और वह मॉडल बाजार की गिरावट के दौरान जोखिम को कम आंकता है, तो बैंक के पास पैसे खत्म हो सकते हैं। लेखक यह नहीं कह रहे हैं कि उनके नए मॉडल पूर्ण हैं या उन्होंने भविष्य की भविष्यवाणी करने की समस्या को हल कर लिया है। इसके बजाय, वे हमारे पास मौजूद उपकरणों का ऑडिट करने के लिए एक नया उपकरण प्रदान कर रहे हैं।
वे निष्कर्ष निकालते हैं कि हमें यह पूछना बंद करना चाहिए कि, "औसत पर कौन सा मॉडल सबसे स्मार्ट है?" और यह पूछना शुरू करना चाहिए कि, "जब बाजार डरा हुआ होता है तो कौन सा मॉडल विश्वसनीय बना रहता है?" उनका शोध बताता है कि उत्तर सबसे जटिल AI नहीं है, बल्कि एक ऐसा मॉडल है जिसे हम इतना अच्छी तरह समझते हैं कि हमें पता हो कि उसकी कमियां कहाँ हैं। "औसत त्रुटि" से "सशर्त विश्वसनीयता" (conditional reliability) पर ध्यान केंद्रित करके, हम एक अधिक सुरक्षित वित्तीय प्रणाली बना सकते हैं, न कि केवल अधिक स्मार्ट।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।