Perturbation-Specific Reliability of Intrinsic and Post-Hoc Explainable Machine Learning in Volatility Forecasting
यह अध्ययन प्रदर्शित करता है कि अस्थिरता पूर्वानुमान (volatility forecasting) में आंतरिक (intrinsic) और पोस्ट-हॉक (post-hoc) दोनों स्पष्टीकरणों की विश्वसनीयता अत्यधिक रूप से विक्षोभ-विशिष्ट (perturbation-specific) है, जो विभिन्न मॉडल-प्रतिनिधित्व-व्याख्याता (model–representation–explainer) विन्यासों में महत्वपूर्ण रूप से भिन्न होती है और पुनप्रशिक्षण (retraining), टेम्पोरल शिफ्ट (temporal shifts) तथा इनपुट शोर (input noise) जैसी विविध स्थितियों के तहत अनुभवजन्य मूल्यांकन को आवश्यक बनाती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वित्त की दुनिया में, यह अनुमान लगाना कि किसी स्टॉक की कीमत कितनी अधिक ऊपर-नीचे होगी, इस बात के अनुमान लगाने से अक्सर आसान माना जाता है कि कीमत किस दिशा में जाएगी। गति के इस माप को 'वोलेटिलिटी' (volatility) या अस्थिरता कहा जाता है, जो जोखिम प्रबंधन के लिए महत्वपूर्ण है, फिर भी इसका पूर्वानुमान लगाना बेहद कठिन बना हुआ है क्योंकि बाजार अव्यवस्थित, अप्रत्याशित और निरंतर परिवर्तनशील होते हैं। इस अनिश्चितता से निपटने के लिए, वित्तीय विशेषज्ञ तेजी से मशीन लर्निंग पर भरोसा कर रहे हैं, जहाँ कंप्यूटर प्रोग्राम भविष्य के पूर्वानुमान लगाने के लिए पिछले डेटा से सीखते हैं। हालाँकि, ये शक्तिशाली प्रोग्राम अक्सर "ब्लैक बॉक्स" के रूप में कार्य करते हैं, जिसका अर्थ है कि उनका आंतरिक तर्क छिपा हुआ और मनुष्यों के लिए समझना कठिन होता है। पारदर्शिता की यह कमी एक समस्या पैदा करती है: यदि कोई कंप्यूटर एक जोखिम भरा पूर्वानुमान लगाता है, तो नियामकों और जोखिम प्रबंधकों को यह जानने की आवश्यकता होती है कि ऐसा क्यों हुआ। इस समस्या को हल करने के लिए, वैज्ञानिकों ने इन मशीनों को खुद को समझाने के दो मुख्य तरीके विकसित किए हैं। पहला दृष्टिकोण स्पष्टीकरण को शुरुआत से ही मशीन के डिज़ाइन में सीधे शामिल करता है, जिससे ऐसे मॉडल बनते हैं जो स्वाभाविक रूप से पढ़ने में आसान होते हैं। दूसरा दृष्टिकोण पहले एक जटिल, अपारदर्शी मशीन को प्रशिक्षित करता है और फिर एक अलग टूल का उपयोग करके तैयार उत्पाद को देखता है और अनुमान लगाता है कि वह क्या सोच रहा था। बड़ा सवाल हमेशा यही रहा है कि इनमें से कौन सा तरीका वास्तव में अधिक विश्वसनीय है।
इंडोनेशिया के यूनिवर्सिटास अहमद दाहलान के शोधकर्ताओं की एक टीम ने शेयर बाजार के पूर्वानुमान के उच्च-जोखिम वाले वातावरण में इन दोनों दृष्टिकोणों को एक कठोर परीक्षण के माध्यम से उत्तर देने का लक्ष्य रखा। उन्होंने केवल यह नहीं पूछा कि कौन सा तरीका कागजों पर बेहतर दिखता है; इसके बजाय, उन्होंने स्पष्टीकरणों को वास्तविक दुनिया के तनाव परीक्षणों (stress tests) के अधीन किया ताकि यह देखा जा सके कि स्थितियाँ बदलने पर वे कितनी अच्छी तरह टिक पाते हैं। शोधकर्ताओं ने अमेरिका, यूरोप और जापान के बीस प्रमुख शेयरों की पांच-दिवसीय अस्थिरता (volatility) की भविष्यवाणी करने पर ध्यान केंद्रित किया, जिसमें 2016 से 2025 तक का डेटा शामिल था। उन्होंने पांच अलग-अलग प्रकार के मशीन लर्निंग मॉडल प्रशिक्षित किए, और प्रत्येक को उसके आर्किटेक्चर के लिए सबसे उपयुक्त स्पष्टीकरण पद्धति के साथ जोड़ा। महत्वपूर्ण रूप से, उन्होंने अपने अंतिम विश्लेषण में केवल उन्हीं मॉडलों को शामिल किया जिन्होंने यह सिद्ध किया कि वे हाल के इतिहास के सरल, आधारभूत अनुमान से बेहतर अस्थिरता की भविष्यवाणी कर सकते हैं। इसने यह सुनिश्चित किया कि वे केवल उन मॉडलों के स्पष्टीकरणों का मूल्यांकन कर रहे थे जिनमें वास्तविक पूर्वानुमान कौशल मौजूद था।
अध्ययन ने विश्वसनीयता के स्रोत को अलग करने के लिए एक चतुर मोड़ पेश किया। एक विशिष्ट प्रकार के मशीन लर्निंग मॉडल के लिए, शोधकर्ताओं ने एक ही प्रशिक्षित नेटवर्क पर "बिल्ट-इन" (built-in) और "पोस्ट-ट्रेनिंग" (post-training) दोनों स्पष्टीकरण लागू किए। इसने उन्हें यह देखने की अनुमति दी कि क्या विश्वसनीयता का अंतर स्वयं मॉडल से आया या स्पष्टीकरण के लिए उपयोग किए गए तरीके से। इसके बाद, उन्होंने तीन अलग-अलग प्रकार के दबावों के तहत इन स्पष्टीकरणों का परीक्षण किया। पहले, उन्होंने इनपुट डेटा में थोड़ा सा रैंडम शोर (noise) जोड़ा ताकि यह देखा जा सके कि यदि संख्याएँ थोड़ी धुंधली हों तो क्या स्पष्टीकरण स्थिर रहता है। दूसरा, उन्होंने समय के अंतराल (time window) को बदला ताकि यह देखा जा सके कि महीनों और वर्षों के दौरान बाजार की स्थितियाँ बदलने पर स्पष्टीकरण कैसे टिकता है। तीसरा, उन्होंने अलग-अलग रैंडम शुरुआती बिंदुओं का उपयोग करके मॉडल को शुरू से फिर से प्रशिक्षित किया ताकि यह देखा जा सके कि यदि प्रशिक्षण प्रक्रिया में थोड़ा बदलाव आता है, तो क्या स्पष्टीकरण सुसंगत रहता है।
परिणामों ने एक चौंकाने वाला सच उजागर किया: मशीन लर्निंग मॉडल को समझाने का कोई एक "सर्वश्रेष्ठ" तरीका नहीं है। एक स्पष्टीकरण की विश्वसनीयता पूरी तरह से मॉडल, उसके द्वारा देखे जाने वाले डेटा और उसके सामने आने वाले दबाव के प्रकार के संयोजन पर निर्भर करती है। सबसे उल्लेखनीय निष्कर्षों में से एक में, शोधकर्ताओं ने पाया कि एक ही मशीन लर्निंग नेटवर्क के लिए, बिल्ट-इन स्पष्टीकरण शोर वाले इनपुट डेटा के प्रति बहुत अधिक स्थिर था, लेकिन जब मॉडल को फिर से प्रशिक्षित किया गया, तो यह पूरी तरह से विफल हो गया। इसके विपरीत, प्रशिक्षण के बाद उत्पन्न किया गया स्पष्टीकरण शोर वाले डेटा के प्रति कम स्थिर था, लेकिन जब मॉडल को शून्य से बनाया गया, तो वह बहुत अधिक सुसंगत रहा। इसका अर्थ यह है कि स्पष्टीकरण पद्धति का चयन इस सामान्य नियम के आधार पर नहीं किया जाना चाहिए कि वह "बिल्ट-इन" है या "बाद में जोड़ा गया", बल्कि विशिष्ट कार्य के आधार पर होना चाहिए। यदि किसी उपयोगकर्ता को ऐसे स्पष्टीकरण की आवश्यकता है जो डेटा की छोटी त्रुटियों को सहन कर सके, तो बिल्ट-इन तरीका बेहतर है। यदि उन्हें ऐसे स्पष्टीकरण की आवश्यकता है जो मॉडल के अपडेट या पुनर्रचना के दौरान भी सुसंगत रहे, तो पोस्ट-ट्रेनिंग तरीका बेहतर विकल्प है।
अध्ययन ने इन स्पष्टीकरणों की गुणवत्ता को मापने के संबंध में क्षेत्र में प्रचलित एक सामान्य धारणा को भी चुनौती दी। शोधकर्ता अक्सर यह सत्यापित करने का प्रयास करते हैं कि क्या कोई स्पष्टीकरण सत्यनिष्ठ है, इसके लिए वे एक-एक करके सबसे महत्वपूर्ण विशेषताओं (features) को हटाते हैं और देखते हैं कि क्या मॉडल का पूर्वानुमान खराब हो जाता है। टीम ने पाया कि स्टॉक अस्थिरता के संदर्भ में, यह तरीका एक स्मार्ट स्पष्टीकरण और एक रैंडम अनुमान के बीच अंतर करने में विफल रहा। क्योंकि वित्तीय डेटा में संकेत (signal) बहुत कमजोर और शोर बहुत अधिक होता है, इसलिए किसी विशेषता को हटाने से परिणाम पर कोई विश्वसनीय प्रभाव नहीं पड़ा, जिससे यह मानक परीक्षण इस विशिष्ट समस्या के लिए बेकार हो गया। इसके अलावा, शोधकर्ताओं ने पाया कि एक साधारण, पारंपरिक सांख्यिकीय मॉडल जिसे 'हेटरोजीनियस ऑटोरेग्रेसिव मॉडल ऑफ रियलाइज्ड वोलेटिलिटी' (HAR-RV) कहा जाता है, ने अध्ययन में सर्वोत्तम औसत पूर्वानुमान सटीकता प्राप्त की, जिसने परीक्षण किए गए सभी मशीन लर्निंग मॉडलों को निर्णायक रूप से पछाड़ दिया। उल्लेखनीय रूप से, एक स्प्लाइन-आधारित 'जनरलाइज्ड एडिटिव मॉडल' (GAM), जो स्वाभाविक रूप से व्याख्या योग्य है, ने इस शीर्ष प्रदर्शन करने वाले HAR-RV बेंचमार्क के समान ही प्रदर्शन किया, जबकि अधिक जटिल न्यूरल नेटवर्क और ट्री-आधारित मॉडल पीछे रह गए। यह सुझाव देता है कि इस विशिष्ट कार्य के लिए, डीप लर्निंग की अतिरिक्त जटिलता ने कोई अतिरिक्त सटीकता प्रदान नहीं की, और सरल, अधिक पारदर्शी मॉडल उतने ही प्रभावी थे।
अंततः, शोध यह निष्कर्ष निकालता है कि हम यह मानकर नहीं चल सकते कि कोई स्पष्टीकरण भरोसेमंद है क्योंकि वह एक पारदर्शी डिज़ाइन वाले मॉडल से आता है। "बिल्ट-इन" स्पष्टीकरण, जिन्हें अक्सर व्याख्यात्मकता के लिए स्वर्ण मानक के रूप में प्रचारित किया जाता है, मॉडल को पुनर्रचित करने पर सबसे कम पुनरुत्पादक (reproducible) साबित हुए। विशेष रूप से, TabNet मॉडल के 'इंट्रिन्सिक अटेंशन मास्क' ने लगभग शून्य सीड रिप्रोड्यूसिबिलिटी (0.006 के रैंक एग्रीमेंट के साथ) दिखाई, जिसका अर्थ है कि नए रैंडम शुरुआती नंबरों के साथ इसने अपनी कहानी पूरी तरह से बदल दी, जिससे यह अध्ययन में सबसे कम विश्वसनीय स्पष्टीकरण बन गया। यह अध्ययन दर्शाता है कि विश्वसनीयता किसी विशिष्ट प्रकार के स्पष्टीकरण का अंतर्निहित गुण नहीं है, बल्कि एक नाजुक विशेषता है जिसे हर नई स्थिति के लिए अनुभवजन्य रूप से परीक्षण किया जाना चाहिए। उन लोगों के लिए जो वित्तीय निर्णय लेने के लिए इन उपकरणों पर भरोसा करते हैं, सबक स्पष्ट है: आपको यह सत्यापित करना होगा कि स्पष्टीकरण आपके सिस्टम द्वारा सामना किए जाने वाले विशिष्ट दबावों के तहत भी टिकता है या नहीं, बजाय इसके कि आप केवल इस आधार पर भरोसा करें कि मशीन को कैसे बनाया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।