Attention Without Estimation: Zero-Shot Time Series Foundation Models versus Long-Memory Econometrics in Realized Volatility Forecasting
यह शोध पत्र रियलाइज्ड वोलेटिलिटी फोरकास्टिंग के लिए ज़ीरो-शॉट टाइम सीरीज़ फाउंडेशन मॉडल्स की तुलना शास्त्रीय लॉन्ग-मेमोरी ईकोनोमेट्रिक बेंचमार्क्स से करते हुए एक कठोर सैद्धांतिक और अनुभवजन्य ढांचा स्थापित करता है, जिसमें यह पाया गया है कि जबकि फाउंडेशन मॉडल्स GARCH और EWMA से बेहतर प्रदर्शन करते हैं, वे अंततः HAR-फैमिली मॉडल्स के साथ कड़ी प्रतिस्पर्धा करते हैं जो वोलेटिलिटी डेटा में अधिकांश दोहन योग्य सिग्नल को कैप्चर करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप भविष्यवाणी करने की कोशिश कर रहे हैं कि कल कार का सफर कितना ऊबड़-खाबड़ (bumpy) होगा। वित्त (finance) की दुनिया में, इस "ऊबड़-खाबड़पन" को वोलैटिलिटी (volatility) कहा जाता है, और इसे सही ढंग से समझना ऑप्शंस की कीमत तय करने, जोखिम प्रबंधन करने और बैंकों को सुरक्षित रखने के लिए अत्यंत महत्वपूर्ण है। दशकों से, विशेषज्ञ इन भविष्यवाणियों के लिए इकोनोमेट्रिक्स (econometrics) नामक गणितीय उपकरणों के एक विशिष्ट सेट का उपयोग करते आए हैं (इन्हें अनुभवी, पुराने स्कूल के मैकेनिकों की तरह समझें) जो भविष्य की वोलैटिलिटी का अनुमान लगाते हैं। हाल ही में, गैरेज में एक नया दावेदार आया है: टाइम सीरीज़ फाउंडेशन मॉडल्स (TSFMs)। ये विशाल, सुपर-स्मार्ट AI दिमाग हैं जिन्हें लाखों अलग-अलग टाइम-सीरीज़ पैटर्न पर प्रशिक्षित किया गया है, जो यह वादा करते हैं कि वे प्रत्येक विशिष्ट कार के लिए फिर से ट्यूनिंग किए बिना किसी भी एसेट की वोलैटिलिटी की भविष्यवाणी कर सकते हैं।
यह शोध पत्र इन दोनों दृष्टिकोणों के बीच एक कठोर, बिना किसी लाग-लपेट वाला मुकाबला है। यहाँ बताया गया है कि जब वे ट्रैक पर उतरे तो क्या हुआ।
रेस ट्रैक: एक सिंथेटिक दुनिया
सबसे पहले, एक महत्वपूर्ण विवरण: लेखकों ने इसका परीक्षण वास्तविक दुनिया के शेयर बाजारों (जो बहुत अव्यवस्थित और रहस्यों से भरे होते हैं) पर नहीं किया। इसके बजाय, उन्होंने कंप्यूटर सिमुलेशन का उपयोग करके एक पूरी तरह से नियंत्रित, सिंथेटिक रेस ट्रैक बनाया। उन्होंने 20 काल्पनिक एसेट्स (जैसे 20 अलग-अलग कारें) बनाए जो रैंडम जंप और स्मूथ कर्व्स के एक सख्त सेट के अनुसार चलते थे।
- इन 20 कारों में से 15 का उपयोग AI मस्तिष्क (TSFM) को "प्रशिक्षित" करने के लिए किया गया था।
- बाकी 5 कारों को पूरी तरह से गुप्त रखा गया। AI ने उन्हें पहले कभी नहीं देखा था। इसे जीरो-शॉट (zero-shot) टेस्टिंग कहा जाता है—जैसे किसी ऐसे शेफ से इतालवी खाना बनाने के बाद थाई व्यंजन बनाने के लिए कहना जिसने केवल इतालवी खाना ही बनाया हो, और वह भी बिना किसी रेसिपी के।
प्रतियोगी
पुराना गार्ड (इकोनोमेट्रिक्स):
- GARCH और EWMA: ये बुनियादी, भरोसेमंद मैकेनिक हैं। वे हाल के उतार-चढ़ाव को देखते हैं और अगले उतार-चढ़ाव का अनुमान लगाते हैं। वे सरल हैं लेकिन कभी-कभी बड़ी तस्वीर देखने में चूक जाते हैं।
- HAR-RV: यह "स्टार मैकेनिक" है। यह केवल कल को नहीं देखता; यह पिछले दिन, पिछले सप्ताह और पिछले महीने को एक साथ देखता है। यह हारने के लिए बहुत कठिन होने के लिए प्रसिद्ध है।
- HARQ और HAR-CJ: ये "सुपर-मैकेनिक" हैं। ये स्टार मैकेनिक के विशेष संस्करण हैं जो विशेष रूप से मेजरमेंट नॉइज़ (जब स्पीडोमीटर गड़बड़ी करता है) और अचानक उछाल/जंप (जब कार गड्ढे में गिरती है) को संभालने के लिए बनाए गए हैं।
नया दावेदार (TSFM-Surrogate):
- यह AI मस्तिष्क है। यह एक "पैच-अटेंशन" तंत्र का उपयोग करता है (कल्पित करें कि यह सड़क के हर इंच के बजाय सड़क के बड़े हिस्सों पर एक नज़र डाल रहा है)। इसे 15 ज्ञात कारों पर प्रशिक्षित किया गया था और फिर इसे बिना किसी अतिरिक्त ट्यूनिंग के 5 गुप्त कारों के उतार-चढ़ाव की भविष्यवाणी करने के लिए कहा गया था।
परिणाम: कौन जीता?
1. AI बनाम बुनियादी मैकेनिक
AI मस्तिष्क (TSFM-surrogate) ने बुनियादी मैकेनिकों (GARCH और EWMA) को पूरी तरह से पछाड़ दिया।
- परीक्षणों में, AI ने बुनियादी मैकेनिकों की तुलना में काफी कम गलतियाँ कीं। यह सांख्यिकिक रूप से सिद्ध हुआ कि यह पुराने मॉडलों की तुलना में उतार-चढ़ाव की भविष्यवाणी करने में बेहतर था।
- फैसला: AI निश्चित रूप से बुनियादी उपकरणों से बेहतर है।
2. AI बनाम सुपर-मैकेनिक (ट्विस्ट)
यहाँ मामला दिलचस्प हो जाता है। जब AI ने HAR परिवार (HAR-RV, HARQ, और HAR-CJ) के खिलाफ दौड़ लगाई, तो बड़े स्तर पर परिणाम एक टाई (बराबर) रहे, लेकिन हेड-टू-हेड मुकाबले में सुपर-मैकेनिक जीत गए।
- हेड-टू-हेड: HAR मॉडल (विशेष रूप से वे जो जंप और नॉइज़ को संभालते हैं) सांख्यिकीय रूप से AI से बेहतर थे। उतार-चढ़ाव के सटीक आकार की भविष्यवाणी करने में AI ने HAR मॉडलों की तुलना में अधिक गलतियाँ कीं।
- बड़ी तस्वीर (मॉडल कॉन्फिडेंस सेट): हालाँकि, जब जजों ने पूरे समूह को एक साथ देखा, तो वे यह कहने में सक्षम नहीं थे कि HAR मॉडल निश्चित रूप से AI से बेहतर हैं। AI सबसे अच्छे HAR मॉडलों के साथ सांख्यिकीय रूप से अविभाज्य (indistinguishable) था।
- सीख: AI इतना अच्छा है कि वह सबसे अच्छे इकोनोमेट्रिक मॉडलों के साथ "हॉल ऑफ फेम" में शामिल हो सके, लेकिन उसने अभी तक उन्हें पूरी तरह से नहीं हराया है।
3. "जंप" फैक्टर
सिमुलेशन में अचानक "जंप" (गड्ढे) शामिल थे। वे HAR मॉडल जो विशेष रूप से इन जंप को पहचानने के लिए डिज़ाइन किए गए थे (HAR-CJ) और शोर वाले डेटा को संभालने के लिए (HARQ) बनाए गए थे, उन्होंने सर्वश्रेष्ठ प्रदर्शन किया। AI, जिसे विशेष रूप से जंप को देखने के लिए नहीं सिखाया गया था, उन विशिष्ट मॉडलों जितना अच्छा प्रदर्शन नहीं कर सका। यह सुझाव देता है कि AI को इन विशिष्ट पैटर्न को सीखने के लिए अधिक डेटा या बेहतर प्रशिक्षण की आवश्यकता है।
AI क्यों नहीं जीता?
लेखक अपने गणित और सिमुलेशन के आधार पर कुछ कारण सुझाते हैं:
- डेटा की भूख: AI को केवल 15 एसेट्स पर प्रशिक्षित किया गया था। पेपर का तर्क है कि फाउंडेशन मॉडल्स को वास्तव में चमकने के लिए हजारों या लाखों एसेट्स की आवश्यकता होती है। केवल 15 के साथ, AI अभी भी सीख रहा है, जबकि HAR मॉडल (जो सरल हैं) केवल एक एसेट के इतिहास से पूरी तरह से सीख सकते हैं।
- कॉन्टेक्स्ट विंडो: AI ने पिछले 32 दिनों के डेटा को देखा। लेखकों ने पाया कि जब उन्होंने AI को 64 दिनों का डेटा देखने दिया, तो वह बेहतर हो गया। यह सुझाव देता है कि AI को पूरे पैटर्न को देखने के लिए एक लंबे "लुकबैक" की आवश्यकता है, जैसा कि HAR मॉडल एक पूरे महीने को देखते हैं।
- विशेषज्ञता: HAR मॉडल वोलैटिलिटी के लिए विशेष रूप से बनाए गए औजारों की तरह हैं। AI एक "जनरलिस्ट" है जो एक साथ सब कुछ सीखने की कोशिश कर रहा है। एक नियंत्रित, सिंगल-रेजीम सिमुलेशन में, विशेषज्ञ जीतता है।
वह क्या है जिसे यह पेपर स्पष्ट रूप से खारिज करता है
- यह सभी इकोनोमेट्रिक्स पर AI की जीत नहीं है। पेपर स्पष्ट रूप से कहता है कि HAR परिवार को हराना अभी भी सबसे कठिन बेंचमार्क बना हुआ है।
- यह वास्तविक दुनिया के मॉडलों का परीक्षण नहीं है। यहाँ उपयोग किया गया AI एक "सरोगेट" (एक स्टैंड-इन) है जिसे शून्य से बनाया गया है। लेखकों ने Chronos या TimesFM जैसे प्रसिद्ध वाणिज्यिक मॉडलों का परीक्षण नहीं किया है क्योंकि वे अपने ऑफलाइन वातावरण में उन्हें डाउनलोड नहीं कर सके। वे सावधानी बरतते हुए कहते हैं कि उनके परिणाम फाउंडेशन मॉडल्स के पैराडाइम (स्वरूप) पर लागू होते हैं, न कि उन विशिष्ट ब्रांडों पर।
- यह कोई हल की गई समस्या नहीं है। पेपर यह दावा नहीं करता है कि AI ने इकोनोमेट्रिक्स की आवश्यकता को समाप्त कर दिया है। वास्तव में, यह सुझाव देता है कि एक स्थिर बाजार में एकल एसेट के लिए, पुराना गणित अभी भी हराना बहुत कठिन है।
निचोड़ (Bottom Line)
इस सिम्युलेटेड रेस में, टाइम सीरीज़ फाउंडेशन मॉडल ने साबित कर दिया है कि वह एक गंभीर दावेदार है, जो बुनियादी उपकरणों को पछाड़ता है और सर्वश्रेष्ठ विशेषज्ञों के साथ तालमेल बिठाता है। हालाँकि, इसने अभी तक HAR परिवार को सत्ता से नहीं हटाया है।
पेपर सुझाव देता है कि AI की असली शक्ति एक छोटे, नियंत्रित कमरे में विशेषज्ञों को हराने में नहीं है, बल्कि कई अलग-अलग, अस्त-व्यस्त, वास्तविक दुनिया के बाजारों में जीरो-शॉट (बिना पुन: प्रशिक्षण के) काम करने की उसकी क्षमता में है। यदि आपके पास हजारों एसेट्स और अचानक बाजार परिवर्तन (रेजीम शिफ्ट) हैं, तो AI अंततः आगे निकल सकता है। लेकिन फिलहाल, इस विशिष्ट सिमुलेशन में, लॉन्ग-मेमोरी, जंप-अवेयर इकोनोमेट्रिक मॉडल अभी भी शिखर के राजा हैं।
लेखक निष्कर्ष निकालते हैं कि हमें यह देखने के लिए कि क्या AI वास्तव में विशेषज्ञों से आगे निकल सकता है, अधिक डेटा (अधिक एसेट्स) और लंबे लुकबैक विंडोज की आवश्यकता है। जब तक, सबसे अच्छी रणनीति यह हो सकती है कि AI को सीखने देने के साथ-साथ सुरक्षा जाल के रूप में पुराने स्कूल के गणित को भी बनाए रखा जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।