Calibration Bets on the Past: Post-Training Quantization for Financial Time-Series Forecasting
यह शोध पत्र यह प्रदर्शित करता है कि जहाँ वित्तीय पूर्वानुमान के लिए 8-बिट पोस्ट-ट्रेनिंग क्वांटाइजेशन पर एक्टिवेशन कैलिब्रेशन का न्यूनतम प्रभाव पड़ता है, वहीं यह 4-बिट प्रिसिजन पर भविष्य कहनेवाला प्रदर्शन (प्रेडिक्टिव परफॉरमेंस) निर्धारित करने वाला महत्वपूर्ण कारक है, जहाँ सूचना की हानि को कम करने के लिए पर्सेंटाइल-आधारित कैलिब्रेशन, मानक एब्सोल्यूट-मैक्सिमम विधियों की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मौसम की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। आप उसे एक सुपर-स्मार्ट दिमाग (एक न्यूरल नेटवर्क) देते हैं जिसने वर्षों की बारिश, हवा और धूप का अध्ययन किया है। यह दिमाग अविश्वसनीय रूप से शक्तिशाली है, लेकिन यह बहुत विशाल और भारी भी है, जैसे 1980 के दशक का कोई विशाल मेनफ्रेम कंप्यूटर। इसे वास्तविक दुनिया के काम के लिए उपयोगी बनाने के लिए—जैसे कि एक छोटे ड्रोन या स्मार्टफोन पर चलाने के लिए—आपको इसे छोटा करने की आवश्यकता है। आप इसका ज्ञान फेंक नहीं सकते, इसलिए इसके बजाय, आप यह सरल बनाने की कोशिश करते हैं कि यह संख्याओं को कैसे संग्रहीत करता है। इस प्रक्रिया को क्वांटाइजेशन (quantization) कहा जाता है। इसे एक हाई-डेफिनिशन मूवी को कंप्रेस्ड फाइल में बदलने जैसा समझें: आप जगह बचाने और इसे तेज़ी से चलाने के लिए विवरण का एक छोटा सा हिस्सा खो देते हैं।
हालाँकि, इसमें एक पेचीदा हिस्सा है। जबकि रोबोट का "ज्ञान" (इसके वेट्स/weights) प्रशिक्षित होने के बाद स्थिर रहता है, उसके "विचार" (इसके एक्टिवेशन्स/activations) हर बार नए डेटा को देखते समय बदलते रहते हैं। इन विचारों को छोटा करने के लिए, आपको एक "सुरक्षित क्षेत्र" या संख्याओं की एक सीमा तय करनी होगी जिसका रोबोट उपयोग करने की अनुमति रखता है। यदि आप सुरक्षित क्षेत्र को बहुत चौड़ा रखते हैं, तो आप उन संख्याओं पर जगह बर्बाद करते हैं जो कभी घटित ही नहीं होतीं। यदि आप इसे बहुत संकीर्ण रखते हैं, तो आप उन चरम संख्याओं को काट देते हैं जो वास्तव में घटित होती हैं, जैसे कि अचानक आया कोई तूफान। इस निर्णय को कैलिब्रेशन (calibration) कहा जाता है। आमतौर पर, वैज्ञानिक केवल उस डेटा के आधार पर एक सीमा चुन लेते हैं जो उनके पास अभी मौजूद है और उम्मीद करते हैं कि यह भविष्य में काम करेगा। लेकिन वित्त (finance) की दुनिया में, जहाँ बाजार पलक झपकते ही शांत से अराजक हो सकता है, गलत सीमा का अनुमान लगाना एक लाभदायक व्यापार और एक आपदा के बीच का अंतर हो सकता है।
यह शोध पत्र, जिसका शीर्षक "कैलिब्रेशन बेट्स ऑन द पास्ट" (Calibration Bets on the Past) है, वित्तीय पूर्वानुमान के लिए ठीक इसी समस्या की गहराई में जाता है। लेखकों, जुनी यी ये और आइवी गैटेरी वान्जिकु ने एक सरल लेकिन महत्वपूर्ण प्रश्न पूछा: जब हम वित्तीय AI मॉडलों को सस्ते हार्डवेयर पर चलाने के लिए छोटा करते हैं, तो क्या उस तरीके से जो हम रोबोट के विचारों के लिए "सुरक्षित क्षेत्र" निर्धारित करते हैं, वास्तव में कोई फर्क पड़ता है? उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक बड़ा प्रयोग चलाया। उन्होंने सात अलग-अलग प्रकार के AI मॉडल लिए, उन्हें S&P 500 के स्टॉक मार्केट डेटा पर प्रशिक्षित किया, और फिर आठ अलग-अलग वर्षों (2018 से 2025 तक) में उनका परीक्षण किया। उन्होंने इन मॉडलों को बहुत कम परिशुद्धता (4 बिट्स, जो कि ऐसा है जैसे आपके पास लाखों संख्याओं के बजाय केवल 15 संभावित संख्याएँ हों) तक छोटा करने का अनुकरण किया और देखा कि क्या होता है।
यहाँ उन्हें क्या पता चला, और यह थोड़ा चौंकाने वाला है। सबसे पहले, उन्होंने पाया कि यदि आप केवल रोबोट की "याददाश्त" (वेट्स) को छोटा करते हैं लेकिन उसके "विचारों" (एक्टिवेशन्स) को हाई-डेफिनिशन में रखते हैं, या यदि आप दोनों को छोटा करते हैं लेकिन उन्हें 8 बिट्स पर रखते हैं, तो रोबोट को बहुत कम फर्क पड़ता है। यह बाजार की भविष्यवाणी लगभग उतनी ही अच्छी तरह से करता है जितनी कि विशाल संस्करण। लेकिन, यदि आप मानक, डिफ़ॉल्ट विधि का उपयोग करके विचारों को 4 बिट्स तक छोटा कर देते हैं (जो केवल अब तक देखी गई सबसे बड़ी संख्या को देखता है और सीमा निर्धारित करता है), तो रोबोट का प्रदर्शन गिर जाता है। कुछ मामलों में, इसने अपनी भविष्य कहने की शक्ति का 62% तक नुकसान किया! यह ऐसा था जैसे रोबोट अचानक मौसम का नक्शा पढ़ना भूल गया हो।
हालाँकि, कहानी केवल विफलता पर समाप्त नहीं होती है। लेखकों ने पाया कि यह गिरावट अपरिहार्य नहीं थी; यह केवल एक बुरा "सुरक्षित क्षेत्र" का चुनाव था। एक विशिष्ट पर्सेंटाइल (जैसे कि यह कहना कि, "हम केवल शीर्ष 99% संख्याओं की चिंता करेंगे, न कि पूर्णतः विचित्र आउटलायर की") को देखने के लिए कैलिब्रेशन पद्धति को बदलकर, वे खोई हुई अधिकांश शक्ति को वापस पा सकते थे। कुछ मॉडलों के लिए, इस सरल बदलाव ने 94% प्रदर्शन वापस ला दिया। लेकिन यहाँ एक पेंच है: "परफेक्ट" सुरक्षित क्षेत्र बाजार के आधार पर बदल जाता है। एक सीमा जो एक शांत वर्ष के दौरान बहुत अच्छा काम करती है, वह बाजार की गिरावट के दौरान बुरी तरह विफल हो सकती है, और इसके विपरीत भी।
शोध पत्र निष्कर्ष निकालता है कि इस सीमा को निर्धारित करना केवल एक उबाऊ तकनीकी विवरण नहीं है जिसे आप एक बार सेट करके भूल जाते हैं। यह एक प्रमुख रणनीतिक निर्णय है, जैसे मौसम पर दांव लगाना। यदि आप इन वित्तीय मॉडलों को कम शक्ति वाले उपकरणों पर चलाना चाहते हैं, तो आप केवल डिफ़ault सेटिंग्स का उपयोग नहीं कर सकते। आपको बाजार की स्थितियों के आधार पर "सुरक्षित क्षेत्र" को सावधानीपूर्वक ट्यून करना होगा, या यदि बाजार बहुत अधिक अनियंत्रित हो जाता है तो थोड़े बड़े (8-बिट) सेटिंग पर वापस जाने के लिए तैयार रहना होगा। लेखक दिखाते हैं कि सही कैलिब्रेशन के साथ, हम भविष्य की भविष्यवाणी करने की अपनी क्षमता को खोए बिना इन शक्तिशाली वित्तीय AI मॉडलों को छोटा और तेज़ बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।