From Index to Equity: Pre-Training Transformers for Stock Return Prediction
यह शोधपत्र प्रदर्शित करता है कि टोरंटो स्टॉक एक्सचेंज इंडेक्स पर एक ट्रांसफॉर्मर मॉडल को प्री-ट्रेन करने से, एलएसटीएम (LSTM) और एक्सजीबूस्ट (XGBoost) बेंचमार्क की तुलना में व्यक्तिगत स्टॉक रिटर्न की दिशा और मूल्यों की भविष्यवाणी करने की इसकी क्षमता में महत्वपूर्ण सुधार होता है, बावजूद इसके कि व्यावहारिक रूप से बाद वाले उच्च औसत दैनिक रिटर्न प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशिष्ट, बहुत छोटे मोहल्ले के लिए मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। यह अविश्वसनीय रूप से अराजक है; एक घर में धूप हो सकती है जबकि ठीक बगल वाले घर में ओलावृष्टि हो रही हो। अब, कल्पना कीजिए कि आप पहले पूरे देश के लिए मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। बड़ा चित्र बहुत अधिक सुचारू और समझने में आसान होता है क्योंकि व्यक्तिगत मोहल्लों के उतार-चढ़ाव औसत होकर समाप्त हो जाते हैं।
यह शोध पत्र एक सुपर-स्मार्ट कंप्यूटर मस्तिष्क (जिसे ट्रांसफॉर्मर कहा जाता है) का उपयोग करके शेयर बाजार की कीमतों की भविष्यवाणी करने के बारे में है, और लेखकों ने पाया कि इस मस्तिष्क को "मोहल्ले-स्तर" के मौसम की भविष्यवाणी करने के लिए पूछने से पहले उसे "देश-स्तर" का मौसम सिखाना सबसे अच्छा है।
यहाँ उनकी यात्रा का विवरण दिया गया है:
1. समस्या: शेयर बाजार अराजक है
एक एकल स्टॉक के कल ऊपर जाने या नीचे जाने की भविष्यवाणी करना एक तूफान में उड़ने वाले एक अकेले पत्ते के सटीक पथ का अनुमान लगाने जैसा है। बाजार अव्यवस्थित है, लगातार बदलता रहता है, और शोर (noise) से भरा है। पारंपरिक कंप्यूटर मॉडल (LSTMs और XGBoost) ने इसे हल करने की कोशिश की है, लेकिन वे अक्सर संघर्ष करते हैं क्योंकि वे हर बार एक नए स्टॉक को देखते समय शून्य से सीखना शुरू करते हैं।
2. समाधान: "शिक्षु" रणनीति (Pre-Training)
लेखकों ने ट्रांसफर लर्निंग नामक एक नई शिक्षण पद्धति आज़माने का निर्णय लिया। इसे एक मास्टर शेफ को प्रशिक्षित करने की तरह समझें:
- चरण 1 (Pre-Training): शेफ को तुरंत एक विशिष्ट, अजीब व्यंजन बनाना सिखाने के बजाय, पहले उन्हें सूप के एक विशाल, सुचारू बैच (TSX मार्केट इंडेक्स) पर अभ्यास करने दें। सूप पूरे शेयर बाजार का प्रतिनिधित्व करता है। यह एक एकल स्टॉक की तुलना में कम अराजक है। शेफ खाना पकाने के सामान्य नियम (कैसे स्वाद आपस में मिलते हैं, गर्मी कैसे काम करती है) सीख जाता है बिना किसी एक अजीब सामग्री से विचलित हुए।
- चरण 2 (Fine-Tuning): एक बार जब शेफ बड़े सूप की बुनियादी बातें समझ लेता है, तो आप उन्हें एक विशिष्ट, कठिन रेसिपी (एक एकल स्टॉक) सौंपते हैं। क्योंकि वे पहले से ही बुनियादी बातें जानते हैं, वे विशिष्ट रेसिपी को शून्य से शुरू करने की तुलना में बहुत तेज़ी से और बेहतर तरीके से सीखते हैं।
3. उपकरण: ट्रांसफॉर्मर बनाम पुराना गार्ड
टीम ने एक आधुनिक AI आर्किटेक्चर का उपयोग किया जिसे ट्रांसफॉर्मर कहा जाता है (वही तकनीक जो ChatGPT जैसे टूल्स को चलाती है)। उन्होंने इसकी तुलना पुराने, विश्वसनीय उपकरणों से की:
- LSTM: अनुक्रमों (sequences) को याद रखने में कुशल एक पुराना प्रकार का AI।
- XGBoost: एक शक्तिशाली सांख्यिकीय उपकरण जो पैटर्न खोजने के लिए कई निर्णय वृक्ष (decision trees) बनाता है।
- Ensemble: एक "समिति" जो उपरोक्त सभी मॉडलों के भविष्यवाणियों का औसत निकालती है।
4. उन्होंने क्या पाया (परिणाम)
प्रयोग के दो मुख्य लक्ष्य थे: दिशा (ऊपर या नीचे) का अनुमान लगाना और सटीक मूल्य (कितना ऊपर जाएगा) का अनुमान लगाना।
"दिशा" का खेल (Classification):
- जब ट्रांसफॉर्मर ने शून्य से एक एकल स्टॉक को सीखने की कोशिश की, तो वह भ्रमित हो गया और खराब प्रदर्शन किया।
- जब उन्होंने "शिक्षु रणनीति" (पहले बड़े मार्केट इंडेक्स पर प्री-ट्रेनिंग) का उपयोग किया, तो ट्रांसफॉर्मर ने यह अनुमान लगाने में बहुत बेहतर प्रदर्शन किया कि स्टॉक ऊपर जाएगा या नीचे।
- हालाँकि, केवल "ऊपर या नीचे" का अनुमान सही लगाने में पुराना XGBoost मॉडल अभी भी सबसे अच्छा था।
"सटीक मूल्य" का खेल (Regression):
- रिटर्न के सटीक प्रतिशत की भविष्यवाणी करने की कोशिश करते समय, Fine-Tuned Transformer और Fine-Tuned LSTM ने XGBoost मॉडल को पीछे छोड़ दिया। वे विशिष्ट संख्या की गणना करने में अधिक सटीक थे।
- लेकिन यहाँ एक मोड़ है: भले ही ट्रांसफॉर्मर संख्या की गणना करने में अधिक सटीक था, लेकिन एक सिम्युलेटेड ट्रेडिंग टेस्ट में Ensemble मॉडल (समिति) ने वास्तव में सबसे अधिक पैसा कमाया।
- क्यों? ट्रांसफॉर्मर बहुत सावधान था और शून्य के बहुत करीब संख्याएँ भविष्यवाणी कर रहा था (सुरक्षित दांव), जबकि XGBoost/Ensemble मॉडल बड़े उतार-चढ़ाव वाले शेयरों पर दांव लगाने के लिए तैयार थे। शेयर बाजार में, कभी-कभी "सुरक्षित" होने का मतलब है कि आप बड़े मुनाफे से चूक जाते हैं।
5. वास्तविक दुनिया का टूल
शोधकर्ताओं ने केवल सिद्धांत तक ही सीमित नहीं रहे। उन्होंने एक लाइव ट्रेडिंग ऐप बनाया (Streamlit नामक टूल का उपयोग करके)।
- आप एक स्टॉक टिकर (जैसे "TD" या "RY") टाइप कर सकते हैं।
- ऐप नवीनतम डेटा प्राप्त करता है, उसे उनके मॉडलों के माध्यम से चलाता है, और आपको बताता है कि कौन से 5 स्टॉक सबसे अधिक ऊपर जाने वाले दिख रहे हैं और कौन से 5 क्रैश होने वाले दिख रहे हैं।
- यह एक मौसम ऐप की तरह है जो आपके व्यक्तिगत पोर्टफोलियो के लिए दैनिक पूर्वानुमान देता है।
निचोड़
यह शोध पत्र निष्कर्ष निकालता है कि हालांकि कोई भी मॉडल पूर्ण नहीं है (शेयर बाजार अभी भी भविष्यवाणी करना बहुत कठिन है), AI को पहले बड़े बाजार के चित्र पर सिखाने से उसे छोटे चित्रों को बेहतर ढंग से समझने में मदद मिलती है।
ट्रांसफॉर्मर मॉडल स्टॉक की गतिविधियों की बारीकियों को समझने के लिए एक मजबूत दावेदार है, लेकिन "पुराने स्कूल" के तरीके (जैसे XGBoost) और "समिति" दृष्टिकोण इस विशिष्ट परीक्षण में सबसे अधिक लाभ कमाने के मामले में अभी भी शीर्ष पर हैं। लेखक भविष्य में ट्रांसफॉर्मर को और भी बड़ा और स्मार्ट बनाने की योजना बना रहे हैं, शायद इसे केवल पिछले मूल्य चार्ट ही नहीं, बल्कि वैश्विक समाचार और आर्थिक रिपोर्ट पढ़ना भी सिखाकर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।