Self-Supervised Auxiliary Task Discovery for Stable Reinforcement Learning in Stock Trading
यह शोधपत्र एक स्व-पर्यवेक्षित (self-supervised) ढांचे का प्रस्ताव करता है जो विविध बाजार व्यवस्थाओं में स्टॉक ट्रेडिंग के लिए प्रतिनिधित्व शिक्षण (representation learning) को बढ़ाने और सुदृढीकरण शिक्षण (reinforcement learning) नीतियों को स्थिर करने हेतु एक मेटा-ग्रेडिएंट तंत्र के माध्यम से सामान्य मूल्य फलन-आधारित (General Value Function-based) सहायक कार्यों को स्वचालित रूप से खोजता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
शेयर बाजार की दुनिया लंबे समय से एक ऐसा क्षेत्र रही है जहाँ मानवीय अंतर्ज्ञान (intuition) अराजक और परिवर्तनशील बाजारों के विरुद्ध संघर्ष करता है। दशकों से, व्यापारी डेटा के पहाड़ों को छानने के लिए एल्गोरिदम पर भरोसा करते रहे हैं, इस उम्मीद में कि वे ऐसे पैटर्न खोज पाएंगे जो यह भविष्यवाणी कर सकें कि कीमत बढ़ेगी या गिरेगी। हाल के वर्षों में, सुदृढीकरण लर्निंग (reinforcement learning) के रूप में जानी जाने वाली एक शक्तिशाली प्रकार की कृत्रिम बुद्धिमत्ता (artificial intelligence) इस कार्य के लिए एक अग्रणी उपकरण के रूप में उभरी है। एक डिजिटल एजेंट की कल्पना करें जो सही उत्तर बताए जाने के बजाय, कार्यों को करने, गलतियाँ करने और अपने अनुभवों से होने वाले लाभ और हानि से धीरे-धीरे सीखने के माध्यम से व्यापार करना सीख रहा है। यह दृष्टिकोण आशाजनक है क्योंकि यह बदलते परिवेश के अनुकूल हो सकता है, उन पुराने तरीकों के विपरीत जो यह मान लेते हैं कि बाजार आज भी उसी तरह व्यवहार करेगा जैसे कल किया था। हालाँकि, इन एजेंटों को लाभदायक और स्थिर दोनों बनाने के लिए सिखाना अविश्वसनीय रूप से कठिन है। वित्तीय बाजार शोर भरा और अप्रत्याशित होता है, जो अक्सर एजेंट को बहुत बाद में यह फीडबैक देता है कि कोई विशिष्ट निर्णय अच्छा था या बुरा। स्पष्ट मार्गदर्शन के बिना, एजेंट सीखने में संघर्ष कर सकता है, जिससे वह अनिश्चित हो सकता है या नई बाजार स्थितियों में अपने कौशल को लागू करने में विफल हो सकता है।
इन एजेंटों को तेजी से और अधिक विश्वसनीय रूप से सीखने में मदद करने के लिए, शोधकर्ता अक्सर उन्हें मुख्य लक्ष्य (पैसा कमाने) के साथ-साथ कुछ अतिरिक्त, छोटे कार्य हल करने के लिए देते हैं। इन्हें सहायक कार्य (auxiliary tasks) कहा जाता है। पारंपरिक रूप से, विशेषज्ञों को इन अतिरिक्त कार्यों को मैन्युअल रूप से डिजाइन करना पड़ता है, यह अनुमान लगाते हुए कि क्या एजेंट को बाजार को बेहतर ढंग से समझने में मदद कर सकता है, जैसे कि अगली कीमत में बदलाव की भविष्यवाणी करना या यह अनुमान लगाना कि बाजार कितना अस्थिर हो सकता है। लेकिन इस मैन्युअल दृष्टिकोण के साथ समस्या यह है कि बाजार लगातार बदलता रहता है। एक कार्य जो शांत अवधि के दौरान अच्छी तरह काम करता है, वह अशांत अवधि के दौरान बेकार या यहाँ तक कि हानिकारक भी हो सकता है। यदि सहायक कार्य पत्थर की लकीर की तरह स्थिर हैं, तो वे शेयर बाजार के बदलते परिदृश्य के अनुकूल नहीं हो सकते, जिससे ट्रेडिंग एजेंट के पास पुराना या अप्रासंगिक डेटा रह जाता है।
इन समस्याओं को हल करने के लिए भारतीय प्रौद्योगिकी संस्थान मंडी के शोधकर्ताओं की एक टीम ने एक नया तरीका विकसित किया है। यह पूछने के बजाय कि कौन से अतिरिक्त कार्य मदद कर सकते हैं, इसके लिए किसी इंसान के अनुमान की आवश्यकता है, उन्होंने एक ऐसी प्रणाली बनाई है जो इन कार्यों की खोज स्वतः करती है। वे अपने नए फ्रेमवर्क को QUESTrader कहते हैं। मूल विचार यह है कि कृत्रिम बुद्धिमत्ता को स्वयं यह तय करने दें कि उसे क्या सीखने की आवश्यकता है। यह प्रणाली एक दोहरी-नेटवर्क डिजाइन का उपयोग करती है। एक नेटवर्क, मुख्य ट्रेडर, लाभ को अधिकतम करने के लिए स्टॉक खरीदने और बेचने के बारे में सीखता है। दूसरा नेटवर्क एक प्रश्न जनरेटर (question generator) के रूप में कार्य करता है। यह लगातार मुख्य ट्रेडर के उत्तर देने के लिए नए, सरल प्रश्न प्रस्तावित करता है, जैसे कि "अगले कुछ दिनों में कीमत क्या होगी?" या "बाजार कितना हिलेगा?" ये प्रश्न अध्ययन में उपयोग किए गए दैनिक समापन मूल्य डेटा और तकनीकी संकेतकों के आधार पर गतिशील रूप से उत्पन्न होते हैं। ये प्रश्न स्थिर नहीं हैं; वे वर्तमान में सिस्टम द्वारा अनुभव किए जा रहे परिवेश के आधार पर उत्पन्न होते हैं। सिस्टम फिर मुख्य ट्रेडर को व्यापार करते समय इन प्रश्नों के उत्तर देने के लिए प्रशिक्षित करता है।
इस दृष्टिकोण की श्रेष्ठता इस बात में निहित है कि सिस्टम यह निर्णय कैसे लेता है कि कौन से प्रश्न पूछने योग्य हैं। शोधकर्ता एक परिष्कृत शिक्षण तंत्र का उपयोग करते हैं जो दीर्घकालिक परिणामों को देखता है। यह पूछता है: "क्या इस विशिष्ट प्रश्न का उत्तर देने से बाद में ट्रेडर को बेहतर निर्णय लेने में मदद मिली?" यदि कोई प्रश्न बेहतर ट्रेडिंग प्रदर्शन की ओर ले जाता है, तो सिस्टम अपने मापदंडों (parameters) को समायोजित करता है ताकि उसे बार-बार पूछा जा सके। यदि कोई प्रश्न ध्यान भटकाने वाला साबित होता है, तो सिस्टम अपने मापदंडों को परिष्कृत करता है ताकि उसे उत्पन्न करना बंद किया जा सके। यह प्रक्रिया सुनिश्चित करती है कि सहायक कार्य हमेशा वर्तमान बाजार स्थितियों के लिए प्रासंगिक रहें। शोधकर्ताओं ने चार प्रमुख वैश्विक शेयर बाजारों पर इस पद्धति का परीक्षण किया: संयुक्त राज्य अमेरिका में डाउ जोन्स इंडस्ट्रियल एवरेज, यूनाइटेड किंगडम में FTSE 100, भारत में सेंसेक्स और ताइवान में TAIEX। उन्होंने अपनी नई प्रणाली की तुलना व्यापक श्रेणी की मौजूदा रणनीतियों से की, जिसमें पारंपरिक निवेश विधियां, मानक कृत्रिम बुद्धिमत्ता मॉडल और अन्य प्रणालियां शामिल हैं जो मैन्युअल रूप से डिजाइन किए गए सहायक कार्यों का उपयोग करती हैं।
परिणाम चौंकाने वाले थे। चारों बाजारों में, QUESTrader सिस्टम ने लगातार अन्य तरीकों से बेहतर प्रदर्शन किया। अमेरिकी बाजार में, इसने 21.785 प्रतिशत का वार्षिक रिटर्न प्राप्त किया, जो कि अगली सर्वश्रेष्ठ विधि (जिसने 18.176 प्रतिशत प्राप्त किया था) से काफी अधिक था। अधिक महत्वपूर्ण बात यह है कि सिस्टम न केवल अधिक पैसा बना रहा था; बल्कि यह अधिक स्थिरता के साथ भी कर रहा था। इसने उच्चतम जोखिम-समायोजित स्कोर (risk-adjusted scores) प्राप्त किए, जिसका अर्थ है कि इसने लिए गए प्रत्येक जोखिम की इकाई के लिए अधिक लाभ कमाया। जब बाजार गिरा, तो QUESTrader एजेंट अपने प्रतिस्पर्धियों की तुलना में कम पैसा खोया। उदाहरण के लिए, भारतीय बाजार में, इसने 10.584 प्रतिशत का अधिकतम नुकसान बनाए रखा, जो अन्य उन्नत मॉडलों में देखे गए 17.783 प्रतिशत के नुकसान से बहुत कम था। यह प्रणाली अत्यधिक अस्थिर ताइवानी बाजार में भी प्रभावी साबित हुई, जहाँ इसने 30.279 प्रतिशत का वार्षिक रिटर्न दिया, जो अन्य सभी दृष्टिकोणों से कहीं अधिक था।
शोधकर्ताओं ने पाया कि इस सफलता की कुंजी वास्तविक समय में अपने सहायक कार्यों को अनुकूलित करने की क्षमता थी। स्वचालित रूप से सही प्रश्नों की खोज करके, ट्रेडिंग एजेंट ने बाजार की अधिक समृद्ध और सटीक समझ विकसित की। इसने उन पैटर्न को पहचानने में महारत हासिल की जिन्हें मानव-निर्मित कार्य शायद चूक जाते। अध्ययन में यह भी पता लगाया गया कि सिस्टम को एक साथ कितने प्रश्न पूछने चाहिए और प्रश्न के मूल्य का आकलन करने के लिए उसे भविष्य में कितनी दूर तक देखना चाहिए। उन्होंने पाया कि मध्यम संख्या में प्रश्न, लगभग सोलह से चौंसठ, सबसे अच्छा काम करते हैं, और भविष्य में सफलता के लिए सही प्रश्नों को श्रेय देने के लिए सीखने की प्रक्रिया में लगभग दस कदम आगे देखना उचित था। इस संतुलन ने सिस्टम को बहुत अधिक जानकारी से अभिभूत होने या बहुत आगे देखने के कारण भ्रमित होने से बचाया।
यह कार्य सुझाव देता है कि स्वचालित ट्रेडिंग का भविष्य बेहतर नियम बनाने वाले स्मार्ट इंसानों में नहीं, बल्कि खुद को सिखाने में सक्षम स्मार्ट मशीनों में निहित है। सिस्टम को अपने स्वयं के सीखने के लक्ष्यों की खोज करने देकर, शोधकर्ताओं ने एक ऐसा ट्रेडिंग एजेंट बनाया जो उन एजेंटों की तुलना में अधिक मजबूत, अधिक अनुकूलनीय और अंततः अधिक लाभदायक है जो स्थिर, मानव-निर्मित निर्देशों पर निर्भर हैं। निष्कर्ष बताते हैं कि वित्त की जटिल और परिवर्तनशील दुनिया में, यह सीखना कि क्या सीखना है, उतना ही महत्वपूर्ण है जितना कि यह सीखना कि व्यापार कैसे करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।