Asset-Universe Design and Action-Space Granularity in Cointegration-Based Deep Reinforcement Learning for Cryptocurrency Statistical Arbitrage
यह अध्ययन प्रदर्शित करता है कि क्रिप्टोकरेंसी सांख्यिकीय आर्बिट्राज के लिए कोइंटीग्रेशन-आधारित डीप रिइन्फोर्समेंट लर्निंग का आउट-ऑफ-सैंपल प्रदर्शन, एसेट-यूनिवर्स निर्माण और एक्शन-स्पेस ग्रैनुलैरिटी पर महत्वपूर्ण रूप से निर्भर है, जिसमें विशिष्ट यूनिवर्स डिजाइन (जैसे कि पेमेंट-कॉइन और बेसलाइन 14) और बाइनरी एक्शन स्पेस, व्यापक यूनिवर्स या ग्रैनुलर एक्शन स्पेसिफिकेशन की तुलना में बेहतर रिटर्न प्रदान करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पेशेवर जुआरी हैं जो एक बहुत ही विशिष्ट खेल में जीतने की कोशिश कर रहे हैं: सांख्यिकीय आर्बिट्राज (Statistical Arbitrage)।
इस खेल में, आप यह भविष्यवाणी करने की कोशिश नहीं कर रहे हैं कि कौन सा एकल सिक्का (coin) ऊपर जाएगा या नीचे जाएगा। इसके बजाय, आप दो (या अधिक) सिक्कों के बीच के संबंध पर दांव लगा रहे हैं। आप उन जोड़ों को खोजते हैं जो आमतौर पर एक साथ चलते हैं, जैसे सड़क पर चलते हुए एक विवाहित जोड़ा। कभी-कभी, वे कुछ कदमों की दूरी से अलग हो जाते हैं (कीमत का अंतर बढ़ जाता है)। आपका काम यह दांव लगाना है कि वे फिर से एक साथ चलने के लिए वापस आएंगे।
यह शोध पत्र वेलीटा ड्रेकोपुलो (Veliota Drakopoulou) नामक एक शोधकर्ता के बारे में है, जिन्होंने एक सरल प्रश्न पूछा: "क्या मेरे द्वारा चुना गया जोड़ों का प्रकार, और मेरे दांव लगाने के नियम, उस दिमाग से अधिक महत्वपूर्ण हैं जिसका मैं दांव लगाने के लिए उपयोग करता हूँ?"
यहाँ उनके निष्कर्षों का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए।
1. "दिमाग" (AI)
शोधकर्ता ने दांव लगाने के लिए तीन अलग-अलग प्रकार के आर्टिफिशियल इंटेलिजेंस (डीप रीइन्फोर्समेंट लर्निंग) का उपयोग किया:
- DQN: एक वैल्यू-बेस्ड लर्नर (जैसे एक छात्र जो सबसे अच्छे मूव्स को याद कर लेता है)।
- PPO और A2C: पॉलिसी-बेस्ड लर्नर्स (जैसे एक छात्र जो परीक्षण और त्रुटि/trial and error के माध्यम से सीखता है)।
- बेंचमार्क (COIN): एक सरल, गैर-AI नियम जो बिना "सीखे" केवल गणित का पालन करता है।
2. दो बड़े प्रश्न
शोध पत्र दो डिज़ाइन विकल्पों पर ध्यान केंद्रित करता है जिन्हें अक्सर अनदेखा कर दिया जाता है:
A. "एसेट यूनिवर्स" (डांस फ्लोर पर कौन है?)
AI द्वारा दांव लगाना शुरू करने से पहले, आपको यह चुनना होता है कि कौन से क्रिप्टोकरेंसी खेल में शामिल होने के लिए अनुमत हैं। शोधकर्ता ने चार अलग-अलग "डांस फ्लोर" का परीक्षण किया:
- "ब्रॉड" फ्लोर (20 एसेट्स): एक विशाल, भीड़भाड़ वाली पार्टी जिसमें बिटकॉइन से लेकर अस्पष्ट टोकन तक सब कुछ है।
- "बेसलाइन" फ्लोर (14 एसेट्स): एक मानक, मिश्रित समूह।
- "पेमेंट" फ्लोर (6 एसेट्स): केवल भुगतान-केंद्रित सिक्कों (जैसे बिटकॉइन, लाइटकॉइन, XRP) का एक छोटा, विशिष्ट क्लब।
- "लेयर-1" फ्लोर (9 एसेट्स): केवल बड़े ब्लॉकचेन प्लेटफॉर्म्स (जैसे इथेरियम, सोलाना) के लिए एक क्लब।
B. "एक्शन स्पेस" (आपका दांव कितना बड़ा है?)
एक बार जब AI सिक्कों के बीच एक अंतर देखता है, तो वह कैसे दांव लगाता है?
- बाइनरी (सब या कुछ नहीं): AI अपने पूरे पैसे का 100% इस बात पर दांव लगाता है कि अंतर समाप्त हो जाएगा। वह पीछे नहीं हट सकता। यह एक सर्फर की तरह है जिसे या तो पूरी लहर की सवारी करनी है या पानी में उतरना ही नहीं है।
- ग्रैनुलर (लचीला): AI 100%, 50%, या 0% (किनारे पर बैठना) पर दांव लगा सकता है। यह एक सर्फर की तरह है जो पैर डुबो सकता है, आधी लहर की सवारी कर सकता है, या बेहतर लहर का इंतजार कर सकता है।
3. परिणाम: वास्तव में क्या काम आया?
निष्कर्ष #1: "कौन" "कैसे" से अधिक महत्वपूर्ण है।
सबसे महत्वपूर्ण खोज यह थी कि सिक्कों का सही समूह चुनना सबसे अच्छे AI को चुनने से अधिक महत्वपूर्ण था।
- विजेता: पेमेंट-कॉइन समूह (6 एसेट्स) और बेसलाइन समूह (14 एसेट्स) सबसे अच्छा काम करते थे। AI ने यहाँ भारी मुनाफा कमाया (एक परीक्षण में 32% तक)।
- हारने वाला: ब्रॉड समूह (20 एसेट्स) और लेयर-1 समूह (9 एसेट्स) आपदा थे। सबसे अच्छा AI भी यहाँ पैसा हार गया।
- सबक: सिर्फ इसलिए कि आपके पास चुनने के लिए अधिक सिक्के हैं, इसका मतलब यह नहीं है कि आप अधिक पैसा कमाएंगे। वास्तव में, एक भीड़भाड़ वाली, शोर भरी पार्टी (ब्रॉड 20) ने AI के लिए स्पष्ट पैटर्न खोजना असंभव बना दिया। एक छोटा, अधिक समान समूह (पेमेंट 6) "नृत्य" को अधिक अनुमानित बनाता है।
निष्कर्ष #2: "सब या कुछ नहीं" दृष्टिकोण अक्सर मुनाफे के लिए बेहतर था।
आश्चर्यजनक रूप से, बाइनरी (सब या कुछ नहीं) एक्शन स्पेस ने लचीले (Flexible) वाले की तुलना में अक्सर अधिक पैसा बनाया, लेकिन केवल तभी जब बाजार का व्यवहार अच्छा था।
- जब AI एक "अच्छे" यूनिवर्स (पेमेंट या बेसलाइन) में था, तो आक्रामक होना (100% दांव लगाना) फायदेमंद रहा।
- हालांकि, "बुरे" यूनिवर्स में (जहाँ AI पैसा हार रहा था), ग्रैनुलर (लचीला) दृष्टिकोण ने काम बचाया। इसने AI को यह कहने की अनुमति दी, "यह जोखिम भरा लग रहा है, मैं 0% दांव लगाऊंगा," या "मैं 50% दांव लगाऊंगा," जिसने नुकसान के आकार को कम कर दिया।
- सबक: लचीलापन एक बेहतरीन सुरक्षा कवच है, लेकिन यदि सिग्नल मजबूत है, तो "ऑल इन" जाना अधिक लाभदायक होता है।
निष्कर्ष #3: किस्मत की बड़ी भूमिका होती है (द "सीड" प्रॉब्लम)
शोधकर्ता ने अलग-अलग रैंडम शुरुआती बिंदुओं (जिन्हें "सीड्स" कहा जाता है) के साथ अपने प्रयोगों को कई बार चलाया।
- कभी-कभी AI ने 30% लाभ कमाया।
- अन्य समय में, बिल्कुल उन्हीं सेटिंग्स के साथ, इसने 10% का नुकसान उठाया।
- सबक: आप एक एकल "जीतने वाले" रन पर भरोसा नहीं कर सकते। यदि कोई AI एक बार पैसा कमाता है, तो यह केवल भाग्य हो सकता है। वास्तविक सफलता के लिए यह आवश्यक है कि रणनीति लगातार काम करे, भले ही रैंडम शुरुआती स्थितियां बदल जाएं।
निचोड़ (The Bottom Line)
यह शोध पत्र हमें बताता है कि ट्रेडिंग AI बनाना केवल सबसे स्मार्ट एल्गोरिदम (DQN, PPO, या A2C) चुनने के बारे में नहीं है। यह सही मंच सेट करने के बारे में है।
- दीवार पर सब कुछ न फेंकें: संपत्तियों का एक छोटा, अधिक समान समूह, एक विशाल, अस्त-व्यस्त सूची की तुलना में बेहतर काम करता है।
- लचीलापन बचाव के लिए है: AI को "बाहर बैठने" का विकल्प देने से बुरे बाजारों में जीवित रहने में मदद मिलती है, भले ही यह हमेशा अच्छे बाजारों में बड़ा जीतने में मदद न करे।
- अपनी किस्मत की जांच करें: एक सफल परीक्षण रन पर्याप्त प्रमाण नहीं है। आपको यह देखने के लिए कई बार परीक्षण करना होगा कि क्या यह वास्तव में स्मार्ट है या केवल भाग्यशाली है।
संक्षेप में: आप अपने AI के लिए जो वातावरण बनाते हैं, वह उस AI के जितना ही महत्वपूर्ण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।