तकनीकी सारांश: क्या सुदृढीकरण शिक्षण (Reinforcement Learning) कुशलतापूर्वक मूल्य हेरफेर की खोज कर सकता है?

1. समस्या का निरूपण

यह शोध पत्र इस बात की जांच करता है कि क्या एक मॉडल-फ्री सुदृढीकरण शिक्षण (RL) एजेंट, सीमित डेटा नमूनों द्वारा बाधित होने पर भी, पारंपरिक मॉडल-आधारित दृष्टिकोण की तुलना में मूल्य हेरफेर (price manipulation) के अवसरों को अधिक प्रभावी ढंग से पहचान और शोषण कर सकता है। यह अध्ययन एक एकल-परिसंपत्ति (single-asset) बाजार पर केंद्रित है जहाँ कीमतें एक अल्मग्रेन-क्रिस (Almgren–Chriss - AC) ढांचे के अनुसार विकसित होती हैं, जिसमें गैर-रेखीय स्थायी बाजार प्रभाव (non-linear permanent market impact) और रेखीय अस्थायी प्रभाव (linear temporary impact) शामिल हैं।

मुख्य उद्देश्य यह निर्धारित करना है कि क्या एक एजेंट गतिशील आर्बिट्राज (dynamic arbitrage) रणनीति सीख सकता है—एक राउंड-ट्रिप ट्रेडिंग रणनीति जो शून्य इन्वेंटरी के साथ शुरू होती है और समाप्त होती है, और जो विशुद्ध रूप से गैर-रेखीय बाजार प्रभाव गतिकी के शोषण के माध्यम से सकारात्मक अपेक्षित नकदी प्रवाह (expected cash flow) उत्पन्न करती है। यह शोध दो शिक्षण प्रतिमानों (paradigms) के बीच अंतर करता है:

1. मॉडल-आधारित दृष्टिकोण (Model-Based Approach): यह मानता है कि सही डेटा जनरेटिंग प्रोसेस (DGP) ज्ञात है, लेकिन इसके लिए सिम्युलेटेड निष्पादन डेटा के एक सीमित नमूने से प्रभाव मापदंडों (impact parameters) का अनुमान लगाने की आवश्यकता होती है।
2. मॉडल-फ्री RL दृष्टिकोण (Model-Free RL Approach): यह पर्यावरण के साथ सीधे संपर्क (interaction) से इष्टतम ट्रेडिंग पॉलिसी सीखने के लिए डीप डिटरमिनिस्टिक डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट (DDPG) का उपयोग करता है, बिना अंतर्निहित प्रभाव मॉडल या उसके मापदंडों के स्पष्ट ज्ञान के।

2. कार्यप्रणाली

सैद्धांतिक ढांचा

लेखक असतत समय ($T$ स्टेप्स) में बाजार की गतिकी को निम्नलिखित समीकरणों के साथ परिभाषित करते हैं:

• बाजार मूल्य (Market Price): $S_t = S_{t-1} + f(v_t)\Delta t + \sigma\sqrt{\Delta t}\xi_t$
• निष्पादन मूल्य (Execution Price): $\tilde{S}_t = S_{t-1} + \kappa v_t$
• स्थायी प्रभाव (Permanent Impact): $f(v_t) = \theta \text{sign}(v_t)|v_t|^\delta$, जहाँ $\delta \in (0, 1)$ गैर-रेखीयता को दर्शाता है।
• अस्थायी प्रभाव (Temporary Impact): रेखीय, $\kappa v_t$ के समानुपाती।

एजेंट अपेक्षित टर्मिनल कैश फ्लो $E[X_T] = -\sum v_t \tilde{S}_t$ को अधिकतम करने का प्रयास करता है, जबकि $\sum v_t = 0$ की शर्त लागू होती है। शोध पत्र पहले विश्लेषणात्मक रूप से सिद्ध करता है कि $\delta < 1$ के लिए, एक रणनीति जो अपेक्षित कैश फ्लो को अधिकतम करती है, अस्तित्व में है और सुव्यवस्थित (well-posed) है।

बेंचमार्क रणनीतियाँ

• विश्लेषणात्मक बेंचमार्क (PnD): केवल दो ट्रेडिंग वेलोसिटी (एक "पंप-एंड-डंप" रणनीति) का उपयोग करने वाले प्रतिबंधित मामले के लिए, लेखक इष्टतम वेलोसिटी $\alpha^*$ और इष्टतम चरणों की संख्या $n$ के लिए एक क्लोज्ड-फॉर्म समाधान प्राप्त करते हैं।
• संख्यात्मक बेंचमार्क (SLSQP): निरंतर ट्रेडिंग वेलोसिटी के सामान्य मामले के लिए, लेखक पूर्ण सूचना (ज्ञात मापदंडों) के तहत इष्टतम रणनीति खोजने के लिए सीक्वेंशियल लीस्ट स्क्वेयर्स क्वाड्रेटिक प्रोग्रामिंग (SLSQP) का उपयोग करते हैं। यह एक सैद्धांतिक ऊपरी सीमा (upper bound) के रूप में कार्य करता है।

तुलनात्मक दृष्टिकोण

शोध पत्र निम्नलिखित विधियों के प्रदर्शन की तुलना 1,000 सिमुलेशन के परीक्षण सेट पर करता है:

1. PnD और SLSQP (पूर्ण सूचना): वास्तविक मापदंडों का उपयोग करने वाली इष्टतम रणनीतियाँ।
2. regSLSQP (मॉडल-आधारित, सीमित डेटा): मापदंडों ($\theta, \kappa, \delta$) का अनुमान $N$ सिम्युलेटेड TWAP (टाइम-वेटेड एवरेज प्राइस) मेटाऑर्डर्स के एक सीमित नमूने से अल्मग्रेन आदि (2005) से अनुकूलित प्रतिगमन (regression) विधि का उपयोग करके लगाया जाता है। इन अनुमानों को फिर SLSQP ऑप्टिमाइज़र में फीड किया जाता है।
3. DDPG (मॉडल-फ्री, सीमित डेटा): एक डीप डिटरमिनिस्टिक डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट एजेंट को बाजार संपर्क के $N$ एपिसोड पर प्रशिक्षित किया जाता है। स्टेट स्पेस $S_t = (q_t, t, S_t)$ में वर्तमान इन्वेंटरी, समय चरण और स्थायी रूप से प्रभावित मूल्य शामिल है। रिवॉर्ड फंक्शन $r_t = S_t v_t - \kappa v_t^2$ है। एजेंट बिना किसी स्पष्ट पैरामीटर अनुमान के सीधे पॉलिसी सीखता है।

प्रयोगात्मक सेटअप

प्रयोग तीन अस्थिरता स्तरों ($\sigma$) के लिए आयोजित किए गए: उच्च ($0.0168$), मध्यम ($0.003$), और निम्न ($0.002$)। प्रशिक्षण/अनुमान के लिए सैंपल आकार$N=500$और$N=5,000$ हैं।

3. मुख्य परिणाम

अस्थिरता और नमूना आकार निर्भरता

• उच्च अस्थिरता ($\sigma = 0.0168$): कोई भी विधि (पूर्ण-सूचना बेंचमार्क सहित) सांख्यिकीय रूप से महत्वपूर्ण सकारात्मक कैश फ्लो उत्पन्न नहीं करती है। बड़ा शोर (noise) सीमित नमूनों में हेरफेर के अवसरों के विश्वसनीय शोषण को रोकता है।
• मध्यवर्ती अस्थिरता ($\sigma = 0.003$):
  • DDPG एजेंट सफलतापूर्वक एक लाभदायक रणनीति सीखता है।
  • regSLSQP दृष्टिकोण (यहाँ तक कि $N=5,000$ के साथ भी) सांख्यिकीय रूप से महत्वपूर्ण सकारात्मक रिटर्न उत्पन्न करने में विफल रहता है और अक्सर पैरामीटर अनुमान त्रुटियों के कारण नकारात्मक अपेक्षित कैश फ्लो देता है।
  • महत्वपूर्ण रूप से, DDPG मॉडल-आधारित दृष्टिकोण से बेहतर प्रदर्शन करता है, भले ही बाद वाले के पास सही मॉडल विनिर्देश हो। मॉडल-आधारित विधि "त्रुटि-प्रवण" (error-prone) पैरामीटर अनुमान के मध्यवर्ती चरण से ग्रस्त होती है।
• निम्न अस्थिरता ($\sigma = 0.002$):
  • regSLSQP के छोटे नमूनों ($N=500$) को छोड़कर सभी विधियाँ सकारात्मक रिटर्न उत्पन्न करती हैं।
  • मॉडल-आधारित दृष्टिकोण (regSLSQP के साथ $N=5,000$) DDPG से बेहतर प्रदर्शन करता है। इस शासन (regime) में, पैरामीटर अनुमान अत्यधिक सटीक है, जिससे मॉडल-आधारित दृष्टिकोण एक अच्छी तरह से निर्दिष्ट DGP को अनुकूलित करने के समान हो जाता है, जो छोटे नमूने ($N=500$) पर प्रशिक्षित डेटा-भूखे RL दृष्टिकोण से बेहतर है।

पैरामीटर अनुमान संवेदनशीलता

अध्ययन इस बात पर प्रकाश डालता है कि गैर-रेखीयता घातांक $\delta$ का अनुमान लगाना विशेष रूप से शोर वाला और ऊपर की ओर पक्षपाती (upward bias) होने की संभावना है। यह पूर्वाग्रह मॉडल-आधारित दृष्टिकोण में अधिक रूढ़िवादी रणनीतियों की ओर ले जाता है, जिससे संभावित लाभ कम हो जाता है। RL एजेंट, स्पष्ट पैरामीटर अनुमान को दरकिनार करके, इस विशिष्ट त्रुटि के स्रोत से बच जाता है।

4. मुख्य योगदान

1. अस्तित्व और सीखने की क्षमता (Learnability): यह शोध पत्र स्थापित करता है कि गैर-रेखीय बाजार प्रभाव असतत समय में शोषण योग्य गतिशील आर्बिट्राज अवसर पैदा करते हैं और यह प्रदर्शित करता है कि एक मॉडल-फ्री RL एजेंट बाजार मॉडल के स्पष्ट ज्ञान के बिना इन रणनीतियों को स्वायत्त रूप से खोज सकता है।
2. RL बनाम मॉडल-आधारित दक्षता: मुख्य निष्कर्ष यह है कि मध्यवर्ती अस्थिरता और सीमित डेटा के शासन में, मॉडल-फ्री RL एक सही ढंग से निर्दिष्ट मॉडल-आधारित दृष्टिकोण से बेहतर प्रदर्शन करता है। इसका श्रेय RL एजेंट की प्रत्यक्ष रूप से इष्टतम नीति सीखने की क्षमता को दिया जाता है, जो सीमित-नमूना पैरामीटर अनुमान में निहित सांख्यिकीय त्रुटियों से बचता है।
3. नियामक निहितार्थ (Regulatory Implications): यह कार्य इस जोखिम को रेखांकित करता है कि स्वायत्त ट्रेडिंग सिस्टम विशुद्ध रूप से रिवॉर्ड मैक्सिमाइजेशन के माध्यम से हेरफेर करने वाली रणनीतियों को खोज सकते हैं, जो मानव इरादे (intent) के आसपास बने नियामक ढांचेओं को चुनौती देते हैं।

5. महत्व और दावे

शोध पत्र का दावा है कि इसके निष्कर्ष हेरफेर के सैद्धांतिक अस्तित्व और इसके व्यावहारिक खोजने की क्षमता के बीच एक महत्वपूर्ण अंतर को उजागर करते हैं। जबकि हेरफेर सैद्धांतिक रूप से एक मॉडल में मौजूद हो सकता है, यह केवल तभी लाभदायक होता है जब एजेंट बाजार संरचना को सटीक रूप से पहचानने में सक्षम हो।

लेखक तर्क देते हैं कि:

• RL एल्गोरिदम वित्तीय बाजारों में जटिल नियंत्रण समस्याओं को हल करने में अत्यधिक प्रभावी हैं, जो संभावित रूप से उन कमजोरियों (जैसे डायनेमिक आर्बिट्राज) को खोज सकते हैं जिन्हें पारंपरिक पैरामेट्रिक मॉडल मिस कर सकते हैं यदि पैरामीटर अनुमान शोर वाला हो।
• RL की "ब्लैक बॉक्स" प्रकृति इसे मॉडल-आधारित तरीकों की तुलना में कम प्रभावी नहीं बनाती है; वास्तव में, डेटा-सीमित या शोर वाले वातावरण में, यह अधिक मजबूत हो सकती है क्योंकि यह मध्यवर्ती सांख्यिकीय अनुमान चरणों पर निर्भर नहीं करती है।
• नियामक सुरक्षा उपायों और रिवॉर्ड फंक्शन के सावधानीपूर्वक डिजाइन की तत्काल आवश्यकता है। चूंकि RL एजेंट सख्ती से दिए गए उद्देश्य के लिए अनुकूलित होते हैं, वे अनजाने में कीमतों में हेरफेर करना सीख सकते हैं यदि बाजार संरचना इसकी अनुमति देती है, भले ही ऐसा व्यवहार अवांछनीय या अवैध हो।

शोध पत्र निष्कर्ष निकालता है कि हालांकि RL इष्टतम निष्पादन के लिए शक्तिशाली उपकरण प्रदान करता है, इसकी तैनाती के लिए बाजार स्थिरता और नियामक आवश्यकताओं के साथ तालमेल बिठाने की आवश्यकता है ताकि बाजार सूक्ष्म संरचना (microstructure) की अनपेक्षित कमजोरियों के शोषण को रोका जा सके।