💰 quantitative finance

TT-DAC-PS: Twin-Target Deterministic Actor-Critic with Policy Smoothing for Optimal Trade Execution

यह शोध पत्र TT-DAC-PS प्रस्तुत करता है, जो एक नवीन नियत (deterministic) एक्टर-क्रिटिक एल्गोरिदम है जिसे पॉलिसी स्मूथिंग और कंजर्वेटिव Q-लर्निंग तकनीकों के साथ उन्नत किया गया है, जो वास्तविक लिमिट ऑर्डर बुक डेटा का उपयोग करके बड़े स्टॉक सेल प्रोग्रामों के लिए इम्प्लीमेंटेशन शॉर्टफॉल को कम करने में शास्त्रीय निष्पादन रणनीतियों और मानक सुदृढीकरण शिक्षण (reinforcement learning) बेसलाइनों दोनों से बेहतर प्रदर्शन करता है।

मूल लेखक: Ilia Zaznov, Atta Badii, Julian Kunkel, Alfonso Dufour

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ilia Zaznov, Atta Badii, Julian Kunkel, Alfonso Dufour

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: जल्दबाजी में घर बेचना

कल्पना कीजिए कि आपके पास एक बहुत बड़ी हवेली (स्टॉक शेयरों की एक विशाल संख्या) है और आपको आज ही इसे पूरा बेचना है। आपके पास दो बड़ी समस्याएँ हैं:

यदि आप बहुत तेज़ी से बेचते हैं: तो आप बाज़ार में बाढ़ ला देते हैं। खरीदार घबरा जाते हैं, कीमतें गिर जाती हैं, और अंत में आप अपनी हवेली कौड़ियों के दाम पर बेच देते हैं। इसे मार्केट इम्पैक्ट (Market Impact) कहा जाता है।
यदि आप बहुत धीरे बेचते हैं: तो आप बेहतर कीमत की उम्मीद में इंतज़ार करते रहते हैं, लेकिन बाज़ार अचानक गिर सकता है, या जब तक आप लिस्टिंग कर रहे होते हैं तब तक हवेली का मूल्य कम हो सकता है। इसे टाइमिंग रिस्क (Timing Risk) कहा जाता है।

इस पेपर का लक्ष्य एक आदर्श "गोल्डिलॉक्स" (Goldilocks) गति खोजना है: न बहुत तेज़, न बहुत धीमा, बल्कि सबसे अधिक पैसा पाने के लिए बिल्कुल सही। लेखक इसे ऑप्टिमल ट्रेड एग्जीक्यूशन (Optimal Trade Execution) कहते हैं।

पुराने तरीके बनाम नया तरीका

इस पेपर से पहले, लोग बेचने के तीन मुख्य तरीकों का उपयोग करते थे:

TWAP (Time-Weighted): जैसे बिना सोचे-समझे हर घंटे हवेली के टुकड़े बेचना। यह सरल है लेकिन अगर बाज़ार पागल हो जाए तो यह मूर्खतापूर्ण है।
VWAP (Volume-Weighted): जब बाज़ार व्यस्त हो तब ज़्यादा बेचना और जब शांत हो तब कम। यह बेहतर है, लेकिन फिर भी एक कठोर स्क्रिप्ट का पालन करता है।
Almgren–Chriss (AC): एक फैंसी गणितीय सूत्र जो गति और सुरक्षा के बीच संतुलन बनाने की कोशिश करता है। यह स्मार्ट है, लेकिन अगर बाज़ार अजीब व्यवहार करता है (जो अक्सर करता है) तो यह टूट जाता है।

समस्या: वास्तविक बाज़ार अस्त-व्यस्त होते हैं। वे लगातार अपना मन बदलते रहते हैं। एक कठोर स्क्रिप्ट (जैसे TWAL) या एक स्थिर गणितीय सूत्र (जैसे AC) तब अनुकूलित नहीं हो सकता जब बाज़ार अस्थिर हो जाता है या लिक्विडिटी (तरलता) खत्म हो जाती है।

समाधान: TT-DAC-PS (स्मार्ट, अनुकूलन योग्य रोबोट)

लेखकों ने एक नया AI रोबोट बनाया जिसे TT-DAC-PS कहा जाता है। इसे एक सुपर-स्मार्ट, सतर्क ट्रेडर के रूप में समझें जो करके सीखता है। यह कैसे काम करता है, इसके विशेष फीचर्स यहाँ दिए गए हैं:

1. "ट्विन-टारगेट" सुरक्षा जाल (जुड़वां जज)

AI में, कभी-कभी रोबोट बहुत अधिक आत्मविश्वासी हो जाता है। वह सोचता है, "मैं दस लाख डॉलर कमाने वाला हूँ!" जबकि वास्तव में वह पैसा खोने वाला होता है। इसे ओवरएस्टिमेशन (Overestimation) कहा जाता है।

समाधान: लेखकों ने रोबोट को एक के बजाय दो जज (Twin Critics) दिए।
उपमा: कल्पना कीजिए कि आप घोड़े की दौड़ पर दांव लगा रहे हैं। एक दोस्त से भविष्यवाणी पूछने के बजाय, आप दो लोगों से पूछते हैं। यदि वे असहमत हैं, तो रोबोट निराशावादी (सबसे खराब स्थिति) अनुमान लेता है। यह मान लेता है कि परिणाम उम्मीद से बदतर होगा।
यह कैसे मदद करता है: यह रोबोट को विनम्र रखता है और झूठी उम्मीदों के आधार पर जोखिम भरे दांव लगाने से रोकता है। यह सीखने की प्रक्रिया को स्थिर करता है।

2. "पॉलिसी स्मूथिंग" (सतर्क ड्राइवर)

कभी-कभी, एक रोबोट एक ऐसी रणनीति सीख लेता है जो ट्रेनिंग जिम में तो एकदम सही काम करती है लेकिन वास्तविक दुनिया में विफल हो जाती है क्योंकि वह बहुत कठोर होती है।

समाधान: रोबोट को अपने कदमों में छोटे, यादृच्छिक (random) समायोजन करने के लिए सिखाया जाता है, जैसे कि एक ड्राइवर केंद्र में रहने के लिए स्टीयरिंग व्हील को थोड़ा हिलाता है।
उपमा: यदि आप कार चला रहे हैं और केवल एक पूरी तरह से सीधी, खाली सड़क पर अभ्यास करते हैं, तो गड्ढा आने पर आप दुर्घटनाग्रस्त हो सकते हैं। थोड़े उतार-चढ़ाव (noise) के साथ अभ्यास करके, रोबोट bumps और टर्न को सुचारू रूप से संभालना सीखता है। इसे पॉलिसी स्मूथिंग (Policy Smoothing) कहा जाता है।

3. "हाइब्रिड" एक्सप्लोरेशन (स्मार्ट खोजकर्ता)

रोबोट को सीखने के लिए नई चीजें आज़माने की ज़रूरत होती है, लेकिन बहुत अधिक आज़माना खतरनाक है (वह बहुत तेज़ी से बेचकर कीमत गिरा सकता है)।

समाधान: रोबोट एक विशेष "नॉइज़" जनरेटर (Ornstein–Uhlenbeck noise) का उपयोग करता है जो एक स्मार्ट थर्मोस्टेट की तरह काम करता है।
- डिटरमिनिस्टिक डिके (Deterministic Decay): जैसे-जैसे रोबोट अपने काम में बेहतर होता जाता है, वह स्वाभाविक रूप से कम "नॉइज़ी" और अधिक केंद्रित होता जाता है।
- वैरिएंस-अवेयर (Variance-Aware): यदि रोबोट देखता है कि उसके हालिया प्रयास बहुत अनिश्चित (high variance) रहे हैं, तो वह अपनी बुरी आदत से बाहर निकलने के लिए नॉइज़ को स्वतः बढ़ा देता है। यदि चीजें बहुत अराजक हैं, तो वह चीज़ों को शांत करने के लिए नॉइज़ को कम कर देता है।
उपमा: एक छात्र की कल्पना करें जो परीक्षा के लिए पढ़ाई कर रहा है। यदि वह किसी समस्या में फंसा हुआ है, तो वह एक बिल्कुल नया दृष्टिकोण आज़मा सकता है (उच्च शोर/noise)। यदि वह सही कर रहा है, तो वह सिद्ध तरीके पर टिका रहता है (कम शोर/noise)। यह रोबट अपनी सफलता के आधार पर अपनी "जिज्ञासा" को समायोजित करता है।

4. "सेफ्टी बेल्ट" (सीमाएं/Constraints)

रोबोट को कुछ भी अवैध या असंभव करने से सख्ती से रोका गया है।

नियम: वह अपने पास मौजूद शेयरों से अधिक शेयर नहीं बेच सकता और वह एक सेकंड में कुल ऑर्डर का 1% से अधिक नहीं बेच सकता।
उपमा: यह एक ऐसे ड्राइवर की तरह है जिसके पास सीटबेल्ट और स्पीड गवर्नर है। चाहे रोबोट कितनी भी तेज़ी से भागना चाहे, कार भौतिक रूप से उसे ऐसा करने नहीं देगी। यह सुनिश्चित करता है कि रोबोट नियमों को तोड़ने वाली कोई गलती न करे।

उन्होंने इसका परीक्षण कैसे किया

लेखकों ने इस रोबोट का परीक्षण 10 अलग-अलग अमेरिकी शेयरों (जैसे Intel, Apple, आदि) पर किया। उन्होंने इसकी तुलना इनके साथ की:

पुराने गणितीय सूत्रों (AC, TWAP, VWAP) के साथ।
अन्य प्रसिद्ध AI रोबोट्स (PPO, SAC, A2C) के साथ।

परिणाम:

TT-DAC-PS रोबोट ने लगातार अन्य सभी की तुलना में कम पैसा खोया (कम "इम्प्लीमेंटेशन शॉर्टफॉल")।
यह विशेष रूप से कठिन, अस्थिर शेयरों को संभालने में बहुत अच्छा था जहाँ अन्य रोबोट और पुराने सूत्र बुरी तरह विफल रहे।
जब उन्होंने "ट्विन जजेस" या "स्मार्ट थर्मोस्टेट" को हटा दिया (एब्लेशन प्रयोगों में), तो रोबोट खराब प्रदर्शन करने लगा, जिससे साबित हुआ कि ये विशिष्ट फीचर्स ही इसकी असली सफलता का राज थे।

निचोड़ (The Bottom Line)

यह पेपर एक नया AI सिस्टम पेश करता है जो पारंपरिक तरीकों की तुलना में स्टॉक को अधिक कुशलता से बेचता है। यह ऐसा इसलिए कर पाता है क्योंकि यह:

सतर्क है (ओवरकॉन्फिडेंस से बचने के लिए ट्विन जजेस का उपयोग करता है)।
लचीला है (बाज़ार कैसा व्यवहार कर रहा है, इसके आधार पर अपनी जिज्ञासा को समायोजित करता है)।
सुरक्षित है (कभी भी नियमों को नहीं तोड़ता)।

यह एक कठोर, प्री-प्रोग्राम्ड वेंडिंग मशीन को एक मानव-समान ट्रेडर से बदलने जैसा है जो अपने पैरों पर खड़े होकर सोच सकता है, दबाव में शांत रह सकता है, और हमेशा सुरक्षित खेलना जानता है।

तकनीकी सारांश: इष्टतम व्यापार निष्पादन के लिए TT-DAC-PS

समस्या विवरण

यह शोध पत्र बड़े स्टॉक सेल प्रोग्रामों के इष्टतम निष्पादन (optimal execution) को संबोधित करता है, जो मात्रात्मक वित्त (quantitative finance) में एक महत्वपूर्ण चुनौती है जहाँ पोर्टफोलियो प्रबंधकों को महत्वपूर्ण इन्वेंटरी को इस तरह से बेचना होता है कि बाजार की कीमतों पर अधिक प्रभाव (market impact) न पड़े या ऑर्डर को प्रतिकूल मूल्य गतिविधियों (timing risk) के संपर्क में न लाया जाए। प्राथमिक प्रदर्शन मीट्रिक इम्प्लीमेंटेशन शॉर्टफॉल (IS) है, जिसे निर्णय के समय के सैद्धांतिक मूल्य और वास्तविक प्राप्त राशि के बीच के अंतर के रूप में परिभाषित किया गया है।

जबकि क्लासिकल समाधान जैसे टाइम-वेटेड एवरेज प्राइस (TWAP), वॉल्यूम-वेटेड एवरेज प्राइस (VWAVP), और अल्ग्रेन-क्रिस (AC) ढांचा मजबूत बेसलाइन प्रदान करते हैं, वे अक्सर स्थिर मापदंडों या रैखिक प्रभाव धारणाओं पर निर्भर करते हैं। ये दृष्टिकोण गैर-स्थिर बाजारों (non-stationary markets) में संघर्ष करते हैं जो समय-परिवर्तनीय तरलता, संरचनात्मक परिवर्तनों और गैर-रैखिक प्रभाव गतिशीलता द्वारा विशेषता रखते हैं। सुदृढीकरण शिक्षण (Reinforcement Learning - RL) अनुकूल नियंत्रण के लिए एक संभावित समाधान प्रदान करता है लेकिन यह इस क्षेत्र में विशिष्ट चुनौतियों का सामना करता है:

एक्सप्लोरेशन स्थिरता (Exploration Stability): मानक शोर शेड्यूल्स (जैसे, निश्चित ऑर्नस्टीन-उहलेन बेक प्रक्रिया) वित्तीय वातावरण में नाजुक हो सकते हैं, जिससे अस्थिर शिक्षण या असुरक्षित ट्रेडिंग व्यवहार हो सकता है।
वैल्यू ओवरएस्टिमेशन (Value Overestimation): निरंतर नियंत्रण (continuous control) में, एक्टर-क्रिटिक विधियों में अक्सर Q-वैल्यू ओवरएस्टिमेशन की समस्या होती है, जो पॉलिसी लर्निंग को अस्थिर कर देती है।
सुरक्षा बाधाएं (Safety Constraints): निष्पादन नीतियों को परिचालन संबंधी बाधाओं का सख्ती से पालन करना चाहिए, जैसे कि प्रति-चरण भागीदारी कैप और इन्वेंटरी व्यवहार्यता, जिन्हें स्टोकेस्टिक RL सेटिंग्स में लागू करना कठिन है।

कार्यप्रणाली: TT-DAC-PS

लेखक TT-DAC-PS (ट्विन-टारगेट डिटरमिनिस्टिक एक्टर-क्रिटिक विद पॉलिसी स्मूथिंग) प्रस्तावित करते हैं, जो एपिसोडिक ट्रेड निष्पादन के लिए तैयार किया गया एक डीप सुदृढीकरण शिक्षण आर्किटेक्चर है। यह कार्यप्रणाली एक हाइब्रिड सिमुलेशन वातावरण को एक नवीन एक्टर-क्रिटिक डिजाइन और अनुकूलन योग्य एक्सप्लोरेशन रणनीति के साथ एकीकृत करती है।

1. वातावरण और सिमुलेशन

निष्पादन वातावरण एक परिमित-क्षितिज मार्कोव निर्णय प्रक्रिया (MDP) है जो अल्ग्रेन-क्रिस (AC) लागत-जोखिम मॉडल की व्याख्यात्मकता को अनुभवजन्य लिमिट ऑर्डर बुक (LOB) डेटा के साथ मिश्रित करता है।

स्टेट रिप्रजेंटेशन (State Representation): स्टेट वेक्टर में छह लैग्ड लॉग-रिटर्न्स (मोमेंटम/वोलेटिलिटी के लिए), नॉर्मलाइज्ड टाइम-टू-गो, नॉर्मलाइज्ड शेष इन्वेंटरी, और एक नॉर्मलाइज्ड ट्रेडिंग गतिविधि प्रॉक्सी (ऐतिहासिक औसत के सापेक्ष वॉल्यूम) शामिल हैं।
डायनेमिक्स (Dynamics): निष्पादन कीमतों को AC मॉडल के आधार पर अस्थायी और स्थायी प्रभाव के लिए समायोजित किया जाता है, जबकि अंतर्निहित मिड-प्राइस अनुभवजन्य LOB अनुक्रमों का अनुसरण करता है।
प्रीप्रोसेसिंग (Preprocessing): माइक्रोस्ट्रक्चर शोर के विरुद्ध स्थिरता सुनिश्चित करने के लिए, मिड-प्राइसेस को मीडियन एब्सोल्यूट डेविएशन (MAD) का उपयोग करके फ़िल्टर किया जाता है, और वॉल्यूम को इंटरक्वेर्टाइल रेंज (IQR) सीमाओं का उपयोग करके कैप किया जाता है।
बाधाएं (Constraints): क्रियाओं (actions) को शेयर मात्राओं में मैप किया जाता है जिसमें एक सख्त प्रति-चरण भागीदारी कैप (प्रारंभिक इन्वेंटरी का 1%) और शून्य अवशेष इन्वेंटरी सुनिश्चित करने के लिए एक टर्मिनल लिक्विडेशन नियम होता है।

2. मुख्य आर्किटेक्चर

यह मॉडल एक डिटरमिनिस्टिक एक्टर-क्रिटिक ढांचे का उपयोग करता है जिसमें विशिष्ट स्थिरीकरण तंत्र हैं:

ट्विन-टारगेट क्रिटिक (Twin-Target Critic): मानक TD3 के विपरीत, जो दो स्वतंत्र रूप से प्रशिक्षित क्रिटिक्स का उपयोग करता है, TT-DAC-PS दो अलग-अलग अपडेट दरों के साथ पॉलीक एवरेजिंग के माध्यम से एक ही अंतर्निहित क्रिटिक से प्राप्त दो टारगेट क्रिटिक्स ( $Q_{\phi1}, Q_{\phi2}$ ) बनाए रखता है। टारगेट वैल्यू की गणना एक पेसिमिस्टिक मिनिमम बैकअप का उपयोग करके की जाती है:
$y = r + \gamma \min(Q_{\phi1}(s', a'), Q_{\phi2}(s', a'))$
यह Q-वैल्यू ओवरएस्टिमेशन को कम करता है और शोर वाले, गैर-स्थिर स्थितियों में स्थिरता में सुधार करता है।
पॉलिसी स्मूथिंग (Policy Smoothing): पॉलिसी को सुचारू बनाने और विशिष्ट स्टेट-एक्शन पेयर्स के प्रति ओवरफिटिंग को रोकने के लिए टारगेट एक्शन को गॉसियन नॉइज़ (TD3-शैली) के साथ विक्षेपित (perturb) किया जाता है।
कंजर्वेटिव Q रेगुलराइजेशन (Conservative Q Regularization): एक अतिरिक्त लॉस टर्म वर्तमान पॉलिसी के Q-वैल्यू और एक नॉइज़ी एक्शन के Q-वैल्यू के बीच के अंतर को दंडित करता है, जो रूढ़िवादी (conservative) वैल्यू अनुमानों को लागू करता है।
डिलेड एक्टर अपडेट्स (Delayed Actor Updates): लर्निंग को स्थिर करने के लिए एक्टर को क्रिटिक की तुलना में कम बार अपडेट किया जाता है (प्रत्येक $K$ स्टेप्स में)।

3. हाइब्रिड एडैप्टिव एक्सप्लोरेशन

एक प्रमुख नवाचार अनुकूलन योग्य ऑर्नस्टीन-उहलेन (OU) नॉइज़ शेड्यूलिंग है, जो तीन घटकों के आधार पर एक्सप्लोरेशन स्केल ( $\sigma$ ) को गतिशील रूप से समायोजित करता है:

डिटरमिनिस्टिक डिके (Deterministic Decay): प्रशिक्षण एपिसोड के दौरान एक प्रारंभिक $\sigma_0$ से न्यूनतम $\sigma_{min}$ तक एक निर्धारित क्षय (decay)।
वैरिएंस-अवेयर एडजस्टमेंट (Variance-Aware Adjustment): एक फीडबैक लूप जो हाल के एपिसोड रिटर्न्स के रोलिंग वेरिएंस की निगरानी करता है। यदि वेरिएंस कम है (प्लेटो का संकेत), तो एक्सप्लोरेशन को ऊपर की ओर धकेला जाता है; यदि वेरिएंस अधिक है (अस्थिरता का संकेत), तो एक्सप्लोरेशन को कम कर दिया जाता है।
लर्नड टेम्परेचर (Learned Temperature): एक सॉफ्ट एक्टर-क्रिटिक (SAC) शैली का टेम्परेचर पैरामीटर ( $\alpha$ ) सीखा जाता है और नॉइज़ स्केल से मैप किया जाता है, जिससे मॉडल को एक्सप्लोरेशन की तीव्रता को स्वयं नियंत्रित करने की अनुमति मिलती है।
सभी समायोजन सुरक्षा बनाए रखने के लिए $[\sigma_{min}, \sigma_0]$ के भीतर क्लैम्प किए जाते हैं।

4. रिवॉर्ड डिज़ाइन

रिवॉर्ड फंक्शन को स्टेपवाइज अल्ग्रेन-क्रिस यूटिलिटी ( $U(q) = E(q) + \lambda V(q)$ ) में कमी का उपयोग करके आकार दिया गया है, जहाँ $E$ अपेक्षित लागत है और $V$ जोखिम है। यह हर स्टेप पर सघन (dense), व्याख्यात्मक फीडबैक प्रदान करता है, जो लर्निंग सिग्नल को केवल टर्मिनल IS के बजाय लागत और जोखिम दोनों को कम करने के आर्थिक उद्देश्य के साथ संरेखित करता है।

मुख्य योगदान

पेपर निम्नलिखित विशिष्ट योगदानों की पहचान करता है:

हाइब्रिड सिमुलेशन फ्रेमवर्क: एक यथार्थवादी लेकिन नियंत्रित प्रशिक्षण वातावरण बनाने के लिए AC विश्लेषणात्मक संरचना के साथ अनुभवजन्य LOB विशेषताओं का एकीकरण।
ट्विन-टारगेट मैकेनिज्म: वैल्यू एस्टीमेशन को स्थिर करने के लिए दो पॉलीक-एवरेज टारगेट क्रिटिक्स के साथ एक नवीन उपयोग, जो पूरी तरह से स्वतंत्र क्रिटिक्स के कम्प्यूटेशनल ओवरहेड के बिना किया जाता है।
वैरिएंस-अवेयर एडैप्टिव एक्सप्लोरेशन: एक हाइब्रिड OU नॉइज़ शेड्यूल जो गैर-स्थिर तरलता और अस्थिरता को संभालने के लिए डिटरमिनिस्टिक डिके, वेरिएंस-ड्रिवन एडजस्टमेंट और लर्नड टेम्परेचर मैपिंग को जोड़ता है।
कंस्ट्रेंट-अवेयर पॉलिसी डिज़ाइन: एक्शन मैपिंग और टर्मिनल नियमों के भीतर सीधे भागीदारी कैप और इन्वेंटरी व्यवहार्यता का सख्त प्रवर्तन।
रोबस्ट प्रीप्रोसेसिंग: उच्च-आवृत्ति LOB इनपुट को स्थिर करने के लिए MAD और IQR फ़िल्टरिंग का उपयोग करने वाला एक पाइपलाइन।
कठोर मूल्यांकन: दस विविध अमेरिकी स्टॉक्स में सांख्यिकीय महत्व का आकलन करने के लिए 95% बूटस्ट्रैप कॉन्फिडेंस इंटरवल का उपयोग करके एक बेंचमार्किंग प्रोटोकॉल।

परिणाम

मॉडल का मूल्यांकन दस अमेरिकी शेयरों (ADBE, AMD, AVGO, BKR, CSCO, CMCSA, ORCL, PEP, PYPL, INTC) पर किया गया था और इसकी तुलना निम्नलिखित से की गई:

क्लासिकल बेसलाइन्स: TWAP, VWAP, और AC।
डीप RL बेसलाइन्स: PPO, SAC, और A2C।

प्रदर्शन निष्कर्ष:

श्रेष्ठ निष्पादन गुणवत्ता: TT-DAC-PS ने लगातार 10 में से 8 इंस्ट्रूमेंट्स पर सबसे कम या संयुक्त रूप से सबसे कम औसत इम्प्लीमेंटेशन शॉर्टफॉल (IS) प्राप्त किया।
अस्थिर बाजारों में मजबूती: मॉडल ने उच्च-अस्थिरता वाले इंस्ट्रूमेंट्स (जैसे, AVGO, AMD) में विशेष ताकत दिखाई, जहाँ स्टैटिक बेसलाइन्स और ऑन-पॉलिसी RL विधियों (PPO, A2C) में काफी बड़े शॉर्टफॉल हुए।
RL के साथ तुलना: ऑफ-पॉलिसी विधियों (TT-DAC-PS, SAC) ने ऑन-पॉलिसी विधियों (PPO, A2C) को पछाड़ दिया। TT-DAC-PS ने विशेष रूप से चुनौतीपूर्ण, उच्च-प्रभाव वाले परिदृश्यों में SAC को भी पीछे छोड़ दिया।
एब्लेशन स्टडीज (Ablation Studies):
- ट्विन-टारगेट मैकेनिज्म को हटाने पर (Ablation 1) उच्च-अस्थिरता वाले शेयरों में महत्वपूर्ण प्रदर्शन गिरावट देखी गई (जैसे, AVGO के लिए IS 0.12% से बढ़कर 0.47% हो गया), जो वैल्यू स्थिरता के लिए पेसिमिस्टिक बैकअप की आवश्यकता की पुष्टि करता है।
- एडैप्टिव एक्सप्लोरेशन को हटाने पर (Ablation 2) भी प्रदर्शन कमजोर हुआ, विशेष रूप से कठिन शासन (regimes) में, जो दर्शाता है कि फिक्स्ड नॉइज़ शेड्यूल्स अपर्याप्त हैं।

महत्व और दावे

पेपर का दावा है कि TT-DAC-PS शास्त्रीय निष्पादन सिद्धांत की कठोरता और डीप सुदृढीकरण शिक्षण की अनुकूलन क्षमता के बीच के अंतर को सफलतापूर्वक पाटता है। इसका महत्व यह प्रदर्शित करने में निहित है कि:

अनुकूलन योग्य एक्सप्लोरेशन महत्वपूर्ण है, विशेष रूप से समय-परिवर्तनीय तरलता और गैर-स्थिर स्प्रेड वाले एपिसोडिक निष्पादन के लिए, जहाँ फिक्स्ड-नॉइज़ शेड्यूल्स विफल हो जाते हैं।
ट्विन-टारग्रेट पेसिमिस्टिक बैकअप उच्च विचरण वाले निरंतर नियंत्रण समस्याओं में वैल्यू एस्टीमेशन को स्थिर करने के लिए आवश्यक हैं।
प्रस्तावित आर्किटेक्चर एक मजबूत, सुरक्षा-बाधित समाधान प्रदान करता है जो प्रतिकूल बाजार स्थितियों में शास्त्रीय ह्यूरिस्टिक्स और मानक RL बेंचमार्क दोनों से बेहतर प्रदर्शन करता है।

लेखक एक संतुलित लहजा बनाए रखते हैं, यह नोट करते हुए कि हालांकि सुधार कई मामलों में सांख्यिकीय रूप से महत्वपूर्ण हैं, फिर भी कॉन्फिडेंस इंटरवल कुछ इंस्ट्रूमेंट्स के लिए ओवरलैप होते हैं, जो यह सुझाव देता है कि यह विधि यूनिफॉर्म डोमिनेंस के बजाय बेहतर औसत निष्पादन गुणवत्ता और प्रतिस्पर्धी मजबूती प्रदान करती है। यह कार्य एक उत्पादन-तैयार (production-ready) अनुकूल निष्पादन प्रणाली की दिशा में एक कदम के रूप में स्थित है जो जटिल माइक्रोस्ट्रक्चर डेटा से सीखते हुए सुरक्षा बाधाओं का सम्मान करती है।