📈 economics

Bridging Behavioral Finance and Robust Agentic DRL: A novel computational framework for Portfolio Selection

यह अध्ययन RPPO-MPT को प्रस्तुत करता है, जो एक नवीन सुदृढ़ सुदृढ़ीकरण शिक्षण (robust reinforcement learning) ढांचा है जो बाजार की अनिश्चितता के तहत निवेशक व्यवहार संबंधी प्राथमिकताओं के साथ बेहतर तालमेल बिठाकर इक्विटी पोर्टफोलियो अनुकूलन में पारंपरिक मॉडलों से बेहतर प्रदर्शन करने के लिए विक्षोभ-आधारित शोर न्यूनीकरण (perturbation-based noise reduction) को प्रॉस्पेक्ट थ्योरी-प्रेरित रिवॉर्ड शेपिंग के साथ एकीकृत करता है।

मूल लेखक: Ehsan Ameri, Majid Mirzaee Ghazani, Donya Rahmani

प्रकाशित 2026-06-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ehsan Ameri, Majid Mirzaee Ghazani, Donya Rahmani

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जहाज के कप्तान हैं जो एक बहुत ही तूफानी समुद्र में अपनी राह बना रहे हैं। यह समुद्र शेयर बाजार का प्रतिनिधित्व करता है, और आपका जहाज आपका निवेश पोर्टफोलियो (investment portfolio) है।

लंबे समय से, कप्तान (निवेशक) दो मुख्य तरीकों से दिशा निर्धारित करने के लिए उपयोग करते आए हैं:

पुराना नक्शा (पारंपरिक वित्त/Traditional Finance): यह मानता है कि समुद्र अनुमानित है और नाविक पूरी तरह से तर्कसंगत रोबोट हैं जिन्हें केवल मंजिल तक जितनी जल्दी हो सके पहुँचने की परवाह है, चाहे लहरें कितनी भी डरावनी क्यों न हों।
नया जीपीएस (मानक एआई/Standard AI): हालांकि, अधिकांश एआई कप्तान अभी भी रोबोट की तरह व्यवहार करते हैं। वे बड़ी लहरों (मुनाफे) से उत्साहित होते हैं, लेकिन जब पानी उथल-पुथल भरा होता है तो वे इंसानों की तरह ही घबरा जाते हैं, जिससे वे ऐसे निर्णय लेते हैं जो एक वास्तविक मानव निवेशक को "सही" नहीं लगते।

यह शोध पत्र एक नए, सुपर-स्मार्ट एआई कप्तान से परिचय कराता है जिसे RPPO-MPT कहा जाता है। इसे तीन विशिष्ट तरकीबों को जोड़कर इस तूफानी समुद्र को बेहतर ढंगм से संभालने के लिए डिज़ाइन किया गया है।

नए कप्तान की तीन तरकीबें

1. "क्या होगा अगर?" प्रशिक्षण (मजबूती/Robustness)
कल्पना कीजिए कि आप एक दौड़ के लिए अभ्यास कर रहे हैं। एक सामान्य कप्तान शांत दिन पर अभ्यास करता है। यदि दौड़ के दिन अचानक तूफान आ जाए, तो वह सुन्न पड़ सकता है।
हालाँकि, नया कप्तान एक सिम्युलेटर में अभ्यास करता है जहाँ कंप्यूटर जानबूझकर नकली तूफान, हवा के झोंके और कोहरा जोड़ देता है। यह पूछता है, "क्या होगा अगर हवा 5% अधिक तेज चले? क्या होगा अगर धारा थोड़ी बदल जाए?"
इन "नकली" अराजक स्थितियों में प्रशिक्षण लेकर, कप्तान सीखता है कि जब वास्तविक समुद्र अव्यवस्थपूर्ण हो जाए, तो कैसे शांत रहना है और सही दिशा में मुड़ना है। इसे परटर्बेशन-आधारित मजबूत शिक्षण (perturbation-based robust learning) कहा जाता है। यह एआई को शोर (noise) के प्रति कम संवेदनशील बनाता है और बाजार के उतार-चढ़ाव के दौरान घबराहट में निर्णय लेने की संभावना को कम करता है।

2. "मानवीय हृदय" पुरस्कार प्रणाली (प्रोस्पेक्ट थ्योरी/Prospect Theory)
मानक एआई कप्तान को हर कमाए गए डॉलर के लिए एक "गोल्ड स्टार" (पुरस्कार) मिलता है। लेकिन वास्तविक इंसान ऐसा महसूस नहीं करते।

डर: $100 खोना,$ 100 पाने की खुशी से कहीं अधिक बुरा लगता है।
उम्मीद: हम मुनाफे से उत्साहित होते हैं, लेकिन हम नुकसान से बहुत डरते हैं।
नये कप्तान को एक "उम्मीद-डर" पुरस्कार प्रणाली के साथ प्रोग्राम किया गया है। केवल डॉलर गिनने के बजाय, यह एक स्कोर की गणना करता है कि एक इंसान कैसा महसूस करेगा।
यदि जहाज पैसा बनाता है, तो इसे एक "उम्मीद" स्कोर मिलता है (लेकिन जैसे-जैसे आप अमीर होते हैं, उत्साह धीरे-धीरे बढ़ता है)।
यदि जहाज पैसा खोता है, तो इसे एक "डर" स्कोर मिलता है (और दर्द को 2.25 गुना बढ़ा दिया जाता है!)।
यह एआई को स्वाभाविक रूप से पैसा खोने के प्रति सावधान रहने के लिए प्रशिक्षित करता है, जितना कि वह पैसा कमाने के लिए उत्सुक है, जो कि यह दर्शाता है कि वास्तविक लोग वास्तव में कैसे व्यवहार करते हैं।

3. हाइब्रिड दृष्टिकोण (Hybrid Approach)
यह शोध पत्र तीन संस्करणों वाले कप्तानों की तुलना करता है:

बुनियादी कप्तान (PPO): मानक एआई जीपीएस का उपयोग करता है। अच्छा है, लेकिन तूफानों से हिल सकता है।
मजबूत कप्तान (RPPO): "क्या होगा अगर?" प्रशिक्षण का उपयोग करता है। बहुत स्थिर, लेकिन मानवीय डर को नहीं समझता।
सुपर कप्तान (RPPO-MPT): इसमें "क्या होगा अगर?" प्रशिक्षण और "मानवीय हृदय" पुरस्कार प्रणाली दोनों का उपयोग किया गया है।

दौड़ के परिणाम

लेखकों ने 15 बड़ी अमेरिकी कंपनियों (जैसे एप्पल और अमेज़न) के डेटा का उपयोग करके इन कप्तानों का परीक्षण किया, जो एक लंबी अवधि (2010 से 2025) तक चली। उन्होंने समय को दो भागों में विभाजित किया: एक "अभ्यास" अवधि (2010-2022) और एक "वास्तविक दौड़" अवधि (2022-2025)।

यहाँ क्या हुआ:

बुनियादी कप्तान ठीक-ठाक था, लेकिन कभी-कभी बाजार के उतार-चढ़ाव से विचलित हो जाता था।
मजबूत कप्तान अधिक स्थिर था और शोर को अच्छी तरह से संभालता था।
सुपर कप्तान (RPPO-MPT) दौड़ जीत गया।

सुपर कप्तान क्यों जीता?

उच्च रिटर्न: इसने समय के साथ अधिक पैसा बनाया।
बेहतर सुरक्षा: इसने डरावने हिस्सों के दौरान उतना पैसा नहीं गंवाया (कम "ड्रॉडाउन"/drawdown)।
खुश निवेशक: क्योंकि यह "उम्मीद-डर" के संतुलन को समझता था, इसने ऐसे परिणाम दिए जो एक मानव निवेशक के लिए बेहतर महसूस होते थे, जिससे एक बेहतर "उपयोगिता" (utility) स्कोर प्राप्त हुआ।

निष्कर्ष

यह शोध पत्र दावा करता है कि एआई को नकली अराजकता में अभ्यास करने (मजबूती बनाने के लिए) और इंसान की तरह सोचने (डर और उम्मीद को समझने के लिए) सिखाकर, आप एक ऐसा पोर्टफोलियो मैनेजर बना सकते हैं जो मानक एआई मॉडल की तुलना में अधिक सुरक्षित और अधिक लाभदायक है। यह ठंडे, कठोर गणित और लोगों के निवेश करने के वास्तविक, भावनात्मक वास्तविकता के बीच के अंतर को पाटता है।

तकनीकी सारांश: पोर्टफोलियो चयन के लिए व्यवहार संबंधी वित्त (Behavioral Finance) और सुदृढ़ एजेंटिक DRL का समन्वय

समस्या विवरण
वित्तीय बाजार गतिशील अस्थिरता, व्यापक आर्थिक झटकों और महत्वपूर्ण व्यवहार संबंधी प्रतिक्रियाओं द्वारा अभिलक्षित होते हैं, जिन्हें पारंपरिक पोर्टफोलियो अनुकूलन मॉडल अक्सर पकड़ने में विफल रहते हैं। पारंपरिक दृष्टिकोण, जिसमें मानक सुदृढीकरण लर्निंग (Reinforcement Learning - RL) एल्गोरिदम शामिल हैं, आमतौर पर रिटर्न-आधारित पुरस्कार संरचनाओं पर निर्भर करते हैं। ये संरचनाएं निवेशक की महत्वपूर्ण विशेषताओं जैसे कि हानि से अरुचि (loss aversion), लाभ और हानि के प्रति विषम प्रतिक्रियाओं और बाजार की अवस्थाओं की अंतर्निहित अनिश्चितता की अनदेखी करती हैं। फलस्वरूप, मानक RL एजेंट अस्थिर परिस्थितियों में सामान्यीकरण करने में संघर्ष कर सकते हैं, जिससे उप-इष्टतम समय (suboptimal timing), अत्यधिक जोखिम लेना, या बाजार की उथल-पुथल के दौरान समय से पूर्व निकास जैसी स्थितियां उत्पन्न हो सकती हैं। मौजूदा साहित्य में व्यवधान-आधारित सुदृढ़ता (perturbation-based robustness) और प्रोस्पेक्ट थ्योरी (Prospect Theory) से प्रेरित व्यवहारिक मॉडलिंग को एक एकीकृत RL आर्किटेक्चर के भीतर व्यवस्थित रूप से एकीकृत करने के संबंध में एक स्पष्ट अंतराल मौजूद है।

कार्यप्रणाली
यह अध्ययन एक नवीन कम्प्यूटेशनल फ्रेमवर्क, RPPO-MPT प्रस्तावित करता है, जो प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) एल्गोरिदम को दो प्राथमिक तंत्रों के माध्यम से विस्तारित करता है: व्यवधान-आधारित सुदृढ़ शिक्षण (perturbation-based robust learning) और व्यवहारिक पुरस्कार शेपिंग (behavioral reward shaping)। पोर्टफोलियो चयन की समस्या को 15 लार्ज-कैप अमेरिकी शेयरों वाले एक मार्कोव निर्णय प्रक्रिया (MDP) के रूप में तैयार किया गया है।

कार्यप्रणाली तीन तुलनात्मक चरणों में आगे बढ़ती है:

बेसलाइन PPO: एक मानक PPO एजेंट को समान भार (uniform weights) के साथ आरंभ किया जाता है और सुपरवाइज्ड लर्निंग के माध्यम से मीन-वैरिएंस पोर्टफोलियो (MPT) रणनीति का उपयोग करके प्री-ट्रेन किया जाता है। एजेंट लेनदेन लागत ( $\gamma = 0.01$ ) द्वारा दंडित संचयी रिटर्न को अधिकतम करने के लिए सीखता है। स्टेट स्पेस (state space) में 14-सप्ताह की विंडो के ऐतिहासिक रिटर्न और पिछले पोर्टफोलियो वेट्स शामिल हैं।
रोबस्ट PPO (RPPO): यह संस्करण बाजार के शोर (noise) के विरुद्ध स्थिरता बढ़ाने के लिए एक व्यवधान-आधारित प्रशिक्षण तंत्र पेश करता है। प्रत्येक स्टेट-एक्शन पेयर के लिए, एजेंट गाऊसी शोर ( $\sigma = 0.03$ ) का उपयोग करके $K=5$ विचलित (perturbed) अवस्थाएं उत्पन्न करता है। एक रोबस्ट रिवॉर्ड की गणना इन विचलित अवस्थाओं में रिटर्न के वेरिएंस को दंडित करके की जाती है, जिसे एक ट्रेड-ऑफ पैरामीटर $\beta = 0.2$ द्वारा नियंत्रित किया जाता है। यह नीति को छोटी अवस्था विविधताओं के प्रति कम संवेदनशील होने के लिए मजबूर करता है।
RPPO-MPT (प्रस्तावित मॉडल): यह मॉडल RPPO की सुदृढ़ता को प्रोस्पेक्ट थ्योरी (Prospect Theory) से प्रेरित रिवॉर्ड संरचना के साथ एकीकृत करता है। कच्चे रिटर्न को अनुकूलित करने के बजाय, एजेंट एक "होप-फियर" (आशा-भय) उपयोगिता फलन (utility function) को अनुकूलित करता है।
- संदर्भ निर्भरता (Reference Dependence): रिटर्न का मूल्यांकन एक संदर्भ बिंदु (जिसे शून्य पर सेट किया गया है) के सापेक्ष किया जाता है।
- हानि अरुचि (Loss Aversion): रिवॉर्ड फंक्शन परिणामों को "होप" (लाभ) और "फियर" (हानि) में विभाजित करता है। हानियों को लॉस-अवर्जन गुणांक ( $\lambda = 2.25$ ) द्वारा भारित किया जाता है, जबकि लाभ और हानि दोनों ही घटती संवेदनशीलता (diminishing sensitivity) ( $\alpha = \beta = 0.88$ ) के अधीन होते हैं।
- रिवॉर्ड शेपिंग: अंतिम रिवॉर्ड, 'होप' घटक और 'फियर' घटक के अनुपात (संख्यात्मक स्थिरता सुनिश्चित करने के लिए एक छोटे $\epsilon_1$ के साथ) में से घटा हुआ लेनदेन शुल्क है। यह संरचना स्पष्ट रूप से समान लाभों को पुरस्कृत करने की तुलना में डाउनसाइड रिस्क को अधिक दंडित करती है, जो एजेंट के उद्देश्य को व्यवहारिक निवेशक प्राथमिकताओं के साथ संरेखित करती है।

प्रायोगिक सेटअप
इन मॉडलों को जनवरी 2010 से मध्य जून 2022 तक 15 S&P 500 शेयरों के ऐतिहासिक एडजस्टेड प्राइस डेटा पर प्रशिक्षित किया गया था। आउट-ऑफ-सैंपल परीक्षण मध्य जून 2022 से सितंबर 2025 तक किया गया था। प्रदर्शन का मूल्यांकन वार्षिक रिटर्न, शार्प रेशियो, इन्फॉर्मेशन रेशियो, $\alpha$ , मैक्सिमम ड्रॉडाउन, लॉन्गएस्ट ड्रॉडाउन, वार्षिक टर्नओवर और विभिन्न जोखिम-अरुचता सेटिंग्स के तहत व्यवहारिक उपयोगिता सहित एक व्यापक सूट के माध्यम से किया गया।

मुख्य परिणाम
तुलनात्मक विश्लेषण प्रदर्शित करता है कि प्रस्तावित RPPO-MPT फ्रेमवर्क तीनों मॉडलों में से सबसे मजबूत आउट-ऑफ-सैंपल प्रदर्शन प्रोफाइल प्राप्त करता है:

श्रेष्ठ जोखिम-समायोजित रिटर्न: RPPO-MPT ने शार्प रेशियो, इन्फॉर्मेशन रेशियो और $\alpha$ के मामले में बेसलाइन PPO और रोबस्ट PPO (RPPO) दोनों को पछाड़ दिया।
व्यवहारिक संरेखण: मॉडल ने उच्च व्यवहारिक उपयोगिता प्राप्त की, जो हानि अरुच और विषम जोखिम धारणा के संबंध में निवेशक प्राथमिकताओं के साथ बेहतर संरेखण को दर्शाता है।
ड्रॉडाउन नियंत्रण: प्रतिस्पर्धी ड्रॉडाउन नियंत्रण बनाए रखते हुए, RPPO-MPT मॉडल ने रिटर्न सृजन से समझौता किए बिना प्रभावी ढंग से डाउनसाइड रिस्क का प्रबंधन किया।
स्थिरता: व्यवधान-आधारित सुदृढ़ता के एकीकरण ने एजेंट को अस्थिर परीक्षण अवधि (2022-2025) के दौरान स्थिरता बनाए रखने में सक्षम बनाया, जिससे बेसलाइन PPO में देखे जाने वाले अत्यधिक संकेंद्रण (over-concentration) और अनियमित पुनर्संतुलन (erratic rebalancing) से बचा जा सका।

महत्ता और दावे
लेख का दावा है कि इस कार्य का प्राथमिक योगदान एक एकल डीप सुदृढीकरण लर्निंग आर्किटेक्चर के भीतर रोबस्ट ऑप्टिमाइज़ेशन और व्यवहार संबंधी वित्त को सफलतापूर्वक जोड़ना है। वित्तीय प्रदर्शन, अवस्था अनिश्चितता के प्रति लचीलापन और निवेशक-संगत उपयोगिता के लिए संयुक्त रूप से अनुकूलित करके, RPPO-MPT फ्रेमवर्क पारंपरिक RL मॉडलों की सीमाओं को संबोधित करता है जो केवल रिटर्न मैक्सिमाइजेशन पर निर्भर हैं।

लेखक का तर्क है कि यह दृष्टिकोण वास्तविक वित्तीय प्रणालियों में "लचीले, मनोवैज्ञानिक रूप से सुदृढ़ निर्णय लेने वाले एजेंटों" को तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करता है। अध्ययन प्रदर्शित करता है कि अवस्था अनिश्चितता (व्यवधानों के माध्यम से) और निवेशक मनोविज्ञान (प्रोस्पेक्ट थ्योरी रिवॉर्ड शेपिंग के माध्यम से) को स्पष्ट रूप से ध्यान में रखने से RL एजेंटों की अनुकूलन क्षमता और निवेशक संरेखण बढ़ता है, जो पारंपरिक पोर्टफोलियो अनुकूलन विधियों के लिए एक अधिक सुदृढ़ विकल्प प्रदान करता है।

नए कप्तान की तीन तरकीबें

दौड़ के परिणाम

निष्कर्ष

इसी तरह के और पेपर