📈 economics

Evaluating AI Investment Strategies

यह शोध पत्र संचयी पछतावे (cumulative regret) को लागत वैक्टर (cost vectors) और नीतिगत निर्णयों के बीच प्रति-अवधि सहप्रसरण (per-period covariances) में एक सटीक अपघटन (exact decomposition) स्थापित करता है, जो प्लेटफॉर्म तंत्र और पोर्टफोलियो प्रबंधन जैसे गतिशील वातावरणों में ब्लैक-बॉक्स एल्गोरिद्मिक रणनीतियोंों के मूल्यांकन के लिए एक सुलभ, मॉडल-मुक्त ऑडिट ढांचा प्रदान करता है।

मूल लेखक: Irene Aldridge

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Irene Aldridge

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक खाद्य समीक्षक (food critic) हैं जो एक शेफ के खाना बनाने के तरीके का आकलन करने की कोशिश कर रहे हैं, लेकिन आपको रसोई में जाने की अनुमति नहीं है। आप रेसिपी, सामग्री को काटने की प्रक्रिया, या शेफ की आंतरिक विचार प्रक्रिया को नहीं देख सकते। आप केवल वही देख सकते हैं जो ग्राहक ने ऑर्डर दिया था (इनपुट) और जो प्लेट बनकर बाहर आई (आउटपुट)।

वर्षों से, नियामक (regulators) और निवेशक इस सटीक समस्या से जूझ रहे रहे हैं जो उन AI एल्गोरिदम के संबंध में है जो पैसे का प्रबंधन करते हैं। वे देख सकते हैं कि AI ने क्या खरीदा और बेचा, और वे बाजार की कीमतों को देख सकते हैं, लेकिन वे यह नहीं देख सकते कि AI ने अपने निर्णय कैसे लिए क्योंकि वे "बॉक्स को खोल" नहीं सकते।

इरेन एल्ड्रिज का यह शोध पत्र एक चतुर, गणितीय "जादुई ट्रिक" प्रदान करता है जिससे इस समस्या को हल किया जा सकता है। यह सिद्ध करता है कि आप केवल इस बात को देखकर सटीक रूप से माप सकते हैं कि एक AI कितना अच्छा (या बुरा) प्रदर्शन कर रहा है, जो संबंध उसके द्वारा प्राप्त ऑर्डर्स और उसके द्वारा परोसी गई प्लेटों के बीच है।

यहाँ इस शोध पत्र के मुख्य विचारों का रोजमर्रा के उदाहरणों के माध्यम से विवरण दिया गया है:

1. मूल विचार: 'रिग्रेट' (Regret) केवल "कोवैरिएंस" (Covariance) है

वित्त की दुनिया में, "रिग्रेट" वह अंतर है जो एक एल्गोरिदम ने वास्तव में कितना कमाया और उसने क्या कमाया होता यदि उसके पास पूर्ण पूर्वज्ञान (या कम से कम, औसत बाजार का पूर्ण ज्ञान) होता।

शोध पत्र की मुख्य खोज एक सरल समीकरण है: रिग्रेट = कोवैरिएंस।

इसे एक डांस पार्टनर की तरह समझें:

लागत (संगीत): यह बाजार की स्थिति है (जैसे, कीमतों का ऊपर या नीचे जाना)।
निर्णय (डांस मूव): यह वह है जो AI तय करता है (खरीदना या बेचना)।

यदि AI एक अच्छा डांसर है, तो वह संगीत के साथ चलता है। यदि संगीत ऊपर जाता है, तो वह ऊपर कदम रखता है। यदि संगीत नीचे जाता है, तो वह नीचे कदम रखता है। इस मामले में, "कोवैरिएंस" (वे कितनी अच्छी तरह एक साथ चलते हैं) उच्च है, लेकिन रिग्रेट कम है क्योंकि AI बिल्कुल वही कर रहा है जो स्थिति की मांग करती है।

हालाँकि, यदि AI एक बुरा डांसर है, तो वह संगीत के नीचे जाने पर ऊपर कदम रख सकता है। वह प्रवाह के विरुद्ध चल रहा है। शोध पत्र दिखाता है कि आप ठीक से माप सकते हैं कि कितनी "खराब डांसिंग" (रिग्रेट) हुई, बस यह गणना करके कि AI के मूव्स कितनी बार संगीत के साथ टकराए। आपको कोरियोग्राफी जानने की आवश्यकता नहीं है; आपको बस नृत्य देखना है।

2. "परफेक्ट" बनाम "रियल"

यह शोध पत्र सिद्ध करता है कि यह "रिग्रेट = कोवैरिएंस" नियम विशिष्ट स्थितियों के तहत पूरी तरह से काम करता है:

संगीत रैंडम है: बाजार के उतार-चढ़ाव एक-दूसरे से स्वतंत्र हैं (जैसे हर दिन एक सिक्का उछालना)।
डांसर ईमानदार है: AI का औसत निर्णय उस दिन के गणितीय रूप से पूर्ण निर्णय से मेल खाता है।

यदि ये शर्तें पूरी होती हैं, तो गणित सटीक है। आप बाजार और AI के निर्णयों के बीच दैनिक "टकराव" को जोड़ सकते हैं, और वह कुल योग ठीक वही है जो AI ने सर्वोत्तम संभव रणनीति की तुलना में खो दिया।

3. क्या होता है जब AI "बायस्ड" (Biased) होता है?

वास्तविक दुनिया में, AI हमेशा परफेक्ट नहीं होता। कभी-कभी उसकी एक "आदत" या "बायस" होती है।

मोमेंटम ट्रैप (Momentum Trap): कल्पना कीजिए कि एक AI हमेशा ट्रेंड का पीछा करने की कोशिश करता है। यदि कल बाजार ऊपर गया था, तो वह आज खरीदता है। शोध पत्र दिखाता है कि एक ऐसे बाजार में जो स्वाभाविक रूप से "रिवर्स" (ऊपर जाता है, फिर नीचे आता है) होता है, यह आदत एक विशिष्ट प्रकार की त्रुटि पैदा करती है।
सुधार (The Correction): शोध पत्र एक "करेक्शन फैक्टर" प्रदान करता है। यह एक समीक्षा में फुटनोट जोड़ने जैसा है: "नृत्य बुरा लग रहा था, लेकिन आज संगीत थोड़ा कठिन था, इसलिए हम स्कोर को एडजस्ट करते हैं।"
- यदि AI उच्च-लागत वाले निर्णयों की ओर बायस्ड है, तो कच्चा गणित उसे वास्तविक स्थिति से भी बदतर दिखा सकता है।
- यदि AI कम-लागत वाले निर्णयों की ओर बायस्ड है, तो कच्चा गणित उसे वास्तविक स्थिति से भी बेहतर दिखा सकता है।
- शोध पत्र इसे ठीक करने के लिए एक फॉर्मूला देता है, जिससे ऑडिटर्स को वास्तविक स्कोर प्राप्त करने में मदद मिलती है, भले ही AI की कोई बुरी आदत हो।

4. ऑडिटिंग के लिए यह क्यों महत्वपूर्ण है

यह शोध पत्र अनिवार्य रूप से नियामकों के लिए एक टूलकिट है।

कोई रहस्य नहीं चाहिए: आपको AI के सोर्स कोड की आवश्यकता नहीं है। आपको बस जो हुआ उसका लॉग (बाजार डेटा) और AI ने क्या किया (ट्रेड्स) चाहिए।
तेज़ और सस्ता: गणित इतना सरल है कि इसे एक मानक कंप्यूटर पर रीयल-टाइम में चलाया जा सकता है। यह कोई भारी, जटिल सिमुलेशन नहीं है; यह केवल एक सीधा कैलकुलेशन है कि AI के मूव्स बाजार के साथ कितनी बार "टकराए"।
"ब्लैक बॉक्स" खुला है: भले ही AI एक "ब्लैक बॉक्स" है (आप इसके अंदर नहीं देख सकते), यह तरीका आपको परिणाम स्पष्ट रूप से देखने देता है। यह "क्या यह AI धोखाधड़ी कर रहा है या सिर्फ बदकिस्मत है?" के रहस्य को एक सांख्यिकीय परीक्षण (statistical test) में बदल देता है जिसमें कॉन्फिडेंस इंटरवल (निश्चितता की सीमा) भी शामिल है।

5. वास्तविक दुनिया का परीक्षण: मोमेंटम स्ट्रैटेजी

लेखकों ने 2016 से 2025 तक के वास्तविक स्टॉक मार्केट डेटा पर इसका परीक्षण किया।

निष्कर्ष: उन्होंने "मोमेंटम" रणनीतियों (AI जो उन शेयरों को खरीदता है जो कल बढ़े थे) का अध्ययन किया।
परिणाम: गणित ने दिखाया कि ये रणनीतियाँ लगातार "संगीत के विरुद्ध नाचती" रहीं। बाजार अक्सर तेजी से रिवर्स होता है (जो ऊपर जाता है वह अक्सर अगले दिन नीचे आता है), लेकिन मोमेंटम AI ट्रेंड का पीछा करना जारी रखता है।
ऑडिट: उनके फॉर्मूले का उपयोग करके, वे मात्रात्मक रूप से माप सके कि इन रणनीतियों ने इस बेमेल होने के कारण कितना पैसा खोया। उन्होंने पाया कि जबकि मोमेंटम रणनीतियाँ कुछ वर्षों में ठीक लगती थीं, एक बार जब आपने "बायस करेक्शन" लागू किया, तो वास्तविक रिग्रेट अक्सर बहुत अधिक था।

सारांश

यह शोध पत्र इस बारे में एक मार्गदर्शिका है कि किसी रहस्यमय AI मैनेजर का ऑडिट कैसे किया जाए, बिना कभी उससे खुद को समझाने के लिए कहे। यह कहता है: "दिमाग को मत देखो; नृत्य को देखो।"

AI के निर्णयों और बाजार के उतार-चढ़ाव के बीच समय के साथ तालमेल को मापकर, आप इसके सटीक "रिग्रेट" (प्रदर्शन हानि) की गणना कर सकते हैं। यदि AI की कोई बुरी आदत है (जैसे रिवर्स होने वाले बाजार में ट्रेंड का पीछा करना), तो शोध पत्र आपको इसे ठीक करने के लिए गणित प्रदान करता है। यह नियामकों को यह कहने की अनुमति देता है, "हम जानते हैं कि इस एल्गोरिदम ने आपको वास्तव में कितना नुकसान पहुँचाया, और हम जानते हैं कि यह केवल बुरा भाग्य नहीं है—यह इसके नृत्य करने के तरीके में एक संरचनात्मक दोष है।"

तकनीकी सारांश: एआई निवेश रणनीतियों का मूल्यांकन

समस्या विवरण
यह शोध पत्र अनुक्रमिक वातावरण (sequential environments), जैसे कि हेज फंड, रोबो-एडवाइजर और निष्पादन एल्गोरिदम (execution algorithms) में "ब्लैक-बॉक्स" एल्गोरिद्मिक निर्णय लेने वालों के ऑडिटिंग की महत्वपूर्ण चुनौती को संबोधित करता है। नियामक (जैसे, SR 11-7 और SR-26-2 के तहत) और प्लेटफॉर्म डिजाइनर, आंतरिक सोर्स कोड या निजी एजेंट प्रकारों तक पहुंच प्राप्त किए बिना एल्गोरिद्मिक रणनीतियों का आकलन करने के लिए प्रदर्शन मेट्रिक्स की आवश्यकता रखते हैं। जबकि एकल-अवधि (single-period) ऑडिटिंग संभव है, इन विधियों को मल्टी-पीरियड स्टोकेस्टिक डायनेमिक प्रोग्राम्स तक विस्तारित करना—जहाँ प्रबंधक प्रत्येक अवधि में नए डेटा के आधार पर पुन: अनुकूलन (reoptimize) करते हैं—एक खुला प्रश्न बना हुआ है। मुख्य कठिनाई यह निर्धारित करना है कि क्या संचयी पछतावा (cumulative regret)—जो वास्तविक प्रदर्शन और एक सैद्धांतिक इष्टतम बेंचमार्क के बीच का अंतर है—केवल अवलोकन योग्य मात्राओं (इनपुट और आउटपुट) से ही विघटित किया जा सकता है।

कार्यप्रणाली और सैद्धांतिक ढांचा
लेखक एक सामान्य परिमित-क्षितिज (finite-horizon) स्टोकेस्टिक डायनेमिक प्रोग्राम को सूत्रबद्ध करते हैं जहाँ एक नीति $\hat{\pi}_t$ देखे गए राज्यों (states) और लागत वेक्टर $c_t$ को निर्णयों $z_t$ में मैप करती है। बेंचमार्क को वर्तमान जानकारी के आधार पर अपेक्षित लागतों को न्यूनतम करने वाली कंडीशनल-मीन इष्टतम नीति $\pi^*_t$ के रूप में परिभाषित किया गया है।

मुख्य कार्यप्रणाली योगदान संचयी पछतावे (cumulative regret) के लिए एक सटीक अपघटन (decomposition) का व्युत्पत्ति है। यह शोध पत्र स्थापित करता है कि विशिष्ट परिस्थितियों के तहत, $T$ अवधियों के लिए कुल पछतावा, लागत वेक्टर और नीति के निर्णय के बीच प्रति-अवधि सहप्रसरण (per-period covariances) के योग, और एक बायस करेक्शन (bias correction) टर्म के बराबर होता है:
$\text{Regret}^{(T)}(\Pi) = \sum_{t=1}^T \text{Cov}(c_t, \hat{\pi}_t(c_t)) + \sum_{t=1}^T \bar{c}_t^\top b_t$
जहाँ $b_t = E[\hat{\pi}_t(c_t)] - \pi^*_t$ प्रति-अवधि नीति बायस (policy bias) को दर्शाता है।

विश्लेषण कई सैद्धांतिक विस्तारों के माध्यम से आगे बढ़ता है:

i.i.d. लागत: स्वतंत्र और समान रूप से वितरित (i.i.d.) लागतों और माध्य-निरपेक्ष मार्कोव नीतियों (जहाँ $E[\hat{\pi}_t] = \pi^*_t$ ) के तहत, बायस टर्म लुप्त हो जाता है, जिससे एक सटीक पहचान (identity) प्राप्त होती है जहाँ पछतावा सहप्रसरण के योग के बराबर होता है।
गैर-स्थिरता (Non-Stationarity): समय-परिवर्तनीय लागत वितरणों के लिए, शोध पत्र एक क्लोज्ड-फॉर्म बायस करेक्शन व्युत्पन्न करता है जो क्रॉस-पीरियड कोवेरिएंस द्वारा सीमित है।
अनंत क्षितिज (Infinite Horizon): एक डिस्काउंटेड-क्षितिज एनालॉग स्थापित किया गया है, जो दिखाता है कि डिस्काउंटेड पछतावा प्रभावी क्षितिज $1/(1-\gamma)$ के रैखिक रूप से स्केल करता है।
AR(1) प्रक्रियाएं: माध्य-पुनरावर्ती (mean-reverting) निष्पादन लागतों (AR(1) के रूप में मॉडल) के लिए, शोध पत्र एक विशिष्ट ऑटो-कोवेरिएंस करेक्शन टर्म व्युत्पन्न करता है, जो यह सिद्ध करता है कि रॉ कोवेरिएंस योग, ऑटोकोरिलेशन के चिह्न के आधार पर वास्तविक पछतावे को बढ़ा या घटा सकते हैं।
बेलमैन पुनरावृत्ति (Bellman Recursion): कोवेरिएंस रिग्रेट फंक्शनल के लिए एक बेलमैन-शैली की पुनरावृत्ति व्युत्पन्न की गई है, जो संरचनात्मक रूप से सुदृढीकरण सीखने (reinforcement learning) में Q-फंक्शन के समान है। यह मूल अनुकूलन समस्या को हल किए बिना मानक डायनेमिक प्रोग्रामिंग एल्गोरिदम का उपयोग करके मल्टी-पीरियड पछतावे के अनुमान की अनुमति देता है।

प्रमुख योगदान
शोध पत्र आठ विशिष्ट योगदान देता है:

सटीक अपघटन: यह सिद्ध करना कि कुल अपेक्षित पछतावा i.i.d. लागतों और माध्य-निरपेक्ष नीतियों के तहत प्रति-अवधि इनपुट-आउटपुट सहप्रसरणों के योग में सटीक रूप से विघटित होता है।
बायस लक्षण वर्णन: गैर-स्थिर लागतों और समय-परिवर्तनीय नीतियों के लिए क्लोज्ड-फॉर्म बायस करेक्शन व्युत्पन्न करना, विशेष रूप से मोमेंटम रणनीतियों में बायस को $O(|\hat{\rho}|T\sigma_c^2)$ के रूप में मापना।
एल्गोरिद्मिक ऑडिटिंग टूल: एक ट्राजेक्टरी कोवेरिएंस एस्टीमेटर प्रस्तावित करना जो सुसंगत (consistent) है, HAC (हेटरोस्केडास्टिसिटी और ऑटोकोरिलेशन कंसिस्टेंट) वेरिएंस के साथ एसिम्टोटिकली नॉर्मल है, और जिसे $O(T \cdot nd)$ समय में गणना योग्य बनाया जा सकता है। यह केवल अवलोकन योग्य लागत और आवंटन अनुक्रमों का उपयोग करके मॉडल-फ्री ऑडिटिंग को सक्षम बनाता है।
वित्तीय अनुप्रयोग: रोलिंग-विंडो पोर्टफोलियो रीबैलेंसिंग पर सिद्धांत को लागू करना (यह दिखाते हुए कि अनुमान त्रुटि बायस $O(d/w)$ है) और माध्य-पुनरावर्ती निष्पादन लागत (एक क्लोज्ड-फॉर्म AR(1) करेक्शन प्रदान करना)।
सुदृढीकरण सीखना (Reinforcement Learning) संबंध: यह प्रदर्शित करना कि मानक RL इंफ्रास्ट्रक्चर (जैसे, फिटेड-Q) को व्युत्पन्न बेलमैन पुनरावृत्ति के माध्यम से मल्टी-पीरियड पछतावे का अनुमान लगाने के लिए पुन: उपयोग किया जा सकता है।

अनुभवजन्य परिणाम (Empirical Results)
सिद्धांत को जनवरी 2016 से दिसंबर 2025 तक के CRSP दैनिक रिटर्न डेटा का उपयोग करके मान्य किया गया है।

AR(1) गुणांक: सभी वर्षों और NBER शासन (regimes) में दैनिक AR(1) गुणांक लगातार नकारात्मक ( $\hat{\rho} \in [-0.144, -0.004]$ ) रहे, जो इंगित करते हैं कि शॉर्ट-होरिज़न रिवर्जन (reversal) ने मोमेंटम पर प्रभुत्व बनाए रखा।
रणनीति प्रदर्शन: रिवर्जन रणनीतियों ने दस में से सात वर्षों में मोमेंटम रणनीतियों को पछाड़ दिया।
बायस करेक्शन: बायस-करेक्टेड रिवर्जन रणनीति ने 2019 और 2022 में सबसे अच्छा जोखिम-समायोजित प्रदर्शन प्रदान किया, वे वर्ष जब रॉ रिवर्जन रणनीतियां विफल रही थीं। बायस करेक्शन "बीमा" के रूप में कार्य करता है, जो अनुकूल वर्षों में मामूली लागत वहन करता है लेकिन जब मोमेंटम डायनेमिक्स विकृत होते हैं तो महत्वपूर्ण लाभ प्रदान करता है।
मजबूती (Robustness): शोध पत्र पांच कन्फाउंड्स (साइज इफेक्ट्स, बिड-आस्क बाउंस, वोलैटिलिटी क्लस्टरिंग, क्रॉस-सेक्शनल बनाम टाइम-सीरीज मोमेंटम, और लिक्विडिटी प्रोविजन) की पहचान करता है जो संभवतः $\hat{\rho}$ को ऊपर की ओर बायस करते हैं। फलस्वरूप, गणना किए गए पछतावे के आंकड़े मोमेंटम-अट्रिब्यूटेबल नुकसान के रूढ़िवादी ऊपरी सीमा (conservative upper bounds) हैं।

महत्ता और दावे
शोध पत्र एल्गोरिद्मिक ऑडिटिंग को एक सांख्यिकीय परीक्षण समस्या के रूप में पुनर्गठित करके नियामक निरीक्षण के लिए एक "व्यवहार्य समाधान" प्रदान करने का दावा करता है।

नियामकों के लिए: अनुपालन अधिकारी केवल अवलोकन योग्य इनपुट और आउटपुट का उपयोग करके संचयी पछतावे के लिए कॉन्फिडेंस इंटरवल बना सकते हैं, जो मालिकाना अनुकूलन इंजन तक पहुंच की आवश्यकता के बिना SR 11-7 जैसे आदेशों को पूरा करता है।
मैकेनिज्म डिज़ाइन के लिए: यह पहचान (identity) एजेंट के निजी प्रकारों तक पहुंच के बिना उनके पछतावे को सीमित करने की अनुमति देती है, जो ब्लैक-बॉक्स ऑडिटिंग को गेम थ्योरी में कोवेरिएंस एस्टीमेशन समस्याओं से जोड़ती है।
नीति सुधार के लिए: बेलमैन पुनरावृत्ति यह निहित करती है कि पॉइंटवाइज कोवेरिएंस रिडक्शन मल्टी-पीरियड पछतावे में सुधार के लिए एक पर्याप्त स्थिति है, जो पूर्ण रणनीति गणना (full strategy enumeration) के बजाय एक कम्प्यूटेशनल रूप से सुलभ विकल्प प्रदान करता है।

लेखक पछतावे के अनुभवजन्य परिमाण के संबंध में एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि जबकि सैद्धांतिक अपघटन घोषित धारणाओं के तहत सटीक रूप से लागू होता है, अनुभवजन्य अनुमान अनऑब्जर्व्ड माइक्रोस्ट्रक्चर नॉइज़ और फैक्टर एक्सपोजर के कारण ऊपरी सीमा के रूप में कार्य करते हैं। प्राथमिक मूल्य प्रस्ताव अनुक्रमिक निर्णय प्रणालियों में प्रदर्शन एट्रिब्यूशन के लिए एक कठोर, मॉडल-फ्री मीट्रिक की स्थापना है।