Indistinguishable from Chance: Auditing LLM-Generated Trading Strategies Against Exposure-Matched Nulls

निवेश की दुनिया में, सबसे मूल्यवान कौशल यह जानना है कि कब खरीदना है और कब बेचना है। इसे मार्केट टाइमिंग कहा जाता है। दशकों से, निवेशक ऐसी मशीनें बनाने की कोशिश कर रहे हैं जो इंसानों से बेहतर इन क्षणों का अनुमान लगा सकें, इस उम्मीद में कि वे छोटे लाभों को बड़े मुनाफे में बदल सकें। इस खोज में नवीनतम उपकरण 'लार्ज लैंग्वेज मॉडल' है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जो जटिल कंप्यूटर कोड लिखने और अपने तर्क को प्रवाहपूर्ण वाक्यों में समझाने में सक्षम है। इन मॉडलों से एक ट्रेडिंग रणनीति डिजाइन करने, उसे चलाने के लिए कोड लिखने और यहाँ तक कि एक ऐसी रिपोर्ट तैयार करने के लिए कहा जा सकता है जो यह दिखाए कि अतीत में इसने कितना पैसा कमाया होता। वादा यह है कि कोई भी व्यक्ति, चाहे वह एक पेशेवर फंड मैनेजर हो या एक जिज्ञासु व्यक्ति, कंप्यूटर से एक जीतने वाली योजना मांग सकता है और एक पूर्ण, तैयार-से-उपयोग समाधान प्राप्त कर सकता है। लेकिन भविष्य की भविष्यवाणी करने के लिए अतीत को देखने के साथ एक गहरी और सुविख्यात समस्या है। एक रणनीति कागज पर शानदार लग सकती है क्योंकि यह संयोग से डेटा के यादृच्छिक (रैंडम) पैटर्न से मेल खा गई थी, जिसे 'ओवरफिटिंग' नामक गलती के रूप में जाना जाता है। जब किसी रणनीति को ऐसी मशीन द्वारा बनाया जाता है जिसने वास्तविक दुनिया को कभी नहीं देखा, तो जोखिम यह होता है कि वह कोई छिपा हुआ पैटर्न नहीं ढूंढ रही है, बल्कि केवल शोर (नॉइज़) के आकार की नकल कर रही है।

शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए हाथ डाला कि क्या ये आर्टिफिशियल इंटेलिजेंस मॉडल वास्तव में बाजार के समय को पहचानने का कौशल रखते हैं, या उनके प्रभावशाली रिपोर्ट केवल एक सम्मोहक भ्रम हैं। उन्होंने मॉडलों को केवल कोड लिखने के लिए नहीं कहा; उन्होंने एक कठोर परीक्षण मैदान बनाया ताकि यह देखा जा सके कि जब वह कोड वास्तविक बाजार डेटा से मिलता है तो क्या होता है। शोधकर्ताओं ने पांच अलग-अलग एआई मॉडलों से तीन प्रमुख संपत्तियों के लिए ट्रेडिंग रणनीतियाँ बनाने को कहा: एसएंडपी 500 स्टॉक इंडेक्स, गोल्ड फ्यूचर्स, और यूरो और अमेरिकी डॉलर का मुद्रा जोड़ा। मॉडलों ने लगभग दो सौ अलग-अलग रणनीतियाँ बनाईं, जिनमें से प्रत्येक के पास कब खरीदना है और कब बेचना है, इसके अपने नियम थे। परीक्षण को निष्पक्ष सुनिश्चित करने के लिए, शोधकर्ताओं ने प्रत्येक रणनीति को एक नियंत्रित डिजिटल वातावरण में चलाया जिसमें हर ट्रेड के लिए एक छोटा शुल्क लिया गया, जो व्यवसाय करने की वास्तविक लागतों की नकल करता है। उन्होंने इन एआई-जनित योजनाओं के परिणामों की तुलना एक सरल बेंचमार्क से की: एक संपत्ति को खरीदना और बिना कभी बेचे उसे थामे रखना (होल्ड करना)। उन्होंने एआई रणनीतियों की तुलना एक चतुर नियंत्रण समूह (कंट्रोल ग्रुप) से भी की। प्रत्येक एआई रणनीति के लिए, उन्होंने एक "नुल" (शून्य) संस्करण बनाया, जिसमें उन्होंने ठीक वही समयावधि ली जो एआई ने स्थिति बनाए रखने के लिए चुनी थी, लेकिन उन अवधियों को यादृच्छिक रूप से इधर-उधर बदल दिया। इस परीक्षण ने सही क्षण चुनने की एआई की कथित क्षमता को हटा दिया, जिससे केवल यह बचा कि वह संपत्ति को एक निश्चित समय के लिए थामे हुए थी। यदि एआई वास्तव में कुशल होता, तो उसे इस बिखरे हुए (शफल किए गए) संस्करण से बेहतर प्रदर्शन करना चाहिए था।

परिणाम स्पष्ट और सुसंगत थे। सभी क्षेत्रों में, आर्टिफिशियल इंटेलिजेंस द्वारा बनाई गई रणनीतियाँ संपत्ति को थामे रखने की सरल क्रिया से आगे निकलने में विफल रहीं। औसतन, एआई रणनीतियों ने पैसा गंवाया, जिससे एक प्रदर्शन मीट्रिक प्राप्त हुआ जिसे 'शार्प रेशियो' कहा जाता है और वह नकारात्मक था। इसका अर्थ यह है कि जोखिम और ट्रेडिंग की लागतों को ध्यान में रखने के बाद, एक औसत निवेशक एआई की सलाह मानने के बजाय कुछ न करने में ही बेहतर होता। रणनीतियों का एक बहुत छोटा हिस्सा, आठ प्रतिशत से भी कम, साधारण 'बाय-एंड-होल्ड' दृष्टिकोण से बेहतर प्रदर्शन करने में सफल रहा। जब शोधकर्ताओं ने गहराई से देखा, तो उन्होंने पाया कि एआई मॉडल वास्तव में समय बताने (टाइमिंग) के किसी छिपे हुए कौशल को नहीं खोज रहे थे। रणनीतियों का प्रदर्शन उनके स्वयं के बिखरे हुए, यादृच्छिक संस्करणों से बेहतर नहीं था। वास्तव में, एआई रणनीतियाँ यादृच्छिक संभावना (रैंडम चांस) से सांख्यिकीय रूप से अविभेद्य थीं। वे कुछ बार जब एक रणनीति अच्छी दिखाई दी, तो ऐसा इसलिए नहीं था क्योंकि मॉडल ने बाजार की भविष्यवाणी करना सीख लिया था, बल्कि इसलिए था क्योंकि रणनीति संयोग से तब संपत्ति को अधिक समय तक थामे रखती थी जब बाजार बढ़ रहा था। यह 'लॉन्ग' होने या संपत्ति को थामे रखने की ओर एक झुकाव था, न कि सही क्षण चुनने का कौशल। जब शोधकर्ताओं ने इस पूर्वाग्रह को उनके बिखरे हुए समकक्षों के साथ तुलना करके हटा दिया, तो कौशल का भ्रम पूरी तरह से गायब हो गया।

शायद अध्ययन का सबसे खुलासा करने वाला हिस्सा तब हुआ जब शोधकर्ताओं ने मॉडलों को वह काम करने के लिए कहा जो वे वास्तव में नहीं कर सकते: डेटा दिए बिना एक बैकटेस्ट चलाना और परिणाम रिपोर्ट करना। मॉडलों से एक रणनीति लिखने, उसके प्रदर्शन की गणना करने और उपयोगकर्ता को अंतिम आंकड़े बताने के लिए कहा गया। कोई भी मॉडल ऐसा नहीं कर सका, क्योंकि उनके पास वास्तविक समय में कोड निष्पादित करने और नंबरों को क्रंच करने की क्षमता नहीं है। इसके बजाय, उन्होंने एक रिपोर्ट का सिमुलेशन (अनुकरण) पेश किया। कुछ मॉडलों ने एक स्क्रिप्ट प्रिंट की जो ऐसी दिखती थी जैसे कि अगर कोई और इसे चलाए तो यह नंबरों की गणना करेगी। कुछ मॉडलों ने सामान्य नियम बताए कि एक अच्छा परिणाम कैसा दिखता है। कुछ मॉडलों ने तो आगे बढ़कर विशिष्ट आंकड़े भी बना दिए, एक ऐसा टेक्स्ट प्रस्तुत किया जो एक पूर्ण रिपोर्ट जैसा दिखता था लेकिन पूरी तरह से मनगढ़ंत था। यह व्यवहार क्षमता और वास्तविक योग्यता के बीच के खतरनाक अंतर को उजागर करता है। मॉडल वित्त की भाषा में प्रवाहपूर्ण हैं और एक पेशेवर विश्लेषण की संरचना की नकल कर सकते हैं, लेकिन वे उस साक्ष्य को उत्पन्न नहीं कर सकते जिसकी विश्लेषण को आवश्यकता होती है।

अध्ययन ने यह भी जांचा कि क्या एक बड़े, अधिक शक्तिशाली मॉडल का उपयोग करने या अधिक मजबूत रणनीति मांगने से परिणाम बदल जाएगा। इससे कोई फर्क नहीं पड़ा। हालांकि बड़े मॉडलों ने ऐसा कोड लिखा जिसके बिना त्रुटि के चलने की अधिक संभावना थी, और विशिष्ट प्रॉम्प्ट्स ने इस बात को बदला कि वे कितनी बार संपत्ति को थामे रखते हैं, लेकिन किसी भी कारक ने बाजार के समय को पहचानने की क्षमता में सुधार नहीं किया। सुधार केवल 'एक्सपोज़र' में था, यानी रणनीति द्वारा बाजार में बिताए गए समय में, न कि निर्णयों की गुणवत्ता में। शोधकर्ताओं ने यह भी पाया कि उनके अपने परीक्षण प्रक्रिया को लगातार त्रुटियों के लिए जांचना पड़ता था। एक मामले में, उनके अपने सिस्टम की एक डेटा त्रुटि ने एक यादृच्छिक रणनीति को विजेता के रूप में दिखा दिया था, एक ऐसी गलती जो केवल इसलिए पकड़ी गई क्योंकि उन्होंने अपने काम को सत्यापित करने के लिए नियंत्रण (कंट्रोल्स) बनाए थे। इस स्व-ऑडिट ने केंद्रीय सबक को पुख्ता किया: एक प्रशंसनीय दिखने वाला परिणाम तब तक सही नहीं है जब तक कि उसकी जांच एक ऐसे मानक के विरुद्ध न की जाए जो यह सिद्ध कर सके कि यदि कोई विजेता मौजूद है तो परीक्षण उसे वास्तव में ढूंढ सकता है।

एक निवेशक के लिए, निष्कर्ष स्पष्ट है। आर्टिफिशियल इंटेलिजेंस मॉडल वर्तमान में ऐसी ट्रेडिंग रणनीतियाँ उत्पन्न करने में सक्षम नहीं हैं जिनमें वास्तविक कौशल हो। वे ऐसी रणनीतियाँ बनाते हैं जो पूर्ण और आत्मविश्वासी दिखती हैं, लेकिन जब वास्तविक डेटा के विरुद्ध परीक्षण किया जाता है, तो वे यादृच्छिक संभावना से बेहतर प्रदर्शन नहीं करती हैं और अक्सर केवल संपत्ति को थामे रखने (होल्ड करने) से भी बदतर होती हैं। उनके द्वारा बनाई गई रिपोर्ट, जो विशिष्ट आंकड़ों और प्रदर्शन चार्टों से भरी होती है, परिकल्पनाएं हैं, साक्ष्य नहीं। जब तक किसी रणनीति को दस्तावेजी डेटा पर फिर से नहीं चलाया जाता और एक निष्पक्ष बेंचमार्क के विरुद्ध नहीं परखा जाता जो यह गणना करे कि वह कितना समय बाजार में बिताती है, तब तक उसे अपुष्ट माना जाना चाहिए। इन उपकरणों पर भरोसा करने की लागत केवल बाजार को पछाड़ने का छूटा हुआ अवसर नहीं है, बल्कि निष्क्रिय निवेश (पैसिव इन्वेस्टिंग) से मिलने वाले स्थिर रिटर्न का संभावित नुकसान भी है। इन मॉडलों ने विशेषज्ञ की तरह बोलने की कला में महारत हासिल कर ली है, लेकिन उन्होंने अभी तक एक विशेषज्ञ बनना नहीं सीखा है।