Backtrader-Bench: Benchmarking LLM Agents on Algorithmic Trading with Self-Generated MCQs
यह शोध पत्र Backtrader-Bench को पेश करता है, जो स्व-निर्मित, कोड-सत्यापित बहुविकल्पीय प्रश्नों के माध्यम से एल्गोरिद्मिक ट्रेडिंग में LLM कोडिंग एजेंटों के मूल्यांकन के लिए एक नवीन ढांचा है, जो यह प्रदर्शित करता है कि टूल-ऑगमेंटेड एजेंट गैर-टूल बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करते हैं और भविष्य के सुदृढीकरण शिक्षण (reinforcement learning) प्रशिक्षण के लिए एक स्केलेबल बुनियादी ढांचा स्थापित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर आपसे केवल चैट नहीं करते, बल्कि वास्तव में काम भी करते हैं: वे कोड लिखते हैं, प्रोग्राम चलाते हैं और अपने आप जटिल समस्याओं को हल करते हैं। इन्हें "AI एजेंट" कहा जाता है। इन्हें एक सुपर-स्मार्ट डिजिटल इंटर्न की तरह समझें जो टर्मिनल खोल सकता है, कमांड टाइप कर सकता है और काम पूरा करने के लिए सॉफ्टवेयर चला सकता है। वित्त (फाइनेंस) की दुनिया में, इन एजेंटों को क्वांटिटेटिव ट्रेडर (quantitative trader) के रूप में प्रशिक्षित किया जा रहा है—वे लोग जो यह तय करने के लिए गणित और कंप्यूटर का उपयोग करते हैं कि कब स्टॉक खरीदना है या बेचना है। बड़ा सवाल यह है: क्या ये AI इंटर्न वास्तव में यह काम कर सकते हैं, या वे सिर्फ दिखावा करने में अच्छे हैं?
यह जानने के लिए, हमें उनका परीक्षण करना होगा। लेकिन एक ट्रेडर का परीक्षण करना पेचीदा है। आप उनसे सिर्फ यह नहीं पूछ सकते, "मुनाफा क्या है?" क्योंकि वे बिना गणित किए सही नंबर का अनुमान लगा सकते हैं। यह एक शेफ से केक के बारे में पूछने जैसा है जिसे उसने कभी बनाया ही नहीं; वे कह सकते हैं "यह मीठा और स्पंजी है," लेकिन इसका मतलब यह नहीं है कि वे सामग्री को मिलाना जानते हैं। वित्त में, नंबरों को गलत करना केवल एक खराब ग्रेड नहीं है; इसका मतलब है वास्तविक पैसा खोना। इसलिए, वैज्ञानिकों को एक ऐसे तरीके की आवश्यकता है जिससे वे यह परीक्षण कर सकें कि क्या एक AI वास्तव में ट्रेडिंग सॉफ्टवेयर चला सकता है, नंबरों की गणना कर सकता है, और सच्चाई बता सकता है कि उसकी रणनीति का प्रदर्शन कैसा रहा।
यही वह चीज़ है जिसे पेपर "Backtrader-Bench" संबोधित करता है। शोधकर्ताओं ने एक विशाल, स्वचालित परीक्षण मैदान बनाया है ताकि यह देखा जा सके कि क्या AI एजेंट एल्गोरिदम-आधारित ट्रेडिंग की जटिल, गणित-प्रधान वास्तविकता को संभाल सकते हैं। उन्होंने एक ऐसा सिस्टम बनाया है जो स्टॉक मार्केट सिमुलेशन के बारे में हजारों कठिन प्रश्न उत्पन्न करता है और फिर यह देखता है कि क्या AI उन्हें कोड लिखकर और चलाकर हल कर सकता है, या क्या वह केवल अपनी मेमोरी से उत्तर का अनुमान लगाने की कोशिश करता है।
द "बैकटेस्ट" वीडियो गेम
पहले, इस खेल के मैदान को समझते हैं। शोधकर्ताओं ने Backtrader नामक एक टूल का उपयोग किया, जो स्टॉक ट्रेडिंग के लिए एक वीडियो गेम सिम्युलेटर की तरह है। आप इसे नियमों का एक सेट (एक "रणनीति") देते हैं, जैसे "जब 10-दिवसीय औसत कीमत 30-दिवसीय औसत से ऊपर जाए तो खरीदें," और यह ऐतिहासिक स्टॉक डेटा का उपयोग करके एक सिमुलेशन चलाता है। यह आपको बताता है कि आपने कितना पैसा कमाया या गंवाया।
समस्या यह है कि ये सिमुलेशन सूक्ष्म, चालाकी भरे विवरणों से भरे होते हैं। कोड में एक छोटी सी गलती—जैसे एक छोटा सा ट्रांजैक्शन शुल्क भूल जाना या यह गलत गिनना कि आप कितने शेयर खरीद सकते हैं—एक जीतने वाली रणनीति को हारने वाली रणनीति में बदल सकती है। यदि कोई AI एजेंट केवल "हैलुसिनेट" (ऐसी चीजें बनाना जो सुनने में सही लगें पर फर्जी हों) कर रहा है, तो वह आपको एक आदर्श दिखने वाला प्रॉफिट नंबर दे सकता है जो पूरी तरह से नकली है।
दो-भाग वाला परीक्षण: क्विज़ और फ़िल्टर
इन नकली जवाबों को पकड़ने के लिए, लेखकों ने Backtrader-Bench बनाया, जो दो चतुर भागों वाला एक फ्रेमवर्क है।
भाग 1: नियत क्विज़ (The Deterministic Quiz)
कल्पना कीजिए कि एक शिक्षक एक टेस्ट लिखता है, उसे खुद हल करता है, और फिर यह सुनिश्चित करने के लिए कि वह 100% सही है, अपने काम के विरुद्ध उत्तर कुंजी (answer key) की जांच करता है। यह सिस्टम के पहले भाग के साथ भी वैसा ही है। यह एक ट्रेडिंग रणनीति लेता है, सिमुलेशन चलाता है, और स्वचालित रूप से बहुविकल्पीय प्रश्न उत्पन्न करता है।
- आसान प्रश्न: "1 जनवरी को स्टॉक की कीमत क्या थी?" (केवल एक नंबर ढूँढना)।
- मध्यम प्रश्न: "कितने ट्रेड लाभदायक थे?" (गिनती और फ़िल्टरिंग)।
- कठिन प्रश्न: "किसी भी समय पोर्टफोलियो को अधिकतम कितनी राशि का नुकसान हुआ?" (इसके लिए जटिल गणित और समय के साथ उच्चतम और निम्नतम बिंदुओं को ट्रैक करने की आवश्यकता होती है)।
महत्वपूर्ण रूप से, सिस्टम में एक "चेकर" रोबोट है जो उत्तर कुंजी को सत्यापित करने के लिए बिल्कुल उसी सिमुलेशन को दोबारा चलाता है। यदि उत्तर कुंजी दोबारा चलाए गए सिमुलेशन से मेल नहीं खाती है, तो उस प्रश्न को बाहर कर दिया जाता है। यह सुनिश्चित करता है कि परीक्षण निष्पक्ष है और उत्तर निर्विवाद रूप से सत्य हैं।
भाग 2: "हार्ड मोड" फ़िल्टर
पहला भाग अच्छा है, लेकिन क्या होगा यदि AI बहुत स्मार्ट है और बस उत्तर याद कर लेता है? इसे ठीक करने के लिए, शोधकर्ताओं ने एक दूसरा, अधिक आक्रामक पाइपलाइन जोड़ा। उन्होंने एक AI "जेनेरेटर" का उपयोग किया जो मौके पर ही नए, अजीब प्रश्न गढ़ता है।
फिर, उन्होंने एक "नो-टूल सॉल्वर" (एक AI जिसे कंप्यूटर का उपयोग करने की अनुमति नहीं है) को उन्हें हल करने के लिए चलाया।
- यदि नो-टूल सॉल्वर इसे सही पाता है, तो प्रश्न बहुत आसान है। इसे हटा दिया जाता है क्योंकि AI ने या तो अनुमान लगाया या इसे ट्रेनिंग डेटा से जान लिया।
- यदि नो-टूल सॉल्वर विफल हो जाता है, लेकिन एक "टूल-ऑगमेंटेड सॉल्वर" (एक AI जिसे कोड लिखने और चलाने की अनुमति है) इसे सही पाता है, तो प्रश्न को रखा जाता है।
यह "हार्ड मोड" प्रश्नों का एक विशेष सेट बनाता है जिनके लिए AI को वास्तव में गणित करना और कोड चलाना अनिवार्य होता है। आप अनुमान नहीं लगा सकते; आपको प्रोग्राम को निष्पादित करना ही होगा।
परिणाम: अनुमान लगाना बनाम करना
शोधकर्ताओं ने 11 अलग-अलग AI मॉडल्स को टेस्ट किया। कुछ को टूल्स (कोड चलाना, सिमुलेशन चलाना) का उपयोग करने की अनुमति दी गई थी, और कुछ को बिना उनके (केवल अपने दिमाग का उपयोग करके) उत्तर देने के लिए मजबूर किया गया था।
"विद-टूल्स" चैंपियन:
जब AI एजेंटों को कोड निष्पादन का उपयोग करने की अनुमति दी गई, तो वे शानदार थे। शीर्ष मॉडल्स (GPT-5.5 और Opus 4.7) ने एक ही प्रयास में 90.0% प्रश्नों को सही हल किया। उन्होंने कोड लिखा, सिमुलेशन चलाया और परिणाम पढ़ा। वे एक ऐसे शेफ की तरह थे जो वास्तव में केक बना रहा है और उसे चख रहा है।
"नो-टूल्स" का संघर्ष:
जब AI एजेंटों को कोड का उपयोग करने से प्रतिबंधित कर दिया गया और उन्हें मेमोरी से अनुमान लगाने के लिए मजबूर किया गया, तो स्कोर गिर गए। उनमें से सर्वश्रेष्ठ ने औसतन केवल 73.0% सही उत्तर दिए। लेकिन डरावनी बात यह है: जब शोधकर्ताओं ने उन्हें "हार्ड मोड" प्रश्नों पर टेस्ट किया (वे प्रश्न जिन्हें फ़िल्टर ने इसलिए रखा क्योंकि वे अनुमान लगाने के लिए बहुत कठिन थे), तो स्कोर तेजी से गिर गए।
- आधे मॉडल्स की सटीकता गिरकर लगभग 25% रह गई।
- चूंकि एक बहुविकल्पीय प्रश्न में चार विकल्प होते हैं, इसलिए 25% वही है जो आपको तब मिलता है जब आप आँखें बंद करके किसी अक्षर की ओर इशारा करते हैं।
यह सुझाव देता है कि कोड चलाने की क्षमता के बिना, इनमें से कई AI एजेंट जटिल वित्तीय कार्यों पर मूलतः अनुमान लगा रहे हैं। वे आत्मविश्वास से भरी बातें कर सकते हैं, लेकिन वे केवल नंबर बना रहे होते हैं।
यह क्यों महत्वपूर्ण है
यह पेपर दिखाता है कि वित्त में उपयोगी होने के लिए, AI को केवल एक चैटबॉट नहीं होना चाहिए जो वित्तीय शब्दों को जानता हो। इसे एक ऐसा एजेंट होना चाहिए जो वास्तव में काम कर सके। "Backtrader-Bench" फ्रेमवर्क साबित करता है कि हालांकि AI बेहतर हो रहा है, लेकिन यदि यह नंबरों को चलाने से पहले केवल अनुमान लगाता है, तो यह खतरनाक गलतियाँ करता है।
लेखक सुझाव देते हैं कि यह परीक्षण प्रणाली केवल AI को ग्रेड देने के लिए नहीं है; यह एक प्रशिक्षण मैदान है। इन सत्यापित, कठिन प्रश्नों को वापस AI में फीड करके, वे एक विशेष "क्वांट एजेंट" को प्रशिक्षित करने की आशा करते हैं जो बिना किसी मौन, महंगी त्रुटियों के एल्गोरिदम-आधारित ट्रेडिंग की जटिल, गणित-प्रधान दुनिया को विश्वसनीय रूप से संभाल सके। तब तक, पेपर सुझाव देता है कि हमें AI की ट्रेडिंग सलाह पर तब तक भरोसा करने में बहुत सावधान रहना चाहिए जब तक कि वह यह साबित न कर दे कि उसने वास्तव में सिमुलेशन चलाया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।