Market-Bench: Evaluating Large Language Models on Introductory Quantitative Trading and Market Dynamics
यह शोध पत्र MARKET-BENCH प्रस्तुत करता है, जो एक ऐसा बेंचमार्क है जो बड़े भाषा मॉडलों (LLMs) का प्रारंभिक मात्रात्मक ट्रेडिंग कार्यों पर मूल्यांकन करता है, जिसके लिए उन्हें प्राकृतिक भाषा विवरणों से निष्पादन योग्य बैकटेस्टर्स उत्पन्न करने की आवश्यकता होती है, जिससे यह पता चलता है कि हालांकि वर्तमान मॉडल बुनियादी ट्रेडिंग इंफ्रास्ट्रक्चर को विश्वसनीय रूप से तैयार कर सकते हैं, फिर भी वे कीमतों, इन्वेंट्री और जोखिम के बारे में मजबूत तर्क करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत ही बुद्धिमान और तेज़ काम करने वाले रोबोटों की एक टीम है। ये रोबोट किताबें पढ़ने, कहानियाँ लिखने और सामान्य ज्ञान के सवालों के जवाब देने में माहिर हैं। लेकिन अब, आप यह देखना चाहते हैं कि क्या वे कुछ बहुत अधिक कठिन काम कर सकते हैं: नींबू के भाव का प्रबंधन करना जहाँ नींबू की कीमत हर सेकंड बदलती है, और आपको बिना अपना सब कुछ गंवाए मुनाफा कमाना है।
यह शोध पत्र MARKET-BENCH नामक एक नया परीक्षण पेश करता है ताकि यह देखा जा सके कि क्या ये "रोबोट दिमाग" (जिन्हें लार्ज लैंग्वेज मॉडल्स या LLMs कहा जाता है) वास्तव में एक साधारण ट्रेडिंग व्यवसाय चलाने के लिए आवश्यक गणित और तर्क (logic) को समझ सकते हैं।
यह परीक्षण कैसे काम करता है, इसे रोजमर्रा की भाषा में यहाँ समझाया गया है:
1. परीक्षण: "मशीन बनाना, सिर्फ उसके बारे में बात करना नहीं"
अधिकांश परीक्षण इन रोबोटों से व्यापार करने के तरीके के बारे में पूछते हैं। "अगर कीमत बढ़ती है, तो खरीदें!" वे ऐसा कह सकते हैं।
MARKET-BENCH अलग है। यह कहता है: "यहाँ एक रेसिपी और सामग्री की सूची दी गई है। वह कंप्यूटर कोड लिखें जो वास्तव में इस व्यवसाय को चलाता है।"
रोबोटों को ऐसा कोड लिखना था जो:
- उनके पास कितने पैसे हैं, इसका हिसाब रखे।
- विशिष्ट नियमों के आधार पर स्टॉक (जैसे माइक्रोसॉफ्ट, कोक और पेप्सी) खरीदे और बेचे।
- उन्होंने बिल्कुल कितना लाभ या हानि की, इसकी सटीक गणना करे।
- सबसे महत्वपूर्ण: रोबोट का गणित "गोल्ड स्टैंडर्ड" (आदर्श) उत्तर से बिल्कुल मेल खाना चाहिए। यदि रोबोट ने कहा कि उन्होंने 95 कमाए थे, तो रोबोट फेल हो गया।
2. तीन चुनौतियाँ (लेवल)
परीक्षण में कठिनाई के तीन स्तर थे, जैसे वीडियो गेम के लेवल होते हैं:
लेवल 1: सरल शेड्यूल (माइक्रोसॉफ्ट)
- काम: माइक्रोसॉफ्ट के स्टॉक को विशिष्ट समय पर खरीदना या बेचना, जैसे असेंबली लाइन पर एक रोबोटिक हाथ।
- चुनौती: आपको हर एक पैसे और हर एक शेयर का हिसाब पूरी तरह से रखना होगा।
- परिणाम: अधिकांश रोबोट मशीन बनाने में सक्षम थे (कोड सफलतापूर्वक चला), लेकिन कई ने छोटी गणितीय गलतियाँ कीं जो बाद में बड़ी गलतियों में बदल गईं। कुछ रोबोट एकदम सटीक थे; कुछ बहुत ज्यादा गलत थे।
लेवल 2: डांस पार्टनर (कोक बनाम पेप्सी)
- काम: यह एक "पेयर्स ट्रेडिंग" (Pairs Trading) खेल है। आप कोक और पेप्सी के अंतर पर दांव लगाते हैं। यदि कोक, पेप्सी की तुलना में बहुत महंगा हो जाता है, तो आप पेप्सी खरीदते हैं और कोक बेचते हैं, इस उम्मीद में कि वे वापस सामान्य हो जाएंगे।
- चुनौती: आपको एक साथ दो स्टॉक्स को संभालना होता है, एक जटिल "स्प्रेड" (दोनों के बीच का अंतर) की गणना करनी होती है, और दोनों के बीच अपने कुल धन का प्रबंधन करना होता है।
- परिणाम: यह बहुत कठिन था। कई रोबोटों ने मशीन को पूरी तरह से खराब कर दिया (कोड चला ही नहीं)। एक रोबोट (Qwen3 Max) ने ऐसी मशीन बनाई जो पूरी तरह से चली, लेकिन उसने मुनाफे की गणना 400 मिलियन डॉलर के रूप में की जबकि वास्तव में वह कुछ सौ डॉलर होना चाहिए था। यह ऐसा था जैसे किसी रोबोट ने एक कार बनाई जो बेहतरीन चलती तो है, लेकिन उसे लगता है कि वह चाँद पर गाड़ी चला रही है।
लेवल 3: रस्सी पर संतुलन (ऑप्शंस हेजिंग)
- काम: यह सबसे कठिन स्तर है। आपके पास माइक्रोसॉफ्ट स्टॉक पर एक जटिल बीमा पॉलिसी (एक ऑप्शन) है, और आपको अपने जोखिम को शून्य (risk neutral) रखने के लिए लगातार स्टॉक खरीदना या बेचना होता है। यह एक रस्सी पर चलते हुए करतब दिखाने जैसा है।
- चुनौती: समय का तालमेल (Timing) सब कुछ है। यदि आप एक पल के लिए भी देर करते हैं, तो आप पैसा खो देते हैं।
- परिणाम: यह सबसे कठिन था। कई रोबोट तो मशीन शुरू ही नहीं कर पाए। जो मशीन चला भी पाए, उनमें अक्सर गणित की बड़ी गलतियाँ थीं।
3. मुख्य निष्कर्ष
शोध पत्र ने तीन मुख्य बातें पाईं:
- विश्वसनीयता बनाम सटीकता (Reliability vs. Accuracy): कुछ रोबोट कोड बनाने के निर्देशों का पालन करने में अच्छे हैं (मशीन शुरू हो जाती है), लेकिन उनके अंदर का गणित करने में बहुत खराब हैं। अन्य गणित में अच्छे हैं लेकिन वे मशीन तक नहीं बना पाते।
- "भ्रम" (Hallucination) की समस्या: वास्तविक दुनिया में, यदि कोई रोबोट सोचता है कि उसने दस लाख डॉलर कमाए हैं जबकि वास्तव में उसने नुकसान किया है, तो आप दिवालिया हो जाएंगे। शोध पत्र दिखाता है कि ये रोबोट अक्सर ऐसे नंबर "बनाते" (hallucinate) हैं जो दिखने में तो अच्छे लगते हैं लेकिन पूरी तरह से गलत होते हैं।
- अभी तैयार नहीं हैं: लेखक निष्कर्ष निकालते हैं कि वर्तमान में, इन रोबोटों को ट्रेडिंग के मुख्य मस्तिष्क के रूप में उपयोग करना सुरक्षित नहीं है। वे एक बहुत ही प्रतिभाशाली इंटर्न की तरह हैं जो रिपोर्ट का ड्राफ्ट तो लिख सकता है, लेकिन बॉस को भेजने से पहले आपको उनके द्वारा लिखे गए हर एक नंबर की जांच करनी होगी।
निचोड़
इन लार्ज लैंग्वेज मॉडल्स को बहुत प्रतिभाशाली लेकिन अनुभवहीन प्रशिक्षुओं (apprentices) के रूप में देखें। वे एक ट्रेडिंग व्यवसाय शुरू करने के लिए कोड लिख सकते हैं, लेकिन वे अक्सर अकाउंटिंग (लेखांकन) में गड़बड़ी कर देते हैं। जब तक वे गणित और तर्क में बेहतर नहीं हो जाते, आप अपने पैसे को अकेले चलाने के लिए उन पर भरोसा नहीं कर सकते।
लेखकों ने यह परीक्षण (MARKET-BENCH) और एक सार्वजनिक स्कोरबोर्ड जारी किया है ताकि अन्य वैज्ञानिक बेहतर रोबोट बनाने की कोशिश कर सकें और देख सकें कि वास्तव में कौन गणित में बेहतर हो रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।