BizFinBench.v2: Towards Reliable LLMs in Finance via Real-User Data and Offline/Online Bilingual Evaluation
यह शोध पत्र BizFinBench.v2 को प्रस्तुत करता है, जो चीनी और अमेरिकी इक्विटी बाजारों के वास्तविक उपयोगकर्ता डेटा का उपयोग करने वाला एक व्यापक द्विभाषी बेंचमार्क है, जो यह प्रकट करता है कि DeepSeek-R1 के उत्कृष्ट प्रदर्शन के बावजूद, वर्तमान अत्याधुनिक मॉडल अभी भी व्यावहारिक व्यावसायिक आवश्यकताओं पर खरे नहीं उतरते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को स्टॉक ट्रेडर बनना सिखाने की कोशिश कर रहे हैं। सालों से, हम इन रोबोट्स का परीक्षण नकली अभ्यास परीक्षाओं से भरी एक विशाल, शांत कक्षा में कर रहे हैं। रोबोट इन टेस्ट्स में ए+ (A+) ग्रेड प्राप्त करते हैं, जिससे हमें लगता है कि वे वास्तविक पैसा संभालने के लिए तैयार हैं। लेकिन वास्तविक दुनिया में, शेयर बाजार एक शांत कक्षा नहीं है; यह एक अराजक, शोर-शराबे वाला और तेजी से बदलने वाला रोलरकोस्टर है जहाँ नियम हर सेकंड बदलते रहते हैं।
यही वह बड़ी समस्या है जिसे इस पेपर के लेखक, Bizfinbench.v2, हल कर रहे हैं। उनका तर्क है कि पुराने "क्लासरूम टेस्ट" हमसे झूठ बोल रहे हैं। वे बनावटी डेटा पर आधारित हैं जो वास्तविक वित्त की अव्यवस्थपूर्ण वास्तविकता से मेल नहीं खाता। इसलिए, लेखकों ने इन रोबोट्स को टेस्ट करने के लिए एक बिल्कुल नया, वास्तविक दुनिया का जिम बनाया है।
नया जिम: वास्तविक डेटा, वास्तविक दांव
नकली सवालों के बजाय, यह नया बेंचमार्क 28,860 वास्तविक सवालों का उपयोग करता है जो वास्तविक लोगों ने चीनी और अमेरिकी शेयर बाजारों में वास्तविक वित्तीय ऐप्स पर पूछे थे। यह एक टेक्स्टबुक क्विज़ को लाइव, हाई-स्टेक्स पोकर गेम से बदलने जैसा है जहाँ चिप्स असली हैं।
इस जिम के दो मुख्य क्षेत्र हैं:
- ऑफलाइन ज़ोन: यहाँ रोबोट कठिन सवालों के जवाब देते हैं, जैसे "यह स्टॉक क्यों गिरा?" या "इस कंपनी की रिपोर्ट का विश्लेषण करें।" यहाँ 8 अलग-अलग प्रकार के कार्य हैं, जिनमें डेटा की अजीब गलतियों को पकड़ने से लेकर यह अनुमान लगाने तक शामिल है कि किसी उपयोगकर्ता की बाजार के प्रति क्या भावना है।
- ऑनलाइन ज़ोन: यह डरावना हिस्सा है। यहाँ, रोबोटों को रियल-टाइम निर्णय लेने होते हैं। उन्हें होते ही होने वाले स्टॉक प्राइस की भविष्यवाणी करनी होती है और एक नकली पोर्टफोलियो को मैनेज करना होता है, जिसमें वे लाइव मार्केट डेटा के आधार पर हर घंटे खरीदारी और बिक्री करते हैं। यह आँखों पर पट्टी बांधकर कार चलाने जैसा है, लेकिन कार 100 मील प्रति घंटे की रफ्तार से चल रही है और सड़क हर सेकंड बदल रही है।
परिणाम: रोबोट अभी भी सीख रहे हैं
जब लेखकों ने दुनिया के सबसे स्मार्ट रोबोट्स को इस वास्तविक दुनिया के जिम में डाला, तो परिणाम... काफी चौंकाने वाले थे।
यहाँ तक कि सुपरस्टार रोबोट, GPT-5 ने भी केवल 61.5% उत्तर सही दिए। यह एक स्कूल टेस्ट के लिए ठीक लग सकता है, लेकिन वास्तविक वित्तीय दुनिया में, आपको सुरक्षित रूप से उपयोग किए जाने के लिए 84.8% बार सही होना आवश्यक है। रोबोट अभी भी वास्तविक व्यवसाय की बुनियादी आवश्यकताओं को पूरा करने में विफल हो रहे हैं।
परीक्षण किए गए सभी रोबोटों में से, DeepSeek-R1 नाम का एक मॉडल अलग दिखा, लेकिन एक शर्त के साथ। यह एकमात्र मॉडल था जिसने ऑनलाइन निवेश खेल में "श्रेष्ठ निवेश प्रभावकारिता" दिखाई, जिससे वास्तव में +47.34% का लाभ हुआ। हालाँकि, यह थोड़ा लापरवाह भी था, इसने एक समय में अपने पैसे का 53% तक खो दिया (एक "मैक्सिमम ड्रॉडाउन")। यह एक ऐसे रेस कार ड्राइवर की तरह है जो दौड़ तो जीत जाता है लेकिन पोडियम तक पहुँचने के रास्ते में कार क्रैश कर देता है। हालांकि यह उपलब्ध मॉडल्स में सबसे अच्छा था, लेकिन यह एकमात्र ऐसा था जो मध्यम स्तर की पारंपरिक ट्रेडिंग रणनीतियों के प्रदर्शन के करीब भी आ सका; बाकी के कमर्शियल मॉडल्स मार्केट को हराने में विफल रहे।
दिलचस्प बात यह है कि लेखकों ने पाया कि कुछ रोबмोट्स जो "वित्तीय विशेषज्ञों" के रूप में प्रसिद्ध हैं, वे सामान्य उद्देश्यों वाले रोबोट्स की तुलना में खराब प्रदर्शन करते हैं। यह पता चलता है कि रोबोट को केवल फाइनेंस की टेक्स्टबुक्स पर प्रशिक्षित करना उसे बेहतर ट्रेडर नहीं बनाता यदि वह वास्तविक बाजार की अराजकता को नहीं संभाल सकता।
"सोचने" का जाल
लेखकों ने चेन-ऑफ-थॉट (CoT) नामक एक ट्रिक भी आजमाई, जहाँ उन्होंने रोबोट्स को जवाब देने से पहले "स्टेप-बाय-स्टेप सोचने" के लिए कहा। आपको लगेगा कि इससे मदद मिलेगी, है ना? गलत। अधिकांश रोबोट्स के लिए, इसने वास्तव में उन्हें और खराब बना दिया। यह एक घबराए हुए छात्र को गणित की समस्या के हर एक कदम का बहुत अधिक विश्लेषण करने के लिए कहने जैसा था, जब तक कि वह उत्तर ही भूल गया। एक रोबोट, Claude-Sonnet-4 का स्कोर केवल इसलिए 39.5% से गिरकर 13.7% हो गया क्योंकि उसे बहुत अधिक सोचने के लिए मजबूर किया गया था!
पाँच बड़ी गलतियाँ
जहाँ रोबोट विफल हुए, उस पर नज़र डालते हुए लेखकों ने पाँच विशिष्ट तरीके खोजे जिनसे वे वास्तविक दुनिया में गलती करते हैं:
- सिमेंटिक डेविएशन (अर्थ संबंधी विचलन): वे शब्दों को समझते हैं लेकिन उनके अर्थ को मिस कर देते हैं। वे सोच सकते हैं कि एक टेक कंपनी और एक सेमीकंडक्टर कंपनी एक ही है क्योंकि दोनों में "टेक" शब्द का उपयोग किया गया है, जबकि वे पूरी तरह से अलग व्यवसाय हैं।
- लॉजिक डिस्कंटीन्यूटी (तर्क की निरंतरता का अभाव): वे लंबी कहानियों में लय खो देते हैं। यदि आप उनसे लंबे समय के दौरान कारण-और-प्रभाव की श्रृंखला को ट्रैक करने के लिए कहते हैं, तो वे भ्रमित हो जाते हैं और चूक जाते हैं।
- मल्टीवेरिएट एनालिसिस (बहुचर विश्लेषण): वे एक साथ बहुत सारे काम नहीं संभाल सकते। जब उन्हें निर्णय लेने के लिए समाचार, चार्ट और उपयोगकर्ता की भावनाओं को मिलाने की आवश्यकता होती है, तो वे अभिभूत हो जाते हैं और गलत कारकों को चुन लेते हैं।
- हाई-प्रिसिजन डिस्टॉर्शन (उच्च-परिशुद्धता विरूपण): वे गणित में कमजोर हैं। वित्त में, एक दशमलव की छोटी सी त्रुटि लाखों का नुकसान करा सकती है, और ये रोबोट अक्सर संख्याओं की गणना गलत करते हैं।
- टाइम-ऑर्डर डिसऑर्डर (समय-क्रम विकार): वे टाइमलाइन को गड़बड़ा देते हैं। वे सोच सकते हैं कि कोई घटना प्रतिक्रिया होने से पहले हुई थी, या इसके विपरीत, जिससे पूरी कहानी ही पलट जाती है।
निचोड़
पेपर सुझाव देता है कि हालांकि ये AI मॉडल स्मार्ट हो रहे हैं, लेकिन वे अभी तक आपके व्यक्तिगत वित्तीय सलाहकार बनने के लिए तैयार नहीं हैं। उनके "टेस्ट स्कोर" और उनके "वास्तविक दुनिया के प्रदर्शन" के बीच का अंतर बहुत बड़ा है। लेखक यह नहीं कह रहे हैं कि AI बेकार है; वे कह रहे हैं कि हमें उन्हें नकली क्लासरूम में टेस्ट करना बंद करना चाहिए और उन्हें वास्तविक, अस्त-व्यस्त जिम में टेस्ट करना शुरू करना चाहिए। जब तक वे लगातार 84.8% सटीकता के निशान को नहीं छू लेते, हमें उन्हें हमारे पैसे संभालने देने में बहुत सावधान रहना चाहिए।
अच्छी खबर? लेखक अपना डेटा और वह "जिम" साझा कर रहे हैं जो उन्होंने बनाया है ताकि अन्य वैज्ञानिक रोबोट्स को वास्तविक दुनिया के लिए तैयार करने में मदद कर सकें। लेकिन फिलहाल के लिए, रोबोट अभी भी केवल छात्र हैं, मास्टर नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।