Can Open-Weight Models Compete on Financial Text Comprehension?
यह शोध पत्र बीस मॉडलों के साथ अपडेटेड फाइनेंशियल टचस्टोन बेंचमार्क का मूल्यांकन करता है, जो यह प्रकट करता है कि किमी K2.6 जैसे ओपन-वेट मॉडल सूचना पुनर्प्राप्ति (इन्फॉर्मेशन रिट्रीवल) की निरंतर बाधाओं और चीनी मॉडलों में असंगत भू-राजनीतिक इनकार व्यवहारों के बावजूद वित्तीय पाठ बोध में प्रोप्राइटरी सिस्टमों का मुकाबला कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर इंसानों की तरह पढ़ना, लिखना और तर्क करना सीख रहे हैं। आर्टिफिशियल इंटेलिजेंस (AI) नामक इस क्षेत्र में हाल ही में ऐसे नए मॉडल्स का विस्फोट हुआ है जो चैट कर सकते हैं, गणित की समस्याओं को हल कर सकते हैं और यहाँ तक कि कोड भी लिख सकते हैं। लेकिन एक पेंच है: इनमें से कई सुपर-स्मार्ट कंप्यूटर "ब्लैक बॉक्स" हैं। हम जानते हैं कि वे काम करते हैं, लेकिन हमें यह ठीक से नहीं पता कि उन्हें कैसे बनाया गया या उनके कोड के भीतर कौन से रहस्य छिपे हैं। हाल ही में, चीनी लैब्स से इन मॉडल्स की एक नई लहर आई है जो "ओपन-वेट" (open-weight) हैं, जिसका अर्थ है कि उनके ब्लूप्रिंट सार्वजनिक रूप से अध्ययन के लिए उपलब्ध हैं, उन गुप्त, बंद संस्करणों के विपरीत जो बड़ी अमेरिकी टेक कंपनियों के पास हैं। हर किसी के मन में उठ रहा बड़ा सवाल यह है: क्या ये खुले, सार्वजनिक मॉडल वित्तीय रिपोर्टों को पढ़ने और सच्चाई खोजने जैसे कठिन, उबाऊ लेकिन अत्यंत महत्वपूर्ण काम कर सकते हैं, या वे केवल स्मार्ट दिखने में ही माहिर हैं?
यह शोध पत्र इन बीस AI मॉडल्स के लिए एक विशाल, उच्च-दांव वाले परीक्षण की तरह है। शोधकर्ताओं ने एक "फाइनेंशियल टचस्टोन" (Financial Touchstone) चुनौती तैयार की, जो मूल रूप से दुनिया भर की कंपनियों की 495 वास्तविक वार्षिक रिपोर्टों का एक विशाल पुस्तकालय है, जिसके साथ 2,967 पेचीदा प्रश्न जोड़े गए हैं। इसे ऐसे समझें जैसे किसी छात्र को 495 पाठ्यपुस्तकों का ढेर दे दिया जाए और उससे पूछा जाए, "कंपनी X ने 2022 में कितना लाभ कमाया?" या "तीन मुख्य व्यावसायिक खंड क्या हैं?" लक्ष्य यह देखना था कि कौन सा AI बिना मनगढ़ंत बातें बनाए (जिसे "हैलुसिनेशन" या भ्रम की समस्या कहा जाता है) और बिना इसलिए अटक जाए कि वह किताब का सही पन्ना नहीं ढूँढ पा रहा है, सही उत्तर खोज सकता है।
परिणाम पूरी तरह से एक अप्रत्याशित मोड़ (प्लॉट ट्विस्ट) थे। लंबे समय तक, लोगों का मानना था कि जटिल वित्तीय गणित को संभालने के लिए आपको एक विशेष "तर्क करने वाले" (reasoning) मस्तिष्क या एक गुप्त, मालिकाना मॉडल की आवश्यकता होगी। लेकिन इस अध्ययन ने पाया कि ओपन-वेट मॉडल्स बहुत तेज़ी से बराबरी कर रहे हैं। वास्तव में, Kimi K2.6 नामक ओपन-वेट मॉडल तीसरे स्थान पर आया, जिसने कई प्रसिद्ध, गुप्त अमेरिकी मॉडल्स को पीछे छोड़ दिया! शीर्ष प्रदर्शन करने वाला मॉडल वास्तव में Claude Opus 4.6 था, जिसने 88.4% उत्तर सही दिए। हालाँकि, कहानी में एक मोड़ है: जबकि कुछ मॉडल्स सही उत्तर खोजने में बेहतरीन थे, अन्य मॉडल्स चीजें मनगढ़ंत न बनाने में अद्भुत थे। Google के Gemini 2.5 Pro में झूठ बोलने की दर सबसे कम थी, जिसका हॉलुसिनेशन रेट मात्र 0.08% था, लेकिन वह उत्तर खोजने में सबसे अच्छा नहीं था।
शोधकर्ताओं ने यह भी पता लगाया कि इन सभी AI मॉडल्स के लिए सबसे बड़ी समस्या उनके दिमाग नहीं, बल्कि उनकी आँखें थीं। लगभग आधे सभी गलतियाँ (48.9%) इसलिए हुईं क्योंकि कंप्यूटर बस उस विशाल रिपोर्ट में सही पन्ना नहीं ढूँढ सका जिसे उसे पढ़ना था। यह एक ऐसे प्रतिभाशाली व्यक्ति की तरह है जो किताब ढूँढने में असमर्थ है। एक और अजीब खोज यह थी कि कुछ चीनी मॉडल्स में एक "सेफ्टी फ़िल्टर" (सुरक्षा फ़िल्टर) था जो अचानक सामान्य वित्तीय प्रश्नों का उत्तर देने से मना कर देता था यदि रिपोर्ट में कुछ राजनीतिक हस्तियों या घटनाओं का उल्लेख होता था, जैसे कि कोई छात्र परीक्षा देने से मना कर दे क्योंकि विषय उसे उस नियम की याद दिलाता है जिसे तोड़ने की उसे अनुमति नहीं है।
तो, अंतिम निष्कर्ष क्या है? यह शोध पत्र सुझाव देता है कि ओपन-वेट मॉडल्स अब वित्त को समझने के मामले में दुनिया के सर्वश्रेष्ठ गुप्त मॉडल्स के साथ प्रतिस्पर्धा करने के लिए पर्याप्त मजबूत हैं। उन्हें एक शानदार काम करने के लिए "रीजनिंग" सुपर-कंप्यूटर होने की आवश्यकता नहीं है; कभी-कभी, एक सरल, खुला मॉडल भी उतना ही अच्छा काम करता है। लेकिन, अध्ययन यह चेतावनी भी देता है कि हमें अभी भी एक लंबा रास्ता तय करना है। कंप्यूटर बेहतर हो रहे हैं, लेकिन वे विशाल दस्तावेजों में सही जानकारी खोजने के लिए संघर्ष करते हैं, और कभी-कभी वे बहुत संवेदनशील सुरक्षा नियमों के कारण रुक जाते हैं। लेखक का निष्कर्ष है कि हालांकि हम ऐसे AI सहायकों के करीब हैं जो वास्तविक दुनिया की वित्तीय रिपोर्टों को संभाल सकते हैं, लेकिन इससे पहले कि हम अपने पैसे के लिए पूरी तरह से उन पर भरोसा कर सकें, हमें यह ठीक करने की आवश्यकता है कि वे जानकारी कैसे खोजते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।