FinDeepIndicator: Benchmarking Deep Research Agents in End-to-End Financial Indicator Construction
यह शोध पत्र FinDeepIndicator प्रस्तुत करता है, जो वित्तीय संकेतक निर्माण के चार एंड-टू-एंड चरणों में डीप रिसर्च एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया पहला बेंचमार्क है, जो यह प्रकट करता है कि हालांकि ये एजेंट मानक सर्च-सक्षम LLMs से बेहतर प्रदर्शन करते हैं, फिर भी वे वास्तविक वित्तीय विश्लेषण परिदृश्यों के भीतर डेटा रिट्रीवल और संख्यात्मक निष्पादन में विश्वसनीयता के साथ संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन केवल एक गवाह से "आपने क्या देखा?" पूछने के बजाय, आपको पूरा काम खुद ही करना है। आपको यह तय करना होगा कि क्या सवाल पूछना है, भीड़भाड़ वाले शहर में गवाह को ढूंढना होगा, उसकी कहानी सुननी होगी, उसे लिखना होगा, गणित करना होगा ताकि यह देखा जा सके कि क्या उसकी कहानी सही है, और अंत में, जज को अपना फैसला सुनाना होगा। यह "डीप रिसर्च" (Deep Research) एजेंटों की दुनिया है। ये सुपर-स्मार्ट कंप्यूटर प्रोग्राम हैं जिन्हें इंसानी शोधकर्ताओं की तरह काम करने के लिए डिज़ाइन किया गया है: वे केवल सवालों के जवाब नहीं देते; वे बाहर जाते हैं, जानकारी की तलाश करते हैं, उसे जोड़ते हैं, और शुरुआत से जटिल समस्याओं को हल करते हैं। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि एक कंप्यूटर इंसान की तरह बात कर सकता है, इसका मतलब यह नहीं है कि वह इंसान की तरह काम भी कर सकता है। हो सकता है कि उसे किसी शब्द की परिभाषा तो पूरी तरह पता हो, लेकिन वह लाइब्रेरी में सही किताब खोजने में विफल हो जाए या पन्ने गिनते समय जोड़ करने में गलती कर दे।
वित्त (फाइनेंस) की दुनिया में, यह एक बड़ी बात है। वित्तीय संकेतक अर्थव्यवस्था के स्कोरकार्ड की तरह होते हैं—वे नंबर जो हमें बताते हैं कि कोई कंपनी कितनी स्वस्थ है, शेयर बाजार कितना घबराया हुआ है, या देश बढ़ रहा है या नहीं। इन नंबरों को पाने के लिए, आप केवल अनुमान नहीं लगा सकते; आपको वर्षों की वित्तीय रिपोर्टों को खंगालना होगा, विशिष्ट कंपनियों के लिए सटीक नंबर खोजने होंगे, और डेटा का हिसाब लगाना होगा। वैज्ञानिक इन कार्यों को करने के लिए इन "डीप रिसर्च" एजेंटों को बनाने में लगे हुए हैं, इस उम्मीद में कि वे मानव विश्लेषकों की जगह ले सकते हैं या उनकी मदद कर सकते हैं। लेकिन अब तक, किसी ने वास्तव में यह परीक्षण नहीं किया था कि क्या ये एजेंट वास्तव में इस पूरी जटिल प्रक्रिया को शुरू से अंत तक संभाल सकते हैं, या वे केवल स्मार्ट दिखने में अच्छे हैं जबकि बीच में मूर्खतापूर्ण गलतियाँ कर रहे हैं।
यहाँ आता है FinDeepIndicator, एक नया "परीक्षा" जिसे शोधकर्ताओं की एक टीम ने इन डिजिटल जासूसों का परीक्षण करने के लिए बनाया है। इस बेंचमार्क को विशेष रूप से वित्तीय एजेंटों के लिए बनाए गए एक विशाल बाधा दौड़ (obstacle course) के रूप में समझें। केवल यह पूछने के बजाय कि, "कंपनी X का लाभ क्या है?", यह परीक्षा एजेंट को चार अलग-अलग चीजें करने के लिए मजबूर करती है: पहला, सटीक गणितीय सूत्र (formula) का पता लगाना (जैसे कि यह जानना कि "प्रॉफिट मार्जिन" का अर्थ लाभ को बिक्री से विभाजित करना है); दूसरा, इंटरनेट से कच्चे नंबर ढूंढना; तीसरा, मध्यवर्ती परिणाम प्राप्त करने के लिए वास्तव में गणित करना; और अंत में, सही अंतिम उत्तर देना। शोधकर्ताओं ने 234 अलग-अलग प्रकार के वित्तीय स्कोर को कवर करने वाले 3,350 विभिन्न प्रश्नों का उपयोग करके इस कोर्स का निर्माण किया है, जिसमें अमेरिका और चीन दोनों की 800 वास्तविक कंपनियों का 10 वर्षों का डेटा लिया गया है।
जब उन्होंने एजेंटों को इस बाधा दौड़ के माध्यम से चलाया, तो परिणाम "बुरे नहीं हैं" और "ओह नहीं" का मिश्रण थे। एजेंट पहले चरण में आश्चर्यजनक रूप से अच्छे थे: नियमों को समझने में। वे 70% से अधिक समय तक सूत्रों को सही ढंग से पहचान सके, जिससे पता चलता है कि वे वास्तव में वित्तीय शब्दों का अर्थ समझते हैं। हालाँकि, जैसे ही उन्हें डेटा ढूंढने के लिए बाहर जाना पड़ा, चीजें बिखर गईं। उनकी सटीकता तेजी से गिरी। एजेंट सही नंबर खोजने में संघर्ष करते रहे, अक्सर गलत वर्ष, गलत कंपनी चुन लेते थे, या जानकारी का एक महत्वपूर्ण हिस्सा पूरी तरह से छोड़ देते थे। यह "डेटा संग्रह" वाला चरण सबसे बड़ी बाधा साबित हुआ, जिससे प्रदर्शन में सबसे बड़ी गिरावट आई।
यहाँ तक कि सबसे स्मार्ट एजेंट भी, जो एक साधारण सर्च इंजन की तुलना में बेहतर योजना बना सकते हैं और टूल्स का उपयोग कर सकते हैं, केवल 40% बार ही सही अंतिम उत्तर दे पाए। शोधकर्ताओं ने पाया कि एजेंट "मैक्रोइकॉनॉमिक" (समष्टि आर्थिक) संकेतकों (जैसे मुद्रास्फीति या श्रम दर) के मामले में विशेष रूप से खराब थे, जहाँ डेटा अव्यवस्थित होता है और अलग-अलग स्रोतों से आता है, और वे "टेक्निकल" संकेतकों के साथ और भी अधिक संघर्ष करते हैं जो जटिल, रोलिंग गणनाओं की मांग करते हैं। दिलचस्प बात यह है कि एजेंटों ने चीनी बाजार के डेटा की तुलना में अमेरिकी बाजार के डेटा पर थोड़ा बेहतर प्रदर्शन किया, जिससे पता चलता है कि अलग-अलग देशों में डेटा को व्यवस्थित करने और रिपोर्ट करने का तरीका बहुत बड़ा अंतर पैदा करता है।
निचोड़ यह है कि जबकि ये AI एजेंट वित्त के सिद्धांत को जानने में महान हैं, वे तथ्यों को खोजने और बिना गलती किए उन्हें प्रोसेस करने के अभ्यास में अभी भी अनाड़ी हैं। यह पेपर सुझाव देता है कि यदि हम चाहते हैं कि ये एजेंट वास्तविक दुनिया में वास्तव में उपयोगी हों, तो हमें केवल इस बात पर ध्यान केंद्रित करना बंद करना होगा कि वे कितनी अच्छी तरह चैट कर सकते हैं और इसके बजाय उनकी विश्वसनीय डेटा खोजने और बिना गलती किए उसे प्रोसेस करने की क्षमता को सुधारने पर ध्यान देना होगा। तब तक, वे एक ऐसे प्रतिभाशाली जासूस की तरह हैं जो कानून को पूरी तरह से जानता है लेकिन अपराध स्थल तक पहुँचने के रास्ते में ही भटक जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।