FinRetrieval: A Benchmark for Financial Data Retrieval by AI Agents
यह शोध पत्र FinRetrieval प्रस्तुत करता है, जो संरचित डेटाबेस से विशिष्ट वित्तीय डेटा पुनर्प्राप्त करने की AI एजेंटों की क्षमता का मूल्यांकन करने वाला एक बेंचमार्क है, जो यह प्रकट करता है कि टूल की उपलब्धता (विशेष रूप से संरचित API) प्रदर्शन का प्राथमिक चालक है जबकि तर्क मोड और भौगोलिक नामकरण परंपराओं के सूक्ष्म प्रभावों को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप वित्तीय रिपोर्टों के एक विशाल पुस्तकालय में से विशिष्ट संख्याएँ खोजने के लिए सुपर-स्मार्ट रिसर्च असिस्टेंट की एक टीम को काम पर रख रहे हैं। आप उनसे पूछते हैं, "एप्पल ने 2024 की तीसरी तिमाही में कितना पैसा कमाया?"
कुछ असिस्टेंट बहुत बुद्धिमान हैं लेकिन उन्हें उत्तर खोजने के लिए पुस्तकालय के सार्वजनिक कैटलॉग (इंटरनेट) के माध्यम से खोज करनी पड़ती है। अन्य लोगों के पास एक विशेष, हाई-स्पीड लिफ्ट (एक स्ट्रक्चर्ड डेटाबेस) है जो उन्हें सीधे उसी शेल्फ और पेज तक ले जाती है जहाँ वह संख्या लिखी होती है।
यह पेपर, FinRetrieval, इस बारे में है कि ये AI "असिस्टेंट" इस विशिष्ट कार्य को कितनी अच्छी तरह से करते हैं। लेखकों ने (डालूपा नामक कंपनी द्वारा) वास्तविक कंपनी वित्त के बारे में 500 प्रश्न वाला एक परीक्षण बनाया और देखा कि 14 अलग-अलग AI सेटअप ने उन्हें कैसे हल किया।
यहाँ उनके निष्कर्षों का विवरण दिया गया, सरल उपमाओं का उपयोग करते हुए:
1. "दिमाग" से अधिक महत्वपूर्ण "टूल" है
निष्कर्ष: प्रदर्शन में सबसे बड़ा अंतर यह नहीं था कि कौन सा AI मॉडल (जैसे क्लॉड बनाम गूगल बनाम ओपनएआई) इस्तेमाल किया गया था; बल्कि यह था कि क्या उनके पास स्ट्रक्चर्ड डेटाबेस तक पहुंच थी।
- उपमा: दो जासूसों की कल्पना करें। जासूस A एक जीनियस है लेकिन उसके पास केवल एक आवर्धक लेंस (magnifying glass) और एक धूल भरा पुराना समाचार संग्रह (वेब सर्च) है। जासूस B थोड़ा कम जीनियस है लेकिन उसके पास पुलिस डेटाबेस तक सीधी फोन लाइन है (स्ट्रक्चर्ड API)।
- परिणाम: जब जासूस A (क्लॉड) को समाचार पत्र का उपयोग करना पड़ता है, तो वे केवल 20% बार सही उत्तर पाते हैं। वे एक सुराग पाएंगे, भ्रमित होंगे, खोज जारी रखेंगे और अंततः हार मान लेंगे। लेकिन जब जासूस B (क्लॉड) को सीधी फोन लाइन मिलती है, तो वे 91% बार सही उत्तर पाते हैं।
- सबक: AI को एक साफ डेटाबेस के साथ सीधा कनेक्शन देना, सबसे "स्मार्ट" AI मॉडल चुनने की तुलना में 3 से 4 गुना अधिक महत्वपूर्ण है।
2. "ज़्यादा सोचना" हमेशा मदद नहीं करता
निष्कर्ष: पेपर ने "रीजनिंग मोड" (जहाँ AI उत्तर देने से पहले लंबे समय तक सोचता है) का परीक्षण किया। आश्चर्यजनक रूप से, जो AI पहले से ही टूल्स का उपयोग करने में अच्छा था, उसे अतिरिक्त सोचने के समय से बहुत अधिक सुधार नहीं मिला। जो AI शुरू में टूल्स का उपयोग करने में बुरा था, वह "ज़्यादा सोचने" के निर्देश से सबसे अधिक सुधरा।
- उपमा: इसे गणित की परीक्षा देने वाले एक छात्र की तरह समझें।
- छात्र A (ओपनएआई): नियमित परीक्षा में, वे टेक्स्टबुक में फॉर्मूला देखना भूल जाते हैं (टूल)। जब आप उन्हें "ज़्यादा सोचने" के लिए कहते हैं, तो वे अंततः फॉर्मूला देख लेते हैं और उन्हें ग्रेड में भारी उछाल मिलता है।
- छात्र B (क्लॉड): नियमित परीक्षा में, वे पहले से ही जानते हैं कि फॉर्मूला कहाँ है और उसे तुरंत देख लेते हैं। उन्हें "ज़्यादा सोचने" के लिए कहने से वे बस एक सरल चरण का अत्यधिक विश्लेषण करने लगते हैं, जिससे उन्हें बहुत मामूली ग्रेड बूस्ट मिलता है।
- सबक: यदि कोई AI पहले से ही अपने टूल्स का उपयोग करने में अच्छा है, तो उसे "रीजनिंग" के लिए अधिक समय देना समय और पैसे की बर्बादी है। यदि वह टूल्स का उपयोग करने में बुरा है, तो "रीजनिंग" उसे टूल्स का बेहतर उपयोग करने में मदद करती है।
3. पहला अनुमान सबसे अधिक मायने रखता है
निष्कर्ष: जब AI अपने पहले ही प्रयास में सही उत्तर देता है, तो वह आमतौर पर तेज़ और सटीक होता है। जब वह पहली बार चूक जाता है, तो वह एक लूप में फंस जाता है, बार-बार एक ही सवाल पूछता रहता है, और उसकी सटीकता गिर जाती है।
- उपमा: यह "हॉट और कोल्ड" (खजाना ढूंढने का खेल) खेलने जैसा है।
- हॉट: आप तुरंत सही स्थान का अनुमान लगाते हैं। आप 3 चालों में जीत जाते हैं।
- कोल्ड: आप गलत अनुमान लगाते हैं। अब आप खजाना खोजने के लिए पूरे घर में इधर-उधर भागने लगते हैं, थक जाते हैं और भ्रमित हो जाते हैं। आप अंततः इसे पा सकते हैं, लेकिन इसकी बहुत अधिक संभावना है कि आप गलत होंगे या हार मान लेंगे।
- सबक: दक्षता की कुंजी यह नहीं है कि AI कितनी बार खोज करता है; बल्कि यह है कि क्या वह पहली बार में सही सवाल पूछता है।
4. भूगोल एक "नामकरण" की समस्या है, "दिमाग" की नहीं
निष्कर्ष: AI गैर-अमेरिकी कंपनियों की तुलना में अमेरिकी कंपनियों के बारे में उत्तर देने में बेहतर था। लेकिन ऐसा इसलिए नहीं था क्योंकि AI को जापान या ब्राजील के बारे में जानकारी नहीं थी। यह इसलिए था क्योंकि वे अपने वर्षों (years) को नाम देते हैं।
- उपमा: एक कैलेंडर की कल्पना करें।
- यूएस (US): हर कोई साल 1 जनवरी से शुरू करता है।
- जापान/भारत: कुछ कंपनियाँ अपना "वितीय वर्ष" (fiscal year) अप्रैल या अक्टूबर से शुरू करती हैं।
- भ्रम: यदि आप "2023" के लिए पूछते हैं, तो एक अमेरिकी कंपनी का अर्थ जनवरी-दिसंबर 2023 है। एक जापानी कंपनी का अर्थ अप्रैल 2022–मार्च 2023 हो सकता है। AI लेबल के कारण भ्रमित हुआ, गणित के कारण नहीं।
- सबक: AI पक्षपाती नहीं है; उसे बस अलग-अलग देशों द्वारा समय अवधि को लेबल करने के तरीके पर बेहतर निर्देश चाहिए।
सारांश: हमें क्या करना चाहिए?
पेपर निष्कर्ष निकालता है कि यदि आप एक ऐसा वित्तीय AI बनाना चाहते हैं जो काम करे:
- केवल सबसे स्मार्ट दिमाग न खरीदें। सबसे अच्छा डेटाबेस कनेक्शन (लिफ्ट) खरीदें।
- "सोचने" वाले फीचर्स पर पैसा बर्बाद न करें यदि AI पहले से ही अपने टूल्स का उपयोग करने में अच्छा है।
- लेबल ठीक करें। सुनिश्चित करें कि डेटाबेस स्पष्ट रूप से समझाता है कि विभिन्न देश अपने वर्षों और तिमाहियों को कैसे गिनते हैं।
संक्षेप में: टूल्स > दिमाग। एक नक्शा रखने वाला सहायक हमेशा एक कंपास रखने वाले जीनियस को हरा देगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।