FinSkillBench: Evaluating AI Agents and Domain Skills for Investment Management
यह शोध पत्र निवेश प्रबंधन के पोर्टफोलियो निर्माण, जोखिम प्रबंधन और मौलिक विश्लेषण के क्षेत्र में एआई एजेंटों के मूल्यांकन के लिए एक व्यापक बेंचमार्क, फिनस्किलबेंच (FinSkillBench) का परिचय देता है, जो यह प्रदर्शित करता है कि क्यूरेटेड प्रक्रियात्मक कौशल तक पहुंच प्रदर्शन को महत्वपूर्ण रूप से बढ़ाती है जबकि स्व-जनित कौशल न्यूनतम लाभ प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
निवेश प्रबंधन की उच्च-दांव वाली दुनिया में, सफलता केवल इस बारे में एक अच्छा विचार रखने से कहीं अधिक है कि कौन से शेयर खरीदने चाहिए। इसके लिए सटीक डेटा एकत्र करने, जटिल गणनाएं करने और उन सख्त नियमों का पालन करने की एक कठोर, चरण-दर-चरण प्रक्रिया की आवश्यकता होती है जो यह नियंत्रित करते हैं कि पैसा कैसे स्थानांतरित किया जा सकता है। कल्पना कीजिए कि एक वित्तीय विश्लेषक को तीस अलग-अलग कंपनियों के पोर्टफोलियो को देखना है, यह गणना करनी है कि वे अचानक बाजार की गिरावट के प्रति कैसे प्रतिक्रिया दे सकते हैं, और फिर कानूनी सीमाओं के भीतर रहने के लिए होल्डिंग्स को पुनर्गठित करना है, और वह भी केवल अतीत के एक विशिष्ट दिन पर उपलब्ध जानकारी का उपयोग करते हुए। यह मानव पेशेवरों की दैनिक वास्तविकता है, लेकिन यह आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक नया क्षेत्र है। जबकि आधुनिक AI सिस्टम टेक्स्ट लिखने और सामान्य प्रश्न पूछने में उत्कृष्ट हैं, वे अक्सर इन सटीक, अनुशासित कार्यों को करने के लिए पूछे जाने पर संघर्ष करते हैं। वे जोखिम की अवधारणा को समझ सकते हैं, लेकिन वे अक्सर इसे सटीक रूप से मापने के लिए आवश्यक विशिष्ट गणितीय चरणों को निष्पादित करने या बिना किसी त्रुटि के पोर्टफोलियो को पुनर्संतुलित करने के लिए आवश्यक विस्तृत निर्देशों का पालन करने में विफल रहते हैं।
शोधकर्ताओं की एक टीम ने एक नया तरीका बनाया है जिससे यह परीक्षण किया जा सके कि क्या AI एजेंट वास्तव में इस तरह के काम को संभाल सकते हैं। उन्होंने एक विशेष परीक्षण स्थल बनाया जिसे 'FinSkill-Bench' कहा जाता है, जो AI सिस्टम के सामने 2,603 विशिष्ट निवेश परिदृश्य प्रस्तुत करता है। ये परिदृश्य तीन मुख्य क्षेत्रों को कवर करते हैं: शेयरों का पोर्टफोलियो बनाना, उन शेयरों से जुड़े जोखिमों का प्रबंधन करना, और व्यक्तिगत कंपनियों के वित्तीय स्वास्थ्य का विश्लेषण करना। शोधकर्ताओं ने AI से केवल उत्तर का अनुमान लगाने के लिए नहीं कहा; उन्होंने उसे एक विशिष्ट तिथि, कच्चे डेटा का एक सेट और एक स्पष्ट लक्ष्य दिया, और फिर परिणाम की तुलना मानक वित्तीय सॉफ्टवेयर द्वारा उत्पन्न ज्ञात, सही समाधान से की। लक्ष्य यह देखना था कि क्या AI एक पेशेवर विश्लेषक की तरह कार्य कर सकता है, सही समय पर सही डेटा प्राप्त कर सकता है और काम पूरा करने के लिए सही उपकरणों का उपयोग कर सकता है।
अध्ययन ने AI की मदद करने के तीन अलग-अलग तरीकों का परीक्षण किया। पहले परिदृश्य में, AI को बिना किसी मदद के पूरी तरह से स्वयं समस्याओं को हल करना था। दूसरे में, शोधकर्ताओं ने AI को एक "क्यूरेटेड" (विशेष रूप से तैयार किए गए) टूलसेट और लिखित मार्गदर्शिका प्रदान की। ये केवल यादृच्छिक दस्तावेज़ नहीं थे; ये सावधानीपूर्वक तैयार किए गए निर्देश और कंप्यूटर स्क्रिप्ट थे जो AI को दिखाते थे कि आवश्यक गणनाएं कैसे की जाएं और उपलब्ध उपकरणों का सही ढंग से उपयोग कैसे किया जाए। तीसरे परिदृश्य में, AI को कार्य करने का प्रयास करने से पहले अपने लिए स्वयं के निर्देश और उपकरण लिखने के लिए कहा गया था, जो अनिवार्य रूप से काम करने का तरीका खुद ही सीखने की कोशिश कर रहा था।
परिणाम स्पष्ट और निर्णायक थे। जब AI को पहले से बने, मानव-लिखित मार्गदर्शियों और उपकरणों के साथ दिया गया, तो इसके प्रदर्शन में नाटकीय सुधार हुआ। सभी परीक्षणों में, इन AI एजेंटों का औसत स्कोर लगभग 37 प्रतिशत से बढ़कर 53 प्रतिशत हो गया। सुधार सबसे महत्वपूर्ण उन कार्यों में देखा गया जिनमें भारी संख्या-गणना (number-crunching) की आवश्यकता थी, जैसे कि एक इष्टतम पोर्टफोलियो बनाना या छिपे हुए जोखिमों की पहचान करना। इन क्षेत्रों में, क्यूरेटेड टूल के साथ AI उन समस्याओं को हल करने में सक्षम था जिन्हें वह पहले बिल्कुल भी हल नहीं कर पा रहा था। शोधकर्ताओं ने पाया कि इन विश्वसनीय, चरण-दर-चरण प्रक्रियाओं तक पहुंच होना, AI मॉडल के चयन जितना ही महत्वपूर्ण था। सही उपकरणों के बिना एक शक्तिशाली AI मॉडल अक्सर विफल हो जाता था, जबकि सही उपकरणों के साथ एक सक्षम मॉडल सफल होता था।
इसके विपरीत, AI द्वारा मौके पर खुद को सिखाने का विचार काम नहीं आया। जब एजेंटों को समस्याओं को हल करने से पहले अपने स्वयं के मार्गदर्शिका और उपकरण लिखने के लिए मजबूर किया गया, तो उनके प्रदर्शन में बहुत कम बदलाव आया। उन्होंने इन निर्देशों को लिखने में बहुत अधिक समय और कंप्यूटिंग शक्ति खर्च की, लेकिन उनके द्वारा बनाए गए निर्देश अक्सर त्रुटिपूर्ण या अधूरे थे। अध्ययन ने दिखाया कि एक एकल प्रयास में, एक AI वित्तीय विश्लेषण के लिए आवश्यक जटिल, सटीक प्रक्रियाओं का विश्वसनीय रूप से आविष्कार नहीं कर सकता है। यह पर्याप्त नहीं है कि AI को कोड लिखना आता हो; इसे ऐसे कोड दिए जाने की आवश्यकता है जिसे पहले से ही टेस्ट और सत्यापित किया गया हो। शोधकर्ताओं ने यह सुनिश्चित करने के लिए एक अलग AI सिस्टम का उपयोग करके भी समान परीक्षण चलाए कि उनके निष्कर्ष केवल एक विशिष्ट सेटअप का संयोग नहीं थे। दूसरे सिस्टम ने भी वही पैटर्न प्रदर्शित किया: पहले से बने उपकरणों ने मदद की, और स्वयं-निर्मित उपकरणों ने नहीं।
यह कार्य सुझाव देता है कि वित्त जैसे गंभीर क्षेत्रों में AI के उपयोगी होने के लिए, हम मॉडलों पर चलते समय नियमों को समझने के भरोसे नहीं रह सकते। इसके बजाय, हमें ऐसे सिस्टम बनाने चाहिए जहाँ AI के पास कठिन काम करने के लिए विश्वसनीय, मानव-सत्यापित तरीकों तक पहुंच हो। अध्ययन निष्कर्ष निकालता है कि निवेश प्रबंधन में AI का भविष्य केवल स्मार्ट मॉडलों में नहीं, बल्कि बेहतर डिज़ाइन किए गए सिस्टम में निहित है जो उन मॉडलों को विश्वसनीय, पुन: प्रयोज्य कौशल के साथ जोड़ते हैं। शोधकर्ताओं ने अपने परीक्षण और उपकरण दूसरों के लिए उपलब्ध करा दिए हैं, इस उम्मीद के साथ कि वे इस क्षेत्र को इस बात पर ध्यान केंद्रित करके आगे बढ़ने में मदद कर सकें कि AI एजेंटों को वास्तविक दुनिया की समस्याओं को हल करने के लिए सही संसाधनों के साथ कैसे सुसज्जित किया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।