← नवीनतम पेपर
🤖 AI

Evaluating Investment Logic in Large Language Models: A Real-World Benchmark Towards Personalzied Financial Agents

यह शोध पत्र \textsc{InvestLogicBench} प्रस्तुत करता है, जो वास्तविक दुनिया के निवेशक निर्णयों का एक बड़े पैमाने का बेंचमार्क है जिसे प्रोफाइल-इवेंट-रीजनिंग-डिसीजन-आउटकम (Profile-Event-Reasoning-Decision-Outcome) ट्रेसेस के रूप में संरचित किया गया है, ताकि यह प्रदर्शित किया जा सके कि वर्तमान वित्तीय LLMs परिष्कृत लेकिन खराब रूप से ग्राउंडेड (grounded) तर्क प्रदर्शित करते हैं जिसे पारंपरिक केवल-परिणाम-आधारित (outcome-only) मूल्यांकनों द्वारा अनदेखा कर दिया जाता है, जिससे वे व्यक्तिगत परिणामी एजेंटों (personalized consequential agents) के लिए एक नए प्रोसेस-नेटिव डेटा इंटरफेस की वकालत करते हैं।

मूल लेखक: Yuanhong Jiang, Jingjie Zou, Zhenghong Lin, Xusheng Yu, Qiqi Huang, Shuai Jia, Shijie Dai

प्रकाशित 2026-08-07
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Yuanhong Jiang, Jingjie Zou, Zhenghong Lin, Xusheng Yu, Qiqi Huang, Shuai Jia, Shijie Dai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल पुस्तकालय में प्रवेश कर रहे हैं जो पैसे, स्टॉक और अर्थव्यवस्था के बारे में लिखे गए हर एक किताब से भरा हुआ है। आपके पास एक सुपर-स्मार्ट रोबोट दोस्त है जिसने हर एक पन्ना पढ़ लिया है। यदि आप उससे पूछते हैं, "मुद्रास्फीति (inflation) क्या है?" या "एप्पल की स्थापना किसने की थी?", तो आपका रोबोट तुरंत और पूरी तरह से उत्तर दे सकता है। अधिकांश कंप्यूटर प्रोग्राम जिन्हें "लार्ज लैंग्वेज मॉडल्स" (LLMs) कहा जाता है, आज इसी तरह टेस्ट किए जाते हैं: वे एक बुद्धिमान ट्रिविया चैंपियन की तरह होते हैं जो तथ्यों को रट सकते हैं और पाठ्यपुस्तकों के गणित के सवालों को हल कर सकते हैं। लेकिन यहाँ एक ट्विस्ट है: ट्रिविया चैंपियन होने का मतलब यह नहीं है कि आप जीवन का खेल खेल सकते हैं। वास्तविक दुनिया में, निवेश करना केवल तथ्यों को याद रखने के बारे में नहीं है; यह समाचारों की एक अराजक, शोर भरी भीड़ को सुनने, यह समझने के बारे में है कि वास्तव में क्या महत्वपूर्ण है, अपनी व्यक्तिगत क्षमता और जोखिम सहने की क्षमता के आधार पर निर्णय लेने, और फिर यह देखने के बारे में है कि क्या आप सही थे। यह फुटबॉल के नियमों को जानने और वास्तव में गोल करने के बीच के अंतर जैसा है, जबकि दूसरी टीम आपको रोकने की कोशिश कर रही हो।

यही वह समस्या है जिसे एक नया शोध पत्र (paper) संबोधित करता है। लेखकों ने देखा कि जबकि ये एआई रोबोट सामान्य परीक्षणों पर उत्तर देने में अद्भुत हैं, वे लाइव मार्केट में वास्तविक निवेश निर्णय लेने के लिए पूछे जाने पर बुरी तरह विफल हो जाते हैं। उन्होंने एआई को टेस्ट करने का एक नया तरीका बनाया, यह पूछकर नहीं कि "आप क्या जानते हैं?" बल्कि यह पूछकर कि "आप कैसे सोचते हैं?" उन्होंने एक विशेष खेल का मैदान बनाया जहाँ वे देख सकते थे कि एक एआई कैसे एक समाचार की घटना, अपने स्वयं के तर्क (reasoning), एक विशिष्ट क्रिया और अंतिम परिणाम के बीच संबंध जोड़ता है। उनकी बड़ी खोज क्या थी? सबसे स्मार्ट एआई रोबोट, जो सामान्य परीक्षणों पर उच्चतम स्कोर प्राप्त करते हैं, वास्तव में इस विशिष्ट प्रकार की सोच में काफी खराब हैं। वे शोर (noise) से भ्रमित हो जाते हैं, दूसरों के विचारों की नकल करते हैं, और अक्सर पैसा गंवा देते हैं, जबकि कुछ "कम बुद्धिमान" मॉडल वास्तव में बेहतर प्रदर्शन करते हैं। यह पेपर सुझाव देता है कि एक वास्तव में उपयोगी वित्तीय रोबोट बनाने के लिए, हमें उसकी याददाश्त का परीक्षण करना बंद करना चाहिए और एक अव्यवस्थित, अनिश्चित दुनिया में एक सुसंगत योजना बनाने की उसकी क्षमता का परीक्षण करना शुरू करना चाहिए।

महान "स्मार्ट लेकिन अनभिज्ञ" विरोधाभास (The Great "Smart but Clueless" Paradox)

शोधकर्ताओं ने एक उच्च-दांव वाला खेल सेट किया जिसे "लाइव-ट्रेडिंग एरिना" कहा गया। एक वीडियो गेम की कल्पना करें जहाँ विभिन्न एआई बॉट्स को नकली $10,000 दिए जाते हैं और उन्हें सात सप्ताह के लिए वास्तविक अमेरिकी बाजार में स्टॉक ट्रेड करने के लिए कहा जाता है। उन्हें हर घंटे अपने स्वयं के निर्णय लेने होते हैं, ठीक वैसे ही जैसे एक मानव ट्रेडर ब्रेकिंग न्यूज़ पर प्रतिक्रिया देता है। लक्ष्य यह देखना था कि क्या एआई की "सामान्य बुद्धिमत्ता" (सामान्य परीक्षणों पर उसका प्रदर्शन) उसके "ट्रेडिंग कौशल" (उसने कितना पैसा कमाया) से मेल खाती है।

परिणाम थोड़े चौंकाने वाले थे। पेपर इसे "क्षमता-प्रदर्शन विरोधाभास" (Capabilities-Performance Paradox) कहता है। यह उस छात्र की तरह है जो हर इतिहास की परीक्षा में A+ प्राप्त करता है लेकिन नींबू पानी का स्टाल चलाने में बुरी तरह विफल हो जाता है क्योंकि वह अचानक आई बारिश को संभाल नहीं पाता। उच्चतम सामान्य स्कोर वाले एआई मॉडल, जैसे GPT-5 और Claude-Sonnet-4.5, वास्तव में काफी खराब प्रदर्शन करते हैं। उनमें से एक, GPT-5, ने अपनी शुरुआत से कम पैसा बनाया, लगभग 1.0% का नुकसान हुआ। दूसरा, Claude-Sonnet-4.5, मुश्किल से कोई लाभ कमा पाया। वे एक साधारण इंडेक्स फंड (S&P 500) खरीदने की "कुछ न करने" वाली रणनीति से भी बदतर रहे।

विडंबना के रूप में, वे मॉडल जिनका सामान्य परीक्षणों पर स्कोर कम था, उन्होंने बाजार में बहुत बेहतर प्रदर्शन किया। उदाहरण के लिए, DeepSeek-V3 ने अपने 10,000को10,000 को 11,400 से अधिक में बदल दिया, जिससे उसने बाजार और "स्मार्ट" मॉडलों को पीछे छोड़ दिया। यह सुझाव देता है कि प्रश्न पूछने में अच्छा होना स्वचालित रूप से आपको निर्णय लेने में कुशल नहीं बनाता जब भविष्य अनिश्चित हो।

"स्मार्ट" बॉट्स क्यों विफल होते हैं?

लेखकों ने गहराई से जांच की कि उच्च स्कोर वाले मॉडल पैसा क्यों गंवा रहे थे। उन्हें दो मुख्य कारण मिले, जिन्हें वे "कंसेंसस बायस" (Consensus Bias) और "रीज़निंग फ्रैगमेंटेशन" (Reasoning Fragmentation) कहते हैं।

कंसेंसस बायस (Consensus Bias) को झुंड के पीछे चलने वाली भेड़ की तरह समझें। जब कोई बड़ी घटना होती है, तो "स्मार्ट" मॉडल अक्सर वही दोहराते हैं जो बाकी सब पहले से ही सोच रहे होते हैं क्योंकि उनके प्रशिक्षण डेटा में वही सबसे अधिक देखा गया होता है। उनके पास एक अलग दृष्टिकोण या छिपे हुए अवसर को खोजने का साहस नहीं होता। वे बस कहते हैं, "ओह, बाजार नीचे जा रहा है, इसलिए मुझे बेचना चाहिए," भले ही एक मानव विशेषज्ञ कम कीमत पर खरीदने का अवसर देख सकता हो।

रीज़निंग फ्रैगमेंटेशन (Reasoning Fragmentation) ऐसा है जैसे किसी के आपके चेहरे पर कंफेटी (confetti) फेंकते समय पहेली सुलझाने की कोशिश करना। जब बाजार बहुत सारी विरोधाभासी खबरों के साथ शोर-शराबे से भर जाता है, तो ये मॉडल अभिभूत हो जाते हैं। वे एक सरकारी बैठक की खबर और एक विशिष्ट स्टॉक की कीमत के बीच संबंध जोड़ने में असमर्थ होते हैं। एक स्पष्ट कहानी बनाने के बजाय, वे भ्रमित हो जाते हैं, जल्दबाजी में निष्कर्ष निकालते हैं, या ऐसे निर्णय लेते हैं जो खुद का खंडन करते हैं। वे एक टेक कंपनी के बारे में हेडलाइन देख सकते हैं और तुरंत उसे खरीद सकते हैं, यह नजरअंदाज करते हुए कि कंपनी की हालिया अर्निंग रिपोर्ट खराब रही है।

नया परीक्षण: INVESTLOGICBENCH2026

इसे ठीक करने के लिए, टीम ने INVESTLOGICBENCH2026 नामक एक नया परीक्षण मैदान बनाया। केवल एआई को एक प्रश्न का उत्तर देने के लिए कहने के बजाय, यह बेंचमार्क निवेश किए जाने की पूरी प्रक्रिया को देखता है। वे इसे P→E→R→D→O श्रृंखला कहते हैं:

  • P (Person - व्यक्ति): निवेशक कौन है? उनके लक्ष्य और डर क्या हैं?
  • E (Event - घटना): दुनिया में क्या हुआ? (जैसे, "Fed ने ब्याज दरें बढ़ा दीं।")
  • R (Reasoning - तर्क): निवेशक घटना को अपने लक्ष्यों से कैसे जोड़ता है? (जैसे, "उच्च दरें मतलब उधार लेना महंगा है, इसलिए टेक स्टॉक्स गिर सकते हैं।")
  • D (Decision - निर्णय): वे क्या कार्रवाई करते हैं? (जैसे, "मैं अपने टेक स्टॉक्स बेच देता हूँ।")
  • O (Outcome - परिणाम): क्या यह काम आया? (जैसे, "हाँ, स्टॉक गिर गए, और मैंने पैसा बचा लिया।")

उन्होंने 151 वास्तविक विशेषज्ञों (जैसे प्रसिद्ध फंड मैनेजर और वित्तीय इन्फ्लुएंसर) से 2,00,000 से अधिक वास्तविक निवेश निर्णय एकत्र किए। उन्होंने यह विस्तार से समझा कि उन मनुष्यों ने कैसे सोचा, उनकी पढ़ी गई खबरों से लेकर उनके किए गए ट्रेड तक। फिर, उन्होंने एआई मॉडलों को भी वही करने के लिए कहा: समाचार देखें, एक विशिष्ट प्रकार के निवेशक की तरह सोचें, निर्णय लें और देखें कि क्या तर्क सही बैठता है।

परिणाम: तर्क का अंतर (A Logic Gap)

जब उन्होंने इस नए मानक के विरुद्ध एआई मॉडels का परीक्षण किया, तो परिणाम स्पष्ट थे। मॉडल "तर्क की गुणवत्ता" (Reasoning Quality) पर बहुत कम स्कोर करते हैं। 1 से 5 के पैमाने पर, सर्वश्रेष्ठ प्रदर्शन करने वाला मॉडल (DeepSeek-V3) 2.8 स्कोर करता है, जबकि सबसे खराब (GPT-5) केवल 1.8 स्कोर करता है। वे महत्वपूर्ण समाचार और सामान्य शोर के बीच अंतर करने में संघर्ष करते हैं। वे अक्सर ऐसे निर्णय लेते हैं जो उनके अपने तर्क या निवेशक की प्रोफाइल से मेल नहीं खाते।

उदाहरण के लिए, एक परीक्षण मामले में, एक मानव विशेषज्ञ ने सरकारी शटडाउन, जॉब रिपोर्ट्स और ब्याज दरों के मिश्रण को देखा और सही ढंग से "सुरक्षित" संपत्तियों को खरीदने का निर्णय लिया। हालांकि, एआई मॉडल भ्रमित हो गए। कुछ ने केवल डरावनी सुर्खियों पर ध्यान केंद्रित किया, कुछ ने सबसे महत्वपूर्ण हिस्सों को अनदेखा कर दिया, और कुछ ने विरोधाभासी तर्क दिए। एक मॉडल ने तो ऐसे स्टॉक भी खरीद लिए जो उसके द्वारा पढ़ी जा रही खबरों से पूरी तरह से असंबंधित थे।

पेपर निष्कर्ष निकालता है कि हालांकि एआई कभी-कभी लाभदायक ट्रेड उत्पन्न कर सकता है (शायद भाग्य से या पैटर्न की नकल करके), इसमें वह गहरा, सुसंगत तर्क नहीं है जिसका उपयोग मानव विशेषज्ञ अनिश्चितता के बीच नेविगेट करने के लिए करते हैं। "स्मार्ट" मॉडल इसलिए विफल नहीं हो रहे हैं क्योंकि वे तथ्य नहीं जानते, बल्कि इसलिए क्योंकि वे वास्तविक दुनिया की अराजकता से एक सुसंगत कहानी नहीं बना सकते।

भविष्य के लिए इसका क्या अर्थ है

यह पेपर यह नहीं कहता कि एआई कभी निवेश के लिए अच्छा नहीं होगा। इसके बजाय, यह कहता है कि हमें उन्हें टेस्ट और ट्रेन करने का तरीका बदलना होगा। हम केवल उन्हें कठिन ट्रिविया क्विज़ देकर आगे नहीं बढ़ सकते। हमें उन्हें एक रणनीतिकार की तरह सोचना, शोर को फ़िल्टर करना और चीजों के डरावने होने पर भी एक योजना पर टिके रहना सिखाने की आवश्यकता है। इस नए बेंचमार्क का उपयोग करके, शोधकर्ता ऐसे एआई एजेंट बनाने की आशा करते हैं जो केवल जानकार ही नहीं, बल्कि वास्तव में बुद्धिमान हों—जो व्यक्तिगत, तार्किक निर्णय लेने में सक्षम हों जो वास्तविक, अव्यवस्थित और अप्रत्याशित दुनिया में वास्तव में काम करें। एक विश्वसनीय वित्तीय एआई की यात्रा अभी शुरू हुई है, और यह नया मानचित्र सही दिशा में पहला कदम है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →