InvestPhilBench: A Multi-Layer Dynamic Benchmark for Evaluating Large Language Model Procedural Reasoning in Expert Investment Philosophy
यह शोध पत्र InvestPhilBench प्रस्तुत करता है, जो एक बहु-स्तरीय गतिशील बेंचमार्क है जिसे विशेषज्ञ निवेश निर्णय ढांचों को पुनर्गठित करने और लागू करने की लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि जबकि मिश्रित स्वचालित स्कोर अक्सर प्रवाहपूर्ण गद्य को पुरस्कृत करते हैं, विशिष्ट प्रक्रियात्मक मेट्रिक्स सीमावर्ती मॉडल्स (फ्रंटियर मॉडल्स) में भी महत्वपूर्ण तर्क संबंधी कमियों को उजागर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ InvestPhilBench पेपर का हिंदी अनुवाद दिया गया है:
मुख्य विचार: क्या AI एक मास्टर इन्वेस्टर की तरह "सोच" सकता है?
कल्पना कीजिए कि आपने अपने पैसे के प्रबंधन में मदद करने के लिए एक बहुत ही बुद्धिमान और जानकार सहायक को काम पर रखा है। आप उनसे वॉरेन बफेट के विशिष्ट तरीके का उपयोग करके किसी कंपनी का विश्लेषण करने के लिए कहते हैं।
- पुराना तरीका: आप यह देखते हैं कि क्या सहायक को बफेट के बारे में तथ्य पता हैं। क्या उन्हें पता है कि वे "इकोनॉमिक मोट्स" (आर्थिक सुरक्षा कवच) को पसंद करते हैं? क्या उन्हें पता है कि वे एयरलाइंस से नफरत करते हैं? यदि वे कहते हैं "बफेट मोट्स पसंद करते हैं," तो उन्हें पास होने वाला ग्रेड मिल जाता है।
- नई समस्या: पेपर का तर्क है कि केवल तथ्यों को जानना पर्याप्त नहीं है। एक सच्चा विशेषज्ञ एक सख्त निर्णय प्रक्रिया (एक रेसिपी/विधि) का पालन करता है। बफेट के लिए, पहला कदम हमेशा होता है: "क्या यह कंपनी मेरे 'सर्कल ऑफ कॉम्पिटेंस' (कार्यक्षेत्र) के भीतर है?" यदि उत्तर "नहीं" है (जैसे, यह एक बायोटेक कंपनी है), तो प्रक्रिया तुरंत रुक जाती है। सौदा वहीं खत्म हो जाता है। आगे का कोई विश्लेषण नहीं होता।
InvestPhilBench एक नया परीक्षण है जिसे यह देखने के लिए बनाया गया है कि क्या AI सहायक वास्तव में इन सख्त, चरण-दर-चरण विधियों का पालन कर सकते हैं, या वे केवल सबसे महत्वपूर्ण चरणों को छोड़कर स्मार्ट दिखने का नाटक करते हैं।
"InvestPhilBench" टेस्ट: 8-परतों वाला बाधा दौड़ (Obstacle Course)
शोधकर्ताओं ने कठिनाई के 8 स्तर बनाए हैं, जैसे कि एक वीडियो गेम जिसमें बढ़ते कठिन चरण हों:
- स्तर 1–3 (तथ्य जाँच): क्या AI याद रख सकता है कि किसने क्या कहा था? (जैसे, "'मार्जिन ऑफ सेफ्टी' की अवधारणा का आविष्कार किसने किया था?")
- परिणाम: AI इसमें बहुत अच्छा है। यह उस छात्र की तरह है जिसने पाठ्यपुस्तक रट ली है।
- स्तर 4–5 (रेसिपी पुनर्निर्माण): क्या AI निवेशक की निर्णय चेकलिस्ट को सही क्रम में फिर से बना सकता है?
- परिणाम: यहीं से चीजें पेचीदा होने लगती हैं। AI लड़खड़ाने लगता है।
- स्तर 6–8 (वास्तविक दुनिया का सिमुलेशन): क्या AI एक बिल्कुल नए, अजीब निवेश परिदृश्य को ले सकता है और उस निवेशक के विशिष्ट नियमों को उस पर लागू कर सकता है?
- परिणाम: यह सबसे कठिन हिस्सा है। AI अक्सर नियमों को जानने के बावजूद भी तर्क को सही ढंग से लागू करने में विफल रहता है।
"जादू" बनाम "मैकेनिक्स" (Mechanics)
शोधकर्ताओं को एक आश्चर्यजनक ट्रिक मिली जिसका उपयोग AI "चीटिंग" करने के लिए करता है।
- "प्रवाहपूर्ण गद्य" (Fluent Prose) का जाल: जब AI उत्तर देता है, तो वह बहुत सुंदर लिखता है। यह आत्मविश्वासी और पेशेवर लगता है। यदि आप केवल अंतिम पैराग्राफ को पढ़ते हैं, तो आपको लग सकता है कि इसने एक आदर्श काम किया है।
- "गेट" (Gate) की वास्तविकता: शोधकर्ताओं ने उत्तर को ग्रेड देने के लिए एक विशेष टूल बनाया (जिसे BASP कहा जाता है)। उन्होंने पाया कि जबकि AI "अच्छा दिखने" के लिए उच्च स्कोर प्राप्त करता है, वह अक्सर किल क्राइटेरिया (Kill Criteria - खारिज करने के मानदंड) को छोड़ देता है।
"किल क्राइटेरिया" का उदाहरण:
एक क्लब के बाउंसर (द्वारपाल) की कल्पना करें।
- AI की गलती: बाउंसर एक व्यक्ति को अंदर जाने देता है क्योंकि उसने एक कूल जैकेट पहनी है ("प्रवाहपूर्ण गद्य")।
- वास्तविकता: बाउंसर को पहले आईडी (ID) चेक करनी चाहिए थी। यदि आईडी कहती है "21 वर्ष से कम," तो व्यक्ति को तुरंत बाहर निकाल दिया जाना चाहिए, चाहे उसकी जैकेट कितनी भी कूल क्यों न हो।
- पेपर का निष्कर्ष: AI अक्सर आईडी चेक (किल क्रियटेरिया) को छोड़ देता है और एक बुरे निवेश को अंदर आने देता है, सिर्फ इसलिए क्योंकि उसका स्पष्टीकरण सुनने में अच्छा लगा।
"कंपोजिट" बनाम "गेट" स्कोर
पेपर AI को ग्रेड देने के दो तरीके पेश करता है:
- कंपोजिट स्कोर (द "फ्लुएंसी" ग्रेड): यह एक शिक्षक की तरह है जो एक छात्र को उसके निबंध के अच्छी तरह लिखे जाने के कारण 'A' देता है, भले ही उसके अंदर का गणित गलत हो। शीर्ष AI मॉडल यहाँ बहुत उच्च स्कोर (लगभग 90%) प्राप्त करते हैं।
- गेट रिकंस्ट्रक्शन एक्यूरेसी (द "लॉजिक" ग्रेड): यह एक गणित के शिक्षक की तरह है जो गणना के हर एक चरण की जाँच करता है। जब शोधकर्ताओं ने इस सख्त परीक्षण का उपयोग किया, तो शीर्ष AI मॉडल काफी गिर गए (लगभग 57-77% तक)।
निष्कर्ष: AI निवेशक की तरह बात करने में बेहतर हो रहा है, लेकिन एक निवेशक की तरह सोचने में अभी भी संघर्ष कर रहा है।
"रेसिपी" बनाम "कुकबुक"
शोधकर्ताओं ने AI की मदद करने के तीन तरीके परीक्षण किए:
- क्लोज्ड बुक (Closed Book): AI को अपनी याददाश्त पर निर्भर रहना पड़ता है। (यह संघर्ष करता है)।
- "ओरेकल" (पूरी कुकबुक): उन्होंने AI को उत्तर देते समय निवेशक की पूरी नियम पुस्तिका पढ़ने के लिए दी।
- आश्चर्य: पूरी किताब देने से कुछ मामलों में AI और भी खराब हो गया। वह बहुत अधिक जानकारी से भ्रमित हो गया (जैसे एक शेफ जो स्टेक पकाते समय पूरी विश्वकोश पढ़ने की कोशिश कर रहा हो)।
- लक्षित रिट्रीवल (टारगेटेड रिट्रीवल - "चीट शीट"): उन्होंने AI को केवल शीर्ष 3 प्रासंगिक नियम दिए।
- परिणाम: यह सबसे अच्छा काम कर गया। यह एक शेफ को पूरी लाइब्रेरी देने के बजाय एक विशिष्ट रेसिपी कार्ड देने जैसा है।
"फेलियर मोड्स" (AI कहाँ विफल होता है)
पेपर ने विफलता के छह विशिष्ट तरीकों की पहचान की, जिन्हें उन्होंने आकर्षक नाम दिए हैं:
- "हैलुसिनेटेड गेट" (Hallucinated Gate): AI प्रक्रिया में एक ऐसा चरण बना लेता है जो मौजूद ही नहीं है (जैसे, "चरण 4: चंद्रमा की अवस्था की जाँच करें" जब निवेशक ने ऐसा कभी नहीं कहा था)।
- "टाइम ट्रैवलर" (Time Traveler): AI तारीखों को मिला देता है। वह कह सकता है कि बफेट ने 2020 में एयरलाइंस से नफरत की, जबकि वास्तव में उन्होंने 2016 में उन्हें खरीदा था और 2020 में बेचा था। यह इतिहास को एक भ्रमित करने वाली कहानी में बदल देता है।
- "वॉयस चेंजर" (Voice Changer): AI एक विशिष्ट व्यक्ति के बजाय एक सामान्य वित्तीय विशेषज्ञ की तरह बोलता है। वह जॉर्ज सोरोस की रणनीति समझाने के लिए रे डेलियो के शब्दों का उपयोग कर सकता है।
- "किल क्राइटेरिया ओमिशन" (Kill Criterion Omission): सबसे आम विफलता। AI नियमों को सूचीबद्ध तो करता है लेकिन "स्टॉप" (रुकने के) संकेतों को भूल जाता है। वह एक खराब सौदे का विश्लेषण तब भी जारी रखता है जब पहले नियम ने ही उसे "अस्वीकार" करने के लिए कहा हो।
निचोड़ (The Bottom Line)
InvestPhilBench एक नया उपकरण है जो यह साबित करता है कि वर्तमान AI मॉडल निवेश दर्शन को सुनाने (Reciting) में तो उत्कृष्ट हैं, लेकिन उसे लागू करने (Applying) के लिए अभी भी संघर्ष कर रहे हैं।
- क्या काम करता है: AI आपको बता सकता है कि एक निवेशक क्या मानता है।
- कहाँ विफल होता है: AI अक्सर उस सख्त, क्रमिक तर्क (Sequential Logic) का पालन नहीं कर पाता कि वह निवेशक निर्णय कैसे लेता है, खासकर जब इसमें किसी सौदे को "ना" कहना शामिल हो।
पेपर निष्कर्ष निकालता है कि जब तक AI विश्वसनीय रूप से इन "किल क्राइटेरिया" और चरण-दर-चरण तर्क का पालन नहीं कर सकता, तब तक हम जटिल निवेश निर्णय लेने के लिए पूरी तरह से इस पर भरोसा नहीं कर सकते। यह अनुसंधान के लिए एक उपकरण है, लेकिन यह अभी तक एक मास्टर इन्वेस्टर के मानवीय तर्क का विकल्प नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।