FinBench: Time-Gated Calibration and Uncertainty Benchmarking for Agentic Financial Forecasting
यह शोध पत्र FinBench को प्रस्तुत करता है, जो एक नया बेंचमार्क है जिसे सख्त टाइम-गेटिंग (time-gating) लागू करके और अति-आत्मविश्वास एवं भ्रमित निश्चितता (hallucinated certainty) को दंडित करने के लिए उचित स्कोरिंग नियमों (proper scoring rules) का उपयोग करके, एजेंटिक वित्तीय पूर्वानुमान मॉडलों के संभाव्य अंशांकन (probabilistic calibration) और अनिश्चितता की गुणवत्ता का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप "मौसम का अनुमान लगाने" के एक हाई-स्टेक्स खेल में खेल रहे हैं जहाँ पुरस्कार केवल एक गोल्ड स्टार नहीं है, बल्कि आपकी पूरी जीवन भर की बचत है। इस खेल में, आपके पास एक सुपर-स्मार्ट रोबोट दोस्त है जो लाखों समाचार लेख पढ़ सकता है और जटिल चार्ट देख सकता है ताकि यह भविष्यवाणी कर सके कि कल धूप खिलेगी या बारिश होगी। लेकिन इसमें एक पेंच है: रोबोट सिर्फ यह नहीं कहेगा कि "बारिश होगी।" उसे यह भी बताना होगा कि वह कितना आश्वस्त है। यदि रोबोट कहता है, "मुझे 99% यकीन है कि बारिश होगी," और आप अपना घर दांव पर लगा देते हैं, तो अगर मौसम धूप वाला निकला तो आप बड़ी मुसीबत में पड़ने वाले हैं। यह "कैलिब्रेशन" (calibration) की मूल समस्या है: यह सुनिश्चित करना कि आपका आत्मविश्वास आपके वास्तविक कौशल से मेल खाता हो। वित्त की दुनिया में, जहाँ कंप्यूटर (जिन्हें "एजेंट्स" कहा जाता है) हमारे लिए वास्तविक धन संबंधी निर्णय लेने लगे हैं, एक ऐसा रोबस्त जो आत्मविश्वास से भरा हुआ गलत है, वह उस रोबोट से कहीं अधिक खतरनाक है जो अनिश्चित है। यदि एक रोबोट सोचता है कि वह जीनियस है लेकिन वास्तव में वह केवल अनुमान लगा रहा है, तो वह बहुत बड़ा दांव लगाएगा और सब कुछ खो देगा।
यह बिल्कुल उस नई परियोजना के पीछे की कहानी है जिसे FinBench कहा जाता है। शोधकर्ता, ऋषभ घोष और विनय देवराकोंडा, इस बात को लेकर चिंतित हैं कि आज हम जिन सुपर-स्मार्ट AI मॉडलों का उपयोग कर रहे हैं, वे आत्मविश्वास से भरी बातें करने में तो माहिर हैं लेकिन यह जानने में बेहद खराब हैं कि वे कब केवल अनुमान लगा रहे हैं। उन्होंने एक विशेष टेस्ट ट्रैक बनाया है यह देखने के लिए कि क्या ये AI एजेंट ईमानदारी से यह स्वीकार कर सकते हैं कि उन्हें कुछ नहीं पता, बजाय इसके कि वे वित्तीय भविष्यवाणियों में खुद को दिखावा करते रहें।
समस्या: अति-आत्मविश्वासी जुआरी
अतीत में, हमने AI का परीक्षण सरल प्रश्न पूछकर किया जैसे "फ्रांस की राजधानी क्या है?" या "क्या यह स्टॉक ऊपर जाएगा या नीचे?" और यह जाँच की कि उत्तर सही था या गलत। लेकिन वास्तविक वित्तीय दुनिया में, यदि आप हर बार 100% सुनिश्चित होते हुए केवल 55% बार सही होते हैं, तो यह पर्याप्त नहीं है। यदि आप एक सिक्के के उछलने (coin flip) से थोड़े बेहतर हैं लेकिन ऐसे व्यवहार करते हैं जैसे आप भगवान हों, तो आप अंततः एक गलत अनुमान पर सब कुछ दांव पर लगा देंगे और सब कुछ खो देंगे।
लेखकों का तर्क है कि अधिकांश वर्तमान परीक्षण इसे नहीं पकड़ पाते। वे यह नहीं देखते कि क्या AI का "कॉन्फिडेंस मीटर" (confidence meter) टूटा हुआ है। वे यह भी नहीं रोकते कि AI भविष्य में झाँक ले। कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं, लेकिन आपको उत्तर लिखने से पहले उत्तर कुंजी देखने की अनुमति दी गई है। इसे "लुक-अहेड बायस" (look-ahead bias) कहा जाता है, और यह वित्त में एक बड़ी समस्या है। यदि कोई AI सुबह की भविष्यवाणी करने के लिए दिन के अंत के डेटा का उपयोग करता है, तो वह धोखाधड़ी कर रहा है।
समाधान: FinBench
इसे ठीक करने के लिए, टीम ने FinBench बनाया, जो एक नया प्रकार का टेस्ट ट्रैक है जिसे विशेष रूप से "आत्मविश्वास से भरे लेकिन नाजुक" (confident but fragile) AI व्यवहार को पकड़ने के लिए डिज़ाइन किया गया है। इसे सेल्फ-ड्राइविंग कारों के ड्राइविंग टेस्ट की तरह समझें, लेकिन यहाँ यह जाँचने के लिए नहीं कि कार रेड लाइट पर रुक सकती है या नहीं, बल्कि यह जाँचने के लिए है कि क्या कार को पता है कि कब ड्राइविंग के लिए बहुत अधिक धुंध है।
यह परीक्षण कैसे काम करता है:
- कठोर समय-यात्रा नियम (Strict Time-Travel Rules): AI को एक विशिष्ट समय (जैसे सुबह 9:30 बजे) दिया जाता है और उसे एक भविष्यवाणी करनी होती। उसे उस समय के बाद के किसी भी डेटा को देखने से सख्ती से प्रतिबंधित किया गया है। यह ऐसा है जैसे आपको एक कमरे में बंद कर दिया गया हो जिसमें केवल सुबह का समाचार पत्र है; आप मौसम का अनुमान लगाने के लिए शाम के अखबार को नहीं पढ़ सकते।
- दो-भाग वाला उत्तर: AI को दो चीजें देनी होती हैं:
- एक प्रतिशत संभावना कि स्टॉक ऊपर जाएगा (जैसे, "मुझे लगता है कि 60% संभावना है")।
- एक "सेफ्टी नेट" रेंज (एक 80% प्रेडिक्शन इंटरवल) जहाँ वास्तविक कीमत परिवर्तन के पड़ने की संभावना है।
- स्कोरिंग सिस्टम: परीक्षण ग्रेड देने के लिए दो विशेष गणितीय नियमों का उपयोग करता है:
- ब्रायर स्कोर (Brier Score): यह AI को दंडित करता है यदि वह कहता है "99% सुनिश्चित हूँ" और गलत साबित होता है। यह AI को ईमानदार होने के लिए पुरस्कृत करता है। यदि AI कहता है "50/50" जब वास्तव में यह एक सिक्के के उछलने जैसा ही है, तो उसे एक अच्छा स्कोर मिलता है।
- विंकलर स्कोर (Winkler Score): यह "सेफ्टी नेट" की जाँच करता है। यदि AI इस नेट को बहुत चौड़ा बनाता है (सुरक्षित रहने के लिए सब कुछ कवर करने हेतु), तो उसे डरपोक होने के लिए दंडित किया जाता है। यदि वह इसे बहुत संकीर्ण बनाता है और वास्तविक कीमत को मिस कर देता है, तो उसे लापरवाह होने के लिए दंडित किया जाता है।
उन्होंने क्या पाया (पायलट रन)
लेखकों ने यह देखने के लिए कि क्या उनका सिस्टम काम करता है, एक छोटा "पायलट" परीक्षण चलाया। यह बड़े शो से पहले एक रिहर्सल की तरह था। उन्होंने तीन लोकप्रिय स्टॉक (Apple, Microsoft, और Nvidia) चुने और छह अलग-अलग AI मॉडल को केवल एक ट्रेडिंग डे के लिए भविष्यवाणियाँ करने के लिए कहा।
यहाँ उस छोटे परीक्षण ने क्या खुलासा किया:
- सटीकता ही सब कुछ नहीं है: कुछ मॉडलों ने इस छोटे से परीक्षण में दिशा (ऊपर या नीचे) को 100% बार सही बताया। लेकिन जब आपने उनके कॉन्फिडेंस स्कोर को देखा, तो वे पूरी तरह से बिखरे हुए थे।
- "आत्मविश्वास से भरा लेकिन गलत" का जाल: दो मॉडलों (Llama 3.1 और DeepSeek-V3) ने एक विशिष्ट भविष्यवाणी को गलत किया। वे केवल थोड़े ही आश्वस्त थे (लगभग 55-56%), लेकिन क्योंकि वे गलत थे, इसलिए उनका "ब्रायर स्कोर" बहुत खराब था, और वास्तव में उनका प्रदर्शन केवल एक सिक्के के उछलने से भी बदतर था। यह साबित करता है कि परीक्षण ने उन मॉडलों को सफलतापूर्वक पकड़ा जो अपनी गलतियों में अति-आत्मविश्वासी थे।
- ईमानदारी रंग लाती है: वे मॉडल जो अपने आत्मविश्वास को अपने वास्तविक प्रदर्शन के साथ मिलाने में बेहतर थे (जैसे GPT-4o), उन्हें उच्च स्कोर मिला, भले ही वे अनिवार्य रूप से हर भविष्यवाणी को सही नहीं कर पाए।
शोधकर्ताओं ने पाया कि कैलिब्रेशन (अनिश्चितता के बारे में ईमानदारी) और इंटरवल क्वालिटी (सेफ्टी नेट कितना अच्छा है) दो अलग-अलग कौशल हैं। एक मॉडल के पास ऐसा सेफ्टी नेट हो सकता है जो 80% बार सही कीमत को पकड़ लेता है, लेकिन फिर भी उसके कॉन्फिडेंस नंबर बहुत खराब हो सकते हैं। इसका मतलब है कि आप केवल एक नंबर को देखकर यह नहीं देख सकते कि AI सुरक्षित है या नहीं; आपको दोनों को देखना होगा।
निष्कर्ष
यह पेपर दावा नहीं करता है कि इसने अभी तक वित्त के लिए "परफेक्ट" AI खोज लिया है। वास्तव में, लेखक बहुत सावधानी से कहते हैं कि यह केवल 33 भविष्यवाणियों के साथ एक बहुत छोटा परीक्षण था। वे यह नहीं कह रहे हैं कि कोई एक AI विजेता है। इसके बजाय, वे कह रहे हैं: "हे, हमने एक नया पैमाना बनाया है जो उस चीज़ को मापता है जिसे अन्य पैमाने मिस कर देते हैं।"
उन्होंने दिखाया कि ऐसा परीक्षण बनाना संभव है जो भविष्य को देखकर धोखाधड़ी करने वाले AI को रोकता है और उन्हें इस बारे में ईमानदार होने के लिए मजबूर करता है कि वे कितने आश्वस्त हैं। यह एक महत्वपूर्ण कदम है क्योंकि, भविष्य में, यदि हम AI एजेंटों को अपना पैसा प्रबंधित करने देते हैं, तो हमें यह सुनिश्चित करने की आवश्यकता है कि वे यह जानते हों कि कब कहना है, "मुझे नहीं पता," बजाय इसके कि वे केवल एक तुक्के पर सब कुछ दांव पर लगा दें। पेपर सुझाव देता है कि इस तरह के "कैलिब्रेशन चेक" के बिना, हम अपने बटुए उन अति-आत्मविश्वासी रोबोटों को सौंप सकते हैं जिनका अंत क्रैश होना ही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।