Confidence Estimation for Financial Vision-Language Models in Chart and Document Understanding

कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं, लेकिन आप सितारों के बीच नहीं, बल्कि वित्तीय चार्ट, स्टॉक टेबल और जटिल दस्तावेजों के समुद्र में रास्ता बना रहे हैं। आपके पास एक बहुत ही स्मार्ट, बहुत तेज़ रोबोट सहायक (एक AI) है जो इन दस्तावेजों को पढ़ सकता है और आपके सवालों के जवाब दे सकता है। वह रोबोट पैटर्न पहचानने में माहिर है, लेकिन कभी-कभी वह ज़रूरत से ज़्यादा आत्मविश्वासी हो जाता है। वह एक खाली कागज़ को देखकर भी पूरे आत्मविश्वास के साथ किसी स्टॉक की कीमत बता सकता है, या वह एक ग्राफ को गलत पढ़ सकता है और फिर भी पूरी निश्चितता के साथ बोल सकता है। वित्त की दुनिया में, एक नंबर की गलती करना सिर्फ एक छोटी सी भूल नहीं है; यह करोड़ों डॉलर का नुकसान करा सकती है। इसलिए, बड़ा सवाल यह नहीं है कि "क्या रोबोट स्मार्ट है?" बल्कि यह है कि "क्या हम अभी उसकी बातों पर भरोसा कर सकते हैं?"

इस समस्या को हल करने के लिए, वैज्ञानिक रोबोटों को अपना "कॉन्फिडेंस स्कोर" (आत्मविश्वास का स्कोर) देना सिखा रहे हैं—एक संख्या 0 से 1 के बीच जो कहती है, "मुझे पूरा यकीन है कि मैं सही हूँ" या "मैं बस अंदाज़ा लगा रहा हूँ।" इसे मौसम के पूर्वानुमान की तरह समझें। यदि एक मौसम विज्ञानी कहता है कि बारिश की 90% संभावना है, तो आप छाता साथ ले जाते हैं। यदि वह कहता है कि 10%, तो आप इसे घर छोड़ देते हैं। लेकिन क्या होगा अगर मौसम विज्ञानी एक झूठा व्यक्ति है जो चाहे आसमान कैसा भी हो, हमेशा "90%" ही कहता है? आप भीग जाएंगे। यह शोध पत्र इस बारे में है कि क्या हमारे वित्तीय रोबोट सहायक ईमानदार मौसम भविष्यवक्ता हैं या केवल आत्मविश्वासी झूठे। शोधकर्ता यह देखना चाहते थे कि क्या रोबोट के आत्मविश्वास की जाँच करने वाले उपकरण तब काम करते हैं जब रोबोट उन पेचीदा वित्तीय चार्टों को देख रहा होता है जिन्हें उसने पहले कभी नहीं देखा है, न कि केवल बिल्लियों और कुत्तों की सामान्य तस्वीरों को।

रोबोट का "अंतर्ज्ञान" परीक्षण (The Robot's "Gut Feeling" Test)

शोधकर्ताओं ने AI के सच बोलने की जाँच करने के सात अलग-अलग तरीकों का परीक्षण करने के लिए एक विशाल प्रयोग तैयार किया। उन्होंने पांच अलग-अलग "स्मार्ट" AI मॉडल का उपयोग किया और उन्हें तीन अलग-अलग वित्तीय टेस्ट बैंकों से समस्याएं हल करने के लिए कहा। इन परीक्षणों में स्टॉक चार्ट पढ़ना, कंपनी की रिपोर्ट का विश्लेषण करना और यहाँ तक कि अंग्रेजी और चीनी दोनों भाषाओं में सवालों के जवाब देना शामिल था। पेच यह था कि AI के आत्मविश्वास की जाँच करने वाले उपकरणों को केवल सामान्य, रोज़मर्रा की तस्वीरों (जैसे मैट पर बैठी बिल्ली) पर प्रशिक्षित किया गया था और फिर उन्हें बिना किसी अतिरिक्त प्रशिक्षण के सीधे वित्त की गहरी दुनिया में डाल दिया गया था। यह एक लाइफगार्ड को लेने जैसा था जिसने केवल एक शांत स्विमिंग पूल में अभ्यास किया हो और फिर उससे उफनते समुद्र में लोगों को बचाने के लिए कहा जाए।

टीम ने तीन बड़ी बातें खोजीं, जो उन लोगों के लिए एक चेतावनी (wake-up call) हैं जो AI को अकेले काम करने देने की उम्मीद कर रहे हैं।

1. केवल "रैंकिंग" में अच्छा होना काफी नहीं है; आपको "ईमानदार" होने की आवश्यकता है
पहली खोज यह है कि आत्मविश्वास की जाँच करने वाले कई उपकरण उत्तरों को "सबसे अच्छे अनुमान" से "सबसे खराब अनुमान" के क्रम में लगाने में तो अच्छे हैं, लेकिन वे इस बात के बारे में ईमानदार होने में बहुत खराब हैं कि वे कितने सुनिश्चित हैं। एक छात्र की कल्पना करें जो परीक्षा दे रहा है। एक "रैंकिंग" टूल कह सकता है, "यह उत्तर उस उत्तर से बेहतर है," लेकिन वह दोनों उत्तरों को 100% आत्मविश्वास का स्कोर दे सकता है, भले ही छात्र केवल अंदाज़ा लगा रहा हो। शोधकर्ताओं ने पाया कि मानक, आसानी से उपयोग किए जाने वाले तरीके बेहद अति-आत्मविश्वासी थे। वे गलत उत्तर को भी लगभग उतनी ही बार 90% कॉन्फिडेंस स्कोर दे देते थे जितनी बार सही उत्तर को। यह खतरनाक है क्योंकि यदि आप एक नियम सेट करते हैं कि "केवल 80% से ऊपर के उत्तरों पर भरोसा करें," तो भी आप बहुत सारे गलत उत्तरों पर भरोसा कर रहे होंगे।

हालाँकि, दो विशेष उपकरण (जिन्हें "प्रोब्स" कहा जाता है) जो AI के मस्तिष्क के अंदर झाँकते हैं, बहुत बेहतर थे। वे "कैलिब्रेटेड" (सटीक) थे, जिसका अर्थ है कि यदि वे कहते थे कि वे 80% सुनिश्चित हैं, तो वे वास्तव में 80% बार सही होते थे। यही एकमात्र उपकरण थे जिन पर "स्वचालित रूप से काम करने" और "इंसान से पूछने" के बीच एक सुरक्षित रेखा खींचने के लिए भरोसा किया जा सकता था।

2. कोई "एक ही समाधान सबके लिए" (One Size Fits All) नहीं है
दूसरी खोज यह है कि आप केवल एक "सर्वश्रेष्ठ" टूल चुनकर उसे हमेशा के लिए उपयोग नहीं कर सकते। सबसे अच्छा टूल इस बात पर निर्भर करता है कि AI क्या कर रहा है और आप कौन सा AI मॉडल उपयोग कर रहे हैं। यह एक टूलबॉक्स में सबसे अच्छा उपकरण खोजने जैसा है: एक हथौड़ा कीलों के लिए महान है, लेकिन पेंचों के लिए बेकार है।

• जब AI सरल चार्ट देख रहा था, तो एक टूल सबसे अच्छा काम करता था।
• जब वह जटिल दस्तावेजों को पढ़ रहा था, तो दूसरा टूल बेहतर था।
• जब कार्य चीनी भाषा में था, तो रैंकिंग फिर से बदल गई।

शोधकर्ताओं ने पाया कि कोई भी एक अकेला टूल 20 में से 20 विभिन्न परिदृश्यों में से 8 से अधिक में विजेता नहीं था। इसका मतलब है कि यदि आप केवल एक सामान्य लीडरबोर्ड देखते हैं और "शीर्ष" टूल चुनते हैं, तो आप संभवतः अपने विशिष्ट कार्य के लिए गलत टूल चुन लेंगे। AI की विश्वसनीयता एक वैश्विक गुण नहीं है; यह स्थानीय और जटिल है।

3. AI का कौशल स्तर सीमा तय करता है
तीसरी खोज इस बारे में है कि आप रोबोट को वास्तव में कितना काम दे सकते हैं। शोधकर्ताओं ने पूछा: "हम रोबोट को कितनी प्रश्न हल करने के लिए स्वचालित रूप से छोड़ सकते हैं, इससे पहले कि हमें रुकना पड़े और बाकी की जाँच करनी पड़े?" उन्होंने पाया कि उत्तर मुख्य रूप से इस बात पर निर्भर करता है कि रोबोट शुरू से ही कितना स्मार्ट है।

• सबसे आसान कार्यों पर (जैसे एक साधारण चार्ट पढ़ना), यदि आप सही कॉन्फिडेंस टूल का उपयोग करते हैं, तो रोबोट काम का एक अच्छा हिस्सा संभाल सकता है।
• सबसे कठिन कार्यों पर (जैसे जटिल वित्तीय दस्तावेज़), रोबोट इतनी बार गलत होता है कि सबसे अच्छा कॉन्फिडेंस टूल भी उसे बचा नहीं सकता। "सुरक्षित" स्वचालन (automation) लगभग शून्य था।

यह पता चलता है कि कॉन्फिडेंस टूल एक बुरे रोबोट को अच्छा नहीं बनाता; यह केवल आपको यह समझने में मदद करता है कि कब रोबोट बुरा है। यह टूल अपना मूल्य मुख्य रूप से तब जोड़ता है जब रोबोट संघर्ष कर रहा होता है, जिससे आपको गलतियों को पकड़ने में मदद मिलती है। लेकिन यदि रोबोट पहले से ही आधे समय विफल हो रहा है, तो आत्मविश्वास की जाँच करने वाला कोई भी साधन उसे अकेले काम करने के लिए सुरक्षित नहीं बना सकता।

झूठ पकड़ने वाला "जादुई" टूल

शोधकर्ताओं द्वारा परीक्षण किए गए सबसे दिलचस्प उपकरणों में से एक BICR था। इस टूल की एक विशेष तकनीक है: यह बता सकता है कि क्या AI चित्र को अनदेखा कर रहा है और केवल अपने प्रशिक्षण से जो जानता है उसके आधार पर चीजें बना रहा है।
कल्पित कीजिए कि AI से पूछा गया, "इस ग्राफ का उच्चतम बिंदु क्या है?" यदि AI ध्यान दे रहा है, तो वह ग्राफ को देखता है। यदि वह ग्राफ को अनदेखा कर रहा है, तो वह सामान्य ज्ञान के आधार पर एक नंबर का अनुमान लगा सकता है। BICR यह पता लगा सकता है कि AI ग्राफ को अनदेखा कर रहा है या नहीं। जब AI बिना चार्ट देखे उत्तर देने की कोशिश करता है, तो BICR उसके कॉन्फिडेंस स्कोर को कम कर देता है। यह एक झूठ पकड़ने वाले यंत्र की तरह है जो जानता है कि रोबोट डेटा का उपयोग करने के बजाय केवल शब्दों के साथ "बनावटी" उत्तर दे रहा है। यह महत्वपूर्ण है क्योंकि वित्त में AI द्वारा की जाने वाली सबसे डरावनी गलती एक ऐसा प्रवाहपूर्ण, आत्मविश्वासी उत्तर देना है जिसका वास्तविक नंबरों से कोई लेना-देना नहीं है।

निष्कर्ष (The Bottom Line)

शोध पत्र निष्कर्ष निकालता है कि हालांकि AI स्मार्ट हो रहा है, लेकिन हम अभी इसे अकेले विमान उड़ाने देने के लिए तैयार नहीं हैं। परीक्षण किए गए पाँचों AI मॉडल वित्त में आवश्यक उच्च सुरक्षा मानकों के साथ वित्तीय चार्ट और दस्तावेजों को संभालने के लिए पर्याप्त विश्वसनीय नहीं हैं।

वर्तमान के लिए सबसे अच्छा दृष्टिकोण एक "कॉन्फिडेंस-गेटेड" (विश्वास-द्वारित) प्रणाली है। इसका अर्थ है कि AI आसान काम कर सकता है, लेकिन कठिन काम के लिए "ह्यूमन इन द लूप" (इंसानी निगरानी) होना अनिवार्य है। AI को केवल तभी कार्य करने की अनुमति दी जानी चाहिए जब उसका कॉन्फिडेंस स्कोर उच्च हो और उसकी जाँच करने वाला टूल कैलिब्रेटेड (ईमानदार) हो। यदि टूल कहता है, "मुझे यकीन नहीं है," या "AI चार्ट को अनदेखा कर रहा है," तो उस उत्तर को मानव विशेषज्ञ के पास भेजा जाना चाहिए।

संक्षेप में, AI एक बहुत तेज़, बहुत आत्मविश्वासी इंटर्न (प्रशिक्षु) है। यह बहुत सारा काम कर सकता है, लेकिन आपको एक ऐसे सुपरवाइजर की आवश्यकता है जो इंटर्न के कॉन्फिडेंस मीटर को पढ़ना जानता हो ताकि वह गलती से एक मिलियन डॉलर गलत खाते में न भेज दे। ऐसा करने के लिए उपकरण मौजूद हैं, लेकिन उन्हें विशिष्ट कार्य के लिए सावधानीपूर्वक चुना जाना चाहिए, और वे उस रोबोट को ठीक नहीं कर सकते जो सरल रूप से कार्य के लिए पर्याप्त स्मार्ट नहीं है।