ViTaB-A: Evaluating Multimodal Large Language Models on Visual Table Attribution
यह शोध पत्र ViTaB-A प्रस्तुत करता है, जो एक मूल्यांकन ढांचा है जो यह प्रदर्शित करता है कि हालांकि मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (Multimodal Large Language Models) संरचित डेटा के बारे में प्रश्नों के उत्तर दे सकते हैं, लेकिन वर्तमान में उनमें विभिन्न प्रारूपों में अपने उत्तरों के लिए सटीक, सूक्ष्म-स्तरीय एट्रिब्यूशन (attribution) प्रदान करने की विश्वसनीयता का अभाव है, जिससे पारदर्शिता-महत्वपूर्ण अनुप्रयोगों में उनकी विश्वसनीयता सीमित हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, जानकार सहायक है जो एक जटिल स्प्रेडशीट (जैसे किसी कंपनी की वित्तीय रिपोर्ट या मेडिकल चार्ट) को देख सकता है और आपके सवालों के जवाब दे सकता है।
आप पूछते हैं, "क्या 2023 में कंपनी का राजस्व (revenue) बढ़ा?"
सहायक कहता है, "हाँ, बढ़ा!"
यह सुनने में बहुत अच्छा लगता है, है ना? लेकिन यहाँ एक पेंच है: उन्हें वह उत्तर कहाँ से मिला?
वास्तविक दुनिया में, विशेष रूप से कानून, चिकित्सा या वित्त जैसे क्षेत्रों में, आप केवल विश्वास के आधार पर उत्तर नहीं ले सकते। आपको प्रमाण देखने की आवश्यकता है। आपको स्प्रेडशीट की उस सटीक पंक्ति (row) और कॉलम (column) की ओर इशारा करने की आवश्यकता है जो सिद्ध करता है कि राजस्व बढ़ा है।
यह शोध पत्र, जिसका शीर्षक ViTaB-A है, इस बात की रिपोर्ट कार्ड है कि आज के AI सहायक इस काम में कितने अच्छे हैं: प्रमाण की ओर इशारा करने में।
बड़ी खोज: "बुद्धिमान लेकिन अनभिज्ञ" सहायक
शोधकर्ताओं ने कई शीर्ष स्तर के AI मॉडल (इन सहायकों के पीछे के "दिमाग") का परीक्षण डेटा दिखाने के तीन अलग-अलग तरीकों का उपयोग करके किया:
- इमेज (Images): एक टेबल की तस्वीर।
- मार्डाउन (Markdown): एक टेक्स्ट फ़ाइल जो टेबल की तरह दिखती है।
- JSON: एक कच्चा कोड फॉर्मेट जिसे कंप्यूटर तो पसंद करते हैं लेकिन इंसान इसे समझने में कठिनाई महसूस करते हैं।
यहाँ उन्हें क्या मिला, एक सरल उपमा (analogy) का उपयोग करते हुए:
"शेफ" की उपमा
कल्पना कीजिए कि आप एक शेफ से पूछते हैं, "क्या सूप नमकीन है?"
- उत्तर: शेफ चखता है और कहता है, "हाँ, यह नमकीन है।" (यह प्रश्न उत्तरण/Question Answering है)।
- प्रमाण: आप पूछते हैं, "मुझे वह नमकदानी दिखाओ जिसका आपने उपयोग किया।" शेफ काली मिर्च के डिब्बे की ओर, या किसी रैंडम चम्मच की ओर इशारा करता है, या बस कंधे उचका देता है। (यह एट्रिब्यूशन/Attribution है)।
अध्ययन में पाया गया कि जबकि शेफ (AI मॉडल) "हाँ/नहीं" वाले उत्तर देने में काफी हदत तक सही हैं (लग लगभग 50-60% सटीकता), वे उस विशिष्ट सामग्री (टेबल के सेल) की ओर इशारा करने में बहुत खराब हैं जिसने उस उत्तर तक पहुँचाया।
- इमेज के लिए: शेफ प्रमाण की ओर इशारा करने में ठीक-ठाक हैं (लगभग 33% सटीकता)।
- टेक्स्ट (मार्डाउन) के लिए: वे और भी खराब हो जाते हैं।
- कोड (JSON) के लिए: वे लगभग अनुमान लगा रहे हैं। उनकी सटीकता गिरकर लगभग 0% हो जाती है। यह ऐसा है जैसे किसी इंसान को एक ऐसी किताब में एक विशिष्ट शब्द खोजने के लिए कहना जहाँ हर पन्ना अदृश्य स्याही से लिखा गया हो।
"रो बनाम कॉलम" का रहस्य
शोधकर्ताओं ने एक दिलचस्प पैटर्न भी देखा। AI मॉडल रो (Row) (क्षैतिज रेखा, जैसे किसी व्यक्ति का रिकॉर्ड) खोजने में कॉलम (Column) (लंबवत श्रेणी, जैसे "वेतन" या "तारीख") की तुलना में बहुत बेहतर हैं।
इसे एक कक्षा की तरह समझें:
- रो (Rows) छात्र हैं। "जॉन को ढूँढो।" (आसान! AI नाम देख सकता है)।
- कॉलम (Columns) विषय हैं। "गणित का स्कोर ढूँढो।" (कठिन! AI अक्सर भ्रमित हो जाता है कि कौन सी लंबवत रेखा गणित का प्रतिनिधित्व करती है)।
AI यह कहने में बहुत अच्छा है कि, "यह जॉन का रिकॉर्ड है," लेकिन वह अक्सर यह बताने में विफल रहता है कि, "और यहाँ वह विशिष्ट बॉक्स है जहाँ उसका गणित का स्कोर मौजूद है।"
"आत्मविश्वास का जाल"
सबसे डरावना हिस्सा यहाँ है। शोधकर्ताओं ने AI से पूछा: "आप कितने आश्वस्त हैं कि आपने सही प्रमाण ढूँढ लिया है?"
AI कहेगा, "मैं 90% आश्वस्त हूँ!"
लेकिन जब शोधकर्ताओं ने जाँच की, तो AI वास्तव में गलत था।
यह एक ऐसे छात्र की तरह है जो अपने उत्तर के बारे में पूरे आत्मविश्वास के साथ बोल रहा है, भले ही उसने गलत विकल्प चुना हो। अध्ययन में पाया गया कि जब बात अपना काम साबित करने की आती है, तो AI का "कॉन्फिडेंस मीटर" टूट जाता है। आप यह जानने के लिए AI के आत्म-मूल्यांकन पर भरोसा नहीं कर सकते कि वह वास्तव में सच्चाई बता रहा है या नहीं।
यह क्यों मायने रखता है?
यदि आप किसी चैटबॉट से फिल्म के कथानक का सारांश पूछ रहे हैं, तो यदि वह विवरणों में थोड़ी गलती करता है, तो यह ठीक है। लेकिन यदि आप एक डॉक्टर हैं जो किसी मरीज की दवा की खुराक की जांच करने के लिए AI से पूछ रहे हैं, या एक न्यायाधीश हैं जो कानूनी अनुबंध की समीक्षा करने के लिए इसका उपयोग कर रहे हैं, आपको ठीक-ठीक जानना होगा कि AI को अपनी जानकारी कहाँ से मिली।
यदि AI कहता है, "मरीज को पेनिसिलिन से एलर्जी है," लेकिन वह मेडिकल रिकॉर्ड की उस विशिष्ट पंक्ति की ओर इशारा नहीं कर सकता जो ऐसा कहती है, तो आप उस उत्तर पर भरोसा नहीं कर सकते।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि वर्तमान AI मॉडल उन जादूगरों की तरह हैं जो टोपी से खरगोश तो निकाल सकते हैं (सही उत्तर दे सकते हैं) लेकिन उन्हें पता नहीं होता कि उन्होंने यह कैसे किया (दिखा नहीं सकते कि उन्होंने यह कैसे किया)।
वे सही उत्तर का अनुमान लगाने में बेहतर हो रहे हैं, लेकिन वे अभी भी अपना होमवर्क दिखाने में बहुत खराब हैं। जब तक हम इसे ठीक नहीं कर देते, हमें इन उपकरणों का उपयोग महत्वपूर्ण, वास्तविक दुनिया के निर्णयों के लिए करने में बहुत सावधान रहना होगा जहाँ "अपना काम दिखाना" उतना ही महत्वपूर्ण है जितना कि सही उत्तर देना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।