BEAR-Bench: A Bilingual Enterprise and Academic Reasoning Benchmark for Multimodal Models
यह शोधपत्र BEAR-Bench प्रस्तुत करता है, जो टेक्स्ट-समृद्ध एंटरप्राइज और अकादमिक दस्तावेजों पर आधारित 1,000 मानव-एनोटेटेड प्रश्नों का एक द्विभाषी (अंग्रेजी-रूसी) बेंचमार्क है, जिसका उद्देश्य मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की जटिल तर्क क्षमताओं और मतिभ्रम (hallucination) डिटेक्शन विश्वसनीयता का मूल्यांकन करना है, जो अत्याधुनिक प्रणालियों के बीच भी महत्वपूर्ण प्रदर्शन अंतराल को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया में, कंप्यूटर चित्रों को देखने और उनके भीतर लिखे शब्दों को पढ़ने में असाधारण रूप से कुशल हो गए हैं। यदि आप किसी मशीन को सड़क के संकेत की फोटो दिखाते हैं, तो वह बता सकती है कि उस संकेत पर क्या लिखा है। यदि आप उसे समाचार रिपोर्ट से बना कोई ग्राफ दिखाते हैं, तो वह अक्सर उस रेखा द्वारा दर्शाए जा रहे रुझान का वर्णन कर सकती है। यह क्षमता, जिसे मल्टीमॉडल अंडरस्टैंडिंग (multimodal understanding) कहा जाता है, दृष्टि और भाषा को एक एकल कौशल में जोड़ती है। लंबे समय तक, चुनौती केवल मशीन को स्पष्ट रूप से टेक्स्ट पढ़ने में सक्षम बनाने की थी। लेकिन अगला, अधिक कठिन कदम है तर्क करना (reasoning)। यह एक जटिल दस्तावेज़ को देखने, एक पृष्ठ पर बिखरी हुई कई अलग-अलग जानकारियों को खोजने और एक ऐसे प्रश्न का उत्तर देने के लिए उन्हें जोड़ने की क्षमता है जो कहीं भी लिखा हुआ नहीं है। एक वित्तीय रिपोर्ट की कल्पना करें जो तालिकाओं, चार्टों और टेक्स्ट के अनुच्छेदों से भरी हो। एक मानव विशेषज्ञ एक तालिका में एक संख्या देख सकता है, एक चार्ट के रुझान से उसकी तुलना कर सकता है, और फिर यह समझने के लिए कि वे संख्याएँ क्यों बदलीं, टेक्स्ट में एक वाक्य पढ़ सकता है। कंप्यूटर को इसी तरह की सोच विकसित करने के लिए सिखाना, विशेष रूप से तब जब दस्तावेज़ सूचना से सघन हो और अंग्रेजी के अलावा अन्य भाषाओं में लिखा हो, एक कठिन सीमा बनी हुई है।
यांडेक्स (Yandex) और एप्लाइड एआई इंस्टीट्यूट (Applied AI Institute) के शोधकर्ताओं की एक टीम ने एक नया परीक्षण बनाकर इस समस्या को हल करने की दिशा में एक महत्वपूर्ण कदम उठाया है। उन्होंने अपनी इस रचना को BEAR-Bench नाम दिया है। पिछले परीक्षणों के विपरीत, जो सरल पठन पर केंद्रित थे या जिनमें कंप्यूटर को बाहरी तथ्यों को जानने की आवश्यकता होती थी, यह नया बेंचमार्क मशीनों से केवल एक ही दस्तावेज़ के पृष्ठ पर मौजूद जानकारी का उपयोग करके समस्याओं को हल करने के लिए कहता है। यह परीक्षण द्विभाषी है, जिसमें अंग्रेजी और रूसी दोनों शामिल हैं, जो एक ऐसा विकल्प है जो वर्तमान तकनीक के उस अंतर को उजागर करता है जहाँ मशीनें अक्सर अंग्रेजी और चीनी के अलावा अन्य भाषाओं के साथ संघर्ष करती हैं। शोधकर्ताओं ने एक हजार वास्तविक दुनिया के दस्तावेज़ एकत्र किए, जो कॉर्पोरेट वित्तीय रिपोर्टों और निवेशक प्रस्तुतियों से लेकर शैक्षणिक वैज्ञानिक शोध पत्रों तक विस्तृत हैं। ये पृष्ठ सरल नहीं हैं; ये टेक्स्ट, तालिकाओं, चार्टों, आरेखों और गणितीय सूत्रों से भरे हुए हैं।
इस परीक्षण को बनाने के लिए, शोधकर्ताओं ने केवल कंप्यूटरों को प्रश्न उत्पन्न करने के लिए नहीं कहा। उन्होंने तेरह मानव विशेषज्ञों को काम पर रखा, जिनमें से प्रत्येक के पास एक तकनीकी क्षेत्र में डिग्री थी, ताकि वे हाथ से प्रश्न और उत्तर लिख सकें। प्रत्येक एकल पृष्ठ छवि के लिए, एक विशेषज्ञ को एक ऐसा प्रश्न बनाना था जिसे हल करने के लिए कई चरणों की आवश्यकता हो। उदाहरण के लिए, एक प्रश्न कंप्यूटर से एक तालिका में एक विशिष्ट मान खोजने, समय के साथ वह मान कैसे बदला यह देखने के लिए एक संबंधित चार्ट को देखने, और फिर उस परिवर्तन के कारण को समझाने के लिए टेक्स्ट में एक वाक्य पढ़ने के लिए कह सकता है। कंप्यूटर को किसी भी बाहरी ज्ञान का उपयोग करने की अनुमति नहीं थी; उसे प्रदान की गई छवि के भीतर से ही उत्तर खोजना था। इसने यह सुनिश्चित किया कि परीक्षण मशीन की इंटरनेट से तथ्य याद करने की क्षमता के बजाय, उसके सामने मौजूद दस्तावेज़ के साथ तर्क करने की क्षमता को मापे। शोधकर्ताओं ने दस्तावेजों को सावधानीपूर्वक फ़िल्टर किया ताकि यह सुनिश्चित हो सके कि उनमें पर्याप्त दृश्य जटिलता, जैसे कि आरेख और समीकरण हों, जो कार्य को चुनौतीपूर्ण बना सकें।
जब शोधकर्ताओं ने सोलह विभिन्न आर्टिफिशियल इंटेलिजेंस मॉडलों को इस परीक्षण से गुजारा, तो परिणामों ने एक स्पष्ट तस्वीर पेश की कि आज तकनीक कहाँ खड़ी है। सबसे अच्छा प्रदर्शन करने वाले मॉडल, जो वर्तमान में उपलब्ध सबसे उन्नत प्रणालियाँ हैं, लगभग पचहत्तर प्रतिशत प्रश्नों के सही उत्तर देने में सफल रहे। हालांकि यह प्रभावशाली लग सकता है, लेकिन इसका मतलब यह भी है कि सबसे बुद्धिमान मशीनें भी लगभग चार में से एक प्रश्न पर गलतियाँ कर रही हैं। अध्ययन से पता चला कि ये मॉडल अंग्रेजी की तुलना में रूसी दस्तावेजों में काफी खराब प्रदर्शन करते हैं, जो पुष्टि करता है कि भाषा एक महत्वपूर्ण बाधा बनी हुई है। इसके अलावा, दस्तावेज़ का प्रकार भी मायने रखता था; मॉडल वैज्ञानिक शोध पत्रों की तुलना में व्यावसायिक रिपोर्टों के साथ अधिक संघर्ष करते दिखे, और उन्हें विशेष रूप से तब कठिनाई हुई जब प्रश्नों के लिए उन्हें वस्तुओं को गिनने या पृष्ठ के विभिन्न हिस्सों से जानकारी को संयोजित करने की आवश्यकता थी।
शोधकर्ताओं ने इस बात पर भी बारीकी से नज़र डाली कि मशीनें क्यों विफल हुईं। उन्होंने पाया कि सबसे आम त्रुटियां तर्क की कमी के कारण नहीं, बल्कि सरल धारणा (perception) संबंधी समस्याओं के कारण थीं। कंप्यूटर अक्सर तालिका में एक संख्या को गलत पढ़ लेते थे, चार्ट पर एक विशिष्ट लेबल को पहचानने में विफल रहते थे, या इस बात को लेकर भ्रमित हो जाते थे कि तीर किस ओर इशारा कर रहा है। एक बार जब मशीन एक सूक्ष्म दृश्य विवरण को गलत पढ़ लेती थी, तो उसका बाकी का तर्क बिखर जाता था। यह सुझाव देता है कि इससे पहले कि ये प्रणालियाँ दस्तावेज़ों का विश्लेषण करने में वास्तविक विशेषज्ञ बन सकें, उन्हें बारीक विवरणों को स्पष्ट रूप से देखने में बहुत बेहतर होना होगा।
केवल मॉडलों का परीक्षण करने के अलावा, शोधकर्ताओं ने परिणामों का उपयोग यह देखने के लिए किया कि क्या यह बताने का कोई तरीका है कि मशीन कब गलती कर रही है। कई वास्तविक दुनिया की स्थितियों में, यह जानना पर्याप्त नहीं है कि कंप्यूटर गलत हो सकता है; आपको नुकसान पहुँचाने से पहले उस त्रुटि का पता लगाने का एक तरीका चाहिए। टीम ने इन गलतियों को पकड़ने के लिए कई अलग-अलग तरीकों का परीक्षण किया। उन्होंने पाया कि उन बंद, मालिकाना (proprietary) प्रणालियों के लिए, जहाँ वे आंतरिक कामकाज को नहीं देख सकते थे, त्रुटि का पता लगाने का सबसे अच्छा तरीका एक अन्य शक्तिशाली एआई मॉडल का उपयोग करना था जो एक निर्णायक के रूप में कार्य करे और उत्तर की जाँच करे। खुले सिस्टमों के लिए, जहाँ वे कोड के अंदर देख सकते थे, उन्होंने पाया कि कंप्यूटर के अपने आंतरिक आत्मविश्वास संकेतों (confidence signals) की जाँच करना छोटे उत्तरों के लिए अच्छा काम करता है, लेकिन जब कंप्यूटर बहुत लंबे, विस्तृत स्पष्टीकरण देता है, तो यह संघर्ष करता है। अध्ययन निष्कर्ष निकालता है कि हालांकि हम प्रगति कर रहे हैं, हमारे पास अभी भी हर त्रुटि को पकड़ने का कोई सटीक तरीका नहीं है, और सर्वोत्तम प्रणालियों में सुधार की काफी गुंजाइश है।
यह कार्य महत्वपूर्ण है क्योंकि यह चर्चा को केवल पढ़ने से आगे ले जाता है। यह दिखाता है कि जबकि मशीनें टेक्स्ट पढ़ सकती हैं, वे अभी भी इसके साथ सोचना सीख रही हैं। एक कठिन, द्विभाषी और वास्तविक दस्तावेजों पर केंद्रित परीक्षण बनाकर, शोधकर्ताओं ने एक स्पष्ट मानचित्र प्रदान किया है कि तकनीक कहाँ मजबूत है और कहाँ कमजोर है। उन्होंने दिखाया है कि आगे का रास्ता न केवल बड़े मॉडलों की आवश्यकता है, बल्कि पेशेवर दस्तावेजों के जटिल, विस्तृत वास्तविकता को संभालने के बेहतर तरीकों की भी आवश्यकता है। जब तक मशीनें विश्वसनीय रूप से एक चार्ट पढ़ नहीं लेतीं, उसे एक तालिका के साथ क्रॉस-रेफरेंस नहीं करतीं, और विवरणों में खोए बिना संबंध की व्याख्या नहीं करतीं, तब तक वित्त और विज्ञान जैसे उच्च-स्तरीय क्षेत्रों में उनका उपयोग सावधानीपूर्वक मानवीय निरीक्षण की मांग करेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।