EuraGovExam: A Multilingual Multimodal Benchmark from Real-World Civil Service Exams
यह शोध पत्र EuraGovExam को प्रस्तुत करता है, जो पांच यूरेशियाई क्षेत्रों के 8,000 से अधिक वास्तविक दुनिया के सिविल सेवा परीक्षा प्रश्नों से बना एक चुनौतीपूर्ण बहुभाषी और बहुविध (multimodal) बेंचमार्क है, जिसे उच्च-दांव वाले, छवि-आधारित परिदृश्यों में विजन-लैंग्वेज मॉडलों की लेआउट-जागरूक, क्रॉस-लिंगुअल तर्क क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक उच्च-दांव वाले नौकरी के साक्षात्कार (इंटरव्यू) के लिए तैयार करना सिखा रहे हैं।
वर्तमान में AI रोबोटों के लिए अधिकांश परीक्षण उन्हें इंटरव्यू के प्रश्नों का एक साफ, टाइप किया हुआ ट्रांसक्रिप्ट देने जैसा है। रोबोट टेक्स्ट पढ़ता है, सोचता है और उत्तर देता है। यह आसान है क्योंकि रोबोट को खराब लिखावट, अजीब फोंट या भ्रमित करने वाले आरेखों (डायग्राम) से जूझना नहीं पड़ता।
EuraGovExam अलग है। यह रोबोट को सरकार की फाइलिंग कैबिनेट से सीधे निकाला गया वास्तविक, भौतिक परीक्षा पत्र सौंपने जैसा है।
यहाँ इस नए बेंचमार्क का सरल शब्दों में विवरण दिया गया है:
1. "वास्तविक दुनिया" की चुनौती
शोधकर्ताओं ने दक्षिण कोरिया, जापान, ताइवान, भारत और यूरोपीय संघ के पांच स्थानों के सिविल सेवा परीक्षणों से 8,000 से अधिक वास्तविक परीक्षा प्रश्न एकत्र किए।
- पुराना तरीका: यदि किसी प्रश्न में कोई तालिका (टेबल) या ग्राफ होता, तो शोधकर्ता AI को देने से पहले संख्याओं को टाइप करते और चित्र का विवरण टेक्स्ट के रूप में लिखते।
- EuraGovExam का तरीका: AI को परीक्षा पृष्ठ की एक एकल फोटो मिलती है। इसे टेक्स्ट पढ़ना होगा, अव्यवस्थित तालिकाओं की व्याख्या करनी होगी, गणितीय प्रतीकों को समझना होगा, और पूरे लेआउट को खुद समझना होगा, ठीक वैसे ही जैसे एक इंसान करता है। यहाँ कोई "चीट शीट" के रूप में टेक्स्ट उपलब्ध नहीं कराया जाता।
2. "भाषा की बाधा" का आश्चर्य
शोधकर्ता उम्मीद कर रहे थे कि AI कानून या भौतिकी जैसे कठिन विषयों में संघर्ष करेगा। लेकिन उन्हें कुछ बहुत ही अजीब पता चला: AI को इस बात से ज्यादा संघर्ष करना पड़ा कि प्रश्न कहाँ से आया था, बजाय इसके कि प्रश्न किस विषय के बारे में था।
इसे इस तरह समझें:
- यदि आप एक रोबोट को अंग्रेजी में लिखा गया गणित का सवाल देते हैं, तो वह उसे पूरी तरह से हल कर सकता है।
- यदि आप उसे वही गणित का सवाल देते हैं, लेकिन जापानी भाषा में वर्टिकल टेक्स्ट और अजीब प्रतीकों के साथ लिखा हुआ, तो रोबंतु का स्कोर 30% हो सकता है।
- यदि आप उसे पारंपरिक चीनी (Traditional Chinese) में वही समस्या देते हैं, तो उसका स्कोर 90% हो सकता है।
अध्ययन में पाया गया कि देश और लेखन प्रणाली (स्क्रिप्ट) विषय वस्तु से अधिक महत्वपूर्ण हैं। AI का प्रदर्शन इस बात पर बहुत अधिक भिन्न था कि प्रश्न जापान से था या ताइवान से, भले ही दोनों में समान वर्णों का उपयोग किया गया था। ऐसा लगता है जैसे रोबोट के पास एक "भौगोलिक अंध बिंदु" (geographic blind spot) है जो उसे तब पढ़ना भुला देता है जब स्याही का स्वरूप एक निश्चित तरीके का होता है।
3. "सार्वभौमिक विफलता" क्षेत्र (Universal Failure Zone)
8,000 प्रश्नों में से, 50 विशिष्ट प्रश्न ऐसे थे जिन्हें प्रत्येक AI मॉडल (सबसे स्मार्ट से लेकर सबसे कम बुद्धिमान तक) गलत कर गया।
ये केवल कठिन प्रश्न नहीं थे; ये "जाल" थे। इनमें आमतौर पर निम्नलिखित का संयोजन था:
- जटिल लेआउट: जैसे पैराग्राफ के अंदर एक छोटी सी तालिका।
- मिश्रित भाषाएँ: अंग्रेजी टेक्स्ट के साथ मिश्रित गणितीय प्रतीक।
- सांस्कृतिक संदर्भ: ऐसी चीजें जिनके लिए विशिष्ट स्थानीय ज्ञान की आवश्यकता होती है।
यह एक पहेली की तरह है जिसे सुलझाने के लिए चाहे रोबोट कितना भी स्मार्ट क्यों न हो, वह सफल नहीं हो पाता क्योंकि पहेली के टुकड़े उसके सोचने के वर्तमान तरीके में फिट नहीं बैठते।
4. यह क्यों मायने रखता है
अभी, कई AI कंपनियाँ दावा करती हैं कि उनके मॉडल "स्मार्ट" हैं क्योंकि वे मानक परीक्षणों पर 95% स्कोर करते हैं। लेकिन यह पेपर कहता है: "ठहरिए, वे परीक्षण बहुत आसान हैं।"
वे एक खाली, सीधी हाईवे पर ड्राइविंग टेस्ट देने जैसे हैं। EuraGovExam एक मानसून के दौरान एक अराजक शहर में गाड़ी चलाने जैसा है, जहाँ पांच अलग-अलग भाषाओं में सड़क के संकेत हैं और जगह-जगह गड्ढे हैं।
निष्कर्ष (The Takeway):
यह बेंचमार्क साबित करता है कि वास्तविक दुनिया के लिए वास्तव में उपयोगी AI (जैसे सरकारों को दस्तावेज़ संसाधित करने में मदद करना या छात्रों को अध्ययन करने में मदद करना) बनाने के लिए, हम केवल अधिक डेटा के साथ AI को "स्मार्ट" नहीं बना सकते। हमें इसे मानव दस्तावेजों की अव्यवस्थित वास्तविकता को देखना और पढ़ना सिखाना होगा, चाहे भाषा या देश कोई भी हो।
जब तक AI बिना किसी मदद के इन "सिविल सेवा परीक्षाओं" को पास नहीं कर लेता, तब तक यह वास्तविक काम के लिए पूरी तरह तैयार नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।