Multi-lingual Functional Evaluation for Large Language Models
यह शोध पत्र पाँच भाषाओं में बहुभाषी कार्यात्मक बेंचमार्क (CL-GSM Symbolic और CL-IFEval) प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि स्थिर बहुभाषी मूल्यांकन अक्सर व्यावहारिक, कार्य-आधारित मूल्यांकनों की तुलना में मॉडल के प्रदर्शन और मजबूती का अतिरंजित अनुमान लगाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वैश्विक कंपनी के लिए एक नया कर्मचारी रख रहे हैं। आप यह जानना चाहते हैं कि क्या वे वास्तव में विभिन्न भाषाओं में काम कर सकते हैं, न कि केवल यह कि क्या वे अंग्रेजी में एक लिखित परीक्षा पास कर सकते हैं।
यह शोध पत्र उस भर्ती प्रक्रिया के लिए एक रिपोर्ट कार्ड की तरह है, लेकिन व्यक्ति के बजाय, "कर्मचारी" एक AI (लार्ज लैंग्वेज मॉडल) है।
यहाँ शोधकर्ताओं ने जो पाया है, उसकी कहानी सरल शब्दों में दी गई है:
1. पुराना तरीका: "बहुविकल्पीय" जाल
लंबे समय से, हम AI मॉडलों का परीक्षण स्थिर बेंचमार्क (Static Benchmarks) का उपयोग करके करते आए हैं। इन्हें मानकीकृत बहुविकल्पीय परीक्षणों (जैसे SAT या सामान्य ज्ञान की क्विज़) की तरह समझें।
- यह कैसे काम करता है: AI फ्रांसीसी या स्पेनिश में एक प्रश्न पढ़ता है और विकल्पों की सूची में से सही उत्तर चुनता है।
- समस्या: शोधकर्ताओं ने पाया कि ये परीक्षण नकल करने जैसा है। एक AI अपने प्रशिक्षण के दौरान टेस्ट बैंक के प्रश्नों के उत्तर याद कर सकता है। वह उच्च स्कोर प्राप्त करता है, लेकिन वह वास्तव में वास्तविक दुनिया में भाषा का उपयोग करना नहीं समझता। यह उस छात्र की तरह है जिसने उत्तर कुंजी (answer key) तो रट ली है, लेकिन बातचीत नहीं कर सकता।
2. नया तरीका: "कार्यात्मक" (Functional) परीक्षण
लेखकों ने दो नए परीक्षण बनाए जिन्हें CL-GSM Symbolic और CL-IFEval कहा जाता है। इन्हें ड्राइविंग टेस्ट या ऑन-द-जॉब सिमुलेशन की तरह समझें।
- यह कैसे काम करता है: "2+2 क्या है?" पूछने के बजाय, वे AI को चलते हुए हिस्सों वाला एक टेम्पलेट देते हैं।
- उदाहरण: "सैली ने {संख्या} लाल सेब और {संख्या} हरे सेब खरीदे। कुल कितने सेब हैं?"
- AI को रंगों (भटकाव) को अनदेखा करना होगा और गणित (कार्य) पर ध्यान केंद्रित करना होगा।
- ट्विस्ट: उन्होंने इन परीक्षणों को पांच भाषाओं में अनुवादित किया: फ्रांसीसी, स्पेनिश, हिंदी, अरबी और योरुबा (नाइजीरिया में बोली जाने वाली एक भाषा)।
3. बड़ा आश्चर्य: "हाइप बनाम वास्तविकता" का अंतर
शोधकर्ताओं ने परीक्षण किए और पाया कि पुराने "बहुविकल्पीय" स्कोर और नए "ड्राइविंग टेस्ट" स्कोर के बीच एक बड़ा अंतर है।
- भ्रम: पुराने परीक्षणों पर, AI सभी भाषाओं में एक जीनियस की तरह दिखता था।
- वास्तविकता: जब नए कार्यात्मक परीक्षणों के साथ काम करने के लिए डाला गया, तो कई भाषाओं में AI का प्रदर्शन ढह गया।
- अंग्रेजी, फ्रांसीसी और स्पेनिश में, पुराने परीक्षण से नए वाले पर स्विच करने पर AI के गणित कौशल में लगभग 17% से 24% की गिरावट आई।
- यह उस छात्र की तरह है जो लिखित परीक्षा में 'A' ग्रेड पाता है लेकिन व्यावहारिक लैब में फेल हो जाता है क्योंकि वह रसायनों को मिलाना नहीं जानता।
4. "संसाधन" का विभाजन
यह शोध पत्र AI के बारे में एक क्रूर वास्तविकता को उजागर करता है: इसे समृद्ध भाषाओं से प्यार है और गरीब भाषाओं में यह संघर्ष करता है।
- उच्च-संसाधन वाली भाषाएँ (अंग्रेजी, फ्रांसीसी, स्पेनिश): AI यहाँ ठीक है। इंटरनेट पर इसका बहुत सारा डेटा उपलब्ध है।
- कम-संसाधन वाली भाषाएँ (योरुबा): AI यहाँ लगभग अंधा है। नए कार्यात्मक परीक्षणों में, योरुबा पर AI का प्रदर्शन अत्यधिक कम था (कभी-कभी 15% सटीकता से भी नीचे)।
- उपमा: एक पुस्तकालय की कल्पना करें। अंग्रेजी अनुभाग एक विशाल, अच्छी रोशनी वाला पुस्तकालय है जिसमें लाखों किताबें हैं। योरुबा अनुभाग एक अंधेरे कोने में रखा एक अकेला, धूल भरा पर्चा है। AI एक ऐसा छात्र है जिसने अंग्रेजी पुस्तकालय को कवर-टू-कवर पढ़ा है लेकिन उसने कभी उस पर्चे को देखा तक नहीं है।
5. "भंगुर" (Brittle) AI
सबसे महत्वपूर्ण खोज मजबूती (robustness) के बारे में है।
- कुछ AI मॉडल कांच की तरह होते हैं: वे तब तक एकदम सही दिखते हैं जब तक आप उन्हें थोड़े अलग प्रश्न से छूते नहीं, और फिर वे टूट जाते हैं।
- शोधकर्ताओं ने पाया कि एक AI अंग्रेजी में निर्देश मानने में बहुत अच्छा हो सकता है, लेकिन अरबी या हिंदी में बिल्कुल वही निर्देश मिलने पर पूरी तरह विफल हो सकता है।
- "शुरुआत/अंत" की विफलता: एक विशिष्ट परीक्षण में, AI एक सरल नियम ("अपने वाक्य को बड़े अक्षर (capital letter) से शुरू करें") का पालन करने में विफल रहा, जबकि वह अंग्रेजी में इसे पूरी तरह से कर सकता था। यह एक ऐसे रोबोट की तरह है जो जैज़ (jazz) पर नाच सकता है लेकिन अगर आप उसे साल्सा (salsa) पर नाचने को कहें तो वह जम जाता है।
सारांश: हमारे लिए इसका क्या अर्थ है?
यह शोध पत्र एक चेतावनी है।
- हाइप पर भरोसा न करें: सिर्फ इसलिए कि एक AI "बहुभाषी" कहता है और मानक परीक्षणों पर उच्च स्कोर करता है, इसका मतलब यह नहीं है कि वह वास्तव में उन भाषाओं में काम कर सकता है।
- "अंग्रेजी का बुलबुला": AI वर्तमान में अंग्रेजी में बहुत अच्छा है लेकिन अन्य कई भाषाओं में बहुत नाजुक और अविश्वसनीय है, विशेष रूप से उन भाषाओं में जिनके डिजिटल संसाधन कम हैं (जैसे योरुबा)।
- समाधान: हमें AI का परीक्षण स्थिर क्विज़ के साथ करना बंद करना होगा और वास्तविक दुनिया के कार्यात्मक कार्यों के साथ परीक्षण करना शुरू करना होगा ताकि यह देखा जा सके कि क्या वह वास्तव में काम संभाल सकता है।
संक्षेप में: AI एक बेहतरीन छात्र है जिसने पाठ्यपुस्तक रट ली है, लेकिन जब आप उसे किसी दूसरी भाषा में वास्तविक जीवन की समस्या हल करने के लिए कहते हैं, तो वह अक्सर सोचना भूल जाता है। हमें बेहतर परीक्षणों की आवश्यकता है ताकि पता चल सके कि वास्तव में कौन वास्तविक दुनिया के लिए तैयार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।