Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation
यह शोध पत्र प्रदर्शित करता है कि क्रॉसलिंगुअल लैंग्वेज मॉडल मूल्यांकन के लिए व्यापक रूप से उपयोग किए जाने वाले सामान्यीकृत मेट्रिक्स टोकनाइजेशन और ऑर्थोग्राफिक अंतरों के कारण पूर्वाग्रह उत्पन्न करते हैं, और यह प्रस्ताव देता है कि अर्थपूर्ण रूप से समान अनुक्रमों पर वाक्य-स्तरीय नेगेटिव लॉग-लाइक्लीहुड (negative log-likelihood), विभिन्न भाषाओं में मॉडलों की तुलना करने के लिए एक अधिक सुसंगत और निष्पक्ष विकल्प प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, कंप्यूटर दर्जनों मानव भाषाओं में बोलना और लिखना सीख रहे हैं। ये डिजिटल मस्तिष्क, जिन्हें भाषा मॉडल (लैंग्वेज मॉडल्स) के रूप में जाना जाता है, वाक्यों में अगले शब्द की भविष्यवाणी करने के लिए टेक्स्ट के विशाल पुस्तकालयों पर प्रशिक्षित किए जाते हैं। जैसे-जैसे ये सिस्टम अधिक शक्तिशाली होते जा रहे हैं, शोधकर्ता एक गंभीर चुनौती का सामना कर रहे हैं: हम यह कैसे जानें कि क्या कोई मॉडल वास्तव में किसी विशिष्ट भाषा में कुशल है, या क्या वह केवल उस तरीके में कुशल है जिस तरह से उस भाषा को कंप्यूटर पर लिखा जाता है। इसका उत्तर देने के लिए, वैज्ञानिकों को यह मापना चाहिए कि मॉडल पाठ के अर्थ को कितनी अच्छी तरह समझता है, न कि केवल यह कि वह कच्चे वर्णों या प्रतीकों को कितनी कुशलता से प्रोसेस कर सकता है। समस्या यह है कि इस समझ को मापने के लिए वर्तमान में उपयोग किए जाने वाले उपकरणों में अक्सर छिपे हुए जाल होते हैं। वे शब्द में अक्षरों की संख्या, उपयोग किए गए विशिष्ट लिपि, या जिस तरह से कंप्यूटर एक वाक्य को प्रोसेसिंग के लिए छोटे-छोटे टुकड़ों में तोड़ता है, उससे प्रभावित हो सकते हैं। यदि ये उपकरण पक्षपाती हैं, तो वे एक मॉडल को एक भाषा में अत्यंत बुद्धिमान और दूसरी भाषा में अनाड़ी दिखा सकते हैं, इसलिए नहीं कि उसकी वास्तविक बुद्धिमत्ता ऐसी है, बल्कि इसलिए क्योंकि डेटा को संभालने के तरीके में तकनीकी खामियां हैं। यह आर्टिफिशियल इंटेलिजेंस के दुनिया की विविध भाषाओं में प्रदर्शन की निष्पक्ष तुलना करना लगभग असंभव बना देता है।
जॉर्जटाउन यूनिवर्सिटी और इल्यूथरएआई (EleutherAI) के शोधकर्ताओं की एक टीम ने इन मॉडलों को परखने के लिए उपयोग किए जाने वाले उपकरणों का परीक्षण करके इस पहेली को सुलझाने का प्रयास किया। उन्होंने पचास अलग-अलग कंप्यूटर मॉडल्स का उपयोग करके एक नियंत्रित प्रयोग बनाया, जिनमें से प्रत्येक को विशेष रूप से दस अलग-अलग भाषाओं में से एक पर प्रशिक्षित किया गया था। एक निष्पक्ष परीक्षण सुनिश्चित करने के लिए, उन्होंने इन मॉडल्स को 'पैरेलल डेटा' (समानांतर डेटा) पर प्रशिक्षित किया, जिसका अर्थ है कि मॉडल्स ने उन ग्रंथों से सीखा जो विभिन्न भाषाओं में बिल्कुल एक ही अर्थ व्यक्त करते थे। फिर उन्होंने इन मॉडल्स का छह अलग-अलग मापन विधियों का उपयोग करके परीक्षण किया, जो इस क्षेत्र में सामान्य रूप से उपयोग की जाती हैं। इनमें से कुछ विधियाँ उन कुल 'टोकन' की गिनती करती हैं जिनका उपयोग एक मॉडल वाक्य को समझने के लिए करता है, कुछ 'बाइट्स' (स्टोरेज की डिजिटल इकाइयाँ) की गिनती करती हैं, या स्क्रीन पर दिखने वाले व्यक्तिगत वर्णों की संख्या गिनती हैं। शोधकर्ताओं ने एक ऐसे तरीके का भी परीक्षण किया जो बिना पाठ की लंबाई से विभाजित किए, पूरे वाक्य की भविष्यवाणी करने में मॉडल द्वारा झेली गई कुल कठिनाई को जोड़ता है।
परिणामों ने एक चौंकाने वाला सच उजागर किया कि ये माप कैसे काम करते हैं। वे विधियाँ जो मॉडल के प्रदर्शन को टोकन, बाइट्स या वर्णों की संख्या से विभाजित करती थीं, विभिन्न भाषाओं की तुलना करने में गहराई से त्रुटिपूर्ण पाई गईं। ये मेट्रिक्स लगातार उन भाषाओं का पक्ष लेते थे जो स्वाभाविक रूप से एक ही विचार को व्यक्त करने के लिए कम वर्णों या बाइट्स का उपयोग करती हैं, जैसे कि चीनी, जबकि उन भाषाओं को दंडित करते थे जिन्हें प्रतीकों के लंबे अनुक्रमों की आवश्यकता होती है। एक उल्लेखनीय उदाहरण में, केवल अंग्रेजी पर प्रशिक्षित एक मॉडल को इन त्रुटिपूर्ण विधियों द्वारा रूसी भाषा पर अंग्रेजी की तुलना में "बेहतर" प्रदर्शन करता हुआ दिखाया गया, केवल इसलिए क्योंकि कंप्यूटर ने रूसी पाठ को अधिक टुकड़ों में तोड़ दिया था, जिससे स्कोर कृत्रिम रूप से कम हो गया। ऐसा तब हुआ जब मॉडल ने पहले कभी रूसी नहीं देखी थी और वास्तव में रूसी भाषा पर उसका प्रदर्शन खराब था। अध्ययन ने दिखाया कि ये लोकप्रिय मेट्रिक्स मॉडल की वास्तविक बुद्धिमत्ता या समझ को नहीं माप रहे थे; वे केवल उन इंजीनियरिंग विकल्पों को दर्शा रहे थे जो कंप्यूटर को टेक्स्ट पढ़ने के लिए सेटअप करते समय किए गए थे।
इसके विपरीत, वह विधि जिसने लंबाई के आधार पर विभाजित किए बिना वाक्य की कुल कठिनाई को जोड़ा, एकमात्र निष्पक्ष दृष्टिकोण साबित हुई। यह माप, जिसे शोधकर्ता 'सेंटेंस-लेवल नेगेटिव लॉग-लाइक्लीहुड' कहते हैं, पूरे पाठ के अर्थ को समझने के लिए मॉडल द्वारा किए गए कुल प्रयास को देखता था। क्योंकि इसने स्कोर को अक्षरों या डिजिटल स्टोरेज के रूप में पाठ की लंबाई के आधार पर सामान्य (नॉर्मलाइज) करने का प्रयास नहीं किया, इसलिए यह लिपि या कंप्यूटर की शब्दावली के आकार के बावजूद स्थिर रहा। जब शोधकर्ताओं ने इस पद्धति का परीक्षण बड़े, वास्तविक दुनिया के बहुभाषी मॉडल्स पर किया, तो यही एकमात्र ऐसा मेट्रिक था जिसने सही ढंग से पहचाना कि मॉडल्स ने किन भाषाओं को सबसे अच्छी तरह सीखा है, जो उनके प्रशिक्षण डेटा की ज्ञात संरचना से मेल खाता था। अन्य विधियाँ निरंतर रैंकिंग को विकृत करती रहीं, जो टेक्स्ट को स्टोर और प्रोसेस करने के तकनीकी विवरणों से प्रभावित थी।
शोधकर्ताओं ने यह भी जांच की कि क्या ये माप तब भी सुसंगत रहते हैं जब एक ही अर्थ को अलग-अलग तरीकों से व्यक्त किया जाता है। उन्होंने पाया कि जबकि कुछ मेट्रिक्स इस बात पर बहुत अधिक उतार-चढ़ाव दिखाते थे कि किस अनुवाद या पैराफ्रेज़ (भावानुवाद) का उपयोग किया गया है, सेंटेंस-लेवल विधि स्थिर रही। यह सुझाव देता है कि अन्य विधियों की स्पष्ट स्थिरता एक भ्रम थी जो उनकी सतही विवरणों के प्रति संवेदनशीलता से पैदा हुई थी, न कि वास्तविक विश्वसनीयता का संकेत। अध्ययन निष्कर्ष निकालता है कि आर्टिफिशियल इंटेलिजेंस के विभिन्न संस्कृतियों और भाषाओं में काम करने के तरीके को वास्तव में समझने के लिए, वैज्ञानिकों को टोकन, बाइट्स या वर्णों की गिनती करने वाले मेट्रिक्स पर निर्भर करना बंद करना चाहिए। इसके बजाय, उन्हें ऐसे उपाय करने चाहिए जो पाठ के कुल अर्थ का सम्मान करें, यह सुनिश्चित करते हुए कि मूल्यांकन मॉडल की वास्तविक सीख को दर्शाता है, न कि उसके डिजिटल प्रतिनिधित्व की खामियों को। यह बदलाव एक ऐसे सिस्टम बनाने के लिए आवश्यक है जो वास्तव में निष्पक्ष और प्रभावी हो, चाहे कोई भी भाषा बोलता हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।