Beyond Two Bytes per Letter: Tokenization Overhead in Cyrillic AI Systems
यह शोध पत्र आधुनिक एआई प्रणालियों में अंग्रेजी की तुलना में यूक्रेनी और अन्य सिरिलिक भाषाओं द्वारा सामना किए जाने वाले महत्वपूर्ण टोकनाइजेशन ओवरहेड को परिमाणित करता है, यह प्रदर्शित करते हुए कि यह असमानता प्रशिक्षण डेटा आवंटन से उत्पन्न होती है लेकिन इसे इन्फरेंस-टाइम संपीड़न तकनीकों के माध्यम से या संतुलित बाइट-लेवल बीपीई (BPE) टोकनाइज़र को प्रशिक्षित करके प्रभावी ढंग से कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब एक कंप्यूटर एक वाक्य को पढ़ता है, तो वह शब्दों को उस तरह नहीं देखता जैसे एक इंसान देखता है। इसके बजाय, यह टेक्स्ट को छोटे टुकड़ों में तोड़ देता है जिन्हें 'टोकन' कहा जाता है, और ये वे बुनियादी इकाइयाँ हैं जिनका उपयोग मशीन अर्थ समझने और लागत की गणना करने के लिए करती है। लैटिन वर्णमाला वाली भाषाओं के लिए, जैसे कि अंग्रेजी, ये टुकड़े अक्सर कुशल होते हैं क्योंकि अक्षर स्वयं कंप्यूटर की मेमोरी में बहुत कम जगह लेते हैं। हालाँकि, सिरिलिक लिपि में लिखी जाने वाली भाषाओं के लिए, जैसे कि यूक्रेनी, स्थिति अलग है। इन लिपियों में उपयोग किए जाने वाले अक्षरों को स्टोर करने के लिए अधिक डिजिटल स्थान की आवश्यकता होती है, और चूंकि आर्टिफिशियल इंटेलिजेंस को प्रशिक्षित करने के लिए उपयोग किए जाने वाले अधिकांश डेटा अंग्रेजी में हैं, इसलिए कंप्यूटर ने अंग्रेजी टेक्स्ट को बहुत कुशलता से संभालना सीख लिया है जबकि वह सिरिलिक के साथ संघर्ष करता है। यह एक छिपा हुआ टैक्स (कर) पैदा करता है: सूचना की समान मात्रा को प्रोसेस करने के लिए, एक कंप्यूटर को एक अंग्रेजी वाक्य की तुलना में लगभग दोगुने टुकड़ों में तोड़ने की आवश्यकता हो सकती है, जिससे यह प्रक्रिया धीमी और महंगी हो जाती है।
एक स्वतंत्र शोधकर्ता इवान डोब्रोवोल्स्की का हालिया अध्ययन इस असमानता की जांच करता है, जो विशेष रूप से यूक्रेनी पर ध्यान केंद्रित करता है लेकिन ऐसे निष्कर्ष निकालता है जो सिरिलिक लिपि का उपयोग करने वाली कई अन्य भाषाओं पर भी लागू होते हैं। यह शोध एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: कंप्यूटर इन भाषाओं के साथ इतना संघर्ष क्यों करता है, और क्या हम तकनीक के पूर्ण बदलाव की प्रतीक्षा किए बिना इसे ठीक कर सकते हैं? अध्ययन सुझाव देता है कि समस्या केवल अक्षरों के आकार या वे कितनी जगह लेते हैं, इसके बारे में नहीं है, बल्कि इस बारे में है कि कंप्यूटर को उन्हें पढ़ना कैसे सिखाया गया था। विभिन्न आधुनिक प्रणालियों द्वारा टेक्स्ट को तोड़ने के तरीके का विश्लेषण करके, शोधकर्ता ने पाया कि यह असंतुलन स्वयं प्रशिक्षण डेटा (training data) से आता है। कंप्यूटर ने यूक्रेनी टेक्स्ट की तुलना में बहुत अधिक अंग्रेजी टेक्स्ट देखा है, इसलिए उसने यूक्रेनी भाषा के लिए कम शॉर्टकट सीखे हैं।
समस्या के पैमाने को मापने के लिए, शोधकर्ता ने प्रमुख प्रौद्योगिकी कंपनियों द्वारा उपयोग की जाने वाली नौ अलग-अलग वाणिज्यिक प्रणालियों का परीक्षण किया। उन्होंने इन प्रणालियों में लाखों यूक्रेनी शब्द डाले और तुलना की कि प्रत्येक प्रणाली ने अंग्रेजी टेक्स्ट के लिए बनाए गए टुकड़ों के मुकाबले कितने टुकड़े बनाए। परिणामों ने एक महत्वपूर्ण अंतर दिखाया। सबसे आधुनिक प्रणालियों पर, यूक्रेनी टेक्स्ट को अंग्रेजी टेक्स्ट की तुलना में 68 प्रतिशत से 121 प्रतिशत अधिक टुकड़ों की आवश्यकता थी। पुरानी प्रणालियों पर, यह अंतर और भी अधिक था, जो 220 प्रतिशत अधिक टुकड़ों तक पहुँच गया। इसका मतलब है कि अंग्रेजी टेक्स्ट को प्रोसेस करने के लिए खर्च किए गए प्रत्येक डॉलर के लिए, एक उपयोगकर्ता को यूक्रेनी टेक्स्ट की समान मात्रा को प्रोसेस करने के लिए लगभग दोगुना खर्च करना पड़ सकता है, सिर्फ इसलिए क्योंकि कंप्यूटर को शब्दों को तोड़ने के लिए अधिक काम करना पड़ता है।
अध्ययन ने यह भी देखा कि क्या लैटिन वर्णमाला में स्विच करना, जिसे रोमनकरण (romanization) कहा जाता है, इस समस्या का समाधान करेगा। कुछ लोगों ने सुझाव दिया है कि यूक्रेनी को लैटिन अक्षरों में लिखने से कंप्यूटर के लिए इसे पढ़ना सस्ता और तेज़ हो जाएगा। हालाँकि, शोध ने पाया कि आधुनिक प्रणालियों के लिए इसके विपरीत सत्य है। क्योंकि ये प्रणालियाँ पहले से ही यूक्रेनी वेब पर पाए जाने वाले मूल सिरिलिक अक्षरों को संभालने के कुशल तरीके सीख चुकी हैं, इसलिए टेक्स्ट को लैटिन अक्षरों में मजबूर करने से कंप्यूटर भ्रमित हो गया। इससे टेक्स्ट को और भी अधिक टुकड़ों में तोड़ दिया गया, जिससे कुछ प्रणालियों पर लागत 19 प्रतिशत तक बढ़ गई। कंप्यूटर उस लिपि के साथ सबसे अच्छा काम करता है जिसे उसने अपने प्रशिक्षण डेटा में सबसे अधिक बार देखा है, और यूक्रेनी के लिए, वह मूल सिरिलिक लिपि है।
यह समझने के लिए कि क्या समस्या को स्रोत पर ही ठीक किया जा सकता है, शोधकर्ता ने एक नई, कस्टम प्रणाली बनाई जिसे अंग्रेजी और यूक्रेनी के साथ समान व्यवहार करने के लिए डिज़ाइन किया गया था। कंप्यूटर को विशाल, अंग्रेजी-प्रधान इंटरनेट से सीखने देने के बजाय, इस नई प्रणाली को अंग्रेजी और यूक्रेनी टेक्स्ट के एक पूरी तरह से संतुलित मिश्रण पर प्रशिक्षित किया गया था। परिणाम आश्चर्यजनक थे। जब इस संतुलित प्रणाली का उपयोग किया गया, तो दक्षता का अंतर नाटकीय रूप से कम हो गया। यूक्रेनी टेक्स्ट को अब दोगुने टुकड़ों की आवश्यकता नहीं थी; इसके बजाय, इसे अंग्रेजी टेक्स्ट की तुलना में केवल लगभग 30 प्रतिशत अधिक टुकड़ों की आवश्यकता थी। यह साबित करता है कि उच्च लागत अक्षरों की अपनी भौतिक सीमा नहीं है, बल्कि यह इस बात का परिणाम है कि कंप्यूटर को कैसे प्रशिक्षित किया गया था। यदि प्रशिक्षण डेटा संतुलित है, तो कंप्यूटर दोनों भाषाओं के लिए कुशल होता है।
शोध ने यह भी पता लगाया कि कंप्यूटर के प्रशिक्षण को बदले बिना लागत को कैसे कम किया जा सकता है। टेक्स्ट से अनावश्यक शब्दों को बुद्धिमानी से हटाकर, शोधकर्ताओं ने यूक्रेनी टेक्स्ट को लगभग आधा करने में सफलता प्राप्त की। महत्वपूर्ण रूप से, इस संपीड़न (compression) ने हजारों वास्तविक उत्पादों और ग्राहक प्रश्नों से संबंधित एक परीक्षण में कंप्यूटर की सही उत्तर खोजने की क्षमता को नुकसान नहीं पहुँचाया। सिस्टम ने पूर्ण, असंपीदित टेक्स्ट की तरह ही सटीक रूप से सही कीमतें, रेटिंग और विवरण प्राप्त किए। यह सुझाव देता है कि जबकि प्रशिक्षण असंतुलन एक गहरी जड़ वाली समस्या है, वर्तमान में लागत कम करने के व्यावहारिक तरीके मौजूद हैं जबकि तकनीक विकसित हो रही है।
अंततः, अध्ययन यह प्रकट करता है कि सिरिलिक भाषाओं को पढ़ने में अक्षमता डेटा आवंटन की एक समाधान योग्य समस्या है, न कि लिपियों की कोई अंतर्निहित खामी। कंप्यूटर टूटा हुआ नहीं है; यह केवल उस डेटा के प्रति पक्षपाती है जिसे इसने सबसे अधिक देखा है। प्रशिक्षण डेटा को समायोजित करके जिसमें अधिक प्रतिनिधित्व वाली भाषाओं को शामिल किया जाए, या स्मार्ट संपीड़न उपकरणों का उपयोग करके, लागत और गति के डिजिटल विभाजन को कम किया जा सकता है। ये निष्कर्ष कृत्रिम बुद्धिमत्ता को अधिक न्यायसंगत बनाने के लिए एक स्पष्ट मार्ग प्रदान करते हैं, यह सुनिश्चित करते हुए कि इन शक्तिशाली उपकरणों के लाभ केवल उन लोगों तक सीमित न रहें जो सबसे सामान्य लिपियों में लिखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।