What Tokens are Learned when Tokenization is Optimized Jointly with Language Modeling?
यह शोधपत्र यह प्रदर्शित करता है कि भाषा मॉडलिंग के साथ टोकेनाइज़ेशन का संयुक्त रूप से अनुकूलन करना टोकन संरचनाओं को मौलिक रूप से बदल देता है, जिससे यह प्रकट होता है कि SSLMs जैसे टोकेनाइज़र-मुक्त दृष्टिकोण रूपात्मक रूप से संरेखित और प्रासंगिक रूप से कुशल टोकन सीखते हैं जो विभिन्न भाषाओं में परप्लेक्सिटी (perplexity) को कम करते हैं और प्रतिस्पर्धी डाउनस्ट्रीम प्रदर्शन प्राप्त करते हैं, जो H-Nets के विपरीत है जो बाइट-स्तरीय दक्षता को प्राथमिकता देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर पाठ को उस तरह नहीं पढ़ते जैसे इंसान पढ़ते हैं। वे एक वाक्य को अर्थ के बहते हुए प्रवाह के रूप में नहीं देख सकते; वे इसे अलग-अलग इकाइयों के एक क्रम के रूप में देखते हैं। भाषा को समझने के लिए, इन प्रणालियों को पहले शब्दों को छोटे टुकड़ों में तोड़ना पड़ता है, जिसे टोकेनाइजेशन (tokenization) कहा जाता है। एक ऐसे लाइब्रेरियन की कल्पना करें जिसे एक पुस्तकालय को पूरी किताबों के आधार पर नहीं, बल्कि व्यक्तिगत अध्यायों या यहाँ तक कि पैराग्राफों के आधार पर व्यवस्थित करना है, यह इस पर निर्भर करता है कि किताबें कैसे लिखी गई हैं। यदि लाइब्रेरियन किताबों को गलत स्थानों पर काट देता है, तो कहानी को समझना कठिन हो जाता है। दशकों से, शोधकर्ताओं ने इन कट लगाने के लिए निश्चित नियमों का उपयोग किया है, जो अक्सर इस बात के सरल सांख्यिकीय डेटा पर निर्भर करते हैं कि कुछ अक्षरों के संयोजन कितनी बार एक साथ आते हैं। ये नियम पर्याप्त रूप से काम करते हैं, लेकिन वे स्थिर हैं; एक बार निर्धारित होने के बाद, वे कभी नहीं बदलते, भले ही कंप्यूटर एक नई भाषा या एक जटिल बोली सीख रहा हो। यह एक मौलिक प्रश्न खड़ा करता है: क्या होगा यदि हम इन निश्चित नियमों का उपयोग करना बंद कर दें और इसके बजाय कंप्यूटर को यह सीखने दें कि शब्दों को कैसे काटा जाए, जबकि वह स्वयं भाषा सीख रहा हो?
IIIT हैदराबाद के शोधकर्ताओं की एक टीम ने ऐसे भाषा मॉडल बनाकर इसका उत्तर देने का प्रयास किया जो सीखते समय ही टोकेनाइजेशन भी सीखते हैं। उन्होंने इन "टोकेनाइज़र-मुक्त" प्रणालियों का परीक्षण अठारह विभिन्न भाषाओं में किया, जिसमें अंग्रेजी और स्वीडिश से लेकर तमिल, हिंदी और हिब्रू तक शामिल हैं। इन भाषाओं को शब्दों के निर्माण के विविध तरीकों का प्रतिनिधित्व करने के लिए चुना गया था, जो सरल, छोटे शब्दों से लेकर ध्वनियों की लंबी और जटिल कड़ियों तक विस्तृत हैं, जो हर नए हिस्से के जुड़ने के साथ अर्थ बदल देती हैं। शोधकर्ताओं ने अपनी नई, सीखने वाली प्रणालियों की तुलना पारंपरिक, निश्चित विधियों से की। वे देखना चाहते थे कि कंप्यूटर अपने आप में किस प्रकार के शब्द-टुकड़े आविष्कार करेगा, क्या वे टुकड़े भाषाई रूप से सार्थक होंगे, और क्या वे कंप्यूटर को भाषा समझने में मदद करेंगे।
परिणामों से पता चला कि जब कंप्यूटर को शब्दों को तोड़ने का अपना तरीका सीखने की अनुमति दी जाती है, तो वह उपयोग किए गए आर्किटेक्चर के आधार पर दो बहुत अलग रणनीतियाँ विकसित करता है। एक दृष्टिकोण, जिसे सबवर्ड सेगमेंटल लैंग्वेज मॉडल (subword segmental language model) के रूप में जाना जाता है, ने शब्दों को इस तरह से काटने का सीखा जो भाषा के प्राकृतिक निर्माण खंडों से मेल खाता था। हिंदी जैसी भाषाओं में, जहाँ शब्द अक्सर एक मूल शब्द में विशिष्ट अंत (endings) जोड़कर बनाए जाते हैं, इस प्रणाली ने मूल शब्द और अंत को जल्दी पहचान लिया और उन्हें स्पष्ट रूप से अलग कर दिया। हिब्रू में, जहाँ अर्थ शब्द के केवल अंत में जोड़ने के बजाय उसके आंतरिक ढांचे में बुना जाता है, इस प्रणाली ने उन आंतरिक पैटर्न को पहचानना सीखा। इस पद्धति ने ऐसे टोकन उत्पन्न किए जो भाषatically सार्थक थे, जो मानव द्वारा भाषा की व्याकरण और संरचना को समझने के तरीके के साथ अच्छी तरह से मेल खाते थे।
इसके विपरीत, एक अलग दृष्टिकोण जिसे H-Nets कहा जाता है, ने बहुत अधिक व्यावहारिक मार्ग अपनाया। भाषाई निर्माण खंडों को खोजने के बजाय, इस प्रणाली ने पूरी तरह से दक्षता पर ध्यान केंद्रित किया। इसने पाठ के बहुत लंबे हिस्से बनाने के लिए सीखा, जो कभी-कभी पूरे वाक्यांशों तक फैले होते थे, ताकि डेटा को प्रोसेस करने के लिए कंप्यूटर को आवश्यक चरणों की संख्या को कम किया जा सके। इन हिस्सों का वास्तविक व्याकरण या अर्थ से बहुत कम लेना-देना था। उदाहरण के लिए, जटिल लिपियों वाली भाषाओं में, इस प्रणाली ने ऐसे टोकन उत्पन्न किए जो अन्य किसी भी पद्धति द्वारा बनाए गए टोकन की तुलना में काफी लंबे थे, जिसने शब्द की स्पष्टता के बजाय प्रोसेसिंग की गति को प्राथमिकता दी। हालाँकि इससे प्रणाली कम्प्यूटेशनल रूप से कुशल बनी, लेकिन इसके परिणामस्वरूप एक ऐसी शब्दावली बनी जो मनुष्यों या पारंपरिक एल्गोरिदम द्वारा शब्दों को तोड़ने के मानक तरीकों से बिल्कुल अलग थी।
अध्ययन ने यह भी दिखाया कि इन प्रणालियों के सीखने का तरीका इस बात पर निर्भर करता है कि वे किस प्रकार की भाषा को प्रोसेस कर रही हैं। उन भाषाओं में जहाँ शब्द कई छोटे हिस्सों को जोड़कर बनाए जाते हैं, सीखने की प्रक्रिया अधिक गतिशील और उतार-चढ़ाव भरी थी। प्रणाली शब्दों को काटने के विभिन्न तरीकों को आजमाती थी, कभी एकदम सही विभाजन पाती और फिर उससे हट जाती, और अंत में एक ऐसे समाधान पर पहुँचती जो दक्षता और अर्थ के बीच संतुलन बनाता था। सरल भाषाओं में, प्रणाली ने शब्दों को काटने का एक स्थिर तरीका बहुत जल्दी खोज लिया और उसी पर टिकी रही। यह सुझाव देता है कि भाषा की जटिलता स्वयं यह तय करती है कि कंप्यूटर उसे कैसे टोकेनाइज करना सीखता है।
जब शोधकर्ताओं ने इन नई टोकेनाइजेशन विधियों का वास्तविक दुनिया के कार्यों में परीक्षण किया, जैसे कि किसी वाक्य की भावना (sentiment) की पहचान करना या लोगों और स्थानों के नाम खोजना, तो परिणाम उत्साहजनक थे। भले ही कंप्यूटर ने उस शब्दावली से पूरी तरह से अलग शब्दावली सीखी थी जिसका उपयोग मानक मॉडलों में किया जाता है, फिर भी इसने इन कार्यों पर समान रूप से, और कुछ मामलों में बेहतर प्रदर्शन किया। वह प्रणाली जो भाषा की प्राकृतिक संरचना के साथ तालमेल बिठाने के लिए सीखी गई थी, उसने लगातार उस भ्रम को कम किया जो कंप्यूटर को वाक्य में अगले शब्द की भविष्यवाणी करते समय महसूस होता था। यह इंग दर्शाता है कि कंप्यूटर को अपनी टोकेनाइजेशन रणनीति सीखने देना उसे ऐसे सार्थक पैटर्न खोजने की अनुमति देता है जिन्हें निश्चित नियम मिस कर सकते हैं।
अंततः, यह शोध प्रदर्शित करता है कि कंप्यूटर के लिए शब्दों को तोड़ने का कोई एक "सर्वश्रेष्ठ" तरीका नहीं है। इष्टतम विधि इस बात पर निर्भर करती है कि सिस्टम क्या हासिल करने की कोशिश कर रहा है। यदि लक्ष्य भाषा की गहरी संरचना को समझना है, तो मॉडल को अपना स्वयं का विभाजन सीखने देने से ऐसे टोकन मिलते हैं जो मानवीय भाषाई अंतर्ज्ञान को दर्शाते हैं। यदि लक्ष्य कच्ची प्रोसेसिंग गति है, तो मॉडल दक्षता के लिए भाषाई स्पष्टता का त्याग करते हुए पूरी तरह से अलग, लंबे हिस्से बना सकता है। यह दिखाकर कि ये संयुक्त शिक्षण दृष्टिकोण मानव-निर्मित नियमों के बिना प्रभावी, सार्थक शब्दावलियाँ बना सकते हैं, यह अध्ययन अधिक अनुकूल और भाषाई रूप से जागरूक आर्टिफिशियल इंटेलिजेंस प्रणालियों के द्वार खोलता है जो मानव भाषा की पूर्ण विविधता को संभाल सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।