Tokenization with Split Trees
यह शोध पत्र ToaST को प्रस्तुत करता है, जो एक नवीन सबवर्ड टोकनाइजेशन विधि है जो न्यूनतम टोकन गणना के लिए शब्दावली चयन को अनुकूलित करने हेतु स्प्लिट ट्रीज़ (split trees) और इंटिजर प्रोग्रामिंग का उपयोग करती है, जिससे BPE और WordPiece जैसे मौजूदा बेसलाइनों की तुलना में संपीड़न दक्षता और लैंग्वेज मॉडल प्रदर्शन में महत्वपूर्ण सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप इंटरनेट पर किताबों का एक विशाल पुस्तकालय भेजना चाहते हैं, लेकिन आपका इंटरनेट कनेक्शन धीमा है। इस ट्रांसफर को तेज़ करने के लिए, आप किताबों को बिना कोई अर्थ खोए, कम से कम संभव "चंक्स" (टोकन) में कंप्रेस करना चाहते हैं।
लंबे समय तक, इसे करने का मानक तरीका एक लेगो बिल्डर (Lego builder) की तरह था जो छोटे-छोटे व्यक्तिगत ईंटों (अक्षरों) से शुरू करता है और उन्हें एक-एक करके जोड़ता जाता है, केवल तभी जब वे देखते हैं कि दो ईंटें अक्सर एक साथ जुड़ी हुई हैं। यह विधि, जिसे BPE कहा जाता है, तेज़ और लालची (greedy) है, लेकिन यह हमेशा सबसे कुशल नहीं होती है। यह दो ईंटों को एक साथ जोड़ सकता है जो वास्तव में एक साथ नहीं होनी चाहिए, या यह एक पूरे शब्द को एक साथ जोड़ने का मौका चूक सकता है क्योंकि यह पहले एक छोटे टुकड़े पर अटक गया था।
यह पेपर एक नई विधि पेश करता है जिसे ToaST (स्प्लिट ट्रीज़ के साथ टोकनाइज़ेशन) कहा जाता है। यह कैसे काम करता है, इसके लिए यहाँ कुछ सरल उपमाएँ दी गई हैं:
1. "संभावनाओं का पेड़" (Split Trees)
चीजों को जोड़ने के बजाय, ToaST एक पूरे शब्द (जैसे "Kentucky") से शुरू होता है और पूछता है: "यदि मुझे इस शब्द को आधा करना हो, तो सबसे अच्छी जगह क्या होगी?"
यह एक विशाल डेटाबेस को देखता है कि वास्तविक दुनिया में शब्दों के विभिन्न हिस्से कितनी बार दिखाई देते हैं। यह उस कट (cut) को चुनता है जो शब्द को दो ऐसे टुकड़ों में विभाजित करता है जो दोनों ही बहुत सामान्य हैं। फिर, यह उन दो टुकड़ों को लेता है और वही प्रश्न फिर से पूछता है। यह तब तक करता रहता है जब तक कि वह एकल अक्षरों तक नहीं पहुँच जाता।
- उपमा: कल्पना कीजिए कि आपके पास ब्रेड का एक विशाल, बिना कटा हुआ लोफ (loaf) है। इसे बेतरतीब ढंग से काटने के बजाय, आप एक मानचित्र देखते हैं कि लोग आमतौर पर ब्रेड कहाँ खाते हैं। आप काटने का वह सटीक स्थान ढूंढते हैं जो लोफ को दो ऐसे हिस्सों में विभाजित करता है जो लोकप्रिय आकार के हैं। फिर आप उन हिस्सों को लेते हैं और सबसे लोकप्रिय स्थानों पर उन्हें फिर से काटते हैं। आप हर शब्द को काटने के हर संभव तरीके का एक फैमिली ट्री (family tree) बना लेते हैं, पूरे लोफ से लेकर व्यक्तिगत टुकड़ों तक।
2. "स्मार्ट मेनू" (Vocabulary Selection)
अब, आपके पास लाखों संभावित कट्स का एक पेड़ है। आप उन सभी का उपयोग नहीं कर सकते; आपके पास "मेनू आइटम" (शब्दकोश का आकार, मान लीजिए 40,000) की एक विशिष्ट संख्या के लिए ही जगह है।
पुराने तरीके केवल सबसे लोकप्रिय कट्स को चुन लेते थे। ToaST एक गणितीय ऑप्टिमाइज़र (एक इंटीजर प्रोग्राम) का उपयोग करता है जो "क्या होगा अगर?" का खेल खेलता है।
- यदि मैं "Kentucky" के इस बड़े टुकड़े को एक सिंगल टोकन के रूप में चुनता हूँ, तो मैं कुल कितने चंक्स बचाता हूँ?
- यदि मैं "Kent" और "ucky" को अलग-अलग चुनता हूँ, तो क्या इससे कहीं और जगह बचती है?
यह उन कट्स के सही संयोजन की गणना करता है जिसके परिणामस्वरूप पूरी लाइब्रेरी को लिखने के लिए आवश्यक कुल चंक्स की संख्या न्यूनतम हो। यह एक शेफ की तरह है जो मेनू की योजना केवल लोकप्रियता के आधार पर नहीं, बल्कि इस आधार पर बनाता है कि कम से कम प्लेटों के साथ अधिक से अधिक ग्राहकों को कैसे परोसा जाए।
3. "जादुई ट्रिक" (The Inference)
एक बार मेनू सेट हो जाने के बाद, टेक्स्ट को पढ़ना तेज़ हो जाता है। जब कंप्यूटर "Kentucky" देखता है, तो वह पेड़ के शीर्ष को देखता है।
- क्या "Kentucky" मेनू में है? हाँ? बहुत अच्छा, इसे एक टोकन के रूप में भेजें।
- क्या "Kentucky" मेनू में है? नहीं? तो अगले स्तर पर नीचे देखें। क्या "Kent" मेनू में है? हाँ? तो "Kent" भेजें, फिर दूसरे हिस्से के लिए "ucky" को देखें।
क्योंकि पेड़ मेनू चुने जाने से पहले बनाया गया था, इसलिए रास्ता हमेशा स्पष्ट रहता है। यहाँ कोई भ्रमित करने वाले नियम या "क्या होगा अगर मैं यह बदल दूँ?" जैसी स्थितियाँ नहीं हैं।
यह बेहतर क्यों है?
पेपर का दावा है कि बड़े पुस्तकालयों (40,000+ शब्दावली आकार) के लिए, ToaST पुराने तरीकों की तुलना में काफी बेहतर है:
- कंप्रेशन (Compression): यह चंक्स की संख्या को 11% से अधिक कम कर देता है। इसे एक 100 पन्नों के दस्तावेज़ को बिना एक भी शब्द खोए 89 पन्नों में सिकोड़ने के रूप में सोचें।
- दक्षता (Efficiency): यह कम "सिंगल-लेटर" टोकन (जैसे केवल 'y' या 'u' अक्षर भेजना) का उपयोग करता है। यह डेटा को अधिक सुचारू और कुशलता से प्रवाहित करता है।
- प्रदर्शन (Performance): जब उन्होंने इस नई विधि का उपयोग करके एक लैंग्वेज मॉडल (एक मस्तिष्क जो बोलना सीखता है) को प्रशिक्षित किया, तो वह मॉडल परीक्षणों पर बेहतर प्रदर्शन करता है। यह पुराने तरीकों के साथ प्रशिक्षित मॉडलों की तुलना में तर्क और लॉजिक कार्यों पर उच्च स्कोर करता है।
निचोड़ (The Bottom Line)
ToaST टेक्स्ट को तोड़ने का एक नया तरीका है। चीजों को अंधाधुंध जोड़ने के बजाय, यह एक शब्द को काटने के हर संभव तरीके का मानचित्र बनाता है, और फिर कुल डेटा को कम करने के लिए सबसे अच्छे कट्स का चयन करने के लिए एक शक्तिशाली गणितीय सॉल्वर का उपयोग करता है। परिणाम एक अधिक कुशल, तेज़ और स्मार्ट तरीका है जिससे कंप्यूटर भाषा को पढ़ और लिख सकते हैं।
नोट: इस पेपर ने केवल अंग्रेजी टेक्स्ट पर परीक्षण किया है। यह दावा नहीं करता है कि ये परिणाम अन्य भाषाओं पर लागू होते हैं, और न ही यह चिकित्सा या नैदानिक उपयोगों के बारे में चर्चा करता है। सुधार पूरी तरह से इस बारे में हैं कि टेक्स्ट को कितनी कुशलता से प्रोसेस किया जाता है और मानक बेंचमार्क पर लैंग्वेज मॉडल कितनी अच्छी तरह प्रदर्शन करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।