कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को मानव भाषा बोलना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, आपको हर वाक्य को छोटे-छोटे निर्माण खंडों में तोड़ना होगा जिन्हें "टोकन" कहा जाता है। इन टोकनों को LEGO ब्रिक्स की तरह समझें। यदि आप ब्रिक्स का एक मानक सेट उपयोग करते हैं, तो आपको एक साधारण घर बनाने के लिए लाखों छोटे टुकड़ों की आवश्यकता हो सकती है, जिससे निर्माण धीमा और अव्यवस्थित हो जाएगा। वर्षों तक, इन ब्रिक्स को बनाने का सबसे लोकप्रिय तरीका (एक विधि जिसे बाइट पेयर एनकोडिंग या BPE कहा जाता है) अक्षरों के सबसे सामान्य जोड़ों को पकड़कर उन्हें एक साथ जोड़ना था। यह कुछ ऐसा था जैसे कहना, "हे, 'th' और 'e' बहुत बार आते हैं, इसलिए आइए एक 'the' ब्रिक बनाते हैं।" लेकिन इस दृष्टिकोण में एक दोष था: इसने छोटे, सामान्य शब्दों को इतना पसंद किया कि इसने लंबे, अर्थपूर्ण वाक्यांशों को छोटे, अक्षम टुकड़ों में तोड़ दिया। इसने रोबोट को ज़रूरत से कहीं अधिक ब्रिक्स को प्रोसेस करने के लिए मजबूर किया, जिससे उसकी सोचने की गति धीमी हो गई और उसकी मेमोरी भी खा गई।

अब, कल्पना कीजिए कि उन LEGO सेट्स को बनाने का एक नया तरीका है। केवल सबसे सामान्य जोड़ों को खोजने के बजाय, यह नया तरीका पूछता है, "क्या होगा अगर हम बड़े, स्मार्ट ब्रिक्स बनाएं जो अधिक क्षेत्र को कवर करें?" यह डॉंग डोंग और वेइजी सु द्वारा पेंसिल्वेनिया विश्वविद्यालय के शोधकर्ताओं द्वारा पेश किए गए एक नए अध्ययन का केंद्र है। उन्होंने Length-MAX नामक एक नया टोकेनाइज़र पेश किया है। केवल यह देखने के बजाय कि कोई शब्द कितनी बार आता है, Length-MAX उन लंबे वाक्यांशों को पुरस्कृत करता है जो उपयोगी होने के लिए पर्याप्त बार आते हैं। यह पहचानने जैसा है कि हालांकि "the" आम है, लेकिन वाक्यांश "the United States" तीन अलग-अलग टुकड़ों के बजाय एक बहुत बेहतर निर्माण खंड है। छोटे, दोहराव वाले ब्रिक्स को कम, लंबे और अधिक अर्थपूर्ण ब्रिक्स से बदलकर, आपका रोबोट अपने वाक्यों को तेज़ी से बना सकता है, कम मेमोरी का उपयोग कर सकता है और वास्तव में कहानी को बेहतर ढंग से समझ सकता है।

बहुत अधिक छोटे ब्रिक्स के साथ समस्या

लंबे समय से, कंप्यूटर को भाषा सिखाने का मानक तरीका टेक्स्ट को छोटे टुकड़ों में विभाजित करना रहा है जो इस आधार पर होते हैं कि वे कितनी बार दिखाई देते हैं। इसे बाइट पेयर एनकोडिंग (BPE) कहा जाता है। यह काम करता है दो सबसे आम प्रतीकों को खोजने और उन्हें एक नए टोकन में मिलाने से। यह एक खेल की तरह है जहाँ आप सबसे लोकप्रिय पड़ोसियों को तब तक मिलाते रहते हैं जब तक कि आपके पास चलने के लिए चालें खत्म न हो जाएं।

समस्या यह है कि यह खेल उच्च-आवृत्ति वाले छोटे अंशों का पक्ष लेता है। यह "in the midst of a historic snowstorm" जैसे एक लंबे, सुसंगत वाक्यांश को छोटे, असंबद्ध टुकड़ों के संग्रह के रूप में मानता है। क्योंकि आधुनिक AI मॉडलों को पूरे वाक्य को समझने के लिए हर एक टुकड़े पर ध्यान देना पड़ता है, इसलिए बहुत अधिक छोटे टुकड़ों का होना गणितीय जटिलता को विस्फोट की तरह बढ़ा देता है। यह एक ऐसी किताब पढ़ने की कोशिश करने जैसा है जहाँ हर शब्द को तीन शब्दांशों (syllables) में विभाजित किया गया है; समान अर्थ प्राप्त करने के लिए आपको तीन गुना अधिक "शब्दों" को पढ़ना होगा। यह प्रशिक्षण को धीमा करता है, AI को प्रश्न पूछने में धीमा बनाता है, और अधिक कंप्यूटर मेमोरी की आवश्यकता होती है।

Enter Length-MAX: "लंबा होना बेहतर है" की रणनीति

इस पेपर के पीछे के शोधकर्ताओं ने स्क्रिप्ट को पलटने का निर्णय लिया। उन्होंने पूछा: "क्या होगा यदि हम आवृत्ति के बजाय लंबाई (length) के लिए अनुकूलित करें?" उन्होंने Length-MAX नामक एक नया टोकेनाइज़र बनाया।

केवल सबसे आम जोड़ों को खोजने के बजाय, Length-MAX उन सबस्ट्रिंग्स (substrings) की तलाश करता है जो एक विशिष्ट स्कोर को अधिकतम करते हैं: आवृत्ति (Frequency) × लंबाई (Length)। यह उन टोकन को पुरस्कृत करता है जो सामान्य और लंबे दोनों हैं। यदि "the United States" जैसा वाक्यांश पर्याप्त बार आता है, तो Length-MAX उसे एक एकल टोकन के रूप में लेगा, बजाय इसके कि उसे "the," "United," और "States" में विभाजित किया जाए।

इसे करने के लिए, टीम को एक पेचीदा गणितीय पहेली को हल करना पड़ा। उन्होंने पाया कि लंबे टोकनों का सही सेट खोजना एक ऐसी समस्या है जो इतनी जटिल है कि टेक्स्ट की विशाल मात्रा के लिए इसे पूरी तरह से हल करना गणितीय रूपв रूप से असंभव है (एक समस्या जिसे NP-hard कहा जाता है)। इसलिए, उन्होंने एक चतुर "ग्रीडी" (greedy) एल्गोरिदम बनाया। एक स्कोरबोर्ड की कल्पना करें जहाँ प्रत्येक संभावित वाक्यांश को एक स्कोर दिया जाता है जो इस आधार पर होता है कि वह कितना लंबा है और वह कितनी बार दिखाई देता है। एल्गोरिदम सबसे अच्छे स्कोर वाले वाक्यांश को चुनता है, उसे लॉक कर देता है, और प्रक्रिया को तब तक दोहराता है जब तक कि शब्दावली पूरी नहीं हो जाती। उन्होंने इसे Rabin-Karp rolling hash नामक तकनीक का उपयोग करके अविश्वसनीय रूप से तेज़ बनाया, जो उन्हें टेक्स्ट को एक हाई-स्पीड स्कैनर की तरह स्कैन करने की अनुमति देता है, और उन्होंने इसे एक साथ सैकड़ों कंप्यूटर कोर पर चलाया।

परिणाम: तेज़, छोटा और स्मार्ट

टीम ने इस नई विधि का परीक्षण करने के लिए AI मॉडलों को शुरू से प्रशिक्षित किया (विशेष रूप से GPT-2 मॉडल) और उन्हें मानक BPE विधि के साथ तुलना की। परिणाम सभी मोर्चों पर प्रभावशाली थे:

• कम टोकन: विभिन्न शब्दावली आकारों में, Length-MAX ने BPE की तुलना में टेक्स्ट का प्रतिनिधित्व करने के लिए आवश्यक टोकनों की संख्या को 14-18% कम कर दिया। 64,000 शब्दों की शब्दावली के लिए, यह कमी 13.0% थी। इसका मतलब है कि AI को एक ही बात कहने के लिए काफी कम "ब्रिक्स" को प्रोसेस करना होगा।
• तेज़ प्रशिक्षण: क्योंकि प्रोसेस करने के लिए कम टोकन हैं, मॉडल तेजी से सीखे। एक विशिष्ट स्तर का कौशल प्राप्त करने के लिए, 124-मिलियन-पैरामीटर वाले मॉडल को 18.5% कम स्टेप्स की आवश्यकता थी, 355-मिलियन-पैरामीटर वाले मॉडल को 17.2% कम स्टेप्स की आवश्यकता थी, और 1.3-बिलियन-पैरामीटर वाले मॉडल को 18.5% कम स्टेप्स की आवश्यकता थी।
• त्वरित उत्तर: जब मॉडलों को टेक्स्ट जेनरेट करने के लिए कहा गया, तो वे तेज़ थे। 124M मॉडल के लिए इन्फरेंस लेटेंसी (उत्तर देने में लगने वाला समय) 13.7% गिर गई, और टेक्स्ट जेनरेट करने की गति (थ्रूपुट) 16% बढ़ गई।
• कम मेमोरी: मॉडलों ने कम मेमोरी का भी उपयोग किया। शोधकर्ताओं ने पाया कि मॉडल की "वर्किंग मेमोरी" (जिसे KV-cache कहा जाता है) और इसके शब्दावली एम्बेडिंग के लिए आवश्यक मेमोरी में 18% की गिरावट आई।
• बेहतर समझ: आश्चर्यजनक रूप से, कम टोकन का उपयोग करने से AI कम बुद्धिमान नहीं हुआ; बल्कि यह अधिक स्मार्ट हो गया। लंबी कहानियों और संदर्भ को समझने की क्षमता को मापने वाले परीक्षणों पर, Length-MAX मॉडल बेहतर प्रदर्शन करते हैं। उदाहरण के लिए, LAMBADA नामक एक टेस्ट पर, AI का कन्फ्यूजन (परप्लेक्सिटी) 11.7% गिर गया, और सामान्य ज्ञान तर्क परीक्षण HellaSwag पर, सटीकता 4.3 अंक सुधर गई।

यह क्यों काम करता है (और यह क्या नहीं करता)

Length-MAX का जादू केवल यह नहीं है कि यह समय बचाता है; बल्कि यह है कि यह AI के दुनिया को देखने के तरीके को बदल देता है। शब्दों को लंबे, अर्थपूर्ण वाक्यांशों (जैसे "in the midst of") में समूहित करके, AI वाक्य के संदर्भ को अधिक आसानी से बनाए रख सकता है। यह व्यक्तिगत अक्षरों को देखने बनाम पूरे शब्दों और वाक्यांशों को देखने के बीच का अंतर है।

शोधकर्ताओं ने यह भी जांचा कि क्या उन्होंने भाषा की प्राकृतिक "लय" को तोड़ दिया है। उन्होंने पाया कि Length-MAX अभी भी भाषा की प्राकृतिक आवृत्तियों (जिसे Zipf's law कहा जाता है) का पालन करता है, जिसका अर्थ है कि इसने केवल अजीब, यादृच्छिक लंबे शब्द नहीं बनाए। इसने भाषा की प्राकृतिक संरचना को बरकरार रखा और साथ ही इसे अधिक कुशल बनाया।

हालाँकि, पेपर इस बात पर ध्यान देने में सावधानी बरतता है कि यह विधि क्या नहीं करती है। यह उन मॉडलों पर काम नहीं करती है जो पहले से प्रशिक्षित और फ्रीज (frozen) हैं; इन लाभों को प्राप्त करने के लिए आपको नए टोकेनाइज़र के साथ मॉडल को शुरू से प्रशिक्षित करना होगा। साथ ही, यह अंग्रेजी टेक्स्ट पर केंद्रित है, इसलिए यह अभी स्पष्ट नहीं है कि क्या यह बहुत अलग संरचनाओं वाली भाषाओं के लिए भी उतना ही अच्छा काम करता है। इसके अलावा, जबकि 1.3 बिलियन पैरामीटर तक के मॉडलों के लिए परिणाम मजबूत हैं, शोधकर्ता सुझाव देते हैं कि विशाल मॉडलों (जैसे 7 बिलियन पैरामीटर वाले) के लिए, लाभ समान होने की संभावना है लेकिन अभी तक पूरी तरह से परीक्षण नहीं किया गया है।

निष्कर्ष

Length-MAX दशकों पुराने समस्या के प्रति एक नया दृष्टिकोण है। यह महसूस करके कि टोकन के लिए "लंबा होना अक्सर बेहतर होता है," शोधकर्ताओं ने एक ऐसा तरीका खोजा जिससे AI मॉडल तेज़, सस्ते और संदर्भ को समझने में आश्चर्यजनक रूप से बेहतर हो गए। यह एक याद दिलाता है कि कभी-कभी, आगे बढ़ने का सबसे अच्छा तरीका एक बड़ा इंजन बनाना नहीं है, बल्कि एक स्मार्ट ट्रांसमिशन बनाना है। कोड और नई शब्दावलियाँ अब किसी के भी उपयोग के लिए उपलब्ध हैं, जो अगली पीढ़ी के लैंग्वेज मॉडल्स से अधिक दक्षता निकालने का एक व्यावहारिक तरीका प्रदान करती हैं।