💬 NLP

Joint Optimization for Greedy Longest-match Tokenization

यह शोध पत्र JOLT को प्रस्तुत करता है, जो एक संयुक्त अनुकूलन ढांचा (joint optimization framework) है जो शब्दावली सीखने को 'लॉन्गेस्ट-मैच डिकोडिंग' के साथ प्रशिक्षण को संरेखित करने के लिए 'ग्रीडी-कंसिस्टेंसी कंस्ट्रेंट्स' के साथ एक 'इंटीजर प्रोग्राम' के रूप में तैयार करता है, जिससे निकट-इष्टतम संपीड़न प्राप्त होता है जो मानक BPE से काफी बेहतर प्रदर्शन करता है और निकट-इष्टतमता का एक प्रमाण (certificate) भी प्रदान करता है।

मूल लेखक: Adhiraj Singh, Deepanshu Mody, Ghina Al Shdaifat, Hamza Alshamy, Adam Wiemerslage, Varshini Reddy, Craig W. Schmidt

प्रकाशित 2026-07-28

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Adhiraj Singh, Deepanshu Mody, Ghina Al Shdaifat, Hamza Alshamy, Adam Wiemerslage, Varshini Reddy, Craig W. Schmidt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक यात्रा के लिए एक छोटी सी सूटकेस में किताबों का एक विशाल पुस्तकालय पैक करने की कोशिश कर रहे हैं। आप सीमित स्थान में अधिक से अधिक टेक्स्ट फिट करना चाहते हैं, लेकिन आप पन्नों को गेंद की तरह कुचल नहीं सकते; आपको उन्हें व्यवस्थित और प्रबंधनीय टुकड़ों में व्यवस्थित करना होगा। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह "सूटकेस" कंप्यूटर की मेमोरी है, और ये "टुकड़े" टोकन कहलाते हैं। AI मॉडल टेक्स्ट को पूरे शब्दों के रूप में नहीं, बल्कि इन छोटे हिस्सों के रूप में पढ़ते हैं। शब्दों को काटने का हमारा तरीका बहुत मायने रखता है: यदि हम उन्हें खराब तरीके से काटते हैं, तो हम अधिक स्थान का उपयोग करते हैं और कंप्यूटर को उन्हें पढ़ने के लिए अधिक मेहनत करनी पड़ती है। वर्षों से, शब्दों को काटने का मानक तरीका 'बाइट पेयर एनकोडिंग' (BPE) नामक एक विधि रहा है। BPE को टेक्स्ट के टुकड़ों को जोड़ने के एक कुशल, लेकिन थोड़े कठोर लाइब्रेरियन के रूप में सोचें जो एक सख्त नियम का पालन करता है: "हमेशा पहले टेक्स्ट के दो सबसे सामान्य टुकड़ों को एक साथ जोड़ो।" यह एक तेज़, 'ग्रीडी' (लालची) दृष्टिकोण है जिसने अच्छा काम किया है, लेकिन यह मूल रूप से एक ह्यूरिस्टिक (heuristic) है—एक सरल नियम पर आधारित एक अच्छा अनुमान, न कि एक पूर्ण गणितीय समाधान।

हाल ही में, वैज्ञानिकों ने एक बड़ा सवाल पूछा है: क्या हमारे लाइब्रेरियन का यह "अच्छा अनुमान" वास्तव में हमारे द्वारा किया जा सकने वाला सर्वश्रेष्ठ काम है? या क्या शब्दों को काटने का कोई स्मार्ट तरीका है जो इस सूटकेस में और भी अधिक टेक्स्ट फिट कर सके? यह शोध पत्र इस प्रश्न की जांच करने के लिए इस बात पर ध्यान केंद्रित करता है कि AI द्वारा टेक्स्ट पढ़ने के एक विशिष्ट तरीके को "ग्रीडी लॉन्गेस्ट-मैच" (Greedy Longest-Match) कहा जाता है। कल्पना कीजिए कि आप एक वाक्य पढ़ रहे हैं और हर कदम पर, अगले अक्षर पर जाने से पहले, आप जितना संभव हो सके उतना लंबा शब्द पकड़ते हैं। लेखक यह देखना चाहते थे कि क्या वे एक ऐसा वोकैबुलरी (शब्दकोश) विशेष रूप से डिजाइन कर सकते हैं जो इस पढ़ने की शैली के लिए बना हो, बजाय इसके कि केवल एक सामान्य-उद्देश्य वाली वोकैबुलरी के काम करने की उम्मीद करें। उन्होंने JOLT (Joint Optimization for Greedy Longest-match Tokenization) नामक एक नई प्रणाली बनाई। केवल आवृत्ति (frequency) के आधार पर टुकड़ों को जोड़ने के बजाय, JOLT इस पूरी समस्या को एक विशाल, जटिल पहेली की तरह देखता है। यह उन्नत गणित का उपयोग यह पता लगाने के लिए करता है कि कौन से शब्द के टुकड़ों को रखना है और प्रशिक्षण डेटा के प्रत्येक शब्द को ठीक से कैसे काटना है ताकि, जब AI "लॉन्गेस्ट-मैच" नियम का उपयोग करके इसे पढ़े, तो वह न्यूनतम संभव टुकड़ों का उपयोग करे।

शोध पत्र में पाया गया है कि पुराना लाइब्रेरियन (BPE) वास्तव में काफी अच्छा है—यह पहले से ही सैद्धांतिक रूप से सर्वोत्तम पैकिंग के 1% से 2% के भीतर है—लेकिन नया सिस्टम, JOLT, थोड़ा और अधिक स्थान निकाल सकता है। इस गणितीय पहेली को हल करके, JOLT लगभग उस शेष अंतर को पाट देता है जो अब तक बचा हुआ था। विभिन्न आकार के टेक्स्ट डेटा के परीक्षणों में, JOLT ने मानक विधि की तुलना में टोकन की संख्या को 0.78% तक कम कर दिया। हालांकि यह संख्या छोटी लग सकती है, लेकिन AI की दुनिया में, एक प्रतिशत के एक अंश को बचाने का मतलब है कि मॉडल अधिक टेक्स्ट पढ़ सकता है, तेजी से सोच सकता है और इसे चलाना सस्ता हो सकता है। लेखक दिखाते हैं कि अपनी वोकैबुलरी को AI के पढ़ने के वास्तविक तरीके के साथ पूरी तरह से संरेखित करके, हम उस "कंप्रेशन हेडरूम" (compression headroom) को वापस पा सकते हैं जो पहले छोड़ दिया गया था।

JOLT की कहानी: शब्द पहेली को सुलझाना

JOLT कैसे काम करता है, इसे समझने के लिए, कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो एक विशाल दावत के लिए एक आदर्श मेनू बनाने की कोशिश कर रहे हैं। आपके पास सामग्री की एक लंबी सूची (टेक्स्ट) है, और आपको उन्हें मेहमानों (AI) को परोसने के लिए विशिष्ट आकारों (टोकन) में काटना होगा। शर्त यह है कि आपके मेहमानों की खाने की एक बहुत विशिष्ट आदत है: वे अगले निवाले पर जाने से पहले अपने मुंह में समाने वाला सबसे बड़ा निवाला लेते हैं। यह "ग्रीडी लॉन्गेस्ट-मैच" नियम है।

लंबे समय से, शेफ (AI शोधकर्ता) BPE नामक एक मानक रेसिपी का उपयोग करते रहे हैं। वे सामग्रियों को देखते थे और कहते थे, "अरे, 'th' और 'e' अक्सर एक साथ आते हैं, चलो उन्हें 'the' में जोड़ देते हैं।" वे ऐसा करते रहे, सबसे आम जोड़ों को जोड़ते रहे, जब तक कि उनके पास एक निश्चित आकार का मेनू नहीं बन गया। यह अच्छा काम करता था, लेकिन यह एक घर बनाने जैसा था जहाँ आप केवल ईंटों को बिना यह देखे एक के ऊपर एक रखते हैं कि दीवारें बिल्कुल सीधी हैं या नहीं। यह एक "ग्रीडी" दृष्टिकोण था—पहले आसान, स्पष्ट काम करना।

इस शोध पत्र के लेखकों ने महसूस किया कि यदि आप चाहते हैं कि मेहमान कुशलता से खाएं, तो आपको केवल इस आधार पर मेनू नहीं बनाना चाहिए कि क्या सामान्य है; बल्कि आपको मेनू इस आधार पर बनाना चाहिए कि वे कैसे खाते हैं। उन्होंने JOLT बनाया, जो एक सुपर-स्मार्ट शेफ की तरह है जो पूरे मेनू की योजना एक साथ बनाता है, प्रत्येक सामग्री और उसे काटने के हर संभावित तरीके पर विचार करता है, यह सुनिश्चित करता है कि अंतिम परिणाम मेहमानों की "सबसे बड़े निवाले" की आदत के लिए पूरी तरह से अनुकूलित हो।

गणितीय पहेली
JOLT का मूल एक विशाल गणितीय समस्या है। लेखकों को दो चीजों का एक साथ निर्णय लेना था:

किन सामग्रियों को रखना है: अंतिम वोकैबुलरी में कौन से शब्द के टुकड़े होने चाहिए?
टेक्स्ट को कैसे काटना है: प्रशिक्षण डेटा के प्रत्येक शब्द के लिए, उसे बनाने के लिए किन विशिष्ट टुकड़ों का उपयोग किया जाना चाहिए?

जटिल हिस्सा यह है कि ये दोनों निर्णय एक-दूसरे से जुड़े हुए हैं। आप यह निर्णय नहीं ले सकते कि एक शब्द को "ता" और "बल" में काटा जाए जब तक कि आपने वास्तव में यह निर्णय न लिया हो कि "ता" और "बल" को अपनी वोकैबुलरी में रखना है। इसके अलावा, क्योंकि AI "लॉन्गेस्ट-मैच" नियम का उपयोग करता है, आपको यह सुनिश्चित करना होगा कि यदि आप एक शब्द को "ता" और "बल" में काटते हैं, तो आपकी वोकैबुलरी में "टेबल" जैसा कोई लंबा टुकड़ा न हो जो ध्यान खींच ले। यदि "टेबल" मौजूद है, तो AI पूरे "टेबल" को खा लेगा, और आपका "ता" और "बल" परोसने का प्लान विफल हो जाएगा।

इसे हल करने के लिए, लेखकों ने "इंटिजर प्रोग्रामिंग" (Integer Programming) नामक तकनीक का उपयोग किया। एक विशाल ग्रिड के स्विच की कल्पना करें। कुछ स्विच एक शब्द को चालू करते हैं (वोकैबुलरी में डालते हैं), और अन्य एक विशिष्ट तरीके से शब्द को काटने के विकल्प को चालू करते हैं। लक्ष्य इन स्विचों को इस तरह से बदलना है जिससे कुल टुकड़ों की संख्या न्यूनतम हो सके। हालाँकि, पूरे टेक्स्ट के लिए इस ग्रिड को हल करना इतना विशाल है कि सबसे तेज़ कंप्यूटर भी इसे करने में अनंत समय लेंगे।

स्मार्ट शॉर्टकट
इसलिए, लेखकों ने एक चतुर ट्रिक निकाली। पूरे पहेली को एक साथ हल करने के बजाय, उन्होंने एक छोटे, सरल संस्करण से शुरुआत की। उन्होंने केवल शब्दों को एक या दो टुकड़ों में काटने पर विचार किया। उन्होंने गणितीय समस्या को हल किया, और यदि कंप्यूटर ने कहा, "हे, यह शब्द केवल इन टुकड़ों के साथ काटना बहुत कठिन है, मुझे और विकल्पों की आवश्यकता है," तो उन्होंने केवल उस शब्द के लिए अधिक जटिल काटने के विकल्प जोड़े। उन्होंने इस प्रक्रिया को दोहराया, केवल आवश्यकता पड़ने पर जटिलता जोड़ी, जब तक कि समाधान स्थिर नहीं हो गया।

इस दृष्टिकोण ने उन्हें एक ऐसा समाधान खोजने की अनुमति दी जो सैद्धांतिक सीमा के अविश्वसनीय रूप से करीब है। उन्होंने पाया कि मानक BPE विधि पहले से ही बहुत अच्छा काम कर रही थी, जो सर्वोत्तम संभव परिणाम के 1% से 2% के भीतर थी। लेकिन JOLT ने उस शेष अंतर का 89.6% से 99.4% तक को सफलतापूर्वक भर दिया।

परिणाम
जब उन्होंने अलग-अलग मात्रा में डेटा (100,000 से 400,000 शब्दों तक) और विभिन्न वोकैबुलरी आकार (32,000 और 64,000 शब्द) के साथ अपने नए सिस्टम का परीक्षण किया, तो परिणाम स्पष्ट थे। JOLT ने लगातार मानक BPE विधि की तुलना में कम टोकन का उपयोग किया।

32,000 शब्दों की वोकैबुलरी के साथ, JOLT ने मानक विधि की तुलना में टोकन की संख्या को 0.78% तक कम किया।
64,000 शब्दों की वोकैबुलरी के साथ, सुधार छोटा था लेकिन फिर भी मौजूद था, जो 0.31% तक पहुँचा।

शोध पत्र ने यह भी जांचा कि उनका समाधान पूर्ण गणितीय सीमा के कितने करीब है। उन्होंने पाया कि उनका अंतिम, राउंडेड (rounded) समाधान सैद्धांतिक सर्वश्रेष्ठ के 0.008% से 0.176% के भीतर था। इसका अर्थ है कि "राउंडिंग" की प्रक्रिया (गणितीय समाधान को एक वास्तविक, उपयोगी वोकैबुलरी में बदलना) ने दक्षता को बहुत कम नहीं किया। JOLT द्वारा किए गए छोटे लाभ केवल संयोग नहीं थे; वे वास्तविक, संरचनात्मक सुधार थे।

यह क्यों महत्वपूर्ण है
लेखकों ने अन्य तरीकों को भी देखा। उन्होंने पाया कि एक लोकप्रिय विधि जिसे WordPiece कहा जाता है, जो उसी "लॉन्गेस्ट-मैच" पढ़ने की शैली के लिए डिज़ाइन की गई है, वास्तव में BPE की तुलना में खराब प्रदर्शन करती है। ऐसा इसलिए था क्योंकि WordPiece को एक अलग लक्ष्य (अगले शब्द की भविष्यवाणी करना) को अधिकतम करने के लिए प्रशिक्षित किया गया था, न कि टुकड़ों की संख्या को कम करने के लिए। यह साबित करता है कि आप केवल एक उद्देश्य के लिए डिज़ाइन की गई वोकैबुलरी का उपयोग करके दूसरे उद्देश्य के लिए पूर्ण परिणाम की उम्मीद नहीं कर सकते। आपको वोकैबुलरी को विशेष रूप से उस तरीके के लिए प्रशिक्षित करना होगा जिस तरह से AI पढ़ता है।

संक्षेप में, यह शोध पत्र दिखाता है कि जबकि पुराने "ग्रीडी" लाइब्रेरियन (BPE) ने आश्चर्यजनक रूप से अच्छा काम किया, फिर भी थोड़ा सा स्थान निकाला जा सकता है। एक नई, गणितीय रूप से कठोर पद्धति का उपयोग करके जो वोकैबुलरी को AI की पढ़ने की शैली के साथ पूरी तरह से संरेखित करती है, JOLT उस खोए हुए स्थान को लगभग पूरी तरह से वापस पा लेता है। यह एक याद दिलाता है कि AI की दुनिया में, दक्षता में छोटे सुधार भी मॉडल को तेज़, सस्ता और अधिक सक्षम बना सकते हैं। लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने गणितीय रूप से सिद्ध किया कि उनकी विधि हमें पहले से कहीं अधिक पूर्ण पैकिंग कार्य के करीब ले जाती है।

तकनीकी सारांश: ग्रीडी लॉन्गेस्ट-मैच टोकनाइज़ेशन (JOLT) के लिए संयुक्त अनुकूलन

समस्या विवरण
सबवर्ड टोकनाइज़ेशन (Subword tokenization) एनएलपी (NLP) में एक महत्वपूर्ण प्रीप्रोसेसिंग चरण है, जहाँ टेक्स्ट को टोकन्स में बदलना कॉन्टेक्स्ट विंडो की क्षमता और इन्फरेंस लागत को प्रभावित करता है। जबकि बाइट पेयर एनकोडिंग (BPE) एक प्रमुख ह्यूरिस्टिक (heuristic) है, हाल के कार्यों (जैसे, ToaST, ConvexTok) ने प्रदर्शित किया है कि शब्दावली प्रशिक्षण (vocabulary training) को विशिष्ट इन्फरेंस नियमों के लिए टोकन गणना को सीधे कम करने के लिए एक अनुकूलन समस्या के रूप में फ्रेम किया जा सकता है। हालांकि, मौजूदा अनुकूलन दृष्टिकोण स्प्लिट-ट्री (split-tree) या शॉर्टेस्ट-पाथ (shortest-path) इन्फरेंस नियमों को लक्षित करते हैं। ग्रीडी लेफ्ट-टू-राइट (GL2R) लॉन्गेस्ट-मैच डिकोडिंग के लिए विशेष रूप से डिज़ाइन की गई शब्दावली निर्माण तकनीकों की कमी है, जो वर्डपीस (WordPiece) द्वारा उपयोग किए जाने वाले मानक इन्फरेंस नियम का उपयोग करती है। चुनौती ऐसी शब्दावली चयन को फॉर्म्युलेट करने में निहित है जिससे परिणामी टोकन संख्या ठीक वही हो जो परिनियोजन (deployment) के समय GL2R एल्गोरिदम द्वारा उत्पन्न होती है, यह एक ऐसा प्रतिबंध है जो शब्दावली चयन को सेगमेंटेशन विकल्पों के साथ गैर-तुच्छ (non-trivial) तरीके से जोड़ता है।

कार्यप्रणाली (Methodology)
लेखक JOLT (Joint Optimization for Greedy Longest-match Tokenization) का प्रस्ताव करते हैं, जो शब्दावली सीखने को एक इंटीजर प्रोग्राम (IP) के रूप में फॉर्म्युलेट करता है और इसे लीनियर प्रोग्रामिंग (LP) रिलैक्सेशन के माध्यम से हल करता है।

फॉर्मूलेशन (Formulation): मॉडल दो प्रकार के बाइनरी वेरिएबल्स के सेट को संयुक्त रूप से अनुकूलित करता है:
1. शब्दावली-चयन वेरिएबल्स ( $x_t$ ): यह निर्धारित करना कि कौन से कैंडिडेट टोकन शब्दावली में शामिल होंगे।
2. सेगमेंटेशन-चयन वेरिएबल्स ( $z_{p,s}$ ): प्रत्येक प्रीटोकन $p$ के लिए कौन सा सेगमेंटेशन $s$ चुना जाएगा, यह निर्धारित करना।
ग्रीडी-कंसिस्टेंसी कंस्ट्रेंट्स (Greedy-Consistency Constraints): मुख्य नवाचार बाधाओं (constraints) का एक सेट है जो यह सुनिश्चित करता है कि चुना गया सेगमेंटेशन ठीक वही है जो GL2R एल्गोरिदम द्वारा उत्पन्न किया जाएगा यदि चुनी गई शब्दावली उपलब्ध हो। GL2R के तहत एक सेगमेंटेशन वैध होने के लिए, किसी भी लंबे शब्दावली टोकन का अस्तित्व नहीं होना चाहिए जो उस सेगमेंटेशन के किसी भी सेगमेंट की शुरुआत के साथ ओवरलैप करता हो। ये बाधाएं अनुकूलन प्रक्रिया के भीतर "लॉन्गेस्ट-मैच" व्यवहार को स्पष्ट रूप से लागू करने के लिए मजबूर करती हैं।
पुनरावृत्ति एस्केलेशन (Iterative Escalation): चूंकि प्रीटोकन की लंबाई के साथ संभावित सेगमेंटेशन की संख्या तेजी से बढ़ती है, JOLT शुरू में सभी उम्मीदवारों को इंस्टैंशिएट (instantiate) नहीं करता है। यह लो-ऑर्डर सेगमेंटेशन (क्रम 2 तक) और एक "फालबैक" (fallback) विकल्प के साथ शुरू होता है। यदि सॉल्वर किसी प्रीटोकन के लिए फालबैक चुनता है, तो सिस्टम अगले राउंड में उस प्रीटोकन के लिए अधिकतम सेगमेंटेशन ऑर्डर को बढ़ा देता है, जिससे उच्च-क्रम के उम्मीदवार जुड़ जाते हैं। यह LP के आकार को प्रबंधनीय रखता है।
LP रिलैक्सेशन और राउंडिंग (LP Relaxation and Rounding): IP को LP में रिलैक्स किया जाता है (जिसमें $x_t$ और $z_{p,s}$ के लिए भिन्नात्मक मानों की अनुमति होती है) और इसे Gurobi का उपयोग करके हल किया जाता है। एक योगदान-आधारित (contribution-based) वेटेड राउंडिंग स्कीम एक विविक्त (discrete) शब्दावली निकालने के लिए भिन्नात्मक समाधान से डेटा निकालती है। राउंडिंग उन टोकन्स को प्राथमिकता देती है जो उच्च-आवृत्ति वाले प्रीटोकन्स को संकुचित करने में सबसे अधिक योगदान देते हैं।

मुख्य योगदान

GL2R-विशिष्ट अनुकूलन: JOLT पहला तरीका है जो विशेष रूप से GL2R इन्फरेंस के लिए शब्दावली सीखने को फॉर्म्युलेट करता है, जिससे यह सुनिश्चित होता है कि अनुकूलित टोकन संख्या परिनियोजन के समय वास्तविक संख्या के बराबर हो।
ग्रीडी-कंसिस्टेंसी कंस्ट्रेंट्स: यह पेपर एक नया कंस्ट्रेंट सेट पेश करता है जो गणितीय रूप से अनुकूलन ढांचे के भीतर GL2R लॉन्गेस्ट-मैच प्रॉपर्टी को लागू करता है, जो शब्दावली चयन और सेगमेंटेशन को आपस में जोड़ता है।
स्केलेबल सॉल्विंग स्ट्रैटेजी: लेखक एक फालबैक-ड्रिवन एस्केलेशन मैकेनिज्म विकसित करते हैं जो केवल आवश्यक होने पर ही उच्च-क्रम के सेगमेंटेशन को इंस्टैंशिएट करके वेरिएबल्स के घातीय विस्फोट (exponential explosion) से बचता है।
निकट-इष्टतम सीमाएँ (Near-Optimal Bounds): LP रिलैक्सेशन प्राप्त करने योग्य टोकन संख्या पर एक वैध निचली सीमा (lower bound) प्रदान करता है। लेखक दिखाते हैं कि उनके राउंडेड समाधान इस LP निचली सीमा के 0.008–0.176% के भीतर हैं, जो निकट-इष्टतम संपीड़न (compression) को प्रमाणित करता है।

परिणाम
प्रयोग MiniPile डेटासेट पर 100k, 200k, 300k और 400k प्रीटोकन्स के ट्रेनिंग स्कोप ( $N$ ) और 32k और 64k के शब्दावली आकार ( $|V|$ ) के साथ किए गए।

संपीड़न लाभ (Compression Gains): होल्ड-आउट वैलिडेशन डेटा पर, JOLT मानक BPE-नेटिव डिकोडिंग की तुलना में टोकन संख्या को $N=400k, |V|=32k$ पर 0.78% तक कम कर देता है। लाभ आम तौर पर ट्रेनिंग स्कोप के साथ बढ़ते हैं।
गैप क्लोजर (Gap Closure): LP निचली सीमा दर्शाती है कि मानक BPE ह्यूरिस्टिक्स पहले से ही GL2R के लिए निकट-इष्टतम हैं, जो सैद्धांतिक सीमा के 1–2% के भीतर हैं। JOLT, BPE और LP सीमा के बीच के शेष गैप को 89.6–99.4% तक भर देता है।
राउंडिंग दक्षता: LP रिलैक्सेशन और अंतिम राउंडेड शब्दावली के बीच का अंतर नगण्य (0.008–0.176%) है, जो यह दर्शाता है कि राउंडिंग प्रक्रिया लगभग कोई संपीड़न क्षमता नहीं खोती है।
बेसलाइन तुलना:
- BPE-greedy: BPE-प्रशिक्षित शब्दावली पर GL2R डिकोडिंग लागू करने से BPE-नेटिव की तुलना में केवल मामूली सुधार (0.08%) मिलता है, जो पुष्टि करता है कि BPE का मर्ज ह्यूरिस्टिक संरचनात्मक रूप से GL2R के अनुरूप है।
- UnigramLM-greedy: GL2R इन्फरेंस का उपयोग करने के बावजूद, UnigramLM काफी खराब प्रदर्शन करता है (28–30% अधिक टोकन), क्योंकि इसका प्रशिक्षण उद्देश्य (लाइकलीहुड को अधिकतम करना) टोकन संख्या को कम करने के लक्ष्य से अलग है।

महत्व और दावे
पेपर का दावा है कि वर्तमान टोकनाइज़र में संपीड़न अक्षमता का प्राथमिक स्रोत स्वयं इन्फरेंस नियम नहीं है, बल्कि विशिष्ट इन्फरेंस नियम और शब्दावली निर्माण ह्यूरिस्टिक के बीच मिसअलाइनमेंट (misalignment) है। हालांकि BPE पहले से ही GL2R के लिए निकट-इष्टतम है, JOLT यह प्रदर्शित करता है कि शेष "हेडरूम" (BPE और सैद्धांतिक इष्टतम के बीच का गैप) को इन्फरेंस-अलाइन्ड शब्दावली अनुकूलन के माध्यम से काफी हद तक प्राप्त किया जा सकता है। परिणाम बताते हैं कि GL2R इन्फरेंस के लिए प्राप्त करने योग्य अधिकांश संपीड़न प्राप्त किया जा सकता है, और JOLT सैद्धांतिक लाभ का 89.6–99.4% रिकवर करता है। पेपर यह दावा नहीं करता कि JOLT पूर्ण रूप से BPE से बहुत बेहतर प्रदर्शन करता है (लाभ <1% हैं), बल्कि यह कि यह एक सिद्धांत-आधारित, अनुकूलन-आधारित दृष्टिकोण प्रदान करता है जो निकट-इष्टतमता को प्रमाणित करता है और मानक ह्यूरिस्टिक्स में शेष सीमित संपीड़न क्षमता को पुनः प्राप्त करता है।

JOLT की कहानी: शब्द पहेली को सुलझाना

इसी तरह के और पेपर