💬 NLP

Compute Optimal Tokenization

यह शोध पत्र यह प्रदर्शित करता है कि कंप्यूट-ऑप्टिमल भाषा मॉडल कॉन्फ़िगरेशन में, पैरामीटर की संख्या टोकन के बजाय बाइट्स में मापे गए डेटा आकार के समानुपाती रूप से स्केल करती है, जो यह प्रकट करता है कि इष्टतम टोकन संपीड़न दर मानक BPE से भिन्न है और कंप्यूट बढ़ने के साथ घटती जाती है।

मूल लेखक: Tomasz Limisiewicz, Artidoro Pagnoni, Srini Iyer, Mike Lewis, Sachin Mehta, Alisa Liu, Margaret Li, Gargi Ghosh, Luke Zettlemoyer

प्रकाशित 2026-05-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tomasz Limisiewicz, Artidoro Pagnoni, Srini Iyer, Mike Lewis, Sachin Mehta, Alisa Liu, Margaret Li, Gargi Ghosh, Luke Zettlemoyer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप ज्ञान का एक परम पुस्तकालय बना रहे हैं। आपके पास इस पुस्तकालय को बनाने के लिए एक निश्चित राशि (आपका कंप्यूट बजट) है। आपके पास दो मुख्य विकल्प हैं:

लाखों खाली अलमारियों वाली एक विशाल इमारत खरीदना (मॉडल का आकार/Model Size)।
उन अलमारियों को भरने के लिए किताबों का एक बहुत बड़ा ढेर खरीदना (प्रशिक्षण डेटा/Training Data)।

वर्षों तक, विशेषज्ञों ने पुस्तकालयाध्यक्षों से कहा: "सर्वश्रेष्ठ पुस्तकालय प्राप्त करने के लिए, जितनी अलमारियाँ आप बनाएँ, उनके लिए 20 किताबें खरीदें।" लेकिन इस सलाह में एक छिपा हुआ दोष था: इसने यह मान लिया था कि हर किताब का आकार एक जैसा है। वास्तव में, कुछ किताबें मोटी विश्वकोश (encyclopedias) होती हैं, जबकि कुछ पतले पर्चे (pamphlets) होती हैं।

यह शोध पत्र, जिसका शीर्षक "कंप्यूट ऑप्टिमल टोकनाइजेशन" (Compute Optimal Tokenization) है, यह तर्क देता है कि हम अपनी किताबों को गलत इकाई में माप रहे थे। "किताबों" (टोकन) को गिनने के बजाय, हमें "पृष्ठों" (बाइट्स) को गिनना चाहिए।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "किताब का आकार" वाली समस्या (संपीड़न दर/Compression Rate)

AI की दुनिया में, टेक्स्ट को टुकड़ों में तोड़ा जाता है जिन्हें टोकन कहा जाता है।

कम संपीड़न (Low Compression): कल्पना करें कि आप एक वाक्य को व्यक्तिगत अक्षरों में काट रहे हैं। आपको छोटे-छोटे टुकड़ों का एक बहुत बड़ा ढेर मिलेगा (कई टोकन)।
उच्च संपीड़न (High Compression): कल्पना करें कि आप पूरे शब्दों या यहाँ तक कि वाक्यांशों को एक ही टुकड़े में समूहबद्ध कर रहे हैं। आपको बड़े टुकड़ों का एक छोटा ढेर मिलेगा (कम टोकन)।

शोध पत्र पूछता है: क्या हमारे टुकड़ों का आकार मायने रखता है?
उत्तर है हाँ। टुकड़े का आकार (जिसे संपीड़न दर/compression rate कहा जाता है) यह बदल देता है कि हम अपने पुस्तकालय को कितनी कुशलता से बना सकते हैं।

2. सही संतुलन खोजना: "बाइट्स बनाम टोकन" का नियम

शोधकर्ताओं ने लगभग 1,000 अलग-अलग AI मॉडल प्रशिक्षित किए, जिसमें उन्होंने टुकड़ों के आकार और मॉडल के आकार में बदलाव किया। उन्होंने एक नया नियम खोजा जो पूर्ण संतुलन बनाता है:

पुराना नियम: "प्रति पैरामीटर 20 टोकन खरीदें।" (यह केवल तभी काम करता है जब आपके टोकन एक विशिष्ट आकार के हों, जैसे मानक BPE टोकन)।
नया नियम: "प्रति पैरामीटर 60 बाइट्स का टेक्स्ट खरीदें।"

उपमा (Analogy):
सोचिए कि आपका AI मॉडल एक शेफ है और डेटा सामग्री (ingredients) है।

यदि आप शेफ को बारीक कटे हुए छोटे घटक (उच्च संपीड़न) देते हैं, तो वे बहुत जल्दी बहुत सारे भोजन पका सकते हैं।
यदि आप उन्हें साबुत सब्जियां देते हैं (कम संपीड़न), तो उन्हें पहले उन्हें काटने में समय लगेगा।
शोध पत्र ने पाया कि चाहे आप सब्जियों को कैसे भी काटें, शेफ सबसे अच्छा प्रदर्शन करता है जब उनके पास उनकी दक्षता (पैरामीटर) की प्रत्येक इकाई के लिए सामग्री का एक विशिष्ट वजन (60 बाइट्स) होता है। इससे कोई फर्क नहीं पड़ता कि वह वजन 20 बड़े टुकड़े हैं या 100 छोटे कण; कुल वजन ही मायने रखता है।

3. "गोल्डिलॉक्स" संपीड़न दर (The "Goldilocks" Compression Rate)

आप सोच सकते हैं, "यदि मैं टुकड़ों को बड़ा बनाता हूँ, तो मैं अधिक समय बचाता हूँ, इसलिए मुझे उन्हें जितना संभव हो सके उतना बड़ा बनाना चाहिए!"
शोध पत्र कहता है: इतनी जल्दी नहीं।

उन्होंने पाया कि टुकड़े के आकार के लिए एक गोल्डिलॉक्स ज़ोन (एक आदर्श स्थिति) है।

बहुत छोटा: मॉडल डेटा के बहुत सारे छोटे टुकड़ों से अभिभूत हो जाता है।
बहुत बड़ा: मॉडल बहुत अधिक विवरण खो देता है क्योंकि टुकड़े बहुत मोटे होते हैं।
बिल्कुल सही: एक विशिष्ट संपीड़न दर होती है जो दिए गए बजट के लिए सबसे स्मार्ट मॉडल प्रदान करती है।

ट्विस्ट: जैसे-जैसे आपके पास अधिक पैसा (अधिक कंप्यूटिंग पावर) आता है, "बिल्कुल सही" आकार वास्तव में छोटा होता जाता है।

उपमा: यदि आपके पास एक छोटा किचन है, तो समय बचाने के लिए आप पहले से कटे हुए सब्जियों को पसंद कर सकते हैं। लेकिन यदि आपके पास असीमित कर्मचारियों वाला एक विशाल, पेशेवर किचन है, तो आप साबुत सब्जियों को पसंद करेंगे क्योंकि आप उन्हें इतनी कुशलता से प्रोसेस कर सकते हैं कि अतिरिक्त विवरण (detail) प्रयास के लायक होता है।

4. एक आकार सबके लिए उपयुक्त नहीं है (भाषा मायने रखती है)

शोधकर्ताओं ने इसका परीक्षण विभिन्न भाषाओं (अंग्रेजी, हिंदी, अरबी, रूसी, आदि) पर किया। उन्होंने पाया कि "बिल्कुल सही" टुकड़े का आकार भाषा पर निर्भर करता है।

उपमा: अलग-अलग यात्राओं के लिए सूटकेस पैक करने की कल्पना करें।
- उस देश की यात्रा के लिए जहाँ लोग ऐसी भाषा बोलते हैं जिसके शब्द बहुत संक्षिप्त होते हैं (जैसे अंग्रेजी), आप थोड़े बड़े सामान पैक कर सकते हैं।
- उस देश की यात्रा के लिए जहाँ शब्द लंबे होते हैं या अलग लिपियों का उपयोग करते हैं (जैसे हिंदी या अरबी), पैकिंग का "इष्टतम" तरीका बदल जाता है।
शोध पत्र ने पाया कि लोकप्रिय AI उपकरण (जैसे Llama 3 या Qwen) अक्सर "एक-आकार-सभी-के-लिए" (one-size-fits-all) पैकिंग पद्धति का उपयोग करते हैं। यह अंग्रेजी के लिए ठीक काम करता है लेकिन कुछ भाषाओं के लिए यह अक्सर बहुत अधिक संपीड़ित होता है और अन्य भाषाओं के लिए कम संपीड़ित होता है। वे अनिवार्य रूप से विशिष्ट यात्रा के लिए गलत आकार की चीजें पैक कर रहे हैं।

मुख्य निष्कर्षों का सारांश

टोकन गिनना बंद करें, बाइट्स गिनना शुरू करें। AI को कितना डेटा खिलाना है इसकी योजना बनाते समय, टेक्स्ट के वास्तविक आकार (बाइट्स) को मापें, न कि टुकड़ों (टोकन) की संख्या को। अनुपात लगभग मॉडल के प्रत्येक 1 मिलियन पैरामीटर के लिए 60 बाइट्स का टेक्स्ट होना चाहिए।
एक सटीक टुकड़े का आकार होता है। टुकड़ों को बहुत बड़ा या बहुत छोटा बनाना प्रदर्शन को नुकसान पहुँचाता है। संपीड़न के लिए एक विशिष्ट "स्वीट स्पॉट" होता है।
स्वीट स्पॉट बदलता रहता है। जैसे-जैसे आपके पास अधिक शक्तिशाली कंप्यूटर आते हैं, आपको बेहतर परिणाम प्राप्त करने के लिए वास्तव में थोड़े छोटे टुकड़े (कम संपीड़न) का उपयोग करना चाहिए।
भाषा मायने रखती है। हिंदी के लिए एकदम सही टुकड़े का आकार अंग्रेजी की तुलना में अलग होता है। वर्तमान AI मॉडल अक्सर एक सामान्य सेटिंग का उपयोग करते हैं जो हर भाषा के लिए इष्टतम नहीं है।

संक्षेप में: सबसे स्मार्ट AI बनाने के लिए, केवल पुराने नियम "प्रति पैरामीटर 20 टोकन" का पालन न करें। इसके बजाय, टेक्स्ट के वजन को मस्तिष्क के आकार से मेलानें, और टेक्स्ट के टुकड़ों के आकार को इस आधार पर समायोजित करें कि आपके पास कितनी कंप्यूटिंग शक्ति है और आप कौन सी भाषा सिखा रहे हैं।

तकनीकी सारांश: कंप्यूट अनुकूल टोकेनाइज़ेशन (Compute Optimal Tokenization)

समस्या विवरण

स्केलिंग लॉ (Scaling laws) पारंपरिक रूप से बड़े भाषा मॉडलों (LLMs) के कुशल डिज़ाइन को निर्देशित करने के लिए मार्गदर्शन करते हैं, जो मॉडल के आकार और प्रशिक्षण डेटा की मात्रा के बीच इष्टतम संतुलन निर्धारित करते हैं। हालाँकि, मानक दृष्टिकोण डेटा की मात्रा को टोकन (tokens) में व्यक्त करते हैं, जो कि एक ऐसी इकाई है जो स्वाभाविक रूप से विशिष्ट टोकेनाइज़र और उसकी संपीड़न दर (प्रति टोकन औसत बाइट्स की संख्या) पर निर्भर करती है। यह निर्भरता डेटा इकाई की सूचना घनत्व (information density) की अनदेखी करती है। फलस्वरूप, मौजूदा स्केलिंग निष्कर्ष विशिष्ट टोकेनाइजेशन योजनाओं (जैसे, BPE) से बंधे हुए हैं, जो कंप्यूट, डेटा और मॉडल पैरामीटर्स के बीच वास्तविक संबंध को छिपा सकते हैं। यह शोध इस बात को समझने के अंतर को संबोधित करता है कि संपीकरण दर (compression rate) ( $T$ ) कैसे कंप्यूट-अनुकूल स्केलिंग रुझानों को प्रभावित करती है और क्या इष्टतम डेटा-टू-पैरामीटर अनुपात को टोकन या बाइट्स में व्यक्त किया जाना चाहिए।

कार्यप्रणाली (Methodology)

स्वतंत्र चर जैसे कि शब्दावली आकार (vocabulary size) के बिना संपीड़न दर की भूमिका की व्यवस्थित जांच करने के लिए, लेखकों ने बाइट लेटेंट ट्रांसफॉर्मर (Byte Latent Transformer - BLT) आर्किटेक्चर का उपयोग किया। BLT एंट्रॉपी थ्रेशोल्ड के आधार पर बाइट-स्तरीय इनपुट को लेटेंट टोकन में विभाजित करके संपीड़न दर पर सटीक नियंत्रण प्रदान करता है, जिससे शब्दावली के आकार (और इस प्रकार पैरामीटर गणना) को स्थिर रखते हुए विभिन्न $T$ के साथ मॉडल को प्रशिक्षित करना संभव होता है।

प्रायोगिक सेटअप (Experimental Setup):

मॉडल: अध्ययन में 988 लेटेंट टोकेनाइज्ड मॉडल (BLT) और 320 सबवर्ड टोकेनाइज्ड मॉडल (Character, BPE, SuperBPE, और masked BPE वेरिएंट का उपयोग करके) को प्रशिक्षित किया गया।
पैमाना (Scale): मॉडल 50M से 7B पैरामीटर्स तक विस्तृत थे।
कंप्यूट बजट: प्रयोगों का विस्तार $5 \times 10^{18}$ से $2 \times 10^{21}$ FLOPs तक किया गया।
संपीकरण दरें ( $T$ ):
- लेटेंट मॉडल: $T \in \{1, 2, 4, 6, 8, 12\}$ बाइट्स/टोकन।
- सबवर्ड मॉडल: $T \in \{1.01, 3.71, 4.16, 4.57, 6.16\}$ बाइट्स/टोकन।
डेटा: प्रशिक्षण मुख्य रूप से DCLM कॉर्पस (साधारण अंग्रेजी) पर किया गया था, जिसमें अन्य पाँच भाषाओं (फ्रेंच, वियतनामी, रूसी, अरबी, हिंदी) और एक कृत्रिम रूप से बढ़ाया गया अंग्रेजी डेटासेट शामिल है।
मूल्यांकन: मॉडलों का मूल्यांकन C4 वैलिडेशन स्प्लिट पर बिट्स-पर-बाइट (Bits-Per-Byte - BPB) का उपयोग करके किया गया, जिससे यह सुनिश्चित हुआ कि संदर्भ लंबाई (context length) को संपीड़न दरों में निरंतरता बनाए रखने के लिए बाइट्स (जैसे, 8192 बाइट्स) में मापा गया है।

विश्लेषण दृष्टिकोण (Analysis Approach):
लेखकों ने दो चरणों में पावर लॉ (power laws) को फिट किया:

स्केलिंग लॉ I: दिए गए कंप्यूट बजट ( $C$ ) और संपीड़न दर ( $T$ ) के लिए इष्टतम प्रशिक्षण डेटा आकार ( $B^\star$ ) और मॉडल आकार ( $N^\star$ ) को आइसोफ्लोप (IsoFLOP) कर्व्स (लॉस बनाम डेटा/पैरामीटर्स) के न्यूनतम मान को खोजकर निर्धारित किया।
स्केलिंग लॉ II: इष्टतम लॉस ( $L^\star$ ) के डायनेमिक्स को $C$ और $T$ के फलन (function) के रूप में मॉडल किया, विशेष रूप से एक इष्टतम संपीड़न दर के अस्तित्व की जांच की।

मुख्य योगदान और परिणाम

1. स्केलिंग लॉ I: बाइट्स बनाम टोकन

यह अध्ययन स्थापित करता है कि कंप्यूट-अनुकूल कॉन्फ़िगरेशन में, प्रशिक्षण डेटा बाइट्स और मॉडल पैरामीटर्स के बीच इष्टतम अनुपात संपीड़न दर की परवाह किए बिना लगभग स्थिर रहता है।

निष्कर्ष: अंग्रेजी डेटा के लिए इष्टतम बाइट्स-पर-पैरामीटर अनुपात ( $\rho^\star$ ) 60 बाइट्स प्रति पैरामीटर के करीब है।
निहितार्थ: व्यापक रूप से उद्धृत "चिनचिला" नियम (~20 टोकन प्रति पैरामीटर) BPE टोकेनाइज़र ( $T \approx 4.57$ ) की विशिष्ट संपीड़न दर का एक आर्टिफैक्ट है। विभिन्न टोकेनाइज़र्स के लिए स्केलिंग रेसिपी को सामान्य करते समय, डेवलपर्स को टोकन-टू-पैरामीटर के बजाय प्रशिक्षण बाइट्स-टू-पैरामीटर्स के अनुपात को मिलाना चाहिए।
गणितीय रूप: $B^\star(C, T) \approx B_0 C^\alpha T^\beta$ और $N^\star(C, T) \approx N_0 C^{1-\alpha} T^{1-\beta}$ , जहाँ $\alpha \approx 0.465$ और $\beta \approx 0.471$ है। चूंकि $\alpha$ और $\beta$ दोनों 0.5 के करीब हैं, इसलिए $\rho^\star = B^\star/N^\star$ विभिन्न $C$ और $T$ में लगभग स्थिर रहता है।

2. स्केलिंग लॉ II: इष्टतम संपीड़न दर

पेपर में पाया गया है कि एक विशिष्ट इष्टतम संपीड़न दर ( $T^\star$ ) मौजूद है जो एक निश्चित कंप्यूट बजट के लिए लॉस को कम करती है।

गैर-एकदिष्टता (Non-Monotonicity): संपीड़न के संबंध में लॉस गैर-एकदिष्ट (non-monotonic) है; $T^\star$ से किसी भी दिशा में विचलन (बहुत कम या बहुत अधिक संपीड़न) लॉस को बढ़ा देता है।
कंप्यूट निर्भरता: इष्टतम संपीड़न दर कंप्यूट बजट बढ़ने के साथ घटती है। उदाहरण के लिए, $C=10^{20}$ FLOPs पर, $T^\star \approx 3.69$ है, जबकि $C=2 \times 10^{21}$ FLOPs पर, $T^\star \approx 3.33$ है।
सबवर्ड सत्यापन: यह रुझान सबवर्ड टोकेनाइज्ड मॉडलों के लिए भी मान्य है। आश्चर्यजनक रूप से, बड़े पैमाने पर मानक BPE मॉडलों की तुलना में 90% BPE वोकैबुलरी को मास्क किए गए मॉडल (कम प्रभावी संपीड़न) बेहतर प्रदर्शन करते हैं, जो सुझाव देता है कि बहुत बड़े मॉडलों के लिए कम संपीड़न फायदेमंद हो सकता है।

3. बहुभाषी सामान्यीकरण (Multilingual Generalization)

निष्कर्ष अंग्रेजी से परे भाषाओं तक विस्तृत हैं, जहाँ इष्टतम मान क्रॉस-लिंगुअल पैरिटी (cross-lingual parity) (विभिन्न भाषाओं में समान जानकारी को व्यक्त करने के लिए आवश्यक बाइट लंबाई का अनुपात) के साथ सह-संबंधित हैं।

भाषा विशिष्टता: उच्च पैरिटी वाली भाषाएँ (कम सूचना घनत्व प्रति बाइट, जैसे, हिंदी, रूसी) उच्च इष्टतम संपीड़न दर और उच्च इष्टतम बाइट्स-पर-पैरामीटर अनुपात की आवश्यकता रखती हैं।
वर्तमान टोकेनाइज़र: लोकप्रिय बहुभाषी टोकेनाइज़र (जैसे, Llama 3, Qwen 3) उच्च-संसाधन वाली भाषाओं (जैसे, अंग्रेजी) को ओवर-कंप्रेस करते हैं और कम-संसाधन वाली भाषाओं (जैसे, हिंदी) को अंडर-कंप्रेस करते हैं, जो गणना किए गए इष्टतम $T^\star$ से विचलित होते हैं।

4. इन्फरेंस ट्रेड-ऑफ (Inference Trade-offs)

जबकि कम संपीड़न (प्रशिक्षण के लिए इष्टतम $T^\star$ के करीब) बेहतर प्रदर्शन देता है, यह प्रति बाइट इन्फरेंस कंप्यूट लागत को बढ़ा देता है। पेपर एक ट्रेड-ऑफ नोट करता है: उच्च संपीड़न इन्फरेंस लागत को कम करता है लेकिन यदि यह प्रशिक्षण-इष्टतम दर से काफी विचलित होता है तो प्रदर्शन को कम कर सकता है।

महत्व और दावे

यह पेपर दावा करता है कि यह भाषा मॉडलों की कंप्यूट दक्षता पर संपीड़न दर के प्रभाव का पहला गहन अध्ययन प्रदान करता है। इसका प्राथमिक महत्व है:

स्केलिंग लॉ को सामान्य बनाना: यह टोकन के बजाय बाइट्स को डेटा स्केलिंग के लिए मौलिक इकाई के रूप में स्थापित करके स्केलिंग लॉ को विशिष्ट टोकेनाइज़र्स से अलग करता है।
इष्टतम टोकेनाइजेशन रणनीति: यह प्रदर्शित करता है कि "इष्टतम" संपीड़न दर स्थिर नहीं है बल्कि प्रशिक्षण कंप्यूट बजट और विशिष्ट भाषा डोमेन पर निर्भर करती है।
डेवलपर्स के लिए मार्गदर्शन: यह मॉडल डेवलपर्स को ऐसे टोकेनाइजेशन स्कीम्स चुनने की सलाह देता है जो कंप्यूट-अनुकूल बाइट्स-पर-पैरामीटर अनुपात के साथ संरेखित हों और भाषा-विशिष्ट संपीड़न दरों पर विचार करें, विशेष रूप से बहुभाषी मॉडलों के लिए जहाँ मानक सबवर्ड टोकेनाइज़र अक्सर इष्टतम संपीड़न प्राप्त करने में विफल रहते हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि लेटेंट टोकेनाइजेशन (BLT) इन रुझानों को खोजने के लिए सटीक नियंत्रण प्रदान करता है, इससे प्राप्त स्केलिंग लॉ सबवर्ड टोकेनाइज्ड मॉडलों के लिए लगातार लागू होते हैं, जो कंप्यूट दक्षता को अधिकतम करने के लिए टोकेनाइजेशन स्कीम्स के चयन के लिए व्यावहारिक दिशानिर्देश प्रदान करते हैं।