Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities
यह शोध पत्र टोकनाइजेशन इक्विटी ऑडिट (TEA) को पेश करता है ताकि यह प्रदर्शित किया जा सके कि टोकनाइजेशन की अक्षमताएं कम सेवा प्राप्त भाषा समुदायों के लिए महत्वपूर्ण आर्थिक और कार्यात्मक बाधाएं उत्पन्न करती हैं, जो यह प्रकट करता है कि बंगाली और योरूबा जैसी भाषाओं की सामग्री के लिए अंग्रेजी की तुलना में 4.5 गुना अधिक टोकन की आवश्यकता होती है, जिससे प्रभावी संदर्भ विंडो (context windows) में भारी कमी आती है और लागत बढ़ जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट दोस्त को संदेश भेजने की कोशिश कर रहे हैं जो एक विशाल पुस्तकालय में रहता है। यह रोबोट शब्दों को वैसे नहीं पढ़ता जैसे हम पढ़ते हैं; इसके बजाय, यह हर वाक्य को छोटे-छोटे, टुकड़ों में काट देता है जिन्हें "टोकन" कहा जाता है। इन टोकनों को पहेली के टुकड़ों (पज़ल पीसेस) की तरह समझें। यदि आप अंग्रेजी में एक वाक्य लिखते हैं, तो रोबलेट को उस तस्वीर को जोड़ने के लिए कुछ बड़े, मोटे टुकड़ों की आवश्यकता हो सकती है। लेकिन यदि आप वही वाक्य किसी अन्य भाषा में लिखते हैं, तो रोबोट को उस बात को समझने के लिए उसी वाक्य को दर्जनों छोटे, बिखरे हुए टुकड़ों में काटने की आवश्यकता पड़ सकती है।
यही लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो शक्तिशाली AI उपकरण हैं जो हमें लिखने, सीखने और कोडिंग करने में मदद करते हैं। लेकिन यहाँ एक पेच है: रोबोट का "पहेली बॉक्स" (पज़ल बॉक्स) सभी के लिए समान रूप से नहीं बना है। कुछ भाषाएँ बॉक्स में बड़े, कुशल टुकड़ों के साथ पूरी तरह फिट बैठती हैं, जबकि अन्य भाषाओं को दर्जनों छोटे, महंगे टुकड़ों में कुचल दिया जाता है। यह महत्वपूर्ण है क्योंकि, वास्तविक दुनिया में, आपको अक्सर उपयोग किए गए प्रत्येक पहेली टुकड़े के लिए भुगतान करना पड़ता है। यदि आपकी भाषा एक ही बात कहने के लिए दोगुने टुकड़े लेती है, तो आप दोगुना भुगतान करते हैं, आपके संदेश जल्दी कट जाते हैं, और पूरा अनुभव धीमा और निराशाजनक हो जाता है। यह रोबोट की बुद्धिमत्ता के बारे में नहीं है; यह पहेली बॉक्स के स्वयं के असमान नियमों के बारे में है।
द ग्रेट टोकन टैक्स: असमान पहेली टुकड़ों की एक कहानी
एक नए अध्ययन में, शोधकर्ताओं अविजीत रॉय, प्रोमा रॉय और हृषीत्व पटेल ने इस अदृश्य टैक्स की जांच करने का निर्णय लिया। उन्होंने एक विशेष परीक्षण बनाया जिसे टोकनाइजेशन इक्विटी ऑडिट (TEA) कहा गया। कल्पना कीजिए कि उन्होंने पायथन प्रोग्रामिंग के 120 शुरुआती स्तर के प्रश्नों का एक मानक सेट लिया—जैसे कि "मेरा कोड क्यों क्रैश हुआ?" या "मैं इस त्रुटि को कैसे ठीक करूँ?"—और उनका अंग्रेजी, बंगाली, हिंदी, अरबी, तमिल और योरूबा में अनुवाद किया। फिर, उन्होंने इन अनुवादों को तीन अलग-अलग "पहेली बॉक्सों" (टोकनाइज़र) में डाला जिनका उपयोग लोकप्रिय AI सिस्टम द्वारा किया जाता है: एक OpenAI (GPT-4o) से, एक Qwen से, और एक Mistral से।
उनका लक्ष्य सरल था: यह गिनना कि एक ही बात कहने के लिए प्रत्येक भाषा को कितने पहेली टुकड़ों की आवश्यकता थी।
निष्कर्ष: कुछ लोगों के लिए एक भारी बोझ
परिणामों ने एक स्पष्ट असमानता को उजागर किया। जब OpenAI (GPT-4o) प्रणाली का उपयोग किया जा रहा था, तो बंगाली भाषा को समान तकनीकी सामग्री व्यक्त करने के लिए अंग्रेजी की तुलना में 1.56 गुना अधिक टोकनों की आवश्यकता थी। इसे समझने के लिए, यदि एक रोबोट के पास एक "मेमोरी बाल्टी" है जो 128,000 टोकन रख सकती है, तो एक अंग्रेजी वक्ता उस बाल्टी को एक पूर्ण बातचीत से भर सकता है। लेकिन एक बंगाली वक्ता, उसी बाल्टी का उपयोग करते हुए, अर्थ के लगभग 82,000 टोकन तक पहुँचने से पहले ही बाल्टी भर जाएगी। यह एक भारी बैकपैक ले जाने की तरह है जहाँ कुछ लोगों के लिए पट्टियाँ पतली, टूटती हुई डोरी से बनी हैं, जबकि दूसरों को मजबूत चमड़े की पट्टियाँ मिलती हैं।
अन्य दो प्रणालियों (Qwen2.5 और Mistral) के साथ स्थिति और भी नाटकीय हो जाती है। बंगाली के लिए, इन प्रणालियों को अंग्रेजी की तुलना में चौंका देने वाले 4.5 गुना अधिक टोकन की आवश्यकता थी। इसका मतलब है कि एक अंग्रेजी उपयोगकर्ता के लिए जो बातचीत आसानी से फिट हो जाती है, वह एक बंगाली उपयोगकर्ता के लिए टुकड़ों के एक विशाल, भारी ढेर में बदल जाती है, जिससे मेमोरी खत्म होती है और सब कुछ धीमा हो जाता है।
स्क्रिप्ट का मिथक: यह केवल वर्णमाला के बारे में नहीं है
इस अध्ययन में योरूबा भाषा से जुड़ा एक सबसे आश्चर्यजनक खोज शामिल था। आप अनुमान लगा सकते हैं कि गैर-लैटिन लिपियों (जैसे अरबी या तमिल) का उपयोग करने वाली भाषाओं को संसाधित करना सबसे कठिन होगा क्योंकि वे अंग्रेजी से बहुत अलग दिखती हैं। और जबकि उन्हें संघर्ष करना पड़ा, अध्ययन में पाया गया कि योरूबा, जो लैटिन वर्णमाला (वही A, B, C जो हम उपयोग करते हैं) का उपयोग करती है, GPT-4o प्रणाली के लिए उच्चतम दंड (पेनल्टी) रखती है, जो अंग्रेजी की तुलना में 2.37 गुना है।
यह निष्कर्ष बताता है कि समस्या केवल अक्षरों के "आकार" के बारे में नहीं है। भले ही योरूबा परिचित लैटिन अक्षरों का उपयोग करती है, लेकिन रोबोट का पहेली बॉक्स इन विशिष्ट ध्वनियों और लहजों को कुशलतापूर्वक संभालने के लिए पर्याप्त टुकड़ों के साथ नहीं बनाया गया था। शोधकर्ता सुझाव देते हैं कि "पहेली बॉक्स" में इन विशिष्ट ध्वनियों के लिए सही टुकड़ों की कमी है, जिससे रोबोट शब्दों को छोटे, अक्षम कणों में तोड़ने के लिए मजबूर होता है।
वास्तविक दुनिया की लागत
यह क्यों मायने रखता है? पेपर का सुझाव है कि यह केवल एक गणित की समस्या नहीं है; यह एक आर्थिक और शैक्षिक बाधा है।
- सशुल्क सेवाओं के लिए: यदि आप टोकन के आधार पर भुगतान कर रहे हैं, तो कोडिंग सीख रहा एक बंगाली छात्र 1,000 अनुरोधों के लिए **0.00 अतिरिक्त देता है। समय के साथ, यह जमा होता जाता है, जिससे कम सेवा वाले समुदायों के लिए AI ट्यूशन काफी महंगा हो जाता है।
- ऑफलाइन टूल्स के लिए: कम कनेक्टिविटी वाले क्षेत्रों में रहने वाले कई लोग उन AI पर निर्भर होते हैं जो इंटरनेट के बिना उनके अपने फोन पर चलते हैं। इन उपकरणों में सीमित मेमोरी होती है। यदि AI को एक ही पाठ के लिए 4.5 गुना अधिक "पहेली टुकड़े" संग्रहीत करने पड़ते हैं, तो यह क्रैश हो सकता है या जगह खत्म हो सकती है, जिससे वह टूल अनुपयोगी हो जाता है।
यह अध्ययन क्या करता है और क्या नहीं करता
लेखक सावधानीपूर्वक नोट करते हैं कि उन्होंने यह साबित नहीं किया है कि AI इन भाषाओं के लिए "कम बुद्धिमान" है; उन्होंने केवल यह साबित किया है कि डिलीवरी सिस्टम अक्षम है। उन्होंने यह भी परीक्षण नहीं किया कि दुनिया की हर भाषा कैसी है, बल्कि एक विशिष्ट सेट के 120 प्रोग्रामिंग उदाहरणों पर ध्यान केंद्रित किया ताकि एक स्पष्ट पैटर्न दिखाया जा सके। वे स्पष्ट रूप से इस विचार का खंडन करते हैं कि यह केवल "अजीब" लिपियों की समस्या है, यह दिखाते हुए कि लैटिन-आधारित भाषाएं जैसे योरूबा भी पीड़ित हो सकती हैं यदि शब्दावली सही ढंग से निर्मित न हो।
अध्ययन सुझाव देता है कि AI को वास्तव में निष्पक्ष बनाने के लिए, हम केवल रोबोट को स्मार्ट बनाने पर ध्यान केंद्रित नहीं कर सकते। हमें पहेली बॉक्सों को भी ठीक करने की आवश्यकता है। हमें ऐसे सिस्टम डिजाइन करने की आवश्यकता है जहाँ बंगाली, हिंदी या योरूबा में एक वाक्य कहना अंग्रेजी के वाक्य की तुलना में अधिक महंगा न हो या अधिक जगह न ले। तब तक, "टोकन टैक्स" एक छिपी हुई बाधा बना रहेगा, जो मुक्त, वैश्विक शिक्षा के वादे को कुछ लोगों के लिए दूसरों की तुलना में थोड़ा अधिक महंगा बना देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।