The Token Tax: Systematic Bias in Multilingual Tokenization
यह शोध पत्र यह प्रदर्शित करता है कि टोकनाइज़ेशन की अक्षमता रूपात्मक रूप से जटिल, कम संसाधन वाली अफ्रीकी भाषाओं पर एक "टोकन टैक्स" आरोपित करती है, जो उच्च टोकन फर्टिलिटी को कम सटीकता और काफी बढ़ी हुई लागत के साथ सहसंबंधित करती है, जबकि यह भी रेखांकित करता है कि रीजनिंग मॉडल इन प्रदर्शन अंतराल को कम करने में मदद कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया के दूसरे कोने में एक पैकेज भेजने की कोशिश कर रहे हैं। कुछ लोगों के लिए, उनका "पैकेज" एक छोटा, साफ-सुथरा डिब्बा है जो एक मानक शिपिंग कंटेनर में पूरी तरह फिट हो जाता है। दूसरों के लिए, उनका "पैकेज" असल में उसी आकार का है, लेकिन जिस तरह से उसे लपेटा (wrap किया) गया है, उसके कारण उसे सैकड़ों छोटे, अजीबोगरीब टुकड़ों में काट दिया जाता है। इसे भेजने के लिए, आपको चार गुना बड़े ट्रक की जरूरत होगी, इसकी लागत चार गुना अधिक होगी, और इसे डिलीवर होने में चार गुना अधिक समय लगेगा।
यह शोध पत्र, "द टोकन टैक्स" (The Token Tax), तर्क देता है कि आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में कई भाषाओं के साथ बिल्कुल यही हो रहा है।
यहाँ इसका सरल विवरण दिया गया है:
1. समस्या: "लपेटने" का मुद्दा (टोकनाइज़ेशन/Tokenization)
AI मॉडल इंसानों की तरह शब्दों को नहीं पढ़ते; वे उन्हें टोकन नामक टुकड़ों के रूप में पढ़ते हैं। टोकन को 'LEGO' ब्रिक्स (ईंटों) की तरह समझें।
- अंग्रेजी एक ऐसी भाषा की तरह है जहाँ अधिकांश शब्द पहले से ही एकल LEGO ब्रिक्स की तरह हैं। "cat" शब्द एक ईंट है।
- मॉर्फोलॉजिकल रूप से जटिल भाषाएँ (जैसे कई अफ्रीकी भाषाएँ, या जर्मन भी) ऐसी भाषाओं की तरह हैं जहाँ एक अकेला शब्द पूरा LEGO किला जैसा होता है। उस किले को AI के सिस्टम में फिट करने के लिए, AI को एक शब्द को दर्शाने के लिए उस किले को 5, 10, या यहाँ तक कि 20 छोटे टुकड़ों में तोड़ना पड़ता है।
इस शोध पत्र में इसे "फर्टिलिटी" (Fertility) कहा गया है। उच्च फर्टिलिटी का अर्थ है कि एक शब्द कहने के लिए भाषा को कई टोकनों की आवश्यकता होती है। कम फर्टिलिटी (जैसे अंग्रेजी) का अर्थ है कि कम टोकनों की आवश्यकता होती है।
2. "टोकन टैक्स": यह अधिक महंगा क्यों है?
लेखकों ने पाया कि यह "अतिरिक्त लपेटने" की प्रक्रिया केवल एक मामूली असुविधा नहीं है; यह एक बहुत बड़ा वित्तीय और प्रदर्शन संबंधी टैक्स है।
- क्वाड्रेटिक पेनल्टी (The Quadratic Penalty): AI मॉडल एक ऐसी पार्टी की तरह हैं जहाँ हर किसी को हर किसी से बात करनी पड़ती है। यदि आप लोगों (टोकनों) की संख्या दोगुनी करते हैं, तो बातचीत (कंप्यूटिंग पावर) की मात्रा केवल दोगुनी नहीं होती; बल्कि वह चार गुना हो जाती है (2 x 2 = 4)।
- लागत: यदि किसी भाषा को अंग्रेजी की तुलना में एक ही बात कहने के लिए दोगुने टोकनों की आवश्यकता होती है, तो उस पर AI को प्रशिक्षित करने की लागत 4 गुना अधिक होती है और इसमें 4 गुना अधिक समय लगता है।
- उपमा: कल्पना कीजिए कि एक AI को अंग्रेजी पर प्रशिक्षित करने की लागत $100 है। यदि उसी AI को "दोगुनी फर्टिलिटी" वाली भाषा पर प्रशिक्षित करना हो, तो लागत 2,500** हो जाएगी।
- परिणाम: क्योंकि यह इतना महंगा है, कंपनियाँ इन भाषाओं के लिए अच्छे AI बनाने की संभावना कम रखती हैं। इससे एक "डिजिटल विभाजन" पैदा होता है जहाँ अरबों बोलने वाले लोग पीछे छूट जाते हैं।
3. प्रदर्शन पर प्रभाव: "बिखरी हुई मेज" (The Cluttered Desk)
यह केवल पैसे के बारे में नहीं है; यह इस बारे में भी है कि AI कितना स्मार्ट बनता है।
- शोध पत्र में 10 अलग-अलग AI मॉडलों का 16 अफ्रीकी भाषाओं पर परीक्षण किया गया।
- उन्होंने एक सीधा संबंध पाया: एक भाषा को जितने अधिक टोकनों की आवश्यकता होती है (उच्च फर्टिलिटी), AI सवालों के जवाब देने में उतना ही कम बुद्धिमान हो जाता है।
- उपमा: कल्पना कीजिए कि आप एक ऐसी किताब पढ़ने की कोशिश कर रहे हैं जहाँ हर एक शब्द एक लंबे, भ्रमित करने वाले वाक्य के रूप में लिखा गया है। आप थक जाएंगे, अपना स्थान भूल जाएंगे और गलतियाँ करेंगे। जब AI को साधारण शब्दों के लिए बहुत अधिक टोकनों को प्रोसेस करना पड़ता है, तो उसे भी वैसा ही "थका हुआ" महसूस होता है।
4. अच्छी खबर: "रीजनिंग" (Reasoning) मॉडल मदद कर रहे हैं
शोध पत्र ने एक नई पीढ़ी के AI मॉडलों (जैसे DeepSeek और o1) का परीक्षण किया जो केवल अगला शब्द अनुमान लगाने के बजाय, जवाब देने से पहले "सोचने" के लिए डिज़ाइन किए गए हैं।
- परिणाम: ये "रीजनिंग" मॉडल इन अव्यवस्थित, उच्च-टोकन वाली भाषाओं को संभालने में बहुत बेहतर हैं। उन्होंने अंग्रेजी बोलने वालों और अफ्रीकी भाषा बोलने वालों के बीच के अंतर को काफी कम कर दिया है।
- सावधानी: उन्होंने समस्या को पूरी तरह से ठीक नहीं किया है। "टोकन टैक्स" अभी भी मौजूद है; रीजनिंग मॉडल बस इसे चुकाने के लिए बेहतर उपकरण रखते हैं।
5. बड़ी तस्वीर: यह क्यों मायने रखता है
लेखक तर्क देते हैं कि हमें इसे एक मामूली तकनीकी गड़बड़ी के रूप में देखना बंद करना चाहिए। यह एक प्रणालीगत असमानता (Systemic Inequality) है।
- आर्थिक: कंपनियों के लिए इन भाषाओं का समर्थन करना बहुत महंगा है, इसलिए वे ऐसा नहीं करेंगी।
- तकनीकी: वर्तमान AI आर्किटेक्चर मौलिक रूप से उन भाषाओं के प्रति पक्षपाती है जो अंग्रेजी जैसी नहीं दिखती हैं।
समाधान क्या है?
हमें बेहतर "LEGO ब्रिक्स" (टोकनाइज़र) बनाने की आवश्यकता है जो जटिल भाषाओं की संरचना को समझ सकें ताकि उन्हें छोटे टुकड़ों में न तोड़ना पड़े। हमें यह बदलने की भी आवश्यकता है कि हम AI सेवाओं की कीमत कैसे तय करते हैं ताकि जटिल भाषा बोलने में आपकी लागत 4 गुना अधिक न हो।
संक्षेप में: अभी, AI की दुनिया अंग्रेजी के लिए बनी है। यदि आप ऐसी भाषा बोलते हैं जिसके लिए अधिक "डिजिटल रैपिंग" की आवश्यकता होती है, तो आप पैसे, समय और बुद्धिमत्ता के रूप में भारी टैक्स चुका रहे हैं। यह शोध पत्र इस "रैपिंग" को ठीक करने का एक आह्वान है ताकि सभी को समान अवसर मिल सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।