The African Language Tax: Quantifying the Cost, Latency, and Context Penalty of Tokenizing African Languages in Frontier LLMs
यह शोध पत्र सीमावर्ती (फ्रंटियर) लार्ज लैंग्वेज मॉडल्स में एक महत्वपूर्ण "अफ्रीकी भाषा कर" (African Language Tax) को मापता है, जो यह प्रदर्शित करता है कि टोकनाइज़र व्यवस्थित रूप से अंग्रेजी की तुलना में अफ्रीकी भाषाओं को 1.88x से 8.92x अधिक टोकन आवंटित करते हैं, जिससे असमान अनुमान लागत (inference costs), विलंबता (latency) और कॉन्टेक्स्ट विंडो दंड लागू होता है जो इन भाषाओं के बोलने वालों के लिए डिजिटल विभाजन को और बढ़ा देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "द अफ्रीकन लैंग्वेज टैक्स" (The African Language Tax) शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: एक "डिजिटल टोल बूथ"
कल्पना कीजिए कि आप कार चला रहे हैं। कुछ देशों में सड़कें चौड़ी, चिकनी और टोल बूथ कुशल हैं। आप एक छोटा सा शुल्क देते हैं और तेज़ी से निकल जाते हैं। अन्य देशों में, सड़कें संकरी हैं, गड्ढों से भरी हैं, और टोल बूथ धीमे हैं। आपको बहुत अधिक शुल्क देना पड़ता है और बहुत लंबा इंतज़ार करना पड़ता है, भले ही आप ठीक उतनी ही दूरी तय करने की कोशिश कर रहे हों जितना कि दूसरे देश में।
यह शोध पत्र तर्क देता है कि अफ्रीकी भाषाएँ वर्तमान में आर्टिफिशियल इंटेलिजेंस (AI) की "खराब सड़कों" पर फंसी हुई हैं।
इससे पहले कि कोई AI (जैसे कि चैटबॉट) सोचना या किसी प्रश्न का उत्तर देना शुरू कर सके, उसे आपके वाक्य को टोकन्स (tokens) नामक छोटे-छोटे निर्माण खंडों (building blocks) में तोड़ना पड़ता है। यह शोध पत्र अफ्रीकी भाषाओं द्वारा सामना किए जाने वाले अतिरिक्त खर्च और समय को "टोकन टैक्स" (Token Tax) कहता है।
मूल समस्या: "लेगो" (Lego) का उदाहरण
AI की शब्दावली को लेगो ब्रिक्स (Lego bricks) के एक डिब्बे की तरह समझें।
- अंग्रेजी एक ऐसे सेट की तरह है जहाँ ब्रिक्स बड़े, पहले से बने आकार (जैसे कि एक पूरी कार या घर) हैं। AI बहुत कम ब्रिक्स का उपयोग करके एक वाक्य बना सकता है।
- कई अफ्रीकी भाषाएँ एक ऐसे सेट की तरह हैं जहाँ ब्रिक्स बहुत छोटे, व्यक्तिगत दाने (studs) हैं। उसी "कार" (उसी अर्थ) को बनाने के लिए, AI को सैकड़ों छोटे दानों को आपस में जोड़ने की आवश्यकता होती है।
चूंकि AI आपसे उन ब्रिक्स की संख्या के आधार पर पैसे लेता है जिनका वह उपयोग करता है, और चूंकि सैकड़ों छोटे दानों को जोड़ने में अधिक समय लगता है, इसलिए अफ्रीकी भाषा बोलने वालों को अंग्रेजी बोलने वालों की तुलना में अधिक पैसा खर्च करना पड़ता है और उत्तर पाने के लिए अधिक प्रतीक्षा करनी पड़ती है।
शोधकर्ताओं ने क्या मापा
शोधकर्ताओं ने 20 अलग-अलग अफ्रीकी भाषाओं (जिनमें स्वाहिली और योरूबा जैसी प्रमुख भाषाएँ और अमहारिक और न'को (N'Ko) जैसी लिपि-आधारित भाषाएँ शामिल हैं) को लिया और उनकी अंग्रेजी से तुलना की। उन्होंने एक "समानांतर संग्रह" (parallel corpus) का उपयोग किया, जिसका अर्थ है कि उन्होंने उन्हीं वाक्यों को सभी भाषाओं में अनुवादित किया और गिना कि प्रत्येक भाषा को कितने "ब्रिक्स" (टोकन्स) की आवश्यकता थी।
निष्कर्ष:
- सबको टैक्स देना पड़ता है: अध्ययन की गई प्रत्येक अफ्रीकी भाषा की प्रोसेसिंग लागत अंग्रेजी से अधिक थी। इसमें कोई अपवाद नहीं था।
- अंतर बहुत बड़ा है:
- लैटिन-लिपि वाली भाषाएँ (जैसे स्वाहिली, हौसा, योरूबा): इनकी लागत अंग्रेजी से लगभग 1.5 से 2 गुना अधिक थी।
- इथियोपिक लिपि (जैसे अमहारिक): इनकी लागत अंग्रेजी से लगभग 7 से 9 गुना अधिक थी।
- न'को (N'Ko) लिपि (मैडिंग भाषाओं के लिए उपयोग की जाती है): यह सबसे खराब स्थिति थी, जिसकी लागत अंग्रेजी से लगभग 9 गुना अधिक थी।
- यह केवल पैसे के बारे में नहीं है:
- गति (Speed): क्योंकि AI को अधिक ब्रिक्स को प्रोसेस करना पड़ता है, इसलिए यह उत्तर देने में धीमा हो जाता है। एक अमहारिक प्रतिक्रिया को जेनरेट करने में अंग्रेजी की तुलना में लगभग 7 गुना अधिक समय लगता है।
- स्मृति (Memory): AI की एक सीमित "वर्किंग मेमोरी" (context window) होती है। चूंकि अफ्रीकी भाषाएँ बहुत सारे ब्रिक्स का उपयोग करती हैं, इसलिए AI बातचीत की शुरुआत को बहुत जल्दी "भूल" जाता है। एक न'को बातचीत का मेमोरी कैपेसिटी अंग्रेजी की तुलना में केवल 11% रह जाता है, जिसके बाद वह चीज़ों को काटना शुरू कर देता है।
"मुद्रा" का दोहरा झटका
शोध पत्र एक क्रूर मोड़ की ओर इशारा करता है: AI कंपनियाँ अमेरिकी डॉलर में शुल्क लेती हैं।
- यदि आप नाइजीरिया या इथियोपिया में डेवलपर हैं, तो आपको डॉलर में भुगतान करना होगा।
- यदि आपकी स्थानीय मुद्रा (जैसे नायरा या बिर) का डॉलर के मुकाबले मूल्य गिरता है, तो आपकी लागत और भी बढ़ जाती है।
- इसलिए, अफ्रीकी निर्माता दो टैक्स से घिरे हुए हैं: "टोकन टैक्स" (अधिक ब्रिक्स का उपयोग करना) और "करेंसी टैक्स" (एक मजबूत मुद्रा में भुगतान करना)।
अच्छी खबर: यह ठीक किया जा सकता है
शोधकर्ताओं ने पाया कि यह कोई जादुई भौतिक नियम नहीं है; यह एक डिज़ाइन का चुनाव है।
- बेहतर ब्रिक्स: कुछ नए AI मॉडलों (जैसे Gemma 4 और Llama 4) को अधिक अफ्रीकी आकारों वाले बड़े, स्मार्ट लेगो बॉक्स दिए गए हैं।
- परिणाम: अमहारिक के लिए, इन नए मॉडलों में स्विच करने से लागत में 74% की कमी आई। न'को के लिए, Qwen 3 नामक मॉडल ने कम ब्रिक्स का उपयोग करने का तरीका खोजा, जिससे अन्य मॉडलों की तुलना में लागत में 33% की कमी आई।
- सबक: यदि AI कंपनियाँ जानबूझकर अपने "ब्रिक्स" को इस तरह डिज़ाइन करती हैं कि वे अफ्रीकी लिपियों में बेहतर फिट हों, तो टैक्स काफी कम हो जाता है।
बिल्डर्स (निर्माताओं) के लिए इसका क्या अर्थ है ("निर्णय मार्गदर्शिका")
यह शोध पत्र अफ्रीका के लिए AI उपकरण बनाने वाले किसी भी व्यक्ति को व्यावहारिक सलाह देता है:
- पुराने टूल्स का उपयोग न करें: पुराने AI मॉडल (जैसे कि लेगेसी
cl100k_base) का उपयोग करना बड़े गड्ढों वाली सड़क पर गाड़ी चलाने जैसा है। यह अनावश्यक रूप से महंगा है। - सही मॉडल चुनें: यदि आप अमहारिक के लिए बना रहे हैं, तो Gemma 4 का उपयोग करें। यदि आप न'को के लिए बना रहे हैं, तो Qwen 3 का उपयोग करें।
- केवल अंग्रेजी में अनुवाद न करें: शोध पत्र ने जांचा कि क्या पहले अफ्रीकी टेक्स्ट को अंग्रेजी में अनुवाद करने से पैसे की बचत होगी। उन्होंने पाया कि हालांकि अंग्रेजी को प्रोसेस करना सस्ता है, लेकिन अनुवाद प्रक्रिया स्वयं भी पैसे और समय लेती है। यदि आप सही AI मॉडल चुनते हैं, तो सीधे स्थानीय भाषा में काम करना अक्सर बेहतर होता है।
निष्कर्ष
"अफ्रीकन लैंग्वेज टैक्स" एक छिपा हुआ शुल्क है जो उस सॉफ़्टवेयर में बना हुआ है जो अफ्रीकी भाषाओं में AI का उपयोग करना संरचनात्मक रूप से अंग्रेजी की तुलना में अधिक महंगा और धीमा बनाता है। ऐसा इसलिए नहीं है कि वे भाषाएँ "कठिन" या "खराब" हैं, बल्कि इसलिए है क्योंकि डिजिटल टूल्स (टोकनाइज़र) अंग्रेजी को ध्यान में रखकर बनाए गए थे।
यह शोध पत्र साबित करता है कि यह टैक्स वास्तविक है, यह सटीक रूप से मापता है कि इसकी कितनी लागत आती है, और यह दिखाता है कि बेहतर इंजीनियरिंग (बेहतर "ब्रिक्स") के साथ, हम सभी के लिए टोल बूथ की फीस कम कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।