BrahmicTokenizer-131K: An Indic-Capable Drop-In Replacement for o200k_base
यह शोध पत्र BrahmicTokenizer-131K को प्रस्तुत करता है, जो OpenAI के o200k_base का एक ड्रॉप-इन रिप्लेसमेंट है, जो अंग्रेजी, कोड और गणित संबंधी कार्यों पर प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए एक सर्जिकल वोकैबुलरी रेट्रोफिट के माध्यम से भारतीय भाषाओं के लिए बेहतर संपीड़न (compression) प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक यात्रा के लिए सूटकेस पैक करने की कोशिश कर रहे हैं जिसमें अंग्रेजी बोलने वाले शहर और भारत के नौ अलग-अलग क्षेत्र शामिल हैं, जिनमें से प्रत्येक की अपनी अनूठी लिपि (जैसे देवनागरी, तमिल या ओडिया) है।
समस्या: "एक ही आकार का" सूटकेस (One-Size-Fits-All Suitcase)
वर्तमान में, अधिकांश AI मॉडल एक मानक "सूटकेस" (एक टोकेनाइज़र) का उपयोग करते हैं जो मुख्य रूप से अंग्रेजी और कुछ यूरोपीय भाषाओं के लिए डिज़ाइन किया गया है। जब आप इसमें भारतीय भाषाओं को पैक करने की कोशिश करते हैं, तो यह अच्छी तरह से फिट नहीं बैठता है।
- उपमा: कल्पना कीजिए कि आप टी-शर्ट के लिए डिज़ाइन किए गए सूटकेस में एक नाजुक, जटिल भारतीय साड़ी पैक करने की कोशिश कर रहे हैं। उस सूटकेस में सही खांचे (compartments) नहीं हैं, इसलिए वह साड़ी को छोटे, बिखरे हुए टुकड़ों में फोल्ड करने के लिए मजबूर करता है।
- परिणाम: ओडिया जैसी किसी भारतीय भाषा का एक एकल शब्द केवल सूटकेस में फिट होने के लिए तीन अलग-अलग टुकड़ों में टूट सकता है। इसके विपरीत, एक अंग्रेजी शब्द एक ही टुकड़े में फिट हो सकता है। यह इस वजह से "सूटकेस" (वह डेटा जिसे AI प्रोसेस करता है) को अधिक भारी और महंगा बना देता है, भले ही जानकारी की वास्तविक मात्रा समान हो।
समाधान: BrahmicTokenizer-131K
लेखकों ने एक नया, स्मार्ट सूटकेस बनाया जिसे BrahmicTokenizer-131K कहा जाता है। उन्होंने एक नया सूटेकेस शून्य से नहीं बनाया; इसके बजाय, उन्होंने एक बहुत ही उच्च गुणवत्ता वाले, लोकप्रिय सूटकेस (OpenAI का o200k_base) को लिया और उसे भारतीय भाषाओं के लिए एकदम सही बनाने के लिए उसमें "सर्जरी" की, बिना इसकी अंग्रेजी या कोड ले जाने की क्षमता को खराब किए।
उन्होंने इसे सरल चरणों का उपयोग करके किया, जो यहाँ दिए गए हैं:
1. "अनचाही चीजों को हटाना" (चरण 1 - The "Declutter")
मूल सूटकेस में 200,000 खांचे थे। उनमें से कई खांचे उन भाषाओं के लिए भरे हुए थे जिनकी उन्हें इस विशेष यात्रा के लिए आवश्यकता नहीं थी (जैसे कोरियाई, जापानी, अरबी या रूसी)।
- कार्रवाई: उन्होंने 3-8,000 अनुपयोगी खांचों को बाहर निकाल दिया।
- परिणाम: अब उनके पास ठीक 131,072 खांचों वाला एक साफ, छोटा सूटकेस था, जो एक नए अरेंजमेंट के लिए तैयार था।
2. "सर्जिकल रेट्रोफिट" (चरण 2 - The "Surgical Retrofit")
अब उनके पास सूटकेस में खाली जगहें थीं। उन्हें खाली छोड़ने के बजाय, उन्होंने उन्हें सावधानीपूर्वक उच्च-आवृत्ति वाले भारतीय शब्दों और वर्णों से भर दिया।
- रणनीति: उन्होंने एक गणितीय सूत्र (Linear Programming) का उपयोग यह तय करने के लिए किया कि किन भारतीय शब्दों को एक स्थान मिलना चाहिए। उन्होंने उन भाषाओं को प्राथमिकता दी जिन्हें पहले अनदेखा किया गया था, जैसे ओडिया।
- जादू: उन्होंने ओडिया वर्णों के लिए विशेष रूप से 725 विशिष्ट खांचे जोड़े। इससे पहले, सूटकेस में ओडिया के लिए शून्य स्थान थे, जिससे हर ओडिया अक्षर को छोटे, अक्षम टुकड़ों में तोड़ना पड़ता था। अब, वे पूरे ओडिया शब्दों या उनके बड़े हिस्सों को फिट कर सकते हैं।
3. "ड्रॉप-इन" फीचर (The "Drop-In" Feature)
सबसे अच्छी बात यह है कि यह नया सूटकेस बाहर से बिल्कुल पुराने वाले जैसा ही दिखता है।
- उपमा: यह एक मानक कार इंजन को हाई-परफॉर्मेंस इंजन से बदलने जैसा है जो उसी इंजन बे में फिट बैठता है। आपको कार को फिर से बनाने, टायर बदलने या मैनुअल को फिर से लिखने की आवश्यकता नहीं है।
- दावा: कोई भी AI ट्रेनिंग पाइपलाइन जिसने पुराने सूटकेस का उपयोग किया था, वह बस इस नए वाले को बदल सकती है, और यह तुरंत काम करने लगता है।
परिणाम क्या बदले?
पेपर ने 27 मिलियन भारतीय दस्तावेजों के एक विशाल संग्रह पर इस नए सूटकेस का परीक्षण किया। यहाँ उन्होंने क्या पाया:
- भारी बचत: भारतीय भाषाओं के लिए, इस नए सूटकेस ने वर्तमान सर्वश्रेष्ठ प्रतिस्पर्धियों (Tekken/Sarvam-m) की तुलना में 26.7% कम टुकड़े (टोकन) उत्पन्न किए।
- उदाहरण: ओडिया भाषा के लिए, सुधार बहुत बड़ा था। पुराने सूटकेस को उसी टेक्स्ट को ले जाने के लिए 4.3 गुना अधिक टुकड़ों की आवश्यकता थी। नया वाला इसे कुशलता से ले जाता है।
- कोई समझौता नहीं (No Trade-Offs): आमतौर पर, जब आप एक चीज़ के लिए सूटकेस को बेहतर बनाते हैं, तो वह दूसरी चीज़ के लिए खराब हो जाता है। लेकिन यह नया सूटकेस एक "सामान्य उद्देश्य" (general-purpose) वाला विजेता है।
- यह मूल के समान ही अंग्रेजी शब्दों को पैक करने में सक्षम है।
- यह कंप्यूटर कोड और गणित की समस्याओं को पैक करने में प्रतिस्पर्धियों की तुलना में वास्तव में बेहतर है।
- "विशेषज्ञ" बनाम "सामान्यज्ञ" का ट्रेड-ऑफ:
- अन्य सूटकेस हैं जो केवल भारतीय भाषाओं के लिए डिज़ाइन किए गए हैं (विशेषज्ञ)। वे भारतीय शब्दों को थोड़ा बेहतर पैक करते हैं (लगभग 12-18% बेहतर)।
- हालाँकि, वे विशेषज्ञ सूटकेस अंग्रेजी या कोड के लिए बहुत खराब हैं।
- BrahmicTokenizer-131K एकमात्र ऐसा है जो एक साथ सब कुछ (भारतीय भाषाएं, अंग्रेजी, कोड और गणित) उत्कृष्ट रूप से कर सकता है, उसी आकार की सीमा के भीतर।
सारांश
यह पेपर एक ऐसे टूल को प्रस्तुत करता है जो भारतीय भाषाओं को संभालने के तरीके में एक संरचनात्मक अक्षमता को ठीक करता है। अनुपयोगी भाषा स्लॉट्स को सावधानीपूर्वक चुने गए भारतीय भाषा स्लॉट्स से बदलकर, उन्होंने एक ऐसा टोकेनाइज़र बनाया जो भारतीय भाषाओं के लिए कंप्यूटिंग पावर की भारी बचत करता है, जबकि अंग्रेजी और कोड के लिए उच्च प्रदर्शन को बनाए रखता है जिस पर आधुनिक AI मॉडल निर्भर करते हैं। यह एक "ड्रॉप-इन" अपग्रेड है जो भारतीय डेटा पर AI को प्रशिक्षित करना सस्ता और तेज़ बनाता है, बिना इसकी अंग्रेजी बोलने या कोड लिखने की क्षमता से समझौता किए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।