MUTANT: A Recipe for Multilingual Tokenizer Design
यह शोधपत्र MUTANT को प्रस्तुत करता है, जो बहुभाषी टोकनाइज़र डिजाइन करने के लिए एक व्यापक रेसिपी है जो अनुकूलित शब्दावली, भाषा-जागरूक प्री-टोकनाइजेशन और सबवर्ड-जागरूक प्रशिक्षण रणनीतियों के माध्यम से अत्याधुनिक प्रदर्शन प्राप्त करता है और LLaMA4 की तुलना में इन्फरेंस थ्रूपुट (inference throughput) में 44% तक महत्वपूर्ण सुधार करता है।