CharBench: Evaluating the Role of Tokenization in Character-Level Tasks
यह शोधपत्र CharBench प्रस्तुत करता है, जो एक बड़े पैमाने का बेंचमार्क है जो यह दर्शाता है कि आधुनिक LLMs कैरेक्टर-लेवल (character-level) कार्यों में संघर्ष करते हैं, और यह प्रकट करता है कि जबकि टोकनाइज़ेशन का गिनती करने के प्रदर्शन पर कमजोर प्रभाव पड़ता है, यह तब महत्वपूर्ण रूप से बाधा डालता है जब कैरेक्टर्स लंबे टोकन्स के भीतर एम्बेडेड होते हैं, जिससे शब्द के भीतर स्थिति संबंधी समझ बाधित होती है।