CharBench: Evaluating the Role of Tokenization in Character-Level Tasks
यह शोधपत्र CharBench प्रस्तुत करता है, जो एक बड़े पैमाने का बेंचमार्क है जो यह दर्शाता है कि आधुनिक LLMs कैरेक्टर-लेवल (character-level) कार्यों में संघर्ष करते हैं, और यह प्रकट करता है कि जबकि टोकनाइज़ेशन का गिनती करने के प्रदर्शन पर कमजोर प्रभाव पड़ता है, यह तब महत्वपूर्ण रूप से बाधा डालता है जब कैरेक्टर्स लंबे टोकन्स के भीतर एम्बेडेड होते हैं, जिससे शब्द के भीतर स्थिति संबंधी समझ बाधित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट लाइब्रेरियन है। इस लाइब्रेरियन ने दुनिया की लगभग हर किताब पढ़ ली है और यह कविता लिख सकता है, जटिल गणित की समस्याओं को हल कर सकता है, और यहाँ तक कि कोड भी लिख सकता है। लेकिन, यदि आप इससे एक सरल प्रश्न पूछते हैं जैसे, " 'strawberry' शब्द में 'r' अक्षर कितनी बार आता है?", तो यह आत्मविश्वास के साथ आपको गलत उत्तर दे सकता है।
यह वह पहेली है जिसे CHARBENCH नामक पेपर हल करने की कोशिश करता है।
समस्या: "सबवर्ड" (Subword) का अंधा बिंदु
सोचिए कि इंसान कैसे पढ़ते हैं। हम व्यक्तिगत अक्षरों को देखते हैं: s-t-r-a-w-b-e-r-r-y।
लेकिन आधुनिक AI मॉडल (लार्ज लैंग्वेज मॉडल्स) अक्षर-दर-अक्षर नहीं पढ़ते। वे "चंक्स" (chunks) या "सबवर्ड्स" (subwords) में पढ़ते हैं, जैसे कि एक लाइब्रेरियन जो केवल पूरे शब्दों या सामान्य वाक्यांशों को देखता है। AI के लिए, "strawberry" दो चंक्स की तरह दिख सकता है: "straw" और "berry"।
क्योंकि AI "straw" और "berry" को एकल ब्लॉक्स के रूप में देखता है, इसलिए उसे उनके अंदर के व्यक्तिगत अक्षरों को गिनने में कठिनाई होती है। यह वैसा ही है जैसे किसी से दीवार में कितनी ईंटें हैं, यह गिनने के लिए कहना, लेकिन वह केवल दीवार को एक ठोस कंक्रीट के स्लैब के रूप में देखता है। वह अब व्यक्तिगत ईंटों को नहीं देख पाता।
प्रयोग: एक विशाल परीक्षण बनाना
शोधकर्ताओं ने CHARBENCH (कल्पना कीजिए कि यह रोबोट्स के लिए एक विशाल बाधा दौड़ है) नामक एक विशाल परीक्षण बनाया।
- आकार: यह अपने प्रकार के किसी भी पिछले परीक्षण से 100 गुना बड़ा है।
- कार्य: उन्होंने रोबोट्स से दो प्रकार के प्रश्न पूछे:
- गिनती (Counting): "'cheese' में कितने 'e' हैं?"
- स्थान (Locating): "'cinnamon' में पहले 'n' का स्थान क्या है?"
उन्होंने इन सबसे स्मार्ट रोबोट्स (जैसे GPT-4o, Llama, और Mistral) को इस कोर्स पर टेस्ट किया।
परिणाम: रोबोट लड़खड़ा रहे हैं
परिणाम आश्चर्यजनक थे। सबसे स्मार्ट रोबोट भी सफल होने के बजाय अक्सर असफल हुए।
- औसत स्कोर: रोबोटों ने लगभग 50% उत्तर सही दिए। यह मुश्किल से पास होने लायक ग्रेड है।
- सबसे कठिन भाग: गिनती करना कठिन था, लेकिन किसी अक्षर का सटीक स्थान ढूंढना (जैसे, "तीसरा 'r' कहाँ है?") और भी कठिन था।
- सबसे अच्छा रोबोट: GPT-4o स्टार प्लेयर था, जिसने लगभग 70% स्कोर किया, लेकिन इसने भी गलतियाँ कीं।
बड़ी खोज: वास्तव में क्या मायने रखता है?
शोधकर्ता जानना चाहते थे कि: क्या रोबोट इसलिए विफल हो रहा है क्योंकि वह बहुत अधिक चंक्स देख रहा है, या इसलिए क्योंकि शब्द बहुत लंबा है?
उन्होंने उन "चंक्स" (tokens) को देखा जिनका रोबोट उपयोग करते हैं और कुछ दिलचस्प नियम पाए:
"लंबे शब्द" का अभिशाप:
- उपमा: कल्पना कीजिए कि आप 5 लोगों की एक छोटी लाइन के बजाय 500 लोगों की एक विशाल भीड़ में किसी विशिष्ट व्यक्ति को खोजने की कोशिश कर रहे हैं।
- निष्कर्ष: शब्द जितना लंबा होता गया, रोबोट का प्रदर्शन उतना ही खराब होता गया। यह समझ में आता है; अधिक अक्षरों का अर्थ है अधिक भ्रम।
"चंक साइज" का जाल (सबसे महत्वपूर्ण निष्कर्ष):
- उपमा: कल्पना कीजिए कि आप एक पार्किंग लॉट में एक विशिष्ट लाल कार को देख रहे हैं।
- परिदृश्य A: कारें अलग-अलग खड़ी हैं। आप लाल कार को आसानी से देख सकते हैं।
- परिदृश्य B: कारें एक विशाल, 10-कार वाली ट्रेन की तरह आपस में जुड़ी हुई हैं। यदि लाल कार उस ट्रेन के बीच में है, तो यह बताना बहुत कठिन है कि वह वास्तव में कहाँ है।
- निष्कर्ष: "Locating" कार्यों के लिए, रोबोट तब सबसे अधिक विफल हुआ जब वह अक्षर जिसे वह खोज रहा था, एक लंबे चंक के भीतर दबा हुआ था। यदि AI "strawberry" को एक विशाल ब्लॉक के रूप में देखता है, तो वह उस ब्लॉक के अंदर 'r' कहाँ है, इसका ट्रैक खो देता है। चंक जितना लंबा होगा, रोबोट उतना ही भटक जाएगा।
- उपमा: कल्पना कीजिए कि आप एक पार्किंग लॉट में एक विशिष्ट लाल कार को देख रहे हैं।
"चंक्स की संख्या" का मिथक:
- कई लोगों ने सोचा कि समस्या यह थी कि शब्द को बहुत सारे टुकड़ों में विभाजित किया गया था।
- निष्कर्ष: शोधकर्ताओं ने पाया कि चंक्स की संख्या उतनी महत्वपूर्ण नहीं थी जितना कि चंक्स का आकार। यह इस बारे में नहीं है कि शब्द को कितने टुकड़ों में काटा गया है; यह इस बारे में है कि वे टुकड़े कितने बड़े हैं।
यह क्यों मायने रखता है?
यह पेपर एक मैकेनिक की तरह है जो कार के इंजन को खोलकर देख रहा है कि ब्रेक काम क्यों नहीं कर रहे हैं।
- वर्तमान स्थिति: हमारे पास ऐसा AI है जो निबंध लिखने और कोडिंग में अद्भुत है, लेकिन यह पढ़ने के सबसे बुनियादी स्तर (अक्षरों को गिनने) पर "अनपढ़" है।
- कारण: जिस तरह से हम AI को पढ़ना सिखाते हैं (अक्षरों को चंक्स में समूहबद्ध करके), वह कंप्यूटर के लिए कुशल है लेकिन सरल कार्यों के लिए "अंधे धब्बे" (blind spots) पैदा करता है।
- भविष्य: यह समझकर कि लंबे चंक्स अक्षरों की स्थिति को छिपा देते हैं, शोधकर्ता अब AI की "दृष्टि" को ठीक करने की कोशिश कर सकते हैं। उन्हें शायद AI को "कंक्रीट के स्लैब" के अंदर के "ईंटों" को करीब से देखना सिखाने की आवश्यकता होगी।
संक्षेप में
पेपर कहता है: "हमारा AI अविश्वसनीय रूप से स्मार्ट है, लेकिन यह अक्षरों को गिनने में बुरा है क्योंकि यह व्यक्तिगत अक्षरों के बजाय बड़े चंक्स में पढ़ता है। जब वे चंक्स बहुत बड़े हो जाते हैं, तो AI ट्रैक खो देता है कि विशिष्ट अक्षर कहाँ छिपे हैं। हमने इसे साबित करने के लिए एक विशाल परीक्षण बनाया, और अब हमें पता है कि ठीक क्या करना है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।