How Tokenization Limits Phonological Knowledge Representation in Language Models and How to Improve Them
यह शोध पत्र प्रदर्शित करता है कि मानक सबवर्ड टोकनाइज़ेशन (subword tokenization) भाषा मॉडलों के ध्वन्यात्मक ज्ञान प्रतिनिधित्व (phonological knowledge representation) को व्यवस्थित रूप से बाधित करता है, और एक हल्का IPA-आधारित फाइन-ट्यूनिंग तरीका प्रस्तावित करता है जो सामान्य तर्क क्षमताओं को काफी हद तक सुरक्षित रखते हुए ध्वन्यात्मक प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र (एक लार्ज लैंग्वेज मॉडल, या LLM) को भाषा के संगीत को समझना सिखाने की कोशिश कर रहे हैं—कैसे शब्द तुकबंदी करते हैं, कैसे उन्हें ताल (syllables) में तोड़ा जाता है, और बोलने पर वे कैसे सुनाई देते हैं।
समस्या यह है कि उस छात्र ने कभी एक भी बोले गए शब्द को नहीं सुना है। उन्होंने केवल टेक्स्ट पढ़ा है। और जिस तरह से हम उन्हें पढ़ने के लिए टेक्स्ट देते हैं, वही उनकी उलझन की जड़ है।
यहाँ इस शोध पत्र (paper) की कहानी है, जिसे सरल अवधारणाओं और उपमाओं में विभाजित किया गया है।
1. समस्या: "लेगो ब्रिक" (Lego Brick) की गलती
कल्पना कीजिए कि आप किसी को ब्लूप्रिंट दिखाकर घर बनाना सिखाने की कोशिश कर रहे हैं। लेकिन, उन्हें पूरे लेगो ब्लॉक्स दिखाने के बजाय, आप उन्हें बेतरतीब ढंग से कटे हुए लेगो के टुकड़े थमा देते हैं।
- वास्तविकता: जब हम AI मॉडल्स को टेक्स्ट खिलाते हैं, तो हम उन्हें "musical" या "nation" जैसे पूरे शब्द नहीं देते। हम उन्हें "subwords" (जैसे
musऔरical, याnaऔरtion) में काट देते हैं, जो इस आधार पर होते हैं कि ट्रेनिंग डेटा में वे टुकड़े कितनी बार दिखाई देते हैं। इसे टोकनाइज़ेशन (Tokenization) कहा जाता है। - मुद्दा: ये "लेगो के टुकड़े" (tokens) ध्वनि के बजाय स्पेलिंग की आवृत्ति (spelling frequency) के आधार पर काटे जाते हैं।
- तुकबंदी की समस्या (Rhyme Problem): "nation" और "station" शब्द पूरी तरह से तुकबंदी करते हैं। लेकिन यदि AI उन्हें
na+tionऔरsta+tionके रूप में देखता है, तो वह उनके बीच का संबंध मिस कर सकता है क्योंकि पहले हिस्से (naबनामsta) दिखने में पूरी तरह अलग हैं। यह एक पहेली के दो टुकड़ों को मिलाने जैसा है जहाँ उनके किनारे आपस में मेल नहीं खाते। - सिलेबल की समस्या (Syllable Problem): "musical" शब्द में तीन ताल (syllables) हैं: mu-si-cal। लेकिन AI इसे दो टुकड़ों के रूप में देख सकता है: mus-ical। यह एक गाने में ताल गिनने की कोशिश करने जैसा है, लेकिन म्यूजिक प्लेयर हर दूसरी बीट को छोड़ रहा है।
- तुकबंदी की समस्या (Rhyme Problem): "nation" और "station" शब्द पूरी तरह से तुकबंदी करते हैं। लेकिन यदि AI उन्हें
यह शोध पत्र तर्क देता है कि क्योंकि AI को इन "कटे-फटे" टुकड़ों को पढ़ने के लिए मजबूर किया जाता है, इसलिए वह शब्दों की प्राकृतिक लय और ध्वनि को सीखने में संघर्ष करता है, भले ही वह गणित या निबंध लिखने जैसे अन्य कार्यों में अविश्वसनीय रूप से स्मार्ट हो।
2. जांच: "एक्स-रे" टेस्ट
इसे साबित करने के लिए, शोधकर्ताओं ने AI को एक्स-रे देने वाले डॉक्टरों की तरह काम किया। उन्होंने केवल AI से यह नहीं पूछा, "क्या ये शब्द तुकबंदी करते हैं?" (जो कि एक प्रदर्शन परीक्षण है)। इसके बजाय, उन्होंने AI के "मस्तिष्क" (इसके हिडन लेयर्स) के अंदर झाँका यह देखने के लिए कि क्या तुकबंदी की अवधारणा वास्तव में वहां संग्रहीत है।
- निष्कर्ष: उन्होंने पाया कि AI को ध्वनियों के बारे में पता है, लेकिन यह बहुत गहराई में दबी हुई है।
- मेट्रिक (STAD): उन्होंने STAD (Syllabification-Tokenization Alignment Distance) नामक एक पैमाना बनाया। इसे एक "मिसअलाइनमेंट स्कोर" (Misalignment Score) के रूप में समझें।
- यदि AI के "कटे हुए टुकड़े" शब्द के प्राकृतिक सिलेबल्स के साथ पूरी तरह मेल खाते हैं, तो स्कोर 0 होता है (परफेक्ट अलाइनमेंट)।
- यदि टुकड़े अजीब जगहों पर कटे हैं (जैसे "musical" को
sऔरiके बीच से काटना), तो स्कोर बढ़ जाता है। - परिणाम: जितना अधिक मिसअलाइनमेंट स्कोर होगा, AI ध्वनियों को समझने में उतना ही खराब होगा। यह अपने पैरों में दो साइज बड़े जूते पहनकर दौड़ने जैसा है; आप दौड़ तो सकते हैं, लेकिन आप अपने ही पैरों से टकराकर लड़खड़ा जाएंगे।
3. अपराधी: "विदेशी उधार" (Foreign Borrowings)
कुछ शब्दों को इतनी बुरी तरह क्यों काटा जाता है? शोधकर्ताओं ने पाया कि जिन शब्दों का इतिहास बहुत गहरा है, वे ही मुसीबत पैदा करते हैं।
- उपमा: "Musical" जैसे शब्द को देखें। यह फ्रेंच, जर्मन, स्पेनिश और कई अन्य भाषाओं से होकर गुजरा है। हर भाषा में, इसे थोड़ा अलग तरीके से लिखा जाता है (musikal, müzikal, musical)।
- क्योंकि AI ने अपने ट्रेनिंग डेटा में इस शब्द की कई अलग-अलग स्पेलिंग्स देखी हैं, इसलिए वह भ्रमित हो जाता है कि इसे कहाँ से काटना है। यह एक ऐसे टोकन को बनाता है जो ध्वनि से मेल नहीं खाता। यह एक लाइब्रेरियन की तरह है जिसने एक ही किताब को 10 अलग-अलग भाषाओं में देखा है और उसे नहीं पता कि किस शेल्फ पर रखना है।
4. समाधान: "साउंड ट्यूटर" (Sound Tutor)
शोधकर्ताओं ने पूछा: क्या हम पूरे AI को फिर से बनाए बिना इसे ठीक कर सकते हैं? (टोकनाइज़र को बदलना लाइब्रेरी को शून्य से फिर से बनाने जैसा है; यह कठिन और महंगा है)।
उनका समाधान: उन्होंने एक विशेष प्रशिक्षण पद्धति के माध्यम से AI को एक "साउंड ट्यूटर" दिया।
- विधि: उन्होंने AI के मौजूदा ज्ञान को लिया और उसे प्रश्नों का एक नया आहार दिया। लेकिन इस बार, उन्होंने इसमें IPA (इंटरनेशनल फोनेटिक अल्फाबेट) टैग्स जोड़े।
- पुराना तरीका: "क्या 'cat' और 'hat' तुकबंदी करते हैं?"
- नया तरीका: "क्या
cat औरhat तुकबंदी करते हैं? (संकेत: दोनों का अंत /æt/ पर होता है)।"
- परिणाम: AI ने साउंड टैग्स पर ध्यान देना सीख लिया, भले ही वह अभी भी टेक्स्ट ही पढ़ रहा था।
- यह तुकबंदी करने, सिलेबल्स गिनने और स्पेलिंग को ध्वनि में बदलने में बहुत बेहतर हो गया।
- ट्रेड-ऑफ (Trade-off): यह गणित और सामान्य सामान्य ज्ञान (trivia) में थोड़ा खराब हो गया (1% की गिरावट), लेकिन इसने अपनी लगभग सभी सामान्य बुद्धिमत्ता को बरकरार रखा। यह एक ऐसे छात्र की तरह है जो संगीत सिद्धांत पर अतिरिक्त समय बिताता है; वे एक सप्ताह के लिए गणित के सवाल हल करने में थोड़े धीमे हो सकते हैं, लेकिन अब वे एक सुंदर कविता लिख सकते हैं।
सारांश: मुख्य निष्कर्ष
यह शोध पत्र हमें बताता है कि हम शब्दों को कैसे काटते हैं, यह हमारी सोच से कहीं अधिक महत्वपूर्ण है।
यदि आप चाहते हैं कि एक AI भाषा के संगीत को समझे, तो आप उसे केवल कटे हुए लेगो ब्रिक्स नहीं खिला सकते। आपको या तो:
- ब्रिक्स को बेहतर तरीके से काटें (ऐसे नए टोकनाइज़र डिज़ाइन करें जो सिलेबल्स का सम्मान करते हों)।
- AI को बुरे कटों को अनदेखा करना सिखाएं (यह देखने के लिए "साउंड ट्यूटर" पद्धति का उपयोग करें कि टेक्स्ट के भीतर छिपी ध्वनियों पर ध्यान केंद्रित किया जा सके)।
शोधकर्ताओं ने दिखाया कि थोड़ी सी "साउंड ट्रेनिंग" के साथ, टेक्स्ट-ओनली AI भी शब्दों की लय को सुन सकता है, जिससे बेहतर कविता जनरेटर, भाषा सीखने वाले ऐप्स और अधिक मानव-समान सहायकों के द्वार खुलते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।