Phonemes to the Rescue: Multilingual Tokenization Based on International Phonetic Alphabet
यह शोध पत्र विभिन्न भाषाओं के बीच प्रदर्शन की असमानताओं को दूर करने के लिए बहुभाषी टोकनाइज़र हेतु भाषा-निरपेक्ष इनपुट के रूप में अंतर्राष्ट्रीय ध्वन्यात्मक वर्णमाला (IPA) का उपयोग करने का प्रस्ताव करता है, जो यह प्रदर्शित करता है कि IPA-आधारित टोकनाइज़ेशन गुणवत्ता और सामान्यीकरण में सुधार करता है, विशेष रूप से गैर-लैटिन लिपियों के लिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप 24 अलग-अलग देशों के छात्रों के एक समूह को मिलकर एक कहानी पढ़ना सिखाने की कोशिश कर रहे हैं। समस्या यह है कि छात्र अलग-अलग भाषाएं बोलते हैं और अलग-अलग लेखन प्रणालियों का उपयोग करते हैं। कुछ लैटिन वर्णमाला (जैसे अंग्रेजी) का उपयोग करते हैं, कुछ अक्षरों (जैसे चीनी या जापानी) का, और कुछ पूरी तरह से अलग लिपियों (जैसे अरबी या ग्रीक) का उपयोग करते हैं।
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, ये "छात्र" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं, और "पढ़ने" की इस प्रक्रिया को टोकेनाइजेशन (tokenization) कहा जाता है। कंप्यूटर द्वारा किसी वाक्य को समझने से पहले, उसे छोटे-छोटे टुकड़ों में तोड़ना पड़ता है जिन्हें "टोकन" कहा जाता है।
समस्या: "एक-आकार-सबके-लिए-नहीं" वाली कैंची
वर्तमान में, अधिकांश AI मॉडल पाठ को काटने के लिए एक मानक विधि का उपयोग करते हैं। यह शोध पत्र तर्क देता है कि यह विधि अनुचित है, जैसे कि सबको एक ही जोड़ी कैंची देना और फिर उम्मीद करना कि वे कागज, कार्डबोर्ड और स्टील को समान रूप से काट लेंगे।
- उच्च-संसाधन वाली भाषाएँ (कागज): अंग्रेजी जैसी भाषाओं के लिए, कैंची बहुत अच्छा काम करती है। शब्दों को बस कुछ ही टुकड़ों में काट दिया जाता है।
- निम्न-संसाधन या गैर-लैटिन भाषाएँ (स्टील): जापानी, थाई या हिंदी जैसी भाषाओं के लिए, वही कैंची संघर्ष करती है। क्योंकि इन लिपियों में जटिल अक्षर होते हैं या वे कंप्यूटर के मानक "बाइट" सिस्टम में ठीक से फिट नहीं बैठते, इसलिए कंप्यूटर को अर्थ समझने के लिए शब्दों को कई छोटे, खंडित टुकड़ों में काटना पड़ता है।
परिणाम: अंग्रेजी में एक वाक्य को पढ़ने में 5 टोकन लग सकते हैं, जबकि उसी वाक्य के लिए थाई भाषा में 15 टोकन लग सकते हैं। इसका मतलब है कि थाई वाक्य को प्रोसेस करने में कंप्यूटर को तीन गुना अधिक समय लगता है, इसे चलाने में तीन गुना अधिक लागत आती है, और अक्सर परिणाम भी कम गुणवत्ता वाले होते हैं। शोध पत्र इसे "टोकन टैक्स" कहता है।
समाधान: "सार्वभौमिक ध्वनि मानचित्र" (IPA)
लेखक एक चतुर समाधान प्रस्तावित करते हैं। लिखित शब्दों (ऑर्थोग्राफी) को कंप्यूटर को खिलाने के बजाय, वे सुझाव देते हैं कि उन्हें शब्दों की ध्वनियों को इंटरनेशनल फोनेटिक अल्फाबेट (IPA) में बदलकर खिलाया जाए।
IPA को एक सार्वभौमिक ध्वनि मानचित्र के रूप में सोचें।
- चाहे आप अंग्रेजी में "cat", फ्रेंच में "chat" या स्पेनिश में "gato" लिखें, वे सभी सुनने में कुछ हद तक समान होते हैं।
- IPA इन सभी अलग-अलग लिखित शब्दों को ध्वनियों के एक साझा सेट (जैसे /k/, /æ/, /t/) में बदल देता है।
टेक्स्ट को टोकनाइज करने से पहले उसे IPA में बदलकर, लेखक मूल रूप से यह कह रहे हैं: "आइए अक्षरों के अजीब, जटिल आकारों को देखना बंद करें और केवल ध्वनियों को सुनें।"
यह कैसे काम करता है (उपमाएँ)
1. साझा बैकपैक (शब्दावली दक्षता)
कल्पना कीजिए कि कंप्यूटर के पास "अर्थ के टुकड़ों" के लिए एक निश्चित संख्या में स्लॉट वाला एक बैकपैक है।
- पुराना तरीका: कंप्यूटर अंग्रेजी के लिए विशिष्ट टुकड़े, जापानी के लिए विशिष्ट टुकड़े, और अरबी के लिए विशिष्ट टुकड़े अपने बैकपैक में भरता है। चूंकि लिपियाँ इतनी अलग हैं, इसलिए बैकपैक अनूठे, गैर-अतिव्यापी (non-overlapping) सामानों से भर जाता है। कम सामान्य भाषाओं के लिए कोई जगह नहीं बचती।
- IPA तरीका: चूंकि IPA सभी भाषाओं के लिए ध्वनियों के एक छोटे, साझा सेट का उपयोग करता है, इसलिए कंप्यूटर "ध्वनि के टुकड़ों" से अपना बैकपैक भर सकता है जो सभी के लिए काम आते हैं। "ship" में "sh" ध्वनि का प्रतिनिधित्व करने वाला एक टुकड़ा वही है जो जापानी में "shoe" की "sh" ध्वनि का टुकड़ा है। यह एक बहुत ही कुशल, साझा शब्दावली बनाता है।
2. एक समान ईंट की दीवार (संपीड़न/कंप्रेशन)
- पुराना तरीका: कुछ भाषाएँ विशाल, भारी ईंटों (जटिल अक्षर जो कंप्यूटर की बहुत अधिक मेमोरी लेते हैं) के साथ दीवार बनाने जैसी हैं। अन्य भाषाएँ छोटे कंकड़ों का उपयोग करती हैं। दीवार असमान हो जाती है, जिसमें कुछ हिस्से दूसरों की तुलना में बहुत अधिक स्थान घेरते हैं।
- IPA तरीका: IPA सब कुछ मानक-आकार की ईंटों (मुख्यतः 1 या 2 बाइट्स) में बदल देता है। अब, चीनी भाषा का एक वाक्य और अंग्रेजी का एक वाक्य समान आकार की ईंटों से बने हैं। दीवार एकसमान है, और कंप्यूटर को "भारी" भाषाओं के लिए अतिरिक्त वजन ढोने की आवश्यकता नहीं है।
शोधकर्ताओं ने क्या किया
टीम ने 24 भाषाओं (अंग्रेजी, जापानी, रूसी, थाई और अम्महारिक सहित) को लिया और दो चीजें कीं:
- उन्होंने 'एपिट्रान' (Epitran) नामक टूल (एक ग्रेफिम-टू-फोनम कन्वर्टर) का उपयोग करके सभी टेक्स्ट को IPA में बदला।
- उन्होंने दो प्रकार के "काटने वाले" (टोकनाइज़र) प्रशिक्षित किए: एक जो मूल टेक्स्ट को काटता है, और दूसरा जो IPA ध्वनियों को काटता है।
उन्होंने इन्हें 14 अलग-अलग लेखन प्रणालियों पर परखा और पाया कि IPA टोकनाइज़र लगभग हर मामले में बेहतर थे:
- कम टुकड़े: उन्होंने शब्दों को कम टुकड़ों में तोड़ा (बेहतर कंप्रेशन)।
- समान व्यवहार: अंग्रेजी को कितने टुकड़ों की आवश्यकता थी बनाम थाई को कितने टुकड़ों की आवश्यकता थी, उनके बीच का अंतर नाटकीय रूप से कम हो गया। "टोकन टैक्स" कम हो गया।
- अनदेखी भाषाओं के लिए बेहतर: जब उन्होंने उन भाषाओं पर परीक्षण किया जिन्हें प्रशिक्षण के दौरान नहीं देखा गया था, तो IPA मॉडल्स ने मानक टेक्स्ट मॉडल्स की तुलना में बहुत बेहतर प्रदर्शन किया।
ट्रेड-ऑफ (समझौता)
शोध पत्र नोट करता है कि एक कमी है: आप ध्वनि को आसानी से मूल लेखन में वापस नहीं बदल सकते।
यदि आप केवल IPA पर मॉडल को प्रशिक्षित करते हैं, तो वह ध्वनियों में बोलना सीखता है। यदि आप इसे कहानी लिखने के लिए कहते हैं, तो यह मानक अक्षरों के बजाय ध्वन्यात्मक प्रतीकों (phonetic symbols) को आउटपुट कर सकता है। शोध पत्र में उल्लेख है कि हालांकि यह एक सीमा है, लेकिन समझने और प्रोसेस करने के लाभ इतने महत्वपूर्ण हैं कि यह एक आशाजनक दिशा है। वे यह भी नोट करते हैं कि जटिल उच्चारण नियमों वाली भाषाओं के लिए (जैसे होमोग्राफ जहाँ एक वर्तनी के दो अर्थ होते हैं), रूपांतरण पूरी तरह सटीक नहीं है, लेकिन यह एक बड़ा अंतर पैदा करने के लिए पर्याप्त है।
निष्कर्ष
शोध पत्र का दावा है कि प्रोसेसिंग से पहले (IPA के माध्यम से) "अक्षरों को पढ़ने" के बजाय "ध्वनियों को सुनने" पर स्विच करके, हम AI मॉडल्स को अधिक निष्पक्ष, कुशल और सटीक बना सकते हैं, न केवल उन भाषाओं के लिए जो लैटिन वर्णमाला का उपयोग करती हैं। यह हर छात्र को एक ऐसा चश्मा देने जैसा है जो उन्हें दुनिया को एक ही स्पष्ट, एकसमान तरीके से देखने में मदद करता है, चाहे वे कोई भी भाषा बोलते हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।