ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information
ChineseBERT एक प्रीट्रेनिंग मॉडल है जो ग्लिफ (दृश्य) और पिनयिन (उच्चारण) जानकारी को एकीकृत करके चीनी भाषा की समझ को बढ़ाता है, जिससे कम प्रशिक्षण चरणों के साथ विभिन्न एनएलपी कार्यों में अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
शब्दों का गुप्त जीवन: कंप्यूटर चीनी भाषा पढ़ना कैसे सीखते हैं
कल्पना कीजिए कि आप एक रोबोट को एक भाषा पढ़ना सिखा रहे हैं। अंग्रेजी जैसी भाषाओं के लिए, रोबोट मुख्य रूप से अक्षरों के क्रम और वाक्य के संदर्भ को देखता है ताकि वह अनुमान लगा सके कि किसी शब्द का अर्थ क्या है। यह एक ऐसी पहेली सुलझाने जैसा है जहाँ टुकड़े ध्वनियाँ और व्याकरण के नियम हैं। लेकिन चीनी भाषा पूरी तरह से एक अलग तरह की पहेली है। चीनी में, "अक्षर" वास्तव में 'कैरेक्टर्स' (characters) होते हैं, और वे सूक्ष्म, जटिल चित्र होते हैं। प्रत्येक चित्र केवल एक ध्वनि नहीं है; यह एक चित्र है जो अक्सर अपने अर्थ का संकेत देता है। "नदी" या "झील" के कैरेक्टर के बारे में सोचें—दोनों के किनारे पर एक छोटा सा "पानी" वाला रेडिकल (radical) बना होता है, जो एक दृश्य संकेत की तरह कहता है, "हे, यह पानी के बारे में है!"
इसके अलावा, चीनी भाषा में "हेटरोनिम्स" (heteronyms) नामक एक पेचीदा मोड़ है। यह तब होता है जब बिल्कुल एक ही चित्र (कैरेक्टर) को दो पूरी तरह से अलग तरीकों से बोला जा सकता है, और प्रत्येक उच्चारण अर्थ को पूरी तरह से बदल देता है। यह वैसा ही है जैसे यदि अंग्रेजी शब्द "read" देखने में बिल्कुल वैसा ही लगे चाहे आप भूतकाल (past tense) की बात कर रहे हों या वर्तमान काल (present tense) की, लेकिन आपको केवल वाक्य को देखकर अनुमान लगाना पड़े कि वह कौन सा है। लंबे समय तक, चीनी भाषा को समझने की कोशिश करने वाले कंप्यूटर मॉडल इन दो महत्वपूर्ण सुरागों को मिस कर रहे थे: कैरेक्टर का दृश्य आकार और उसका विशिष्ट उच्चारण। वे आधे हिस्सों के गायब होने के साथ पहेली सुलझाने की कोशिश कर रहे थे। यह शोध पत्र नेचुरल लैंग्वेज प्रोसेसिंग (NLP) की दुनिया में—वह क्षेत्र जहाँ हम कंप्यूटर को मानव भाषा समझने के लिए सिखाते हैं—में उतरता है ताकि यह देखा जा सके कि क्या हर कैरेक्टर के "चित्र" और "ध्वनि" दोनों को देने से यह रोबोट एक बहुत बेहतर पाठक बन जाता है।
शोध पत्र का बड़ा विचार: कंप्यूटर को आँखें और कान देना
इस शोध पत्र के पीछे के शोधकर्ताओं ने, शैनन.AI (Shannon.AI) और झेजियांग यूनिवर्सिटी के साथ मिलकर, यह देखा कि चीनी भाषा के मौजूदा कंप्यूटर मॉडल दो ऐसी शक्तियों को अनदेखा कर रहे थे जो इस भाषा के लिए अद्वितीय हैं: ग्लीफ (glyph - दृश्य आकार) और पिनयिन (pinyin - उच्चारण)। उन्होंने इसे ठीक करने के लिए ChineseBERT नामक एक नया मॉडल बनाने का निर्णय लिया।
मानक कंप्यूटर मॉडलों को उन छात्रों के रूप में सोचें जो केवल एक शिक्षक को सुनकर पढ़ना सीखते हैं। वे शब्द सुनते हैं और संदर्भ को याद करते हैं। हालाँकि, ChineseBERT एक ऐसे छात्र की तरह है जिसे एक विशेष चश्मा और सुपर-सुनने वाले कान मिलते हैं।
- चश्मा (ग्लीफ एम्बेडिंग): मॉडल कैरेक्टर को एक छोटे चित्र की तरह देखता है। यह केवल एक कोड नहीं देखता; यह वास्तविक आकार देखता है। शोधकर्ताओं ने मॉडल को हर कैरेक्टर के लिए तीन अलग-अलग "फॉन्ट्स" (जैसे स्क्वायर, रनिंग और सील स्क्रिप्ट शैलियाँ) दिए। इन दृश्य आकारों को देखकर, मॉडल सीखता है कि "पानी" वाले रेडिकल वाले कैरेक्टर्स आपस में संबंधित हैं, भले ही उसने उन्हें पहले कभी एक साथ न देखा हो। यह मछली के चित्र और व्हेल के चित्र को पहचानने जैसा है क्योंकि दोनों में पंख (fins) होते हैं, भले ही आप अभी तक उनके नाम न जानते हों।
- कान (पिनयिन एम्बेडिंग): मॉडल ध्वनि भी सुनता है। यह उन पेचीदा "हेटरोनिम्स" के लिए महत्वपूर्ण है। यदि "乐" कैरेक्टर आता है, तो मॉडल उच्चारण की जाँच करता है। क्या यह "yuè" (संगीत) है या "lè" (खुशी)? ध्वनि मॉडल को ठीक से बताती है कि उसे कौन सा अर्थ चुनना है, जिससे उस समस्या का समाधान होता है जिसे केवल दृश्य आकार हल नहीं कर सकते।
टीम ने इन तीनों चीजों को—मानक कैरेक्टर कोड, दृश्य आकार और ध्वनि—को एक "फ्यूजन" सुपर-एम्बेडिंग में मिला दिया। यह रोबोट को उसके द्वारा पढ़े जाने वाले प्रत्येक कैरेक्टर के लिए सूचनाओं के एक ट्रिपल-लेयर्ड सैंडविच देने जैसा है।
उन्होंने क्या पाया: स्मार्ट, तेज़ और अधिक सटीक
शोधकर्ताओं ने इस नए ChineseBERT मॉडल को इंटरनेट से स्क्रैप किए गए 4 अरब चीनी कैरेक्टर्स के विशाल पुस्तकालय पर प्रशिक्षित किया। वे वहीं नहीं रुके; उन्होंने इसे विभिन्न कार्यों पर, जैसे कि रीडिंग कॉम्प्रिहेन्शन (समझना) से लेकर टेक्स्ट में नाम पहचानने तक, मौजूदा सर्वश्रेष्ठ मॉडलों (जैसे ERNIE और BERT-wwm) के खिलाफ परखा।
प्रयोगों से निम्नलिखित बातें सामने आईं:
- यह एक स्पीड डेमन है: ChineseBERT ने अन्य मॉडलों की तुलना में कम प्रशिक्षण चरणों (training steps) के साथ शीर्ष स्तर के परिणाम प्राप्त किए। जबकि अन्य मॉडलों को सीखने के लिए लाखों चरणों की आवश्यकता थी, ChineseBERT वहाँ तेजी से पहुँच गया। ऐसा है जैसे रोबलेट ने आधी अवधि में भाषा सीख ली क्योंकि उसके पास बेहतर अध्ययन सामग्री थी।
- यह पढ़ने में जीतता है: मशीन रीडिंग कॉम्प्रिहेन्शन कार्यों (टेक्स्ट के आधार पर प्रश्नों के उत्तर देना) पर, ChineseBERT ने नए रिकॉर्ड बनाए। उदाहरण के लिए, CMRC 2018 डेटासेट पर, ChineseBERT के "लार्ज" संस्करण ने 78.05 का स्कोर किया, जो पिछले सर्वश्रेष्ठ 77.95 से बेहतर था। CJRC डेटासेट पर, इसने सटीक उत्तर स्कोर को 67.0 तक सुधारा, जो प्रतियोगिता से आगे निकल गया।
- यह बारीकियों को समझता है: नेचुरल लैंग्वेज इंफरेंस (यह पता लगाना कि क्या एक वाक्य दूसरे को सिद्ध करता है) जैसे कार्यों में, ChineseBERT ने भी शीर्ष स्थान प्राप्त किया, टेस्ट सेट पर 81.6 स्कोर किया, और अगले सर्वश्रेष्ठ मॉडल को पीछे छोड़ दिया।
- "कम ही अधिक है" का प्रभाव: शोधकर्ताओं ने एक दिलचस्प प्रयोग किया जहाँ उन्होंने मॉडल को कम और कम प्रशिक्षण डेटा दिया। उन्होंने पाया कि केवल 30% सामान्य डेटा के साथ भी, ChineseBERT अन्य मॉडलों की तुलना में बेहतर प्रदर्शन करता रहा। यह सुझाव देता है कि दृश्य और ध्वनि संबंधी सुराग एक "रेगुलराइज़र" (regularizer) के रूप में कार्य करते हैं—एक प्रकार का मानसिक रेलिंग जो मॉडल को सब कुछ याद करने की आवश्यकता के बिना भाषा के नियमों को अधिक कुशलता से सीखने में मदद करता है।
यह शोध पत्र क्या खारिज करता है और स्पष्ट करता है
शोध पत्र सावधानी से इस बात की ओर इशारा करता है कि क्या काम नहीं करता या मुख्य फोकस नहीं है।
- यह केवल अधिक डेटा के बारे में नहीं है: लेखक स्पष्ट रूप से तर्क देते हैं कि केवल अधिक टेक्स्ट जोड़ना ही सुधार का एकमात्र तरीका नहीं है। उनका मॉडल साबित करता है कि सही प्रकार की जानकारी (ग्लीफ और पिनयिन) जोड़ना, मानक मॉडल पर अधिक कच्चा टेक्स्ट फेंकने की तुलना में अधिक प्रभावी है।
- यह हर चीज़ के लिए जादुई समाधान नहीं है: हालांकि ChineseBERT बहुत मजबूत है, शोध पत्र नोट करता है कि कुछ बहुत सरल कार्यों के लिए (जैसे बुनियादी सेंटीमेंट एनालिसिस जहाँ बेसलाइन पहले से ही 95%+ है), सुधार "मामूली" है। बड़ी जीत उन जटिल कार्यों में आती है जहाँ कैरेक्टर के आकार या ध्वनि को समझना महत्वपूर्ण होता है।
- यह पुराने मॉडलों की केवल एक कॉपी नहीं है: शोधकर्ताओं ने दिखाया कि यदि आप ग्लोफ या पिनयिन वाले हिस्से को हटा देते हैं, तो मॉडल का प्रदर्शन काफी गिर जाता है। वास्तव में, दोनों को हटाने से उनके F1 स्कोर (सटीकता का एक माप) में लगभग 2 अंकों की गिरावट आई। यह साबित करता है कि मॉडल केवल "भाग्यशाली" नहीं है; इसे अपने सर्वश्रेष्ठ प्रदर्शन के लिए वास्तव में उन दृश्य और ध्वनि विशेषताओं की आवश्यकता है।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि ChineseBERT एक महत्वपूर्ण कदम है क्योंकि यह चीनी भाषा की अनूठी प्रकृति का सम्मान करता है। कैरेक्टर्स को चित्र और ध्वनि दोनों के रूप में मानकर, मॉडल भाषा की "आत्मा" को उन मॉडलों की तुलना में बेहतर तरीके से पकड़ता है जो केवल टेक्स्ट को कोड की एक स्ट्रिंग के रूप में देखते हैं। लेखक सुझाव देते हैं कि ये दृश्य और ध्वन्यात्मक विशेषताएं कंप्यूटर को चीनी अर्थ विज्ञान (semantics) को समझने में मदद करने के लिए एक शक्तिशाली उपकरण के रूप में कार्य करती हैं, जिससे वे अधिक तेज़ी से और अधिक सटीकता से सीख सकते हैं। हालांकि वे भविष्य में और भी बड़े संस्करणों को प्रशिक्षित करने की योजना बना रहे हैं, यह कार्य दिखाता है कि कभी-कभी, मशीन को भाषा सिखाने के लिए, आपको उसे चित्रों को देखने के लिए आँखें और ध्वनियों को सुनने के लिए कान देने होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।