MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition
यह शोध पत्र MoLGE का प्रस्ताव करता है, जो एक 'मिक्सचर ऑफ लैंग्वेज ग्रुप एक्सपर्ट्स' फ्रेमवर्क है जो 495 भाषाओं में व्यापक बहुभाषी स्पीच रिकग्निशन को कुशलतापूर्वक स्केल करने के लिए पदानुक्रमित लो-रैंक एडेप्टेशन को भाषा क्लस्टरिंग के साथ जोड़ता है और बहुभाषात्मकता के अभिशाप (curse of multilinguality) पर विजय प्राप्त करते हुए न्यूनतम पैरामीटर ओवरहेड के साथ डेंस बेसलाइन्स से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अकेले, अत्यंत बुद्धिमान रोबोट को दुनिया की हर भाषा बोलना सिखाने की कोशिश कर रहे हैं। आप सोच सकते हैं, "आसान है! बस इसे अब तक दर्ज की गई हर किताब, गाना और बातचीत खिला दो।" लेकिन यहाँ एक पेंच है: रोबोट के मस्तिष्क का आकार सीमित है। यदि आप एक ही छोटे से मस्तिष्क में सैकड़ों भाषाएँ भरने की कोशिश करते हैं, तो वह भ्रमित होने लगता है। वह फ्रेंच और फारसी को आपस में मिला सकता है, या किसी ऐसी भाषा में "नमस्ते" कहना भूल सकता है जिसे उसने कुछ समय से नहीं सुना है। यह एक ऑर्केस्ट्रा के हर वाद्य यंत्र को केवल उंगलियों के एक ही सेट से सीखने की कोशिश करने जैसा है; आप बिना खुद के काम में बाधा डाले एक ही समय में वायलिन और ड्रम दोनों का मास्टर नहीं बन सकते। वैज्ञानिक इसे "बहुभाषात्मकता का अभिशाप" (curse of multilinguality) कहते हैं। इसे ठीक करने के लिए, शोधकर्ता बड़े और बड़े रोबोटिक मस्तिष्क बनाने की कोशिश कर रहे हैं, लेकिन इसमें भारी मात्रा में बिजली और पैसा लगता है, जो हर किसी के लिए व्यावहारिक नहीं है। तो, बड़ा सवाल यह बनता है: हम एक ऐसा रोबोट कैसे बनाएं जो बिना किसी ग्रह जितने बड़े मस्तिष्क की आवश्यकता के, सैकड़ों भाषाएं अच्छी तरह बोल सके?
यहीं पर एक नया विचार आता है जिसे MoLGE (Mixture of Language Group Experts) कहा जाता है, जिसे योनसेई विश्वविद्यालय के शोधकर्ताओं द्वारा प्रस्तावित किया गया है। रोबोट के मस्तिष्क को बड़ा बनाने के बजाय, उन्होंने इसे अधिक स्मार्ट तरीके से व्यवस्थित करने का निर्णय लिया। रोबोट के मस्तिष्क को ज्ञान के एक विशाल ढेर के रूप में नहीं, बल्कि एक व्यस्त रसोईघर के रूप में सोचें। एक पारंपरिक रसोई में, एक शेफ सुशी से लेकर स्पैगेटी और टैकोस तक, मेनू के हर व्यंजन को पकाने की कोशिश करता है। वह अभिभूत हो जाता है, और भोजन की गुणवत्ता गिर जाती है। MoLGE इस रसोईघर को बदलकर विशेषज्ञों की एक टीम रखता है, लेकिन एक ट्विस्ट के साथ: हर एक व्यंजन के लिए एक शेफ रखने के बजाय (जो बहुत महंगा होगा), वे एक समूह के समान व्यंजनों के लिए एक शेफ रखते हैं।
यह कैसे काम करता है: शोधकर्ताओं ने महसूस किया कि भाषाएँ परिवारों की तरह होती हैं। स्पेनिश और इतालवी चचेरे भाई हैं; वे व्याकरण और ध्वनियों के बहुत से समान पैटर्न साझा करते हैं। जापानी और कोरियाई भी अपने तरीके से संबंधित हैं। MoLGE इन "चचेरे" भाषाओं को एक साथ समूहित करता है और उस पूरे परिवार को संभालने के लिए एक विशिष्ट "विशेषज्ञ" मॉड्यूल असाइन करता है। इसलिए, एक विशेषज्ञ सभी रोमांस भाषाओं को संभालता है, दूसरा जर्मनिक भाषाओं को, और इसी तरह। जब रोबोट स्पेनिश में एक वाक्य सुनता है, तो वह मदद के लिए जापानी विशेषज्ञ से नहीं पूछता; वह रोमांस विशेषज्ञ से पूछता है। इस प्रकार, रोबोट को हर भाषा को शून्य से सीखने की आवश्यकता नहीं होती; उसे बस समूह के पैटर्न को सीखने की आवश्यकता होती है।
यह शोध पत्र इस विचार को और भी कुशल बनाने के लिए एक चतुर तकनीक भी पेश करता है। उन्होंने रोबोट के मस्तिष्क को दो भागों में विभाजित किया। निचला हिस्सा, जो भाषण की कच्ची ध्वनियों (जैसे लय और पिच) से निपटता है, सभी के लिए साझा है क्योंकि मानव आवाज कुछ हद तक समान होती है चाहे वह कोई भी भाषा बोल रहा हो। ऊपरी हिस्सा, जो वास्तविक अर्थ और विशिष्ट शब्दों से निपटता है, वही है जहाँ विशेषज्ञ रहते हैं। यह सुनिश्चित करने के लिए कि विशेषज्ञ बहुत भारी या धीमे न हो जाएं, वे "LoRA" नामक तकनीक का उपयोग करते हैं, जो विशेषज्ञों को हर भोजन के लिए एक नया टूलबॉक्स ले जाने के बजाय, उन्हें हल्के, समायोज्य उपकरण देने जैसा है।
शोधकर्ताओं ने इस विचार का परीक्षण 13,758 घंटों के भाषण वाले एक विशाल डेटासेट पर किया, जिसमें 495 विभिन्न भाषाएँ शामिल थीं। उन्होंने अपने नए MoLGE सिस्टम की तुलना पुराने "एक ही आकार सबके लिए" (one-size-fits-all) वाले रोबोट और एक रैंडम ग्रुपिंग सिस्टम से की। परिणाम उत्साहजनक थे: MoLGE ने भाषण पहचान में लगातार बेहतर प्रदर्शन किया, विशेष रूप से उन भाषाओं के लिए जिनके पास डेटा कम उपलब्ध है। इसने त्रुटियों को काफी कम कर दिया, विशेष रूप से विभिन्न भाषाओं की जटिल लेखन प्रणालियों को देखते हुए। अध्ययन बताता है कि भाषाओं को उनके संबंधों (जैसे परिवार के पेड़ या भूगोल) के आधार पर तार्किक समूहों में व्यवस्थित करके, हम बिना असंभव रूप से बड़े कंप्यूटर बनाए, स्पीच रिकग्निशन को बहुत अधिक कुशल और सटीक बना सकते हैं।
हालाँकि, पेपर सावधानी से यह नोट करता है कि यह कोई जादुई छड़ी नहीं है जो सब कुछ तुरंत हल कर देती है। शोधकर्ताओं ने पाया कि भाषाओं को उनके वास्तविक पारिवारिक इतिहास या भूगोल के आधार पर समूहित करना, कंप्यूटर को समूहों का अनुमान लगाने देने की तुलना में बेहतर काम करता है। उन्होंने यह भी पाया कि यह तरीका जटिल लेखन प्रणालियों वाली भाषाओं के लिए विशेष रूप से सहायक है, जबकि केवल ध्वनि पैटर्न के लिए इसके लाभ थोड़े कम थे। अंततः, पेपर सुझाव देता है कि संरचित, स्मार्ट संगठन भाषा प्रौद्योगिकी को स्केल करने का एक शक्तिशाली तरीका है, जो अधिक लोगों को बिना बजट या बिजली ग्रिड को बिगाड़े मशीनों के साथ संवाद करने में मदद करने का मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।