Polyglot-Lion: Efficient Multilingual ASR for Singapore via Balanced Fine-Tuning of Qwen3-ASR
यह शोध पत्र पॉलीग्लॉट-लियोन (Polyglot-Lion) का परिचय देता है, जो सिंगापुर की चार आधिकारिक भाषाओं के लिए कॉम्पैक्ट और लागत प्रभावी बहुभाषी एएसआर (ASR) मॉडलों का एक परिवार है, जो बिना किसी स्पष्ट भाषा कंडीशनिंग के क्यूवेन3-एएसआर (Qwen3-ASR) पर संतुलित फाइन-ट्यूनिंग का उपयोग करके काफी बड़े सिस्टम के साथ प्रतिस्पर्धी सटीकता प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सिंगापुर की कल्पना एक व्यस्त, चार-लेन वाले राजमार्ग के रूप में करें जहाँ यातायात चार अलग-अलग भाषाओं में बहता है: अंग्रेजी, मंदारिन, तमिल और मलय। अक्सर, चालक यात्रा के बीच में ही लेन बदलते हैं (कोड-स्विचिंग), और कभी-कभी वे "सिंग्लिश" नामक एक अनूठी स्थानीय बोली भी बोलते हैं जो इन चारों का मिश्रण है।
लंबे समय तक, इस विशिष्ट राजमार्ग के लिए एक "ट्रैफिक पुलिस" (एक AI जो आवाज़ सुनता है और उसे लिखता है) बनाना अविश्वसनीय रूप से महंगा और कठिन था। मौजूदा सर्वश्रेष्ठ पुलिसकर्मी विशाल, 10-टन के ट्रकों (विशाल AI मॉडल) की तरह थे। वे सटीक थे, लेकिन उन्हें प्रशिक्षित करने के लिए 128 सुपर-कंप्यूटरों के एक विशाल बेड़े की आवश्यकता थी और उन्हें बनाने में लगभग $19,000 का खर्च आया। अधिकांश छोटी शोध टीमें या स्थानीय व्यवसाय न तो ईंधन का खर्च उठा सकते थे और न ही गैरेज के लिए जगह बना सकते थे।
पेश है पॉलीग्लॉट-लियॉन (Polyglot-Lion)।
बड़ा विचार: एक कॉम्पैक्ट, स्मार्ट स्कूटर
Knovel इंजीनियरिंग लैब के शोधकर्ताओं ने AI मॉडलों का एक नया परिवार बनाया जिसे पॉलीग्लॉट-लियॉन कहा जाता है। इन्हें 10-टन के ट्रकों के रूप में नहीं, बल्कि फुर्तीले, उच्च-प्रदर्शन वाले स्कूटरों के रूप में सोचें।
वे बहुत छोटे हैं (केवल 1.7 बिलियन "मस्तिष्क कोशिकाएं" या पैरामीटर्स, ट्रक के 10 बिलियन की तुलना में), लेकिन वे अविश्वसनीय रूप से कुशल हैं। उन्होंने यह प्रबंधित किया कि एक छोटा स्कूटर एक विशाल ट्रक की तरह प्रदर्शन कैसे करे, इसके लिए यहाँ बताया गया है:
1. "फेयर प्ले" प्रशिक्षण आहार (संतुलित नमूनाकरण)
समस्या: अधिकांश AI मॉडल ऐसे डेटा पर प्रशिक्षित होते हैं जहाँ अंग्रेजी और मंदारिन एक ऐसे बुफे की तरह हैं जिसमें खाने की 100 प्लेटें हैं, जबकि तमिल और मलय के पास केवल 5 प्लेटें हैं। AI अंग्रेजी/मंदारिन से भर जाता है और दूसरों के मामले में भूखा रह जाता है, इसलिए वह उन्हें अच्छी तरह बोलना भूल जाता है।
समाधान: शोधकर्ताओं ने एक संतुलित नमूनाकरण रणनीति (balanced sampling strategy) का उपयोग किया। कल्पना कीजिए कि एक शिक्षक AI को हर भाषा की प्लेट से ठीक उतनी ही मात्रा में भोजन खाने के लिए मजबूर करता है, भले ही इसका मतलब अंग्रेजी की तुलना में तमिल/मलय की प्लेटों पर कई बार वापस जाना हो ताकि हिस्से का आकार समान रहे।
- परिणाम: AI ने केवल लोकप्रिय भाषाएँ ही नहीं सीखीं; वह "कम प्रतिनिधित्व वाली" भाषाओं (तमिल और मलय) में भी विशेषज्ञ बन गया, और इसके लिए उसे किसी गुप्त या निजी डेटा की आवश्यकता नहीं पड़ी।
2. "नो-चीटिंग" नियम (भाषा-अज्ञेयवादी डिकोडिंग)
समस्या: आमतौर पर, जब आप किसी AI को सुनने के लिए कहते हैं, तो आपको उसे पहले बताना पड़ता है कि "यह अंग्रेजी है" या "यह तमिल है"। यदि आप गलत बताते हैं, तो AI भ्रमित हो जाता है। सिंगापुर में, लोग वाक्य के बीच में भाषा बदलते रहते हैं, इसलिए AI को पहले से भाषा बताना असंभव है।
समाधान: शोधकर्ताओं ने पॉलीग्लॉट-लियॉन को बिना किसी चीट शीट के सुनने के लिए प्रशिक्षित किया। उन्होंने "भाषा टैग" निर्देश को पूरी तरह से हटा दिया। AI को खुद यह समझना था कि, "क्या यह अंग्रेजी है या तमिल?" केवल ध्वनि तरंगों को सुनकर, ठीक वैसे ही जैसे एक इंसान संगीत की लय से फ्रांसीसी लहजे और स्पेनिश लहजे के बीच अंतर कर सकता है।
- परिणाम: यह सिंगापुर की अराजक, मिश्रित-भाषा वाली बातचीत को संभालने के लिए पर्याप्त मजबूत बन गया बिना रास्ता भटके।
परिणाम: गति, लागत और बुद्धिमत्ता
यह पेपर उनके नए "स्कूटर" (पॉलीग्लॉट-लियॉन) की तुलना विशाल "ट्रक" (MERaLiON-2-10B-ASR) और अन्य प्रतिस्पर्धियों से करता है।
- सटीकता (Accuracy): स्कूटर लगभग ट्रक जितना ही सटीक है। 12 विभिन्न भाषण परिदृश्यों के परीक्षण पर, ट्रक का स्कोर 14.32 (कम स्कोर बेहतर है) था, और स्कूटर का स्कोर 14.85 था। आकार में भारी कमी के बावजूद यह अंतर बहुत मामूली है।
- गति (Speed): स्कूटर 20 गुना तेज़ है। जहाँ ट्रक एक वाक्य को ट्रांसक्राइब करने में 2 सेकंड लेता है, वहीं स्कूटर इसे 0.1 सेकंड में कर देता है। यह एक कछुए और चीते के बीच के अंतर जैसा है।
- लागत (Cost): यह सबसे बड़ा झटका है।
- ट्रक: 128 सुपर-कंप्यूटरों का उपयोग करके इसे प्रशिक्षित करने की लागत $18,862 थी।
- स्कूटर: इसे एक सिंगल ग्राफिक्स कार्ड (एक मानक उच्च-स्तरीय कंप्यूटर घटक) पर प्रशिक्षित करने की लागत केवल $81 थी।
- उपमा: यह एक पुरानी साइकिल की कीमत पर फेरारी इंजन बनाने जैसा है, और यह बिल्कुल उतना ही तेज़ चलता है।
यह क्यों महत्वपूर्ण है
इससे पहले, केवल गहरे बजट वाले बड़ी तकनीकी कंपनियों के पास ही सिंगापुर के अनूठे मिश्रित भाषाओं के लिए उच्च-गुणवत्ता वाली स्पीच रिकग्निशन बनाने की क्षमता थी। पॉलीग्लॉट-लियॉन यह साबित करता है कि शानदार परिणाम प्राप्त करने के लिए आपको बड़े बजट या विशाल मॉडल की आवश्यकता नहीं है। आपको बस स्मार्ट ट्रेनिंग (हर भाषा का सही मात्रा में सेवन) और स्मार्ट डिज़ाइन (स्वयं भाषाओं की पहचान करना सीखना) की आवश्यकता है।
यह विश्वविद्यालयों, स्टार्टअप्स और स्थानीय डेवलपरों के लिए अपने स्वयं के वॉयस असिस्टेंट, ट्रांसक्रिप्शन टूल्स और एक्सेसिबिलिटी ऐप्स बनाने के द्वार खोलता है, जिससे तकनीक वास्तव में द्वीप के हर व्यक्ति के लिए सुलभ हो जाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।