The Eloquence team submission for task 1 of MLC-SLM challenge
एलोकेंस (Eloquence) टीम MLC-SLM चुनौती के कार्य 1 के लिए अपना कार्य प्रस्तुत करती है, जिसमें तीन बहुभाषी ASR दृष्टिकोणों का अन्वेषण किया गया है जिनमें विभिन्न प्रोजेक्टरों के साथ बेसलाइन आर्किटेक्चर का मूल्यांकन करना, SLAM-ASR फ्रेमवर्क के माध्यम से एक कस्टम लीनियर प्रोजेक्टर को प्रशिक्षित करना, और कंट्रास्टिव लर्निंग एवं विस्तारित संवादात्मक संदर्भ (conversational context) के लाभों की जांच करना शामिल है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को एक शोर-शराबे वाली पार्टी में सुनना सिखाने की कोशिश कर रहे हैं जहाँ लोग अलग-अलग भाषाएँ बोल रहे हैं, एक-दूसरे पर चिल्ला रहे हैं, और ऐसे चुटकुले सुना रहे हैं जिनका अर्थ तभी समझ आता है जब आपको याद रहे कि पाँच मिनट पहले क्या कहा गया था। यह बहुभाषी संवादात्मक भाषण पहचान (multilingual conversational speech recognition) की दुनिया है। लंबे समय तक, कंप्यूटरों ने इसे एक रिले रेस की तरह संभाला: एक इंसान (या मशीन) पहले जो कहा गया उसे ठीक से लिख देता था (ट्रांसक्रिप्शन), और फिर एक दूसरी मशीन उस टेक्स्ट को अर्थ समझने के लिए पढ़ती थी। लेकिन इस रिले रेस में एक दोष है: यदि पहला धावक लड़खड़ा जाता है और गलत शब्द लिख देता है, तो दूसरा धावक भ्रमित हो जाता है, और पूरा संदेश बिगड़ जाता है। इसके अलावा, दूसरा धावक आवाज़ के 'अहसास' को भी खो देता है—जैसे स्वर, गति और भावना—क्योंकि उसे केवल टेक्स्ट ही मिलता है।
इसे ठीक करने के लिए, वैज्ञानिक स्पीच लैंग्वेज मॉडल्स (SLMs) बना रहे हैं। इन्हें एक एकल, सर्वज्ञ मस्तिष्क के रूप में सोचें जो सीधे ध्वनि तरंगों को सुन सकता है और बिना किसी बिचौलिए के माध्यम के, एक साथ अर्थ भी समझ सकता है। यह एक ऐसे रोबोट से अपग्रेड करने जैसा है जिसे विदेशी भाषा समझने के लिए पहले एक इंसान द्वारा अनुवाद की आवश्यकता होती है, बनाम एक ऐसे रोबोट की ओर जो मूल भाषा में चुटकुला सुन सकता है और सही समय पर हंस सकता है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: हम इन रोबोटों को कई भाषाओं में एक साथ बिखरी हुई, वास्तविक बातचीत को समझने में वास्तव में कुशल कैसे बना सकते हैं?
इस पेपर में, "एलोक्वेंस" (Eloquence) प्रोजेक्ट (एक समूह जिसे यूरोपीय संघ द्वारा वित्तपोषित किया गया है) के शोधकर्ताओं की एक टीम ने यह देखने के लिए कि कौन सा मस्तिष्क सबसे अच्छा सुन सकता है, इन AI दिमागों के लिए एक पार्टी आयोजित करने का निर्णय लिया। उन्होंने MLC-SLM चैलेंज नामक एक प्रतियोगिता में भाग लिया, जिसे विशेष रूप से यह परीक्षण करने के लिए डिज़ाइन किया गया था कि AI बहुभाषी बातचीत को कितनी अच्छी तरह संभाल सकता है। उनका लक्ष्य केवल एक ऐसा रोबोट बनाना नहीं था जो सुन सके; वे एक ऐसा रोबोट बनाना चाहते थे जो बातचीत के 'संदर्भ' (context) को समझ सके, जैसे यह जानना कि एक स्थिति में "ठंड है" का अर्थ "हीटर चालू करो" हो सकता है, लेकिन दूसरी स्थिति में "मैंने कोट पहना है" हो सकता है।
टीम ने तीन अलग-अलग रणनीतियों को आज़माया यह देखने के लिए कि कौन सा दृष्टिकोण उनके AI को सर्वश्रेष्ठ श्रोता बनाएगा।
सबसे पहले, उन्होंने खेल के नियमों की जाँच की।
कुछ नया आविष्कार करने से पहले, उन्होंने "आधिकारिक बेसलाइन" (official baseline) की जाँच की—जो प्रतियोगिता आयोजकों द्वारा प्रदान किया गया मानक सेटअप है। इसे एक "स्टार्टर किट" की तरह समझें जो सभी को मिलती है। उन्होंने इस किट का परीक्षण विभिन्न प्रकार के "मस्तिष्क" (Large Language Models) और कान जोड़ने के विभिन्न तरीकों (audio encoders) के साथ किया। उन्होंने पाया कि केवल कनेक्शन को बदलने से बहुत बड़ा अंतर नहीं आया। यह एक धीमी कार को पहियों का रंग बदलकर ठीक करने जैसा था; इंजन वही था, इसलिए गति में बदलाव नहीं आया। उन्होंने एक फैंसी नया कनेक्शन तरीका भी आज़माया जिसे "Q-Former" कहा जाता है, लेकिन उसने भी जादू की तरह समस्या हल नहीं की।
दूसरे, उन्होंने अपना खुद का कस्टम इंजन बनाया।
यह उनका सबसे सफल प्रयास था। उन्होंने SLAM-ASR नामक एक फ्रेमवर्क का उपयोग किया, जो स्पीच रोबोट बनाने के लिए एक हाई-टेक वर्कशॉप की तरह है। उन्होंने एक शक्तिशाली ऑडियो श्रोता (Whisper Large V3 Turbo) को EuroLLM 1.7B नामक एक विशिष्ट प्रकार के मस्तिष्क के साथ जोड़ा। इस मस्तिष्क को ऑडियो समझाने के लिए, उन्होंने एक कस्टम "अनुवादक" (linear projector) बनाया जो ध्वनि को ऐसी भाषा में बदल देता है जिसे मस्तिष्क समझ सके।
यहाँ वे रचनात्मक हुए: उन्होंने रोबोट को "शोर वाले" अभ्यास डेटा देकर सिखाने की कोशिश की। उन्होंने खराब ऑडियो स्थितियों का अनुकरण किया—जैसे स्टैटिक जोड़ना, आवाज़ों को तेज़ करना, या पिच बदलना—ताकि रोबोट एक कठिन वातावरण में अभ्यास कर सके। उन्हें उम्मीद थी कि इससे रोबot अधिक मजबूत बनेगा, जैसे एक मुक्केबाज भारी वजन के साथ प्रशिक्षण लेता है। हालाँकि, परिणाम थोड़े मिले-जुले रहे। जबकि शोर वाले प्रशिक्षण ने कुछ विशिष्ट मामलों में मदद की, इसने उनके सर्वश्रेष्ठ रोबोट को पहले से बेहतर नहीं बनाया। वास्तव में, उनके सर्वश्रेष्ठ सिस्टम ने, जिसने LoRA (जो मस्तिष्क को पूरी तरह से फिर से बनाने के बजाय एक हल्का, समायोज्य प्रशिक्षण वेस्ट जोड़ने जैसा है) नामक एक विशेष प्रशिक्षण तकनीक का उपयोग किया था, 24 टीमों में से 13वां स्थान प्राप्त किया। यह विजेता तो नहीं था, लेकिन इसने साबित किया कि एक छोटा, फ्रोजन मस्तिष्क और एक स्मार्ट अनुवादक अभी भी बहुत अच्छा काम कर सकता है।
तीसरा, उन्होंने रोबोट को "स्मृति" देने की कोशिश की।
वास्तविक बातचीत केवल एक वाक्य तक सीमित नहीं होती; यह विचारों का एक प्रवाह है। यदि कोई कहता है, "बारिश हो रही है," और फिर बाद में कहता है, "मैं अपना छाता भूल गया," तो दूसरा वाक्य पहले वाक्य के कारण ही समझ में आता है। टीम ने अपने AI को इस तरह की स्मृति देने के लिए पिछले वाक्य को संदर्भ के रूप में फीड किया। उन्होंने कॉन्ट्रास्टिव लर्निंग (contrastive learning) नामक एक तकनीक भी आज़माई, जो "अंतर पहचानने" के खेल की तरह है। उन्होंने AI को वाक्यों के ऐसे जोड़े दिखाए जो आपस में मेल खाते होने चाहिए और ऐसे जोड़े जो मेल नहीं खाते होने चाहिए, जिससे AI को एक तार्किक बातचीत और शब्दों के रैंडम ढेर के बीच अंतर सीखने के लिए मजबूर किया जा सके।
यहाँ के परिणाम दिलचस्प थे। जब उन्होंने "स्मृति" (संदर्भ) और "अंतर पहचानने" के खेल (contrastive learning) को जोड़ा, तो AI बातचीत को समझने में बेहतर हो गया, जिससे उनके टेस्ट सेट पर इसकी त्रुटि दर घटकर 17.18% हो गई। हालाँकि, उन्होंने देखा कि कुछ अजीब हुआ: जब उन्होंने "प्रशिक्षण वेस्ट" (LoRA) को स्मृति और कॉन्ट्रास्टिव लर्निंग के साथ उपयोग करने की कोशिश की, तो प्रदर्शन वास्तव में खराब हो गया। उन्हें संदेह है कि ऐसा इसलिए हुआ क्योंकि उन्होंने रोबोट को सीखने के लिए पर्याप्त समय नहीं दिया (केवल दो प्रशिक्षण सत्र), जिससे अतिरिक्त जटिलता ने उसे भ्रमित कर दिया।
उन्होंने क्या सीखा?
टीम ने खोजा कि भाषण समझने के लिए आपको हमेशा सबसे बड़े, सबसे महंगे मस्तिष्क की आवश्यकता नहीं होती है। एक छोटा, फ्रोजन मस्तिष्क (EuroLLM 1.7B) एक स्मार्ट, अच्छी तरह से प्रशिक्षित अनुवादक के साथ मिलकर बहुत प्रभावी हो सकता है। उन्होंने यह भी सीखा कि AI को थोड़ा "बातचीत का इतिहास" देने से उसे कहानी समझने में मदद मिलती है, लेकिन आपको प्रशिक्षण को बहुत जटिल बनाने में सावधानी बरतनी चाहिए। हालाँकि उनका सिस्टम प्रथम स्थान पर नहीं रहा, लेकिन इसने दिखाया कि इन हल्के, कुशल मॉडलों में अभी भी बहुत क्षमता है।
अंत में, एलोक्वेंस टीम का सुझाव है कि स्पीच रिकग्निशन का भविष्य इन स्मार्ट, कुशल आर्किटेक्चर को मानव बातचीत के गहरे स्तर के साथ जोड़ने में निहित है—बातचीत के प्रवाह को ध्यान में रखते हुए, न कि केवल अलग-थलग शब्दों को सुनने में। वे भाषाओं को मिलाने और यहाँ तक कि और भी जटिल कार्यों को संभालने की संभावनाओं को तलाशने की योजना बना रहे हैं, इस उम्मीद में कि वे ऐसे रोबोट बना सकें जो न केवल हमें सुनें, बल्कि हमें वास्तव में समझें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।