SALMONN-2: Advancing General-Purpose Hearing Abilities with Self-Supervised Representations
SALMONN-2 एक सामान्य-उद्देश्य वाला ऑडियो लार्ज लैंग्वेज मॉडल है जो विविध ऑडियो कार्यों में अत्याधुनिक प्रदर्शन प्राप्त करने और लक्षित प्रासंगिक बायसिंग प्रशिक्षण के माध्यम से मल्टीमॉडल इन-कॉन्टेक्स्ट लर्निंग को सक्षम करने के लिए एक नवीन मल्टी-लेयर फीचर फ्यूजन एडेप्टर के साथ एक एकीकृत स्व-पर्यवेक्षित शिक्षण एनकोडर का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को दुनिया को सुनना सिखा रहे हैं। लंबे समय से, वैज्ञानिक "ऑडियो लार्ज लैंग्वेज मॉडल्स" (ALLMs) बनाने की कोशिश कर रहे हैं—सोचिए, ये ऐसे रोबोट हैं जो एक ध्वनि सुन सकते हैं, समझ सकते हैं कि वह क्या है, और फिर इंसानों की तरह उसके बारे में बातचीत कर सकते हैं। ऐसा करने के लिए, इन रोबोटों को दो मुख्य चीजों की आवश्यकता होती है: एक "कान" (एक ऑडियो एनकोडर) जो ध्वनि तरंगों को डेटा में बदल सके, और एक "दिमाग" (एक लार्ज लैंग्वेज मॉडल) जो उस डेटा का अर्थ निकाल सके।
पारंपरिक रूप से, वैज्ञानिक इन "कानों" को भारी मात्रा में लेबल किए गए डेटा का उपयोग करके प्रशिक्षित करते थे, जैसे कि एक शिक्षक किसी कुत्ते की ओर इशारा करके बार-बार कहता हो, "यह एक कुत्ता है।" इसे सुपरवाइज्ड लर्निंग (supervised learning) कहा जाता है। लेकिन इसमें एक पेंच है: यदि शिक्षक केवल कुत्तों को ही दिखाता है, तो रोबोट भ्रमित हो सकता है जब वह बिल्ली या गरजते तूफान की आवाज सुनता है। हाल ही में, "सेल्फ-सुपरवाइज्ड लर्निंग" (self-supervised learning) नामक एक अलग दृष्टिकोण लोकप्रिय हुआ है। इसमें शिक्षक के बजाय, रोबोट लाखों घंटों के बिना लेबल वाले ऑडियो को सुनता है और खुद ही पैटर्न पहचान लेता है, ठीक वैसे ही जैसे एक बच्चा शब्दावली क्विज़ के बजाय दुनिया को सुनकर बोलना सीखता है। यह तरीका "जनरल-पर्पस" (सामान्य-उद्देश्य वाले) कान बनाने के लिए बेहतरीन है जो सब कुछ सुन सकें। लेकिन यहाँ बड़ा सवाल यह है: क्या इस तरह प्रशिक्षित किया गया एक एकल, जनरल-पर्पस "कान" वास्तव में संगीत से लेकर भाषण और ध्वनि प्रभावों तक सब कुछ समझने वाले रोबोट की नींव बन सकता है? और यदि हम इन जनरल कानों को देते हैं, तो हम यह कैसे सुनिश्चित करेंगे कि रोबोट का दिमाग वास्तव में सुनी गई जानकारी की सभी परतों का उपयोग करे, न कि केवल अंतिम सारांश का?
यही वह सवाल है जिसे SALMONN-2 के पीछे के शोधकर्ताओं ने जांचने का निर्णय लिया। उन्होंने अपने ऑडियो एआई का एक नया संस्करण, SALMONN-2 बनाया, ताकि यह परीक्षण किया जा सके कि क्या एक सिंगल, सेल्फ-सुपरवाइज्ड "कान" अन्य मॉडलों द्वारा उपयोग किए जाने वाले जटिल, मल्टी-ईयर सेटअप की जगह ले सकता है। उन्होंने पाया कि न केवल एक जनरल-पर्पस कान यह काम कर सकता है, बल्कि यह वास्तव में कई विशिष्ट (specialized) कानों को मिलाने की तुलना में बेहतर काम करता है।
इसे सफल बनाने के लिए, उन्होंने मल्टी-लेयर फीचर फ्यूजन (MLF) एडेप्टर नामक एक चतुर नया कनेक्टर बनाया। कल्पना कीजिए कि ऑडियो एनकोडर एक बहु-मंजिला इमारत की तरह है जहाँ ग्राउंड फ्लोर कच्चा शोर (जैसे पत्ते के चरचराने की आवाज) सुनता है, मिडिल फ्लोर पैटर्न (जैसे एक आवाज) सुनता है, और टॉप फ्लोर अर्थ (जैसे एक वाक्य) समझता है। अधिकांश पिछले रोबोट केवल टॉप फ्लोर को देखते थे। हालाँकि, SALMONN-2 अपने MLF एडेप्टर का उपयोग करके मस्तिष्क को भेजने से पहले इमारत की हर मंजिल से नोट्स एकत्र करता है। यह रोबोट को बड़े चित्र को समझने के साथ-साथ ध्वनि के समृद्ध विवरणों को बनाए रखने में सक्षम बनाता है।
टीम ने संदर्भ (context) को समझने में मदद करने के लिए एक कठिन समस्या का समाधान किया: मानव बातचीत में, यदि मैं कहता हूँ, "मैंने एक बैट देखा," तो आपको यह जानने की आवश्यकता है कि मेरा मतलब जानवर से है या बेसबॉल के उपकरण से। ऑडियो में, यह और भी कठिन है। शोधकर्ताओं ने SALMONN-2 को मल्टीमॉडल इन-कॉन्टेक्स्ट लर्निंग (MICL) सिखाया। यह ऐसा है जैसे रोबोट को सुनने से पहले एक 'चीट शीट' देना। यदि रोबोट को किसी विशिष्ट नाम को पहचानना है, तो वे केवल नाम नहीं लिखते; वे एक छोटा क्लिप बजाते हैं कि वह नाम कैसा सुनाई देता है। उन्होंने पाया कि यह "दिखाना और बताना" (ऑडियो + टेक्स्ट) वाला दृष्टिकोण केवल टेक्स्ट की तुलना में बहुत बेहतर काम करता है, लेकिन तभी जब रोबोट को इसके लिए विशेष रूप से प्रशिक्षित किया जाए। इस विशिष्ट प्रशिक्षण के बिना, रोबोट अतिरिक्त संकेतों को अनदेखा करने लगता है।
परिणाम प्रभावशाली हैं। SALMONN-2 ने, केवल एक जनरल-पर्पस कान और नए MLF एडेप्टर का उपयोग करके, प्रमुख ऑडियो समझ परीक्षणों पर स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया, और उन मॉडलों को पीछे छोड़ दिया जो बहुत बड़े हैं या कई विशिष्ट कानों का उपयोग करते हैं। इसने भाषण, संगीत, ध्वनि प्रभाव और यहाँ तक कि पैरालिंग्विस्टिक कार्यों जैसे कि भावनाओं या नकली भाषण (स्पूफिंग) का पता लगाने को उल्लेखनीय संतुलन के साथ संभाला। शायद सबसे आश्चर्यजनक बात यह है कि शोधकर्ताओं ने दिखाया कि यह उच्च प्रदर्शन अपेक्षाकृत कम प्रशिक्षण डेटा के साथ प्राप्त किया गया था—निर्देशन-ट्यूनिंग (instruction-tuning) के लिए 20,000 घंटों से भी कम—जो यह सुझाव देता है कि समस्या में केवल भारी मात्रा में डेटा डालने के बजाय स्मार्ट डिज़ाइन अधिक महत्वपूर्ण है।
संक्षेप में, यह पेपर सुझाव देता है कि हमें एक बेहतरीन सुनने वाले रोबोट को बनाने के लिए विशेषज्ञ ऑडियो कानों वाले स्विस आर्मी नाइफ की आवश्यकता नहीं है। इसके बजाय, एक अच्छी तरह से प्रशिक्षित जनरल-पर्पस कान, और सुनी गई सारी जानकारी को व्यवस्थित करने के एक स्मार्ट तरीके के साथ मिलकर, एक शक्तिशाली, संतुलित और कुशल ऑडियो एआई बनाने के लिए पर्याप्त है। लेखकों ने यह भी प्रदर्शित किया कि जबकि ये रोबोट स्वाभाविक रूप से संदर्भ संकेतों का उपयोग करना नहीं सीखते हैं, उन्हें सही प्रशिक्षण के साथ प्रभावी ढंग से सिखाया जा सकता है, जो भविष्य के अधिक स्मार्ट और अनुकूलन योग्य ऑडियो सिस्टम के द्वार खोलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।