Learning task-specific subspaces via interventional post-training of speech foundation models
यह शोध पत्र स्पीच फाउंडेशन मॉडल्स के वितरित निरूपणों (डिस्ट्रिब्यूटेड रिप्रेजेंटेशन्स) को अलग-अलग कंटेंट और स्पीकर सबस्पेस में विलगित करने के लिए कंट्रास्टिव लर्निंग का उपयोग करते हुए एक इंटरवेंशनल पोस्ट-ट्रेनिंग दृष्टिकोण प्रस्तावित करता है, जिससे आउट-ऑफ-डोमेन स्पीकर वेरिफिकेशन और कीवर्ड स्पॉटिंग प्रदर्शन में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने हजारों घंटों के रेडियो, पॉडकास्ट और फिल्मों को सुना है। यह रोबोट, जिसे यह पेपर "स्पीच फाउंडेशन मॉडल" कहता है, सामान्य रूप से भाषण (स्पीच) को समझने में अविश्वसनीय रूप से अच्छा है। हालांकि, यह एक थोड़े अराजक पुस्तकालयाध्यक्ष (लाइब्रेरियन) की तरह है जिसने सभी किताबों को एक विशाल ढेर में फेंक दिया है। इस ढेर में, किताब की कहानी (कंटेंट/विषय) और बोलने वाले की आवाज़ (स्पीकर) सब आपस में मिल गए हैं।
यदि आप इस रोबोट से पूछते हैं, "कौन बोल रहा है?" तो यह बोले गए शब्दों से भ्रमित हो सकता है। यदि आप पूछते हैं, "वे क्या कह रहे हैं?" तो यह आवाज़ के लहजे या टोन से विचलित हो सकता है।
लेखकों ने इस गड़बड़ी को ठीक करने का निर्णय लिया। वे रोबोट को अपनी लाइब्रेरी को दो अलग-अलग, व्यवस्थित अलमारियों में छाँटना सिखाना चाहते थे: एक अलमारी सिर्फ कहानियों (कंटेंट) के लिए और दूसरी सिर्फ आवाजों (स्पीकर) के लिए।
उन्होंने इसे कैसे किया, इसके लिए यहाँ सरल उपमाओं (analogies) का उपयोग किया गया है:
1. समस्या: उलझा हुआ ढेर
अभी, रोबोट का मस्तिष्क जानकारी को एक "डिस्ट्रीब्यूटेड" (वितरित) तरीके से संग्रहीत करता है। इसे एक स्मूदी की तरह समझें जहाँ स्ट्रॉबेरी, केला और दूध इतनी अच्छी तरह से मिल गए हैं कि आप उन्हें अलग नहीं कर सकते। रोबोट शब्दों और आवाज़ दोनों को जानता है, लेकिन वे एक साथ चिपके हुए हैं।
2. समाधान: "इंटरवेंशन" प्रयोग
इन सामग्रियों को अलग करने के लिए, शोधकर्ताओं ने केवल उसे वास्तविक दुनिया की रिकॉर्डिंग दिखाने के बजाय, एक विशेष AI वॉयस जनरेटर का उपयोग करके एक सिंथेटिक (नकली) डेटासेट बनाया।
एक वीडियो गेम कैरेक्टर क्रिएटर की कल्पना करें जहाँ आप पुर्जों को बदल सकते हैं:
- आप आवाज़ A (एक गहरी, भारी आवाज़) लेते हैं।
- आप आवाज़ B (एक ऊँची, तीखी आवाज़) लेते हैं।
- आप स्क्रिप्ट X ("नमस्ते, आप कैसे हैं?") लेते हैं।
- आप स्क्रिप्ट Y ("मुझे पिज्जा पसंद है।") लेते हैं।
शोधकर्ताओं ने अपने AI का उपयोग करके हर संभव संयोजन बनाया। उन्होंने आवाज़ A से स्क्रिप्ट X बुलवाई, फिर आवाज़ A से स्क्रिप्ट Y बुलवाई, फिर आवाज़ B से स्क्रिप्ट X बुलवाई, और इसी तरह। इसे एक "इंटरवेंशनल डेटासेट" कहा जाता है।
यह विशेष क्यों है? क्योंकि वास्तविक दुनिया में, आप आसानी से किसी विशिष्ट व्यक्ति की ऐसी रिकॉर्डिंग नहीं पा सकते जिसने वह विशिष्ट वाक्य पहले कभी न बोला हो। लेकिन उनके AI के साथ, वे इस "हस्तक्षेप" (intervention) को लागू कर सके: "ठीक है, आवाज़ को समान रखें, लेकिन शब्दों को बदल दें," या "शब्दों को समान रखें, लेकिन आवाज़ को बदल दें।" इसने रोबोट को स्पष्ट उदाहरण दिए कि जब केवल एक चीज़ बदलती है तो क्या होता है।
3. प्रशिक्षण: "सॉर्टिंग मशीन"
शोधकर्ताओं ने फिर अपने प्री-ट्रेन्ड रोबोट को इस सिंथेटिक डेटा का उपयोग करके एक नया प्रशिक्षण कार्य दिया। उन्होंने एक विशेष "सॉर्टिंग मशीन" (एक न्यूरल नेटवर्क) बनाई जो रोबोट के मस्तिष्क को दो अलग-अलग क्षेत्रों में विभाजित करने की कोशिश करती है:
- क्षेत्र 1 (कंटेंट): इस क्षेत्र को केवल शब्दों की परवाह करनी चाहिए। यदि आवाज़ बदलती है लेकिन शब्द वही रहते हैं, तो इस क्षेत्र को बिल्कुल वैसा ही रहना चाहिए।
- क्षेत्र 2 (स्पीकर): इस क्षेत्र को केवल आवाज़ की परवाह करनी चाहिए। यदि शब्द बदलते हैं लेकिन आवाज़ वही रहती है, तो इस क्षेत्र को बिल्कुल वैसा ही रहना चाहिए।
उन्होंने "कॉन्ट्रास्टिव लर्निंग" नामक एक विशेष गणितीय ट्रिक का उपयोग किया। इसे "हॉट एंड कोल्ड" (पास या दूर) के खेल की तरह समझें।
- यदि दो रिकॉर्डिंग की आवाज़ एक जैसी है, तो रोबोट को बताया जाता है, "ये दोनों स्पीकर ज़ोन में एक-दूसरे के बहुत करीब होने चाहिए।"
- यदि दो रिकॉर्डिंग की आवाज़ अलग है, तो रोबोट को निर्देश दिया जाता है, "स्पीकर ज़ोन में इन्हें एक-दूसरे से दूर धकेलें।"
- उन्होंने कंटेंट ज़ोन के लिए भी बिल्कुल यही खेल किया, लेकिन आवाज़ के बजाय शब्दों के लिए।
उन्होंने यह सुनिश्चित करने के लिए भी एक नियम जोड़ा कि दोनों क्षेत्र गलती से एक-दूसरे से बात न करने लगें (जिसे "ऑर्थोगोनैलिटी लॉस" कहा जाता है), जिससे यह सुनिश्चित हो सके कि "आवाज़" वाली अलमारी और "कहानी" वाली अलमारी पूरी तरह से अलग रहें।
4. परिणाम: क्या यह काम कर गया?
उन्होंने अपने नए, सॉर्ट किए गए रोबोट का परीक्षण दो कार्यों पर किया:
- स्पीकर वेरिफिकेशन: क्या रोबोट बता सकता है कि दो आवाजें एक ही व्यक्ति की हैं?
- कीवर्ड स्पॉटिंग: क्या रोबोट एक वाक्य में एक विशिष्ट शब्द (जैसे "रुको" या "हाँ") को सुन सकता है?
अच्छी खबर:
- स्पीकर रिकग्निशन: रोबोट आवाज़ों को पहचानने में बहुत बेहतर हो गया, यहाँ तक कि जब उसका परीक्षण उन आवाजों पर किया गया जिन्हें उसने पहले कभी नहीं सुना था (जैसे जंगली वातावरण में लोग बात कर रहे हों)। वास्तव में, उनके सबसे अच्छे मॉडल ने इस कार्य में गैर-विशेषज्ञ मनुष्यों से बेहतर प्रदर्शन किया!
- सेपरेशन (पृथक्करण): परीक्षण ने दिखाया कि "आवाज़" वाले क्षेत्र ने वास्तव में शब्दों को अनदेखा कर दिया, और "शब्द" वाले क्षेत्र ने वास्तव में आवाजों को अनदेखा कर दिया। वे सफलतापूर्वक अलग हो गए थे।
मिली-जुली खबर:
- कीवर्ड स्पॉटिंग: हालांकि रोबोट आवाजों को अलग करने में बहुत अच्छा था, लेकिन वह मूल, बिना सॉर्ट किए गए रोबोट की तुलना में कीवर्ड पहचानने में थोड़ा कमजोर हो गया। लेखक बताते हैं कि ऐसा इसलिए है क्योंकि उनके प्रशिक्षण ने पूरे वाक्यों पर ध्यान केंद्रित किया, जबकि कीवर्ड परीक्षण एकल शब्दों पर केंद्रित था। रोबोट ने "पूरे वाक्य" की कहानी को छाँटना सीखा, लेकिन इस प्रक्रिया में शायद "एकल शब्द" के विवरण को थोड़ा खो दिया।
निष्कर्ष
यह पेपर दिखाता है कि आप एक सामान्य-उद्देश्य वाले स्पीच AI को ले सकते हैं और एक चतुर "नकली डेटा" प्रशिक्षण पद्धति का उपयोग करके, उसे अपने स्वयं के मस्तिष्क को सुलझाने (untangle) के लिए सिखा सकते हैं। यह सीखता है कि "कौन बोल रहा है" को "वे क्या कह रहे हैं" से कैसे अलग किया जाए।
जबकि यह अलगाव इसे आवाजों को पहचानने में माहिर बनाता है, यह जरूरी नहीं कि इसे हर एक कार्य के लिए एक बेहतर ऑल-राउंड लिसनर (सुनने वाला) बना दे। लेकिन इन दो प्रकार की जानकारियों को स्पष्ट रूप से अलग करने की क्षमता, स्पीच AI को अधिक सटीक और नियंत्रणीय बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।