Listening Forward: Next Patch Embedding Prediction Enables Scalable Audio Learners
यह शोध पत्र NAPE को प्रस्तुत करता है, जो एक न्यूनतम स्व-पर्यवेक्षित शिक्षण (self-supervised learning) ढांचा है जो एक लॉग-मेल स्पेक्ट्रोग्राम के अगले पैच एम्बेडिंग की भविष्यवाणी करने के लिए एक कॉज़ल ट्रांसफार्मर (causal Transformer) को प्रशिक्षित करके ऑडियो और स्पीच कार्यों पर अत्याधुनिक प्रदर्शन प्राप्त करता है, जो यह प्रदर्शित करता है कि जटिल प्री-ट्रेनिंग रेसिपी के बिना एक सरल ऑटोरेग्रेसिव प्रतिमान प्रभावी रूप से स्केलेबल ऑडियो रिप्रजेंटेशन सीख सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
ध्वनि समय में कही जाने वाली एक कहानी है। एक तस्वीर के विपरीत, जो स्थान में जमी हुई एक एकल क्षण को कैद करती है, एक ऑडियो सिग्नल घटनाओं के एक क्रम के रूप में प्रकट होता है, जो एक के बाद एक घटित होता है, और अपनी लय और प्रगति के माध्यम से अर्थ वहन करता है। दशकों से, कंप्यूटर इस कहानी को समझने के लिए संघर्ष कर रहे हैं, जो अक्सर यह सीखने के लिए जटिल, बहु-चरणीय विधियों (रेसिपी) पर निर्भर करते हैं कि एक आवाज़ या सायरन कैसा सुनाई देता है। ये विधियाँ आमतौर पर मशीन को खुद के एक टूटे हुए हिस्से से ध्वनि को पुनर्गठित करना सिखाने, या किसी शिक्षक के उदाहरण के विरुद्ध ध्वनि की तुलना करने पर आधारित होती हैं। हालाँकि ये दृष्टिकोण काम कर गए हैं, लेकिन अपनी पूरी क्षमता तक पहुँचने के लिए उन्हें विस्तृत सेटअप और भारी कम्प्यूटेशनल उपकरणों की आवश्यकता होती है।
भाषा और दृष्टि की दुनिया से एक अलग मार्ग उभरा है, जहाँ सबसे शक्तिशाली कृत्रिम बुद्धिमत्ता (AI) प्रणालियाँ अब यह अनुमान लगाकर सीखती हैं कि आगे क्या आने वाला है। एक चित्र या वाक्य को शून्य से फिर से बनाने के बजाय, ये प्रणालियाँ जो कुछ भी उन्होंने अब तक देखा है उसे देखती हैं और अगले हिस्से का अनुमान लगाती हैं। अनुमान लगाने का यह सरल कार्य मॉडल को डेटा के अंतर्निहित नियमों को समझने के लिए मजबूर करता है, चाहे वह भाषा का व्याकरण हो या किसी दृश्य की संरचना। शोधकर्ताओं ने लंबे समय से सोचा है कि क्या यही सीधा तर्क ध्वनि के लिए भी काम कर सकता है, क्योंकि ऑडियो स्वाभाविक रूप से क्रमिक होता है। इम्पीरियल कॉलेज लंदन और यूनिवर्सिटी ऑफ सर्रे के वैज्ञानिकों की एक टीम ने अब उस प्रश्न का उत्तर एक नई पद्धति के साथ दिया है जो इस एकल, भविष्योन्मुखी भविष्यवाणी पर ध्यान केंद्रित करने के लिए पिछले ऑडियो सिस्टम की जटिलता को हटा देती है।
शोधकर्ताओं ने एक ढांचा पेश किया जिसे वे NAPE कहते हैं, जिसका अर्थ है 'नेक्स्ट-ऑडियो-पैच-एम्बेडिंग प्रेडिक्शन' (Next-Audio-Patch-Embedding prediction)। यह समझने के लिए कि यह कैसे काम करता है, कल्पना करें कि आप ध्वनि के एक दृश्य प्रतिनिधित्व को ले रहे हैं, जिसे स्पेक्ट्रोग्राम (spectrogram) कहा जाता है, जो समय के साथ बदलती आवृत्तियों (frequencies) का एक मानचित्र जैसा दिखता है। सिस्टम इस मानचित्र को छोटे, वर्गाकार टाइल्स में तोड़ देता है। फिर यह इन टाइल्स को एक विशिष्ट क्रम में एक-एक करके कंप्यूटर मॉडल में डालता है, जो समय के प्रवाह का सम्मान करता है। मॉडल का एकमात्र काम उन टाइल्स को देखना है जिन्हें वह पहले देख चुका है और अगले टाइल के गणितीय प्रतिनिधित्व की भविष्यवाणी करना है। यह मूल ध्वनि तरंग को फिर से बनाने की कोशिश नहीं करता है, न ही यह अपने अनुमान की तुलना किसी मानव-लेबल वाले उदाहरण से करता है। यह बस अगले कदम को सही करने की कोशिश करता है।
यह दृष्टिकोण जानबूझकर न्यूनतमवादी (minimalist) है। अधिकांश आधुनिक ऑडियो लर्निंग सिस्टम एक "शिक्षक-छात्र" सेटअप पर निर्भर करते हैं, जहाँ एक बड़ा, स्थिर मॉडल एक छोटे मॉडल का मार्गदर्शन करता है, या वे छिपे हुए फीचर्स से कच्चे ऑडियो को पुनर्गठित करने के लिए जटिल डिकोडर का उपयोग करते हैं। NAPE इन सभी अतिरिक्त घटकों को त्याग देता है। यह एक एकल मॉडल का उपयोग करता है जो पर्यवेक्षक (observer) और भविष्यवक्ता (predictor) दोनों के रूप में कार्य करता है। यह सुनिश्चित करने के लिए कि मॉडल केवल इनपुट को याद न करे बल्कि ध्वनि की संरचना को सीखे, सिस्टम मॉडल को भविष्य देखने से रोकता है। यह एक विशिष्ट गणितीय युक्ति का भी उपयोग करता है जो मॉडल को अगले टाइल की भविष्यवाणी करने के लिए वर्तमान टाइल की नकल करने से रोकता है, जिससे वह वास्तव में अतीत और भविष्य के बीच के संबंध को समझने के लिए मजबूर होता है। मॉडल को प्राप्त होने वाला एकमात्र संकेत यह माप है कि उसका अनुमान वास्तविक अगले टाइल के कितना करीब था, जिसकी गणना एक उच्च-आयामी स्थान (high-dimensional space) में दोनों गणितीय वेक्टर्स की दिशा की तुलना करके की जाती है।
इस सरल डिजाइन के परिणाम आश्चर्यजनक रूप से शक्तिशाली थे। शोधकर्ताओं ने बारिश या कुत्तों के भौंकने जैसी पर्यावरणीय ध्वनियों की पहचान करने से लेकर, बोले गए आदेशों को पहचानने और भाषण में भावनाओं का पता लगाने तक, छह अलग-अलग बेंचमार्क पर NAPE का परीक्षण किया। उन्होंने सिस्टम को इंटरनेट से प्राप्त बिना लेबल वाले ऑडियो क्लिप्स के विशाल डेटासेट पर प्रशिक्षित किया। जब उन्होंने इस कार्य पर मॉडल का परीक्षण किया, तो इसने अत्याधुनिक प्रदर्शन (state-of-the-art performance) हासिल किया, जो वर्तमान में उपलब्ध सबसे जटिल प्रणालियों के बराबर या उनसे बेहतर था। यह सफलता मॉडल के तीन अलग-अलग आकारों में भी बनी रही, जिसमें लगभग 19 मिलियन पैरामीटर्स वाला एक छोटा संस्करण और 300 मिलियन से अधिक वाला एक बड़ा संस्करण शामिल था। मॉडल जितना बड़ा होता गया, उसका प्रदर्शन उतना ही बेहतर होता गया, जिससे पता चला कि यह विधि घटते प्रतिफल (diminishing returns) की दीवार से टकराए बिना प्रभावी ढंग से स्केल होती है।
अध्ययन के सबसे प्रकट पहलुओं में से एक यह था कि मॉडल ने सूचना को व्यवस्थित करने के लिए कैसे सीखा। क्योंकि सिस्टम को केवल ध्वनि के अगले हिस्से की भविष्यवाणी करने के लिए प्रशिक्षित किया गया था, इसलिए इसने स्वयं से अर्थ रखने वाला ऑडियो का एक आंतरिक मानचित्र विकसित किया। जब शोधकर्ताओं ने देखा कि मॉडल अपना ध्यान कहाँ केंद्रित करता है, तो उन्होंने पाया कि इसने स्वाभाविक रूप से उन ध्वनियों को एक साथ समूहबद्ध किया जिनमें समान ध्वनिक गुण थे, भले ही उसे कभी बताया नहीं गया था कि वे ध्वनियाँ क्या थीं। इसने यह ट्रैक करना सीखा कि एक विशिष्ट आवृत्ति समय के साथ कैसे विकसित होती है, जो अतीत को वर्तमान से इस तरह जोड़ती है जैसे मनुष्य ध्वनि को महसूस करते हैं। यह सुझाव देता है कि मॉडल ने बिना किसी मानव लेबल या जटिल पुनर्गणना कार्यों के, केवल पूर्वानुमान लगाने की सरल क्रिया के माध्यम से ऑडियो की मौलिक संरचना की खोज कर ली थी।
अध्ययन ने यह भी पता लगाया कि ध्वनि टाइल्स को प्रस्तुत करने का क्रम सीखने को कैसे प्रभावित करता है। चूंकि ध्वनि में एक मजबूत समय अक्ष (time axis) होता है, इसलिए शोधकर्ताओं ने स्पेक्ट्रोग्राम टाइल्स को स्कैन करने के विभिन्न तरीकों का परीक्षण किया। उन्होंने पाया कि टाइल्स को इस तरह से स्कैन करने में जो समय के प्रवाह का सम्मान करता है, जैसे कि बाएं-से-दाएं और नीचे-से-ऊपर की ओर बढ़ना, सबसे अच्छा काम करता है। इसने पुष्टि की कि ऑडियो की लौकिक (temporal) प्रकृति ही इस भविष्योन्मुखी दृष्टिकोण को सफल बनाने की कुंजी है। जब उन्होंने टाइल्स को इस तरह से स्कैन करने की कोशिश की जो समय के अनुक्रम की अनदेखी करता है, तो मॉडल का प्रदर्शन काफी गिर गया, जिससे सिद्ध हुआ कि यह पद्धति ध्वनि की प्राकृतिक प्रगति पर निर्भर करती है।
शायद सबसे महत्वपूर्ण बात यह है कि शोधकर्ताओं ने पाया कि NAPE द्वारा सीखी गई विशेषताएं तब भी अत्यधिक उपयोगी थीं जब मॉडल को किसी विशिष्ट कार्य के लिए पूरी तरह से पुन: प्रशिक्षित नहीं किया गया था। एक परीक्षण में जहाँ उन्होंने मॉडल को फ्रीज कर दिया और इसके ऊपर केवल एक सरल क्लासिफायर को प्रशिक्षित किया, वहां सिस्टम ने बहुत अच्छा प्रदर्शन किया। यह इंगित करता है कि मॉडल ने ध्वनि का एक मजबूत और लचीला प्रतिनिधित्व सीखा है जिसे आसानी से नई समस्याओं के लिए अनुकूलित किया जा सकता है। हालांकि मॉडल को एक आदर्श क्लासिफायर के रूप में डिज़ाइन नहीं किया गया था, लेकिन तथ्य यह है कि इसे न्यूनतम अतिरिक्त प्रशिक्षण के साथ इतनी प्रभावी ढंग से उपयोग किया जा सकता है, यह बताता है कि भविष्योन्मुखी दृष्टिकोण पिछले तरीकों की तुलना में ऑडियो के सार को अधिक प्रत्यक्ष रूप से पकड़ता है।
यह कार्य प्रदर्शित करता है कि जटिल, बहु-चरणीय रेसिपी, जो वर्षों से ऑडियो मशीन लर्निंग पर हावी रही हैं, आवश्यक नहीं हो सकती हैं। एक सरल, कारण संबंधी उद्देश्य (causal objective)—अर्थात एक अनुक्रम में अगले कदम की भविष्यवाणी करना—पर वापस लौटकर, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो प्रशिक्षित करने में आसान और सीखने में अधिक प्रभावी है। मॉडल को सफल होने के लिए न तो किसी शिक्षक, न किसी डिकोडर और न ही नियमों के विशाल सेट की आवश्यकता है। इसे बस आगे देखना है और अगले कदम का अनुमान लगाना है। यह खोज ऑडियो आर्टिफिशियल इंटेलिजेंस के लिए एक नया मार्ग खोलती है, जो सुझाव देती है कि मशीन को ध्वनि के बारे में सिखाने का सबसे शक्तिशाली तरीका उसे भविष्य को सुनने देना है, एक समय में एक कदम।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।