MIDI-RAE-JEPA: Hierarchical Representation Learning and Generation for Symbolic Music
यह शोधपत्र MIDI-RAE-JEPA प्रस्तुत करता है, जो एक स्व-पर्यवेक्षित (self-supervised) ढांचा है जो पिच और टाइम-शिफ्ट इक्विवैरिएंस (pitch- and time-shift equivariance) उद्देश्यों के साथ स्विन ट्रांसफॉर्मर V2 एनकोडर को जोड़ता है ताकि प्रतीकात्मक संगीत (symbolic music) के पदानुक्रमित, अर्थपूर्ण प्रतिनिधित्वों को सीखा जा सके जो भावना वर्गीकरण जैसे डाउनस्ट्रीम कार्यों में उत्कृष्ट प्रदर्शन करते हैं और उच्च-गुणवत्ता वाले जनरेटिव मॉडलिंग को सक्षम बनाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को संगीत समझना सिखाने की कोशिश कर रहे हैं, केवल ध्वनि तरंगों (sound waves) को सुनकर नहीं, बल्कि स्वयं शीट म्यूज़िक (sheet music) को पढ़कर। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक कंप्यूटर को संगीत के नोट्स का नक्शा पढ़ना सिखाने जैसा है। आमतौर पर, AI लाखों बिल्लियों या कुत्तों की तस्वीरों को देखकर सीखता है, यह जानकर कि एक "बिल्ली" बिल्ली ही रहती है चाहे उसे ज़ूम इन किया गया हो या ज़ूम आउट। लेकिन संगीत अलग है। यदि आप शीट म्यूज़िक को ज़ूम इन करते हैं, तो आप केवल एक बड़ा नोट नहीं देखते; बल्कि आप एक पूरी तरह से अलग रिदम या एक अलग पिच देखते हैं। संगीत के लिए जो नियम काम करते हैं, वे तस्वीरों के लिए टूट जाते हैं।
इसे हल करने के लिए, वैज्ञानिक "सेल्फ-सुपरवाइज्ड लर्निंग" (self-supervised learning) नामक एक चतुर तकनीक का उपयोग करते हैं। हर एक नोट को लेबल करने के लिए मानव शिक्षक को काम पर रखने के बजाय, वे AI को "खाली स्थान भरने" का खेल खेलने देते हैं। वे संगीत के कुछ हिस्सों को छिपा देते हैं और AI से पूछते हैं कि गायब क्या है। यदि AI सही अनुमान लगा लेता है, तो इसका मतलब है कि उसने संगीत कैसे बनता है, इसके छिपे हुए नियमों को सीख लिया है। बड़ा सवाल यह है जिसे यह शोध पत्र संबोधित करता है: क्या हम एक AI को संगीत की संरचना (structure) समझा सकते हैं—कि कैसे एक छोटी धुन एक बड़े गाने में फिट होती है—बिना उसे एक भी लेबल किया हुआ उदाहरण दिखाए? और यदि हम ऐसा करते हैं, तो क्या वह AI अपना खुद का संगीत लिख पाएगा जो सुनने में अच्छा लगे?
मिलिए MIDI-RAE-JEPA से, एक नया AI सिस्टम जिसे प्रतीकात्मक संगीत (symbolic music - संगीत जिसे डिजिटल निर्देशों के रूप में लिखा जाता है, जैसे पियानो रोल) की गुप्त भाषा सीखने के लिए डिज़ाइन किया गया है। एक पियानो रोल को एक विशाल, बाइनरी ग्रिड के रूप में सोचें: प्रत्येक संभावित पियानो कुंजी के लिए 128 वर्ग चौड़े और समय के लिए 128 वर्ग ऊंचे। एक काला वर्ग मतलब एक नोट बज रहा है; एक सफेद वर्ग मतलब शांति (silence)। इस प्रोजेक्ट का लक्ष्य AI को इन ग्रिडों को देखने और संगीत के गहरे, पदानुक्रमित (hierarchical) संबंधों को समझने के लिए प्रशिक्षित करना था—कि कैसे एक एकल नोट एक वाक्यांश (phrase) बनाता है, कैसे वाक्यांश एक खंड (section) बनाते हैं, और कैसे खंड एक पूरा गाना बनाते हैं।
शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो एक संगीत जासूस की तरह कार्य करता है। उन्होंने Swin Transformer V2 नामक एक विशेष प्रकार के AI आर्किटेक्चर का उपयोग किया, जो आवर्धक लेंस (magnifying glasses) के एक सेट की तरह है जो संगीत को विवरण के विभिन्न स्तरों पर देखता है, सूक्ष्म एकल नोट्स से लेकर पूरे गाने की संरचना तक। लेकिन असली जादू इस बात में है कि उन्होंने इसे कैसे सिखाया। केवल गायब नोट्स का अनुमान लगाने के बजाय, उन्होंने AI को "संगीत अनुवाद" (musical translation) का खेल सिखाया।
कल्पना कीजिए कि आपके पास एक धुन है। यदि आप उस धुन को कुछ नोट्स ऊपर की ओर खिसकाते हैं (पिच शिफ्ट) या समय में आगे बढ़ाते हैं (टाइम शिफ्ट), तो संगीत की संरचना वही रहती है, भले ही नोट्स अलग हों। AI को यह पहचानने के लिए प्रशिक्षित किया गया था कि ये बदली हुई संस्करण आपस में संबंधित हैं। यदि आप एक गाना एक नोट ऊपर खिसकाते हैं, तो उस गाने का आंतरिक "फिंगरप्रिंट" थोड़ा सा हिलना चाहिए। यदि आप इसे एक पूरे सप्तक (octave) ऊपर खिसकाते हैं, तो फिंगरप्रिंट बहुत अधिक दूर जाना चाहिए। इसे इक्विवेरिएंट (equivariance) कहा जाता है। यह एक बच्चे को यह सिखाने जैसा है कि एक लाल गेंद फर्श पर हो या मेज पर, वह अभी भी एक लाल गेंद ही है; AI सीखता है कि एक संगीतमय विचार अभी भी वही विचार है, भले ही वह किसी अलग की (key) में हो या अलग समय पर हो।
यह सुनिश्चित करने के लिए कि AI केवल उत्तरों को रट न ले या भ्रमित न हो जाए, शोधकर्ताओं ने कुछ सुरक्षा जाल जोड़े। उन्होंने एक "मास्क्ड एम्बेडिंग प्रिडिक्टर" (masked embedding predictor) का उपयोग किया, जो शीट म्यूज़िक के कुछ हिस्सों को ढक देने और AI से यह अनुमान लगाने के लिए कहता है कि बाकी गाने के आधार पर उसके नीचे क्या है। उन्होंने SIGReg नामक एक विशेष नियम भी जोड़ा ताकि AI आलसी न हो जाए और हर गाने के लिए एक ही उत्तर न दे दे (एक समस्या जिसे "कोलैप्स" या collapse कहा जाता है)।
परिणाम आश्चर्यजनक रूप से सफल रहे। जब उन्होंने AI के मस्तिष्क को फ्रीज कर दिया (उसे कुछ भी नया सीखने से रोक दिया) और इसके साथ एक साधारण डिकोडर जोड़ा, तो सिस्टम अविश्वसनीय सटीकता के साथ मूल पियानो रोल को पुनर्गठित करने में सक्षम था, जिसका स्कोर F1 0.995 था। यह लगभग पूर्ण है। इसका मतलब है कि AI ने वास्तव में संगीत के सार को अपनी आंतरिक स्मृति में पकड़ लिया था।
लेकिन असली परीक्षण जनरेशन (generation) था। शोधकर्ताओं ने इन आंतरिक "फिंगरप्रिंट" प्रस्तुतियों को लिया और उन्हें एक जेनेरेटिव मॉडल (एक प्रकार का AI जो नई चीजें बनाता है) में फीड किया। जब उन्होंने मॉडल को एक विशिष्ट संगीतमय अंश (excerpt) दिया ताकि वह उस पर "कंडीशन" (condition) कर सके, तो AI ने नया संगीत बनाया जो मूल के पिच रजिस्टर (नोट्स कितने ऊंचे या नीचे हैं) और रिदमिक डेंसिटी (नोट्स कितने व्यस्त या विरल हैं) से मेल खाता था। यदि उन्होंने इसे एक बेमेल कंडीशन दी, तो भी AI ने ऐसा संगीत बनाया जो तर्कसंगत था, लेकिन प्रॉम्प्ट से असंबंधित था। यह सुझाव देता है कि AI केवल नकल नहीं कर रहा है; यह इनपुट के स्टाइल और संरचना को समझ रहा है।
शोध पत्र ने यह भी परीक्षण किया कि क्या ये सीखी गई प्रस्तुतियाँ अन्य कार्यों में मदद कर सकती हैं। उन्होंने AI के आंतरिक फिंगरप्रिंट का उपयोग करके गाने की भावना (जैसे "खुश" या "दुखी") का अनुमान लगाने की कोशिश की। परिणाम सुझाव देते हैं कि यह तरीका पुराने, सरल तकनीकों (जैसे Haar scattering transform) की तुलना में बेहतर काम करता है, जो यह सिद्ध करता है कि AI ने बिना किसी स्पष्ट शिक्षण के भावनाओं को भी संगीतमय रूप से सार्थक रूप से सीखा है।
हालाँकि, लेखक यह दावा करने में सावधान हैं कि उन्होंने सब कुछ हल कर लिया है। वे नोट करते हैं कि जबकि उनके AI के "बारीक" स्तर (जो छोटे विवरणों को देखते हैं) विशिष्ट नोट्स और रिदम को पकड़ने में बहुत अच्छे हैं, वहीं "मोटे" स्तर (जो बड़ी तस्वीर देखते हैं) अभी तक स्पष्ट, व्याख्या योग्य संगीतमय अमूर्तता (abstractions) को पकड़ना नहीं सीख पाए हैं। यह सिस्टम एक मजबूत प्रूफ-ऑफ-कॉन्सेप्ट है, जो दिखाता है कि इक्विवेरिएंट (equivariance) (शिफ्ट को समझना) को पदानुक्रमित लर्निंग (hierarchical learning) (विस्तार के स्तरों को समझना) के साथ जोड़ना एक व्यवहार्य मार्ग है। यह सुझाव देता है कि हम ऐसे AI सहायक बना सकते हैं जो एक संगीतमय विचार को सुनते हैं और उसकी संरचना को इतनी अच्छी तरह समझते हैं कि रचना को परिष्कृत करने में मदद कर सकें, लेकिन हम अभी भी AI को एक सिम्फनी के भव्य, अमूर्त आर्किटेक्चर को पूरी तरह से समझने में सक्षम बनाने पर काम कर रहे हैं।
संक्षेप में, यह शोध पत्र दिखाता है कि संगीत के बदलावों और पैमानों के नियमों का सम्मान करना सिखाकर, हम एक ऐसा सिस्टम बना सकते हैं जो संगीत को इतना गहराई से समझता है कि वह इसे पूरी तरह से पुनर्गठित कर सके और विशिष्ट संगीतमय मूड के आधार पर नया, तर्कसंगत संगीत बना सके। यह एक ऐसे AI की ओर एक कदम है जो केवल संगीत की नकल नहीं करता, बल्कि वास्तव में उसके व्याकरण को समझता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।