A novel LSTM music generator based on the fractional time-frequency feature extraction
यह शोध पत्र एक नवीन एआई-आधारित संगीत निर्माण प्रणाली का प्रस्ताव करता है जो उच्च गुणवत्ता वाला संगीत उत्पन्न करने के लिए फ्रैक्शनल फूरियर ट्रांसफॉर्म (FrFT) को टाइम-फ्रीक्वेंसी फीचर एक्सट्रैक्शन के लिए और जायंटमिडी-पियानो (GiantMIDI-Piano) डेटासेट पर प्रशिक्षित लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) नेटवर्क को जोड़ता है, जो मानव रचनाओं के तुलनीय है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को सुंदर पियानो संगीत रचना सिखाना चाहते हैं। आप इसे सिर्फ यह नहीं कह सकते, "कुछ अच्छा बजाओ।" आपको इसे सिखाना होगा कि संगीत समय के साथ कैसे महसूस होता है और कैसे बहता है। यह शोध पत्र इसी काम को करने के लिए एक नए, चतुर तरीके का वर्णन करता है, जिसमें दो मुख्य उपकरणों का उपयोग किया गया है: FrFT नामक एक विशेष गणितीय लेंस और LSTM नामक एक स्मार्ट मेमोरी सिस्टम।
यहाँ उनके "AI म्यूजिक शेफ" के काम करने का विवरण दिया गया है, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:
1. समस्या: संगीत एक बदलता हुआ लक्ष्य है
संगीत केवल सुरों (notes) की एक सूची नहीं है; यह एक लहर है जो लगातार बदलती रहती है। यदि आप किसी गाने को केवल सुरों की सूची (जैसे कि एक रेसिपी) के रूप में देखते हैं, तो आप उसके स्वाद को खो देते हैं। यदि आप इसे केवल एक ध्वनि तरंग (जैसे ध्वनि की एक फोटो) के रूप में देखते हैं, तो आप उसकी सामग्री (ingredients) को मिस कर देते हैं।
लेखकों ने महसूस किया कि कंप्यूटर को संगीत लिखना सिखाने के लिए, उन्हें गाने को एक ऐसे तरीके से देखना चाहिए जो समय (timing) और आवृत्ति (frequency) दोनों को एक साथ पकड़ सके, लेकिन मानक उपकरणों की तुलना में अधिक लचीलेपन के साथ।
2. टूल #1: "जादुई प्रिज्म" (फ्रैक्शनल फूरियर ट्रांसफॉर्म - FrFT)
एक मानक संगीत विश्लेषण उपकरण (जैसे कि एक सामान्य फूरियर ट्रांसफॉर्म) को एक प्रिज्म के रूप में सोचें जो सफेद रोशनी को इंद्रधनुष में विभाजित करता है। यह आपको गाने में मौजूद सभी रंगों (आवृत्तियों) को दिखाता है, लेकिन उन्हें सपाट कर देता है। यह आपको बताता है कि वहां कौन से रंग मौजूद हैं, लेकिन यह भी नहीं कि वे समय के प्रवाह में कब दिखाई देते हैं।
फ्रैक्शनल फूरियर ट्रांसफॉर्म (FrFT) एक घूमने वाले, जादुई प्रिज्म की तरह है।
- केवल सामने से (समय) या बगल से (आवृत्ति) गाने को देखने के बजाय, यह प्रिज्म किसी भी कोण के बीच किसी भी कोण पर झुक सकता है।
- इस प्रिज्म को एक विशिष्ट "फ्रैक्शनल" कोण पर झुकाकर, AI संगीत के उन छिपे हुए पैटर्न और स्थानीय संरचनाओं को देख सकता है जो मानक उपकरणों के लिए अदृश्य हैं।
- परिणाम: AI को संगीत का एक बहुत समृद्ध, अधिक विस्तृत "मानचित्र" मिलता है। वह न केवल सुरों को देखता है, बल्कि ध्वनि की बनावट (texture) और प्रवाह को भी उस तरह से देखता है जिसे समझना कंप्यूटर के लिए आसान हो।
3. टूल #2: "सुपर-स्टूडेंट" (लॉन्ग शॉर्ट-टर्म मेमोरी - LSTM)
एक बार जब "जादुई प्रिज्म" संगीत को इन विस्तृत मानचित्रों में तोड़ देता है (इन्हें "रियल" और "इमेजिनरी" भागों में विभाजित करता है, जो केवल सिग्नल के गणितीय घटक हैं), तो AI को इसे सीखने के लिए किसी की आवश्यकता होती है।
यहाँ LSTM आता है।
- कल्पना कीजिए कि एक छात्र एक लंबी, जटिल कहानी सीखने की कोशिश कर रहा है। एक सामान्य छात्र शायद पहला वाक्य याद रखेगा लेकिन दसवें पैराग्राफ तक पहुँचते-पहुँचते उसे भूल जाएगा।
- LSTM एक सुपर-मेमोरी वाला छात्र है। इसमें विशेष "गेट्स" (जैसे क्लब में बाउंसर) होते हैं जो यह तय करते हैं कि क्या याद रखना है, क्या भूलना है, और किस पर ध्यान देना है।
- यह FrFT द्वारा बनाए गए विस्तृत मानचित्रों को पढ़ता है। यह गाने के नियमों को सीखता है: "इस उदास कॉर्ड के बाद, आमतौर पर एक खुशहाल धुन आती है," या "यह लय अक्सर तेज होती जाती है।"
- क्योंकि इसकी याददाश्त बहुत अच्छी है, यह अनुक्रम में अगले नोट की उच्च सटीकता के साथ भविष्यवाणी कर सकता है, भले ही गाना लंबा और जटिल हो।
4. कुकिंग की प्रक्रिया: वे इसे एक साथ कैसे जोड़ते हैं
लेखकों ने एक ऐसी प्रणाली बनाई है जो तीन-चरणीय रसोई की तरह काम करती है:
- तैयारी (इनपुट): वे एक वास्तविक पियानो गीत लेते हैं (एक डेटासेट जिसे GiantMIDI-Piano कहा जाता है)।
- काटना और मिलाना (FrFT): वे गाने को "जादुई प्रिज्म" से गुजारते हैं। यह ऑडियो को एक जटिल गणितीय सिग्नल में बदल देता है जिसमें "रियल" और "इमेजिनरी" भाग होते हैं। इसे ऐसे समझें जैसे सामग्रियों को बहुत विशिष्ट, सटीक आकारों में काटा जा रहा है ताकि उन्हें पकाना आसान हो।
- पकाना (LSTM): "सुपर-स्टूडेंट" LSTM इन कटे हुए अवयवों को ग्रहण करता है। यह पैटर्न सीखता है। फिर, यह जो कुछ भी सीखा है उसके आधार पर नए अवयव (अगले नोट्स की भविष्यवाणी करना) बनाना शुरू करता है।
- परोसना (आउटपुट): AI द्वारा पकाए गए नए नोट्स को गणित को वापस ध्वनि में बदलने के लिए "जादुई प्रिज्म" के माध्यम से उल्टा चलाया जाता है और एक नई संगीत फ़ाइल के रूप में सहेजा जाता है।
5. टेस्ट: क्या यह काम कर गया?
लेखकों ने अपने सिस्टम का परीक्षण करने के लिए इसे हजारों पियानो रचनाओं से सीखने के लिए कहा और फिर उनसे नई रचनाएँ लिखने की कोशिश की।
- परिणाम: AI द्वारा उत्पन्न संगीत मूल मानव-निर्मित संगीत के अविश्वसनीय रूप से करीब था।
- प्रमाण: उन्होंने "त्रुटि" (AI संगीत और लक्षित संगीत के बीच का अंतर) को मापा। उनकी नई विधि में त्रुटि दर बहुत कम (0.0155) थी, जिसका अर्थ है कि AI की भविष्यवाणी पुराने तरीकों (जिनमें त्रुटि 0.0351 थी) की तुलना में लगभग सटीक थी।
बड़ी तस्वीर (The Big Picture)
यह शोध पत्र अनिवार्य रूप से यह कह रहा है: "यदि आप चाहते हैं कि एक रोबोट महान संगीत लिखे, तो उसे केवल नोट्स न दिखाएं। उसे एक विशेष, झुकने वाले लेंस के माध्यम से संगीत दिखाएं जो इसकी छिपी हुई संरचना को प्रकट करता है, और फिर एक सुपर-मेमोरी वाले कंप्यूटर को पैटर्न सीखने दें।"
परिणामस्वरूप, एक ऐसा AI प्राप्त होता है जो उच्च-गुणवत्ता वाला, मानव-समान पियानो संगीत रच सकता है, जो संगीतकारों को प्रेरणा खोजने, छात्रों को संगीत सिद्धांत सीखने में मदद करने, या यहाँ तक कि वीडियो गेम में रीयल-टाइम में कस्टम साउंडट्रैक बनाने में मदद कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।