Helping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and Generation

कल्पना कीजिए कि आप एक रोबोट को संगीत निर्माता (म्यूजिक प्रोड्यूसर) बनने के लिए सिखाने की कोशिश कर रहे हैं। आप नहीं चाहते कि वह केवल गानों को कॉपी-पेस्ट करे या कोई नया हिट गाना लिखे जो बाकी सब जैसा ही लगता हो। आप चाहते हैं कि वह एक सह-निर्माता (कोलेबोरेटर) बने—कोई ऐसा जो आपके बिखरे हुए संगीत संबंधी विचारों को सुन सके, "वाइब" (vibe) को समझ सके, और बिना नियंत्रण हाथ से निकाले सुझाव दे सके। यह AI म्यूजिक को-क्रिएशन की दुनिया है, जहाँ वैज्ञानिक ऐसी मशीनें बनाने की कोशिश कर रहे हैं जो संगीत को वैसे ही "सुन" सकें जैसे इंसान सुनते हैं, न कि केवल ध्वनि तरंगों के एक प्रवाह के रूप में, बल्कि नोट्स, कॉर्ड्स और रिदम की एक संरचित भाषा के रूप में।

इसे करने के लिए, शोधकर्ता अक्सर वर्ल्ड मॉडल्स (World Models) का उपयोग करते हैं। एक वर्ल्ड मॉडल को एक मानसिक मानचित्र की तरह समझें। यदि आप अपनी आँखें बंद करके एक कमरे की कल्पना करते हैं, तो आप जानते हैं कि यदि आप आगे बढ़ेंगे, तो दीवार करीब आएगी; यदि आप बाईं ओर मुड़ेंगे, तो दरवाजा दिखाई देगा। एक वर्ल्ड मॉडल इन नियमों को यह अनुमान लगाकर सीखता है कि आगे क्या होगा। संगीत में, एक वर्ल्ड मॉडल यह अनुमान लगाने की कोशिश करता है कि यदि आप किसी धुन को एक नोट ऊपर शिफ्ट कर दें या समय में थोड़ा आगे बढ़ा दें, तो वह कैसे बदलेगी। जिस शोध पत्र को आप अभी पढ़ने जा रहे हैं, वह एक विशिष्ट चुनौती से निपटता है: एक ऐसा मॉडल कैसे बनाया जाए जो संगीत को इतना गहराई से समझे कि वह एक सहायक साथी बन सके, लेकिन इतना सरल भी हो कि एक सामान्य कंप्यूटर पर चल सके जिसके लिए किसी विशाल, महंगे सुपरकंप्यूटर की आवश्यकता न हो। लक्ष्य मानव कलाकार को बदलना नहीं है, बल्कि एक परम "AI रिक रुबिन" (AI Rick Rubin) बनना है—एक ऐसा प्रोड्यूसर जिसे पता है कि उसे क्या पसंद है और वह इसे व्यक्त कर सकता है, भले ही वह खुद कोई वाद्य यंत्र न बजा पाता हो।

"AI रिक रुबिन": एक संगीत साथी जो सुनता है

यह शोध पत्र एक नए प्रकार के AI को पेश करता है जिसे एक सहयोगी संगीत साथी के रूप में डिज़ाइन किया गया है। एक उत्कृष्ट संगीतकार बनने के बजाय जो आपके लिए सब कुछ बजा दे, यह सिस्टम एक "अच्छे श्रोता" और "सुझाव देने वाले" के रूप में बनाया गया है। लेखक इसे "AI रिक रुबिन" कहते हैं, जो प्रसिद्ध संगीत निर्माता का संदर्भ है जिन्होंने स्वीकार किया था कि वे शायद ही कोई वाद्य यंत्र बजाते हैं लेकिन उनके पास यह समझने की अद्भुत क्षमता है कि क्या अच्छा लगता है। लक्ष्य एक ऐसा AI बनाना है जो इंसान के संगीत संबंधी विचारों को सुने, उनकी संरचना को समझे, और फीडबैक या नए संगीत के अंश प्रदान करे, जबकि मानवीय रचनात्मक प्रक्रिया का नियंत्रण पूरी तरह से इंसान के हाथ में रहे।

"कान": संगीत को महसूस करना सीखना

सिस्टम का पहला हिस्सा "कान" (Ears) है। अधिकांश AI संगीत मॉडल एक छात्र की तरह प्रशिक्षित होते हैं जो परीक्षा दे रहा हो: उन्हें हजारों गाने दिए जाते हैं जिनमें लेबल लगे होते हैं कि "यह एक C-मेजर कॉर्ड है," या "यह एक उदास गाना है।" लेकिन लेखक चाहते थे कि उनका AI बिना किसी शिक्षक के, जो उसे बताए कि क्या देखना है, अपने आप सीखे।

उन्होंने एक हाइरार्किकल सेल्फ-सुपरवाइज्ड वर्ल्ड मॉडल (hierarchical self-supervised world model) बनाया। कल्पना कीजिए कि आप एक पियानो रोल (एक विजुअल ग्रिड जहाँ नोट्स ब्लॉक्स के रूप में होते हैं) देख रहे हैं। AI इस ग्रिड के एक छोटे से वर्ग को देखता है। फिर, यह कल्पना करता है कि उस वर्ग को थोड़ा दाईं ओर खिसकाना (समय में आगे बढ़ना) या ऊपर की ओर खिसकाना (पिच को ऊँचा करना) कैसा होगा। AI का काम यह अनुमान लगाना है कि पुराने वर्ग के आधार पर नया वर्ग कैसा दिखेगा। इस "अनुमान लगाओ कि बदलाव क्या है" वाले खेल को लाखों बार खेलकर, AI संगीत के आंतरिक नियमों को सीख जाता है। वह सीख जाता है कि नोट्स अक्सर समय में विशिष्ट पैटर्न का पालन करते हैं और कॉर्ड्स का पिच में विशिष्ट संबंध होता है, और यह सब बिना कभी यह जाने कि उन कॉर्ड्स के नाम क्या हैं।

यह मॉडल परतों के पिरामिड की तरह बना है। निचली परतें सूक्ष्म विवरण देखती हैं, जैसे व्यक्तिगत नोट्स और उन्हें कितनी तेजी से बजाया जा रहा है। ऊपरी परतें बड़ी तस्वीर देखती हैं, जैसे कि एक संगीत वाक्यांश (musical phrase) का समग्र आकार या गाने की संरचना। शोधकर्ताओं ने पाया कि AI स्वाभाविक रूप से इसी तरह व्यवस्थित होता है: "बारीक" (fine) परतें व्यक्तिगत नोट्स के घनत्व को पहचानने में माहिर हैं, जबकि "मोटे" (coarse) स्तर संगीत के वाक्यांश कहाँ शुरू और समाप्त होते हैं, इसे समझने में उत्कृष्ट हैं।

AI वास्तव में क्या "सुनता" है

टीम ने यह परीक्षण करने के लिए कि उनके AI ने वास्तव में क्या सीखा, इसके मस्तिष्क को फ्रीज कर दिया और उससे सरल प्रश्न पूछे। उन्होंने पाया कि AI ने संगीत के लिए एक वास्तविक "एहसास" विकसित कर लिया था:

• समय और संरचना: AI स्वाभाविक रूप से एक छोटे संगीत विचार और एक लंबे विचार के बीच अंतर बता सकता था, और वह पैटर्न को देखकर संगीत के वाक्यांशों की सीमाओं को पहचान सकता था।
• हारमनी (Harmony - कठिन हिस्सा): दिलचस्प बात यह है कि AI ने केवल यह अनुमान लगाकर विशिष्ट कॉर्ड्स (जैसे "G Major") को पहचानने की क्षमता स्वतः विकसित नहीं की। उसे थोड़ी मदद की जरूरत थी। जब शोधकर्ताओं ने इसमें थोड़ी सी सुपरविजन (उसे कुछ कॉर्ड्स के उदाहरण दिखाना) जोड़ी, तो हारमनी को समझने की AI की क्षमता तेजी से बढ़ गई। वह कॉर्ड्स को मुश्किल से पहचानने से लेकर उन्हें बहुत अच्छी तरह पहचानने तक पहुँच गया, और उसने गाने के "की" (key - संगीत का घर) को भी उच्च सटीकता के साथ पहचानना सीख लिया, भले ही उसे स्पष्ट रूप से कभी नहीं बताया गया था कि 'की' क्या होती है।

यह बताता है कि जबकि AI संगीत के आकार को अपने आप सीख सकता है, उसे कॉर्ड्स जैसे संगीत संबंधी अवधारणाओं के विशिष्ट नामों को सीखने के लिए थोड़े से मार्गदर्शन की आवश्यकता होती है।

"मुँह": सुझाव देना

एक बार जब AI ने "सुन" लिया और संगीत को समझ लिया, तो उसे वापस बोलना होता है। यह "मुँह" (Mouth) है। एक पूरा नया गाना शुरू से लिखने के बजाय, AI खाली जगहों को भरने के लिए डिज़ाइन किया गया है। कल्पना कीजिए कि एक इंसान पियानो रोल के एक हिस्से पर मास्क खींच देता है और कहता है, "इसे भर दो।" AI खाली स्थान में फिट होने वाले नए नोट्स उत्पन्न करने के लिए फ्लो मैचिंग (flow matching) नामक तकनीक का उपयोग करता है।

पुराने AI मॉडलों के विपरीत जो एक गाना बनाने के लिए बहुत लंबा समय लेते हैं, यह मॉडल शोर (noise) से संगीत की ओर सहजता से बहता है। यह अविश्वसनीय रूप से तेज़ है। एक मानक कंप्यूटर प्रोसेसर (CPU) पर, यह लगभग 2.8 सेकंड में एक संगीत सुझाव उत्पन्न कर सकता है। यदि आपके पास नया एप्पल कंप्यूटर है, तो इसमें केवल 0.6 सेकंड लगते हैं। यह गति महत्वपूर्ण है क्योंकि इसका मतलब है कि एक इंसान AI के साथ वास्तविक समय में बातचीत कर सकता है, तुरंत विचार आजमा सकता है और धीमे कंप्यूटर के पीछे आने का इंतजार नहीं करना पड़ता।

यह सिस्टम लचीला भी है। आप इसे केवल धुन बदलने के लिए कह सकते हैं जबकि कॉर्ड्स को समान रखा जाए, या पूरे हिस्से को फिर से लिखने के लिए कह सकते हैं। यह ऐसा इसलिए करता है क्योंकि यह जनरेशन प्रक्रिया के दौरान अपनी समझ के कुछ हिस्सों को "ड्रॉप" (छोड़) देता है, जिससे यह उपयोगकर्ता की इच्छा के अनुसार अधिक रचनात्मक या अधिक सख्त हो सकता है।

यह क्यों महत्वपूर्ण है

शोध पत्र इस बात पर जोर देता है कि यह सिस्टम मानव संगीतकारों को बदलने के लिए नहीं है। इसे सुलभ हार्डवेयर (जैसे लैपटॉप) पर चलने के लिए बनाया गया है ताकि उन संगीतकारों के पास भी इसे उपयोग करने का अवसर हो जिनके पास महंगे ग्राफिक्स कार्ड नहीं हैं। यह मानवीय एजेंसी का सम्मान करता: AI सुझाव देता है, लेकिन निर्णय इंसान का होता है कि उसे उपयोग करना है या नहीं। लेखक इसे एक लाइव इंटरैक्टिव डेमो के माध्यम से प्रदर्शित करते हैं जहाँ उपयोगकर्ता पियानो रोल पर चित्र बना सकते हैं और वास्तविक समय में AI को अंतराल भरना देखते हैं।

संक्षेप में, यह शोध पत्र AI के लिए संगीत को समझने का एक नया तरीका प्रस्तुत करता है। मॉडल को यह सिखाकर कि संगीत समय या पिच में बदलने पर कैसे बदलता है, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो संगीत की संरचना को "महसूस" कर सकता है। थोड़ी सी मदद के साथ कॉर्ड्स के नाम सीखने के बाद, यह गीतकारों के लिए एक शक्तिशाली, तेज़ और सहयोगी उपकरण बन जाता है, जो एक डिजिटल प्रोड्यूसर के रूप में कार्य करता है जो अच्छी तरह सुनता है और विचार सुझाता है, जबकि अंतिम रचनात्मक निर्णय मानव के हाथों में छोड़ देता है।