⚡ electrical engineering

Genre Controlled Music Generation via Activation Steering

यह शोध पत्र लीनियर प्रोब वेट्स का उपयोग करके मॉडल के रेसिड्यूअल स्ट्रीम (residual stream) में इन्फरेंस-टाइम एक्टिवेशन स्टीयरिंग (inference-time activation steering) लागू करके MusicGen में सूक्ष्म-स्तरीय शैली नियंत्रण (fine-grained genre control) के लिए एक विधि प्रस्तुत करता है, जिससे सह-सृजनात्मक पीढ़ी (co-creative generation) के लिए विविध संगीत शैलियों का सटीक और व्याख्या योग्य मिश्रण सक्षम होता है।

मूल लेखक: Swathi Narashiman, Pranay Mathur, Dipanshu Panda, Jayden Koshy Joe, Harshith M R, Anish Veerakumar, Aniruddh Krishna, Keerthiharan A

प्रकाशित 2026-05-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Swathi Narashiman, Pranay Mathur, Dipanshu Panda, Jayden Koshy Joe, Harshith M R, Anish Veerakumar, Aniruddh Krishna, Keerthiharan A

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, लेकिन थोड़ी जिद्दी, संगीतकार रोबोट MusicGen है। यह रोबोट संगीत रच सकता है, लेकिन आमतौर पर, आपको इसे बहुत विशिष्ट निर्देश देने होते हैं (जैसे "एक रॉक गाना लिखो") ताकि यह एक निश्चित शैली बजा सके। कभी-कभी, रोबोट भ्रमित हो जाता है या अच्छे निर्देशों के बावजूद भी सही लक्ष्य तक नहीं पहुँच पाता है।

यह शोध पत्र इस रोबोट से बात करने का एक चतुर नया तरीका पेश करता है। केवल उसे निर्देश चिल्लाकर देने के बजाय (जैसे "रॉक गाना बजाओ"), लेखकों ने यह पता लगाया है कि कैसे रोबोट के सोचने के दौरान उसके मस्तिष्क को धीरे से धक्का (nudge) दिया जाए, जिससे उसे बिना रोबोट को फिर से प्रशिक्षित (retrain) किए, ठीक उसी संगीत शैली को बजाने के लिए निर्देशित किया जा सके जिसे आप चाहते हैं।

उन्होंने इसे कैसे किया, इसका विवरण सरल अवधारणाओं में यहाँ दिया गया है:

1. "मस्तिष्क का धक्का" (एक्टिवेशन स्टीयरिंग - Activation Steering)

रोबोट के मस्तिष्क को एक लंबे गलियारे के रूप में सोचें जिसमें कई कमरे (परतें/layers) हैं। जैसे-जैसे रोबोट संगीत बनाता है, एक संकेत इस गलियारे में नीचे की ओर यात्रा करता है। इस गलियारे के प्रत्येक कमरे के भीतर, संकेत को प्रोसेस किया जाता है और बदला जाता है।

लेखकों ने खोजा कि इस गलियारे के विशिष्ट "कमरे" संगीत के शैली (genre) (जैसे रॉक, जैज़, या क्लासिकल) के रहस्य को धारण करते हैं। उन्होंने पाया कि वे सटीक रूप से माप सकते हैं कि ये "शैली संकेत" कहाँ स्थित हैं।

एक बार जब उन्होंने सही कमरा ढूँढ लिया, तो उन्होंने एक "स्टीयरिंग वेक्टर" (steering vector) बनाया। कल्पना करें कि यह एक छोटा, अदृश्य चुंबक है। जब रोबोट एक नोट उत्पन्न करने वाला होता है, तो शोधकर्ता इस चुंबक को संकेत पथ (signal path) में खिसका देते हैं। यह रोबोट को रुकने के लिए मजबूर नहीं करता है; यह बस संकेत को वांछित शैली की दिशा में धीरे से खींचता है।

उपमा: कल्पना करें कि आप एक कार चला रहे हैं (संगीत निर्माण) और आप बाएं मुड़ना चाहते हैं (जैज़ में बदलना)। आमतौर पर, आपको ड्राइवर (टेक्स्ट प्रॉम्प्टिंग) को "बाएं मुड़ो!" चिल्लाना पड़ता है। लेकिन इस नए तरीके के साथ, आप ड्राइवर के चलते रहने के दौरान खुद स्टीयरिंग व्हील को धीरे से घुमा सकते हैं। कार सुचारू रूप से मुड़ती है, लेकिन इंजन और गति (लय और धुन) लगभग समान रहते हैं।

2. "शैली डिटेक्टर" (लीनियर प्रोब्स - Linear Probes)

इससे पहले कि वे रोबोट को धक्का दे पाते, उन्हें यह जानना था कि शैली की जानकारी कहाँ छिपी थी। उन्होंने रोबोट के साथ एक रहस्यमयी बॉक्स की तरह व्यवहार किया।

उन्होंने रोबोट को हजारों गाने खिलाए और उसकी मस्तिष्क गतिविधि को देखा। उन्होंने एक सरल उपकरण का उपयोग किया जिसे "लीनियर प्रोब" (linear probe) कहा जाता है (इसे एक सुपर-क्विक डिटेक्टर के रूप में सोचें) जो मस्तिष्क की गतिविधि को स्कैन करता है। उन्होंने पूछा: "यदि मैं अभी मस्तिष्क की गतिविधि को देखूँ, तो क्या मैं बता सकता हूँ कि यह रॉक है या जैज़?"

उन्होंने पाया कि रोबोट के मस्तिष्क की कुछ परतों में, रॉक और जैज़ के बीच का अंतर बहुत स्पष्ट और आसानी से पहचाने जाने योग्य था। इसने सिद्ध किया कि रोबोट वास्तव में शैलियों को एक रैखिक (linear), गणितीय तरीके से "समझता" है, जिससे इसे मैनिपुलेट करना आसान हो जाता है।

3. प्रयोग: शैलियों का मिश्रण (Mixing Genres)

शोधकर्ताओं ने शैलियों को चलते-फिरते (on the fly) मिलाने का परीक्षण करने के लिए इसका उपयोग किया। उन्होंने एक गाना लिया जो रॉक के रूप में शुरू हुआ और उसे क्लासिकल की ओर मोड़ने की कोशिश की, या जैज़ को इलेक्ट्रॉनिक में बदलने की कोशिश की।

पुराना तरीका (टेक्स्ट प्रॉम्प्टिंग): उन्होंने रोबोट से पूछा, "एक ऐसा गाना बजाओ जो जैज़ जैसा लगे लेकिन जिसकी शुरुआत रॉक से हुई हो।" रोबोट ने अपनी पूरी कोशिश की, लेकिन परिणाम अक्सर थोड़ा अस्त-व्यस्त या वास्तविक मिश्रण जैसा नहीं था।
नया तरीका (स्टीयरिंग): उन्होंने मूल रॉक गाना रखा लेकिन जैज़ की ओर धकेलने के लिए अपना "चुंबकीय धक्का" (magnet nudge) जोड़ दिया।

4. परिणाम: क्या यह काम कर गया?

उन्होंने परिणामों का परीक्षण दो तरीकों से किया:

कंप्यूटर टेस्ट: उन्होंने एक अन्य AI (जिसे CLAP कहा जाता है) का उपयोग किया जो गानों को सुन सकता है और लक्षित शैली के साथ वे कितनी अच्छी तरह मेल खाते हैं, इसकी रेटिंग दे सकता है। "धक्का" (nudge) विधि ने टेक्स्ट प्रॉम्प्ट का उपयोग करने की तुलना में लगातार उच्च स्कोर प्राप्त किया। कंप्यूटर स्पष्ट रूप से अंतर सुन सकता था।
मानव टेस्ट: उन्होंने 24 लोगों (जिनमें प्रशिक्षित संगीतकार और सामान्य श्रोता शामिल थे) को गाने सुनाए। उन्होंने एक ही गाने के दो संस्करण बजाए: एक टेक्स्ट प्रॉम्प्ट से बनाया गया और दूसरा "धक्के" (nudge) से बनाया गया।
- फैसला: लगभग हर मामले में, मनुषनों ने "नज" (nudge) संस्करण को पसंद किया। उन्हें लगा कि यह शैलियों को अधिक स्वाभाविक रूप से मिलाता है और संगीत को सुसंगत बनाए रखता है। यहाँ तक कि संगीतकारों ने भी सहमति व्यक्त की कि "नज" विधि बेहतर सुनाई देती है।

यह क्यों महत्वपूर्ण है?

लेखक दावा करते हैं कि यह एक हल्का (lightweight) और नियंत्रणीय (controllable) तरीका है।

हल्का (Lightweight): आपको रोबोट को फिर से प्रशिक्षित करने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है। आप बस इसके काम करने के दौरान सेटिंग्स को ट्यून कर सकते हैं।
नियंत्रणीय (Controllable): "धक्के" की शक्ति एक नॉब (knob) की तरह है जिसे आप घुमा सकते हैं। आप शैली परिवर्तन को सूक्ष्म या नाटकीय बना सकते हैं, जिससे मानव निर्माता को अंतिम ध्वनि पर बारीक नियंत्रण मिलता है।

संक्षेप में, लेखकों ने पाया कि वे संगीत AI से न केवल शब्दों के माध्यम से, बल्कि सीधे उसके आंतरिक विचारों को समायोजित करके बात कर सकते हैं, जिसके परिणामस्वरूप अधिक सुचारू, अधिक सटीक और अधिक रचनात्मक शैली-मिश्रण वाला संगीत प्राप्त होता है।

तकनीकी सारांश: एक्टिवेशन स्टीयरिंग के माध्यम से शैली-नियंत्रित संगीत निर्माण

समस्या विवरण
कंप्यूटेशनल संगीत निर्माण तेजी से गैर-पारंपरिक शैलियों की ओर बढ़ रहा है, जिससे विविध संगीत तत्वों के सटीक और नियंत्रणीय मिश्रण की मांग पैदा हो रही है। जबकि पूर्ववर्ती कंडीशनल म्यूजिक जनरेशन कार्यों ने टेक्स्ट-आधारित प्रॉम्प्ट (जैसे शैली या मूड विवरण) या वाद्य यंत्र और कॉर्ड नियंत्रण के लिए फाइन-ट्यूनिंग का उपयोग किया है, इन दृष्टिकोणों के लिए अक्सर महत्वपूर्ण कंप्यूटेशनल संसाधनों की आवश्यकता होती है या उनमें सूक्ष्म नियंत्रण (fine-grained control) का अभाव होता है। मौजूदा इन्फरेंस-टाइम इंटरवेंशन तकनीकें मुख्य रूप से डिस्क्रीट एट्रिब्यूट्स या लैंग्वेज मॉडल्स तक सीमित रही हैं, जिससे ऑटोरिग्रेसिव ट्रांसफॉर्मर्स में निरंतर (continuous), गैर-बाइनरी अवधारणाओं जैसे कि संगीत शैलियों को नियंत्रित करने के लिए हल्के और प्रभावी तरीकों की कमी रह गई है।

कार्यप्रणाली (Methodology)
लेखक ऑटोरिग्रेसिव जेनेरेटिव ट्रांसफॉर्मर, MusicGen पर इन्फरेंस-टाइम इंटरवेंशन का उपयोग करके सूक्ष्म शैली नियंत्रण (genre control) के लिए एक विधि प्रस्तावित करते हैं। यह दृष्टिकोण मैकेनिस्टिक इंटरप्रिटेबिलिटी और एक्टिवेशन इंजीनियरिंग पर आधारित है, जो LLMs को इंटरप्रेट करने के लिए उपयोग की जाने वाली तकनीकों से प्रेरित है।

अवधारणा पहचान और लीनियर प्रोबिंग (Concept Identification and Linear Probing):
- लेखक संगीत की अवधारणाओं (विशेष रूप से शैलियों: रॉक, क्लासिकल, इलेक्ट्रॉनिक और जैज़) को कहाँ रैखिक रूप से (linearly) दर्शाया गया है, यह पहचानने के लिए MusicGen के रेसिडुअल स्ट्रीम एक्टिवेशन और अटेंशन लेयर आउटपुट का विश्लेषण करते हैं।
- वे लेयर्स के बीच एक्टिवेशन पर $k$ -means क्लस्टरिंग लागू करते हैं और यह निर्धारित करने के लिए कि शैली की जानकारी किस लेयर में सबसे अधिक स्पष्ट है, एडजस्टेड रैंड इंडेक्स (ARI) और नॉर्मलाइज्ड म्यूचुअल इंफॉर्मेशन (NMI) का मूल्यांकन करते हैं।
- लीनियर प्रोब्स: विशिष्ट लेयर्स के रेसिडुअल स्ट्रीम एक्टिवेशन ( $h^l_a$ ) पर एक लीनियर क्लासिफायर (प्रोब) को शैली लेबल की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। प्रोब एक मैपिंग $\hat{y} = W^\top h^l_a + b$ सीखता है। उच्चतम प्रोब सटीकता देने वाली लेयर को अवधारणा के लीनियर प्रतिनिधित्व के इष्टतम स्थान के रूप में पहचाना जाता है।
एक्टिवेशन स्टीयरिंग (Activation Steering):
- एक बार जब इष्टतम लेयर और स्टीयरिंग वेक्टर (प्रोब वेट्स से प्राप्त) की पहचान हो जाती है, तो लेखक इन्फरेंस-टाइम इंटरवेंशन करते हैं।
- एक यूनिट-मैग्निट्यूड स्टीयरिंग वेक्टर $r^l$ को टारगेट लेयर से पहले रेसिडुअल स्ट्रीम एक्टिवेशन में जोड़ा जाता है। इस हस्तक्षेप को एक हाइपरपैरामीटर $\alpha$ (रेंज $[0.3, 1.0]$ में खोजा गया) द्वारा स्केल किया जाता है और नॉर्मलाइज़ किया जाता है:
  $h^l_i \leftarrow h^l_i + \frac{\alpha r^l}{1 + \alpha}$
- इस हस्तक्षेप को कंडीशनल रेसिडुअल स्ट्रीम पर चुनिंदा रूप से लागू किया जाता है, जिससे मॉडल को लक्षित शैली की ओर निर्देशित करने की अनुमति मिलती है, जबकि टेम्पो और मेलोडिक लाइन्स जैसे अन्य फीचर्स को सुरक्षित रखा जाता है, जिनके बारे में लेखकों का अनुमान है कि वे विभिन्न लेयर्स में दर्शाए गए हैं।
प्रायोगिक सेटअप (Experimental Setup):
- प्रयोगों में musicgen-small मॉडल और lewtun/music_genres डेटासेट (रॉक, क्लासिकल, इलेक्ट्रॉनिक और जैज़ के लिए प्रति क्लास 900 सैंपल) से 10-सेकंड के ऑडियो सेगमेंट के संतुलित डेटासेट का उपयोग किया गया है।
- ट्रांजिशन का परीक्षण जोड़ों में किया गया (जैसे, Classical $\to$ Electronic, Rock $\to$ Classical) और इसकी तुलना उस बेसलाइन से की गई जहाँ ट्रांजिशन केवल टेक्स्ट प्रॉम्प्टिंग के माध्यम से प्राप्त किया गया था।

प्रमुख योगदान (Key Contributions)
पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

उपयोगकर्ता-नियंत्रणीय स्टीयरिंग: एक ऐसी विधि जो उपयोगकर्ताओं को मॉडल को पुन: प्रशिक्षित किए बिना विशिष्ट शैली नियंत्रण प्राप्त करने के लिए MusicGen एक्टिवेशन को निर्देशित करने में सक्षम बनाती है।
मानव-नियंत्रणीय इंटरैक्शन के रूप में एक्टिवेशन स्टीयरिंग को फ्रेम करके, यह कार्य प्रदर्शित करता है कि व्याख्या योग्य मॉडल व्यवहार सह-रचनात्मक (co-creative) वर्कफ़्लो को सशक्त बना सकता है।
निरंतर अवधारणाओं का विस्तार: डिस्क्रीट एट्रिब्यूट्स के लिए उपयोग की जाने वाली कंप्यूट-एफिशिएंट एक्टिवेशन स्टीयरिंग तकनीकों का विस्तार, संगीत शैलियों जैसी निरंतर, गैर-बाइनरी अवधारणाओं तक करना।
सत्यापन: यह सत्यापित करने के लिए कि एक्टिवेशन स्टीयरिंग संगीत की सुसंगतता बनाए रखते हुए शैली नियंत्रण को बढ़ाता है, CLAP-आधारित मात्रात्मक मेट्रिक्स और मानव संवेदी अध्ययन (2AFC लिसनिंग टेस्ट) दोनों का उपयोग करके एक व्यापक मूल्यांकन।

परिणाम (Results)
अध्ययन ने दो दृष्टिकोणों से विधि का मूल्यांकन किया:

मात्रात्मक (CLAP स्कोर): ज़ीरो-शॉट ऑडियो क्लासिफिकेशन के लिए clap-htsat-unfused मॉडल का उपयोग करते हुए, लेखकों ने लक्षित शैली लेबल के प्रति उत्पन्न ऑडियो की समानता को मापा। परिणामों ने दिखाया कि स्टीयरिंग ने टेक्स्ट प्रॉम्प्टिंग की तुलना में CLAP स्कोर में लगातार बड़े सकारात्मक बदलाव उत्पन्न किए। उदाहरण के लिए, "Classical $\to$ Electronic" ट्रांजिशन में, स्टीयर्ड विधि ने $+0.1276$ के प्रॉम्प्टिंग $\Delta$ CLAP की तुलना में $+0.2057$ का $\Delta$ CLAP दिया।
गुणात्मक (मानव श्रवण अध्ययन): 24 प्रतिभागियों (7 प्रशिक्षित संगीतकार और 17 गैर-संगीतकार) वाले 2-अल्टरनेटिव फोर्स्ड चॉइस (2AFC) अध्ययन ने सभी शैली ट्रांजिशन में प्रॉम्प्टेड बेसलाइन की तुलना में स्टीयर्ड सैंपल्स के लिए निरंतर प्राथमिकता प्रकट की। प्रशिक्षित संगीतकारों ने स्टीयर्ड सैंपल्स को पसंद करने में उच्च सटीकता दिखाई (जैसे, Rock $\to$ Classical के लिए 80.5%, $p < 0.0001$ ), और सामान्य दर्शकों ने भी अधिकांश मामलों में महत्वपूर्ण प्राथमिकता दिखाई।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि एक्टिवेशन स्टीयरिंग, नियंत्रणीय संगीत निर्माण के लिए भारी फाइन-ट्यूनिंग या टेक्स्ट-ओनली कंडीशनिंग के मुकाबले एक हल्का, व्याख्या योग्य और प्रभावी विकल्प प्रदान करता है। एक्टिवेशन स्टीयरिंग को एक मानव-नियंत्रणीय इंटरैक्शन के रूप में फ्रेम करके, यह कार्य प्रदर्शित करता है कि व्याख्या योग्य मॉडल व्यवहार सह-रचनात्मक वर्कफ़्लो को सशक्त बना सकते हैं।

लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि CLAP स्कोर शैली संरेखण के लिए एक उपयोगी प्रॉक्सी के रूप में कार्य करते हैं, वे संभवतः स्पष्ट शैली सिमेंटिक्स के बजाय सह-संबंधित संगीत गुणों (टिम्ब्रे, टेम्पो, रिदम) को कैप्चर करते हैं। स्टीयरिंग स्ट्रेंथ को एक निश्चित हाइपरपैरामीटर के बजाय उपयोगकर्ताओं के लिए एक इंटरैक्टिव पैरामीटर के रूप में प्रस्तुत किया गया है। यह कार्य निष्कर्ष निकालता है कि यह दृष्टिकोण स्पष्ट रूप से विरोधाभासी नमूनों की अनुपस्थिति में भी संगीत विशेषताओं को हेरफेर करने के लिए इन्फरेंस-टाइम इंटरवेंशन की क्षमता को मान्य करता है, जो नियंत्रणीय संगीत निर्माण में अधिक सामान्यीकरण योग्य और व्याख्या योग्य रणनीतियों के लिए मार्ग प्रशस्त करता है।

1. "मस्तिष्क का धक्का" (एक्टिवेशन स्टीयरिंग - Activation Steering)

2. "शैली डिटेक्टर" (लीनियर प्रोब्स - Linear Probes)

3. प्रयोग: शैलियों का मिश्रण (Mixing Genres)

4. परिणाम: क्या यह काम कर गया?

यह क्यों महत्वपूर्ण है?

इसी तरह के और पेपर