Learning to Predict Performance-induced Emotion Differences in Classical Piano Music

संगीत की कल्पना एक विशाल, अदृश्य भाषा के रूप में करें जो सीधे हमारी भावनाओं से बात करती है। दशकों से, वे वैज्ञानिक जो यह अध्ययन करते हैं कि कंप्यूटर संगीत को कैसे समझते हैं (एक क्षेत्र जिसे 'म्यूजिक इंफॉर्मेशन रिट्रिवल' कहा जाता है), मशीनों को यह सिखाने की कोशिश कर रहे हैं कि एक गीत के बारे में "महसूस" कैसे किया जाए। आमतौर पर, वे स्वयं शीट संगीत (sheet music) को देखते हैं—स्वर, गति, और यह कि क्या गाना एक खुशहाल मेजर की (major key) में है या एक उदास माइनर की (minor key) में। यह किसी नाटक की पटकथा को पढ़कर केवल यह अनुमान लगाने जैसा है कि व्यक्ति का मूड कैसा होगा, बिना कभी अभिनेताओं को देखे। लेकिन हम सभी जानते हैं कि एक ही पटकथा को सौ अलग-अलग तरीकों से निभाया जा सकता है: एक अभिनेता एक पंक्ति को दिल तोड़ने वाली उदासी के साथ फुसफुसा सकता है, जबकि दूसरा उसे क्रोधित ऊर्जा के साथ चिल्लाकर बोल सकता है। आप जो शोध पत्र पढ़ने जा रहे हैं, वह इसी विशिष्ट रहस्य में गहराई तक जाता है: क्या एक कंप्यूटर यह पहचानना सीख सकता है कि एक संगीतकार कैसे बजाता है, और उन सूक्ष्म, अदृश्य अंतरों का उपयोग करके यह अनुमान लगा सकता है कि वह संगीत हमें कैसा महसूस कराएगा?

इस अध्ययन के पीछे के शोधकर्ताओं ने "पटकथा" (रचना) को देखना बंद करने और पूरी तरह से "अभिनेताओं" (परफॉर्मर्स) पर ध्यान केंद्रित करने का निर्णय लिया। उन्होंने जे.एस. बाख (J.S. Bach) के शास्त्रीय पियानो के छह प्रसिद्ध रिकॉर्डिंग एकत्र किए, जिन्हें छह अलग-अलग विश्व स्तरीय पियानो वादकों द्वारा बजाया गया था। चूंकि शीट संगीत उन सभी के लिए समान है, इसलिए संगीत कैसा महसूस होता है, इसमें कोई भी अंतर पियानो वादक के अनूठे स्पर्श—उनकी गति, उनकी तीव्रता और उनके स्वरों को जोड़ने के तरीके—से आता है। टीम ने एक विशेष "इमोशन डिकोडर" बनाया जो स्वरों को अनदेखा करता है और केवल इन प्रदर्शन के कौशलों (performance tricks) को देखता है। उन्होंने पाया कि हालांकि एक प्रदर्शन को सुनकर कंप्यूटर के लिए सटीक भावना का अनुमान लगाना कठिन है, लेकिन यह यह बताने में आश्चर्यजनक रूपв रूप से अच्छा है कि एक प्रदर्शन दूसरे से कैसे भिन्न है। दूसरे शब्दों में, कंप्यूटर को यह नहीं पता हो सकता कि एक गाना "उदास" है, लेकिन वह आपको भरोसेमंद तरीके से बता सकता है कि पियानिस्ट A का संस्करण पियानिस्ट B की तुलना में "अधिक ऊर्जावान और कम उदास" है।

"इमोशन डिकोडर" की कहानी

एक शास्त्रीय पियानो रचना की कल्पना एक केक की रेसिपी की तरह करें। रेसिपी (शीट संगीत) आपको बताती है कि कितना आटा, चीनी और अंडे का उपयोग करना है। लेकिन कल्पना करें कि दो अलग-अलग बेकर्स वही केक बना रहे हैं। एक बेकर इसे थोड़ा अधिक समय तक बेक कर सकता है, जिससे यह थोड़ा सूखा और कुरकुरा हो जाता है। दूसरा बैटर को अधिक ज़ोर से मिला सकता है, जिससे यह अधिक फूला हुआ बनता है। भले ही सामग्री समान हो, अंतिम स्वाद अलग होता है। संगीत की दुनिया में, इन "बेकिंग ट्रिक्स" को परफॉर्मेंस नुआंस (performance nuances) कहा जाता है। इनमें एक नोट को थोड़ा जल्दी या देर से बजाना (टाइमिंग), कुंजियों को ज़ोर से या धीरे से दबाना (डायनामिक्स), और लिखे गए अनुसार नोट को लंबा या छोटा रखना (आर्टिक्यूलेशन) शामिल है।

लंबे समय तक, संगीत की भावना को समझने की कोशिश करने वाले कंप्यूटर उन खाद्य समीक्षकों की तरह थे जो केवल सामग्री की सूची देखते थे। वे जानते थे कि बहुत अधिक चीनी वाली रेसिपी मीठी होती है, लेकिन वे यह नहीं समझा सके कि एक बेकर का केक "क्रोधित" क्यों लगा और दूसरे का "आनंदमय" क्यों, जबकि दोनों ने समान चीनी का उपयोग किया था। इस अध्ययन में, जोआन चिंग और गेरार्ड विडमर के नेतृत्व में, एक साहसिक प्रश्न पूछा गया: क्या होगा यदि हम सामग्री को पूरी तरह से अनदेखा कर दें और केवल बेकर्स के हाथों का अध्ययन करें?

ऐसा करने के लिए, शोधकर्ताओं ने CP-WTC नामक एक डेटासेट का उपयोग किया, जिसमें बाख के वेल-टेम्पर्ड क्लेवियर (बुक I) की रिकॉर्डिंग शामिल हैं। यह संग्रह इस तरह के अध्ययन के लिए एक खजाना है क्योंकि बाख ने संगीत कैसे बजाना है, इसके बारे में बहुत कम विशिष्ट निर्देश लिखे थे। उन्होंने "बेकिंग निर्देश" को खुला छोड़ दिया, जिससे छह प्रसिद्ध पियानो वादकों—ग्लेन गोल्ड, फ्रेडरिक गुल्डा, एंजेला ह्यूइट, स्वियाटोस्लाव रिक्टर, एंड्रास शिफ़, और रोज़लिन टुरेक—को उन्हीं 48 रचनाओं पर अपना अनूठा अंदाज़ डालने का मौका मिला।

टीम ने परफॉर्मेंस कोडक (Performance Codec) नामक एक विशेष उपकरण बनाया। इसकी कल्पना एक उच्च-तकनीकी अनुवादक के रूप में करें जो ऑडियो रिकॉर्डिंग को सुनता है और पियानो वादक की शारीरिक क्रियाओं को प्रत्येक नोट के लिए चार सरल संख्याओं में परिवर्तित करता है:

1. बीट पीरियड (Beat Period): लिखित स्कोर की तुलना में पियानो वादक कितनी तेज़ी से या धीरे बजा रहा है।
2. वेलोसिटी (Velocity): वे कुंजियों को कितनी ज़ोर से मारते हैं (जो तीव्रता को नियंत्रित करता है)।
3. टाइमिंग (Timing): क्या वे एक नोट को थोड़ा जल्दी या देर से बजाते हैं।
4. आर्टिक्यूलेशन (Articulation): वे लिखित अवधि की तुलना में नोट को कितनी देर तक थामे रखते हैं।

महत्वपूर्ण बात यह है कि यह उपकरण इस जानकारी को फेंक देता है कि कौन से स्वर बजाए जा रहे हैं। यह केवल इस बात की परवाह करता है कि उन्हें कैसे बजाया जा रहा है। यह सुनिश्चित करता है कि कंप्यूटर "उदासी" वाले मेजर की (minor key) पर निर्भर न रहे; इसे शुद्ध रूप से प्रदर्शन शैली से भावना को समझना होगा।

चुनौती: "औसत" की समस्या

शोधकर्ताओं ने पहले कंप्यूटर को इन चार संख्याओं का उपयोग करके प्रदर्शन की सटीक भावना का अनुमान लगाने के लिए प्रशिक्षित करने का प्रयास किया। उन्होंने कंप्यूटर से पूछा: "क्या यह प्रदर्शन खुश है या उदास? क्या यह शांत है या रोमांचक?" उन्होंने इसे दो पैमानों का उपयोग करके मापा: वेलेंस (Valence) (भावना कितनी सकारात्मक या नकारात्मक है) और अराउज़ल (Arousal) (भावना कितनी शांत या ऊर्जावान है)।

परिणाम थोड़े निराशाजनक थे। कंप्यूटर सटीक भावना का अनुमान लगाने में संघर्ष कर रहा था। यह कमरे के तापमान का अनुमान लगाने के लिए किसी व्यक्ति के कोट को देखने जैसा था; आपको एक सामान्य विचार मिल सकता है, लेकिन आप काफी गलत हो सकते हैं। कंप्यूटर प्रदर्शन की अभिव्यक्ति को कम आंकने की प्रवृत्ति रखता था। ऐसा लगा कि लिखित स्वर (रेसिपी) को जाने बिना, कंप्यूटर भावना को सही ढंग से स्थापित नहीं कर सका।

हालाने, शोधकर्ताओं के पास एक शानदार "प्लान बी" था। "सटीक भावना क्या है?" पूछने के बजाय, उन्होंने पूछा, "यह प्रदर्शन औसत से कैसे भिन्न है?"

उन्होंने डेल्टा-वीए (Delta-VA) नामक एक नया ढांचा विकसित किया। एक काल्पनिक "औसत" प्रदर्शन की कल्पना करें, जैसे एक सपाट, उबाऊ संस्करण जिसे एक रोबोट द्वारा बजाया गया हो। डेल्टा-वीए मॉडल यह अनुमान लगाने की कोशिश नहीं करता है कि वास्तविक प्रदर्शन भावना मानचित्र पर कहाँ स्थित है। इसके बजाय, यह उस रोबोट औसत से वास्तविक मानव प्रदर्शन तक के वेक्टर (vector) (दिशा और दूरी) की गणना करता है।

इसे निर्देश देने के समान समझें। यह कहने के बजाय कि "खजाना निर्देशांक 45, 90 पर है," जो अनुमान लगाना कठिन है यदि आपको पता नहीं है कि मानचित्र कहाँ से शुरू होता है, मॉडल कहता है, "केंद्र से 5 कदम उत्तर और 3 कदम पूर्व चलें।" भले ही कंप्यूटर शुरुआती बिंदु का अनुमान लगाने में परफेक्ट न हो, वह खजाना खोजने के लिए आपको जाने की दिशा बताने में बहुत अच्छा हो जाता है।

परिणाम: दिशा को सही पकड़ना

जब उन्होंने इस नए "डेल्टा-वीए" दृष्टिकोण का परीक्षण किया, तो परिणाम दिलचस्प थे। मॉडल प्रदर्शनों के बीच के अंतर की भविष्यवाणी करने में बहुत बेहतर हो गया।

• दिशा (The Direction): मॉडल दिशा को सही पकड़ने में अविश्वसनीय रूप से सटीक था। यदि पियानिस्ट A का संस्करण पियानिस्ट B की तुलना में अधिक ऊर्जावान था, तो मॉडल सही दिशा दिखाता था। वास्तव में, जब उन्होंने प्रदर्शनों के जोड़ों की तुलना की, तो मॉडल का अंतर का अनुमान वास्तविक सत्य के साथ लगभग पूरी तरह से संरेखित था, जिसमें औसत त्रुटि केवल लगभग 8.4 डिग्री थी (जहाँ 0 डिग्री पूर्णता है)।
• परिमाण (The Magnitude): हालाँकि, मॉडल अंतर के आकार को लेकर थोड़ा संकोच में था। यह कहता था, "हाँ, यह प्रदर्शन अधिक ऊर्जावान है," लेकिन यह नहीं बताता था कि कितना अधिक ऊर्जावान है। इसने संख्याओं को संकुचित कर दिया, जिससे बड़े अंतर छोटे दिखने लगे। "मैग्निट्यूड रेशियो" (Magnitude Ratio) लगभग 0.48 था, जिसका अर्थ है कि मॉडल ने भविष्यवाणी की कि अंतर वास्तविक अंतर के आधे के बराबर था।

इसे विज़ुअलाइज़ करने के लिए, कल्पना करें कि दो पियानो वादक एक ही रचना बजा रहे हैं। एक इसे उग्र, नाटकीय अंदाज़ के साथ बजाता है, और दूसरा इसे कोमल, सुस्त स्पर्श के साथ। डेल्टा-वीए मॉडल ने सही पहचान की कि उग्र वाला संस्करण कोमल वाले की तुलना में "अधिक सकारात्मक और अधिक ऊर्जावान" था। लेकिन जहाँ वास्तविक अंतर एक बड़ा अंतराल था, मॉडल ने इसे एक मध्यम आकार के अंतराल के रूप में वर्णित किया। इसने भावना की दिशा को सही पकड़ा, लेकिन तीव्रता को कम करके बताया।

यह क्यों मायने रखता है

यह अध्ययन बताता है कि हालांकि कंप्यूटर अभी उन मानव संगीत आलोचकों की जगह लेने के लिए तैयार नहीं हैं जिन्हें किसी गाने के सटीक मूड का वर्णन करने की आवश्यकता होती है, लेकिन वे प्रदर्शनों की तुलना करने में बहुत अच्छे हो रहे हैं। यह संगीत अनुशंसा प्रणालियों (music recommendation systems) जैसे कार्यों के लिए एक बड़ा कदम है।

कल्पना करें कि आप बाख की एक रिकॉर्डिंग सुन रहे हैं और आप सोचते हैं, "मुझे यह पसंद है, लेकिन काश यह थोड़ा कम उदास और थोड़ा अधिक उत्साहजनक होता।" अतीत में, कंप्यूटर केवल एक पूरी तरह से अलग गाना सुझा सकता था। लेकिन डेल्टा-वीए जैसे मॉडल के साथ, कंप्यूटर अपने पुस्तकालय में रिकॉर्डिंग देख सकता है और कह सकता है, "यहाँ एक अलग पियानो वादक द्वारा उसी रचना की एक रिकॉर्डिंग है जो थोड़ी अधिक उत्साहजनक और कम उदास है।"

शोधकर्ताओं ने पुष्टि की कि ये प्रदर्शन संबंधी विशेषताएं (समय, तीव्रता आदि) वास्तव में विभिन्न संगीतकारों के बीच सार्थक रूप से भिन्न होती हैं। वे केवल यादृच्छिक शोर (random noise) नहीं हैं; वे एक वास्तविक संकेत ले जाते हैं कि संगीत कैसा महसूस होता है। पूर्ण मूल्यों के बजाय अंतरों पर ध्यान केंद्रित करके, टीम ने कंप्यूटर को संगीत की व्याख्या की सूक्ष्म, मानवीय कला को समझने का एक तरीका खोजने में सफलता प्राप्त की।

अंत में, यह शोध पत्र संगीत की भावना के रहस्य को सुलझाने का दावा नहीं करता है। इसके बजाय, यह इसे देखने का एक नया, अधिक व्यावहारिक तरीका प्रदान करता है। यह दिखाता है कि यदि हम चाहते हैं कि कंप्यूटर यह समझे कि एक प्रदर्शन किसी गीत की भावना को कैसे बदलता है, तो हमें उन्हें शून्य से भावना का अनुमान लगाने के लिए नहीं कहना चाहिए। हमें उनसे यह पूछना चाहिए कि एक प्रदर्शन सामान्य से हटकर भावना को कैसे बदलता है। यह दृष्टिकोण में एक छोटा सा बदलाव है, लेकिन यह कंप्यूटर को संगीत को अधिक मानवीय तरीके से देखने की अनुमति देता है।