Spacing Out: On the Reliability of Binaural Music Source Separation Metrics

अंतरिक्ष की ध्वनि: आपके हेडफ़ोन आपसे झूठ क्यों बोल रहे हो सकते हैं

कल्पना कीजिए कि आप एक लाइव कॉन्सर्ट में हैं। आप केवल संगीत सुनते ही नहीं हैं; आप अपने बाईं ओर ड्रमर को महसूस करते हैं, गायक ठीक आपके सामने है, और फर्श से बास (bass) की थरथराहट महसूस होती है। ध्वनि के "अंदर" होने के इस अहसास को इमर्सिव ऑडियो (immersive audio) कहा जाता है। दशकों से, वैज्ञानिक और इंजीनियर कंप्यूटर को भी यही सिखाने की कोशिश कर रहे हैं: संगीत के एक बिखरे हुए मिश्रण में से व्यक्तिगत वाद्ययंत्रों को अलग करना (जैसे वोकल्स को ड्रम्स से अलग करना), जबकि उस जादुई अहसास को बनाए रखना कि हर चीज़ कहाँ स्थित है। इस कार्य को म्यूजिक सोर्स सेपरेशन (MSS) के रूप में जाना जाता है।

इसे करने के लिए, कंप्यूटर अक्सर बाइनोरल ऑडियो (binaural audio) का उपयोग करते हैं, जो ध्वनि रिकॉर्ड करने का एक विशेष तरीका है जो इस बात की नकल करता है कि हमारे दोनों कान दुनिया को कैसे सुनते हैं। यह वह गुप्त मंत्र है जो वर्चुअल रियलिटी (VR) और ऑगमेंटेड रियलिटी (AR) को वास्तविक बनाता है। लेकिन यहाँ एक पेंच है: जब कंप्यूटर इन बाइनोरल ट्रैक्स को अलग करने की कोशिश करते हैं, तो वे अक्सर "स्थानिक" (spatial) हिस्से को बिगाड़ देते हैं। वाद्ययंत्र सपाट सुनाई दे सकते हैं, या ड्रमर अचानक गायक के बगल में खड़ा दिखाई दे सकता है, भले ही वे एक-दूसरे से दूर हों। इसे ठीक करने के लिए, शोधकर्ताओं को एक तरीके की आवश्यकता है जिससे वे अपने कंप्यूटर मॉडल की गुणवत्ता को माप सकें। वे सेपरेशन को स्कोर देने के लिए मेट्रिक्स (metrics) नामक गणितीय सूत्रों का उपयोग करते हैं। लेकिन क्या होगा यदि वे सूत्र दोषपूर्ण हों? क्या होगा यदि कंप्यूटर कहे, "बहुत बढ़िया काम किया!" जबकि एक मानव श्रोता सोचे, "यह सुनने में बहुत बुरा लग रहा है"? यह शोध पत्र ठीक इसी रहस्य की जांच करता है, कि क्या वे उपकरण जिनका उपयोग हम 3D ध्वनि को मापने के लिए करते हैं, वास्तव में विश्वसनीय हैं।

शोध पत्र: जब गणित मानव कान से मिलता है

इस अध्ययन में, न्यूयॉर्क यूनिवर्सिटी के शोधकर्ताओं ने बाइनोरल संगीत सेपरेशन को मापने वाले उपकरणों के साथ जासूसी करने का निर्णय लिया। वे जानना चाहते थे: क्या कंप्यूटर स्कोर उस चीज़ से मेल खाते हैं जो मनुष्य वास्तव में सुनते हैं?

यह पता लगाने के लिए, उन्होंने विशेष रूप से बाइनोरल संगीत पर प्रशिक्षित एक नया कंप्यूटर मॉडल बनाया (आइए इसे "बाइनोरल डिटेक्टिव" कहें) और इसकी तुलना केवल मानक स्टीरियो संगीत पर प्रशिक्षित एक पुराने मॉडल ("स्टीरियो डिटेक्टिव") से की। इसके बाद उन्होंने मानव श्रोताओं के एक समूह को परिणाम का निर्णय लेने के लिए कहा। मनुष्यों ने अलग किए गए वाद्ययंत्रों—जैसे बास, ड्रम्स और वोकल्स—को सुना और उन्हें यह चुनना था कि कौन सा संस्करण मूल की तरह अधिक लगता है, और क्या वाद्ययंत्र 3D स्पेस में सही जगह पर महसूस होते थे।

बड़ी हैरानी: गणित भ्रमित है

परिणाम थोड़े चौंकाने वाले थे। शोधकर्ताओं ने पाया कि कंप्यूटर मेट्रिक्स (गणितीय सूत्र) और मानव श्रोता हमेशा सहमत नहीं होते थे।

• अच्छी खबर: दो विशिष्ट मेट्रिक्स, जिन्हें $\Delta$ILD (जो कानों के बीच तीव्रता के अंतर को मापता है) और SRR (जो मिश्रण में "बचे हुए शोर" को मापता है) कहा जाता है, ने काफी हद तक वही काम किया जो मानव पसंद से मेल खाता था। यदि ये संख्याएँ अधिक थीं, तो मनुष्य आमतौर पर सोचते थे कि ध्वनि अच्छी है।
• बुरी खबर: $\Delta$ITD के लिए मेट्रिक (जो ध्वनि के बाएं कान और दाएं कान तक पहुँचने के बीच के सूक्ष्म समय के अंतर को मापता है) पूरी तरह से विफल रहा। यह सबसे महत्वपूर्ण सुराग है जो हमें बताता है कि ध्वनि कहाँ से आ रही है, फिर भी कंप्यूटर की इसकी गणना बेहद अविश्वसनीय थी।

"बास की समस्या" (The Bass Problem)

शोध पत्र में पाया गया कि $\Delta$ITD मेट्रिक बास वाद्ययंत्रों (bass instruments) के साथ निपटने में विशेष रूप से खराब है। बास गिटार या किक ड्रम के बारे में सोचें; वे कम आवृत्ति वाली, गूँजती हुई ध्वनियाँ पैदा करते हैं। शोधकर्ताओं ने पाया कि इन वाद्ययंत्रों के लिए, कंप्यूटर का समय-अंतर (time-difference) वाला कैलकुलेशन अक्सर हार मान लेता था और कहता था, "सब कुछ आपके ठीक सामने है," भले ही बास स्पष्ट रूप से बाईं या दाईं ओर हो।

क्यों? इस समय के अंतर की गणना करने के लिए उपयोग किया जाने वाला गणित (एक विधि जिसे GCC-PHAT कहा जाता है) एक अत्यंत संवेदनशील माइक्रोफ़ोन की तरह है जो मामूली सांख्यिकीय शोर या "सेपरेशन आर्टिफैक्ट्स" (कंप्यूटर के काम से बचे हुए सूक्ष्म त्रुटियों) से भी भ्रमित हो जाता है। जब कंप्यूटर बास को अलग करने की कोशिश करता है, तो वह पीछे सूक्ष्म, अदृश्य गड़बड़ियाँ छोड़ देता है। गणित का सूत्र इन गड़बड़ियों को देखता है और घबरा जाता है, जिससे वह समय के अंतर का पीछा करना पूरी तरह से खो देता है।

असंभव समझौता (The Impossible Trade-off)

शोधकर्ताओं ने गणित को बदलकर इसे ठीक करने की कोशिश की, विभिन्न गणनाओं (जैसे Weighted GCC-PHAT और Masked GCC-PHAT) का उपयोग किया। उन्हें उम्मीद थी कि वे गणना को अधिक मजबूत (robust) बना पाएंगे (ताकि यह आसानी से न टूटे)।

हालाँकि, उन्होंने एक निराशाजनक समझौता (trade-off) उजागर किया:

• यदि वे गणित को मजबूत (robust) बनाते (ताकि यह आसानी से न टूटे), तो यह कम सटीक (less accurate) हो जाता (यह बाएं और दाएं के बीच अंतर नहीं कर पाता)।
• यदि वे इसे सटीक (accurate) बनाते (ताकी यह बाएं और दाएं के बीच अंतर कर सके), तो यह नाजुक (fragile) हो जाता (थोड़े से शोर के साथ ही यह टूट जाता)।

यह रेडियो ट्यून करने जैसा है: यदि आप एक बहुत ही स्पष्ट सिग्नल पाने के लिए डायल घुमाते हैं, तो यदि आप अपना हाथ एक इंच भी हिलाते हैं, तो स्टेशन गायब हो सकता है। यदि आप इसे ढीला छोड़ देते हैं ताकि यह चालू रहे, तो ध्वनि शोर से भरी होती है। शोध पत्र सुझाव देता है कि बास वाद्ययंत्रों के लिए, वर्तमान में हमारे पास स्पष्टता और स्थिरता दोनों को एक साथ प्राप्त करने का कोई तरीका नहीं है।

सेंटर स्टेज का भ्रम

एक अन्य दिलचस्प खोज साउंडस्टेज के केंद्र (center) में रखे गए वाद्ययंत्रों (जैसे मुख्य गायक) के बारे में थी। जब गायक बीच में था, तो मनुष्यों को "बाइनोरल डिटेक्टिव" और "स्टीरियो डिटेक्टिव" के बीच अंतर करने में कठिनाई हुई। क्योंकि मनुष्य स्टीरियो संगीत में मुख्य गायकों को केंद्र में सुनने के आदी हैं, इसलिए वे अक्सर स्टीरियो संस्करण को पसंद करते थे, भले ही बाइनोरल संस्करण तकनीकी रूप से अधिक सटीक हो। हालाँकि, कंप्यूटर मेट्रिक्स लगातार बाइनोरल संस्करण को बेहतर बता रहे थे। इससे पता चला कि गणित एक ऐसे तकनीकी विवरण को पुरस्कृत कर रहा था जिसकी मनुष्यों को उस विशिष्ट स्थिति में वास्तव में परवाह नहीं थी।

निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि जबकि हमारे पास यह मापने के लिए कुछ अच्छे उपकरण हैं कि अलग किया गया संगीत कितना तेज़ और साफ सुनाई देता है ($\Delta$ILD और SRR), लेकिन ध्वनि कहाँ से आ रही है इसे मापने के उपकरण ($\Delta$ITD) वर्तमान में टूटे हुए हैं, विशेष रूप से कम आवृत्ति वाले वाद्ययंत्रों जैसे बास के लिए।

लेखक सुझाव देते हैं कि हम अब केवल कंप्यूटर स्कोर पर भरोसा नहीं कर सकते। हमें नए, स्मार्ट मेट्रिक्स बनाने की आवश्यकता है जो यह समझें कि मनुष्य वास्तव में स्थान (space) को कैसे सुनते हैं, न कि केवल उन नंबरों की गणना करें जो मामूली त्रुटि के पहले ही ढह सकते हैं। तब तक, यदि आप जानना चाहते हैं कि आपका 3D म्यूजिक सेपरेशन काम कर रहा है या नहीं, तो आपको एक कैलकुलेटर के बजाय एक इंसान से पूछना पड़ सकता है।