MoXaRt: Audio-Visual Object-Guided Sound Interaction for XR
मोक्सार्ट (MoXaRt) एक वास्तविक समय का एक्सटेंडेड रियलिटी (Extended Reality) सिस्टम है जो एक कैस्केडेड ऑडियो-विजुअल आर्किटेक्चर का लाभ उठाता है ताकि पांच तक के समवर्ती ध्वनि स्रोतों को अलग किया जा सके, जिससे जटिल ध्वनिक वातावरणों में भाषण की स्पष्टता में उल्लेखनीय सुधार होता है और संज्ञानात्मक भार कम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक चहल-पहल भरी पार्टी में हैं। वहाँ एक साथ तीन अलग-अलग बातचीत चल रही हैं, कोने में एक बैंड बज रहा है, और गिलासों के टकराने की आवाज़ आ रही है। इस समय, आपके मस्तिष्क को यह समझने के लिए बहुत मेहनत करनी पड़ रही है कि कौन क्या कह रहा है, जिससे आप अक्सर थका हुआ महसूस करते हैं और उस व्यक्ति पर ध्यान केंद्रित करने में असमर्थ हो जाते हैं जिससे आप वास्तव में बात करना चाहते हैं। यह "कॉकटेल पार्टी प्रॉब्लम" (Cocktail Party Problem) है, और वर्चुअल रियलिटी (XR) हेडसेट्स में यह और भी बदतर हो जाता है, जहाँ आप शोर को रोकने के लिए केवल अपना सिर घुमाकर काम नहीं चला सकते।
MoXaRt एक नया सिस्टम है जिसे इस समस्या को हल करने के लिए डिज़ाइन किया गया है। इसे अपने वास्तविक जीवन के लिए एक पर्सनल ऑडियो डीजे (DJ) के रूप में समझें, लेकिन यह आपके चश्मे के भीतर रहता है।
यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:
1. "सुपर-ईयर्स" (Super-Ears) और "सुपर-आईज" (Super-Eyes)
अधिकांश नॉइज़-कैंसलिंग हेडफ़ोन केवल यह कोशिश करते हैं कि बातचीत के अलावा सब कुछ शांत हो जाए, या वे यह कोशिश करते हैं कि बातचीत के अलावा सब कुछ शांत हो जाए। वे एक कुंद हथौड़े की तरह होते हैं।
MoXaRt अलग है। यह आपकी आँखों और कानों दोनों का उपयोग करता है।
- आँखें: सिस्टम आपके चश्मे के वीडियो फीड को देखता है। यह चेहरों और वाद्य यंत्रों (जैसे गिटार या पियानो) को पहचानता है। यह अनिवार्य रूप से कहता है, "ठीक है, मैं देख सकता हूँ कि वहाँ एक व्यक्ति बात कर रहा है, और मैं यहाँ एक वायलिन वादक को देख सकता हूँ।"
- कान: यह आपके माइक्रोफ़ोन से आने वाली अव्यवस्थित आवाज़ों को सुनता है।
- जादू: यह इन दोनों को जोड़ता है। क्योंकि यह वायलिन वादक को देख सकता है, इसलिए यह जानता है कि अव्यवस्थित ऑडियो का कौन सा हिस्सा वायलिन का है। यह फिर उस ध्वनि को मिश्रण से "निकाल" सकता है, ठीक वैसे ही जैसे उलझी हुई ऊन की गेंद में से एक विशिष्ट धागे को बाहर निकाला जाता है।
2. आपके हाथ में "ऑडियो मिक्सर"
एक बार जब MoXaRt ध्वनियों को अलग कर देता है, तो यह आपको एक वर्चुअल मिक्सिंग बोर्ड देता है।
- कॉन्सर्ट: कल्पना कीजिए कि आप एक लाइव शो में हैं। आपको सेलो (cello) पसंद है, लेकिन पियानो बहुत तेज़ है। MoXaRt के साथ, आप सेलिस्ट की ओर इशारा कर सकते हैं और कह सकते (या स्लाइडर का उपयोग कर सकते), "सेलो की आवाज़ बढ़ा दो!" और "पियानो की आवाज़ कम कर दो!" आप अपने स्वयं के अनुभव के लिए साउंड इंजीनियर बन जाते हैं।
- व्यस्त कैफे: आप अपने एक दोस्त से बात करने की कोशिश कर रहे हैं, लेकिन पास में एक बैंड बज रहा है। आप अपने दोस्त की ओर देखते हैं, और सिस्टम उनकी आवाज़ को बढ़ा देता है जबकि बैंड को बैकग्राउंड में धीमा कर देता है। यह ऐसा है जैसे आपकी बातचीत के साथी पर एक स्पॉटलाइट डाली गई हो जबकि कमरे का बाकी हिस्सा धुंधला हो जाता है।
3. यह कितना तेज़ है?
आप सोच सकते हैं, "क्या इसे प्रोसेस करने में बहुत समय लगता है?"
वर्तमान में, इसमें एक छोटा सा विलंब (delay) है—लगभग 2 सेकंड। इसे लाइव टीवी प्रसारण की तरह समझें जिसमें थोड़ा सा लैग (lag) होता है। सिस्टम वीडियो के 1 मिनट के हिस्से को देखता है और ऑडियो को देखता है, यह पता लगाता है कि कौन क्या आवाज़ निकाल रहा है, और फिर "रीमिक्स किया हुआ" संस्करण आपको वापस सुनाता है। हालाँकि 2 सेकंड तुरंत नहीं है, लेकिन यह बोलने को समझने और संगीत का आनंद लेने में बहुत बड़ा अंतर पैदा करने के लिए पर्याप्त तेज़ है।
4. यह क्यों महत्वपूर्ण है?
शोधकर्ताओं ने इसका परीक्षण वास्तविक लोगों के साथ शोर वाली स्थितियों (जैसे भीड़भाड़ वाली मीटिंग और कॉन्सर्ट) में किया।
- परिणाम: लोगों ने बिना MoXaRt के उपयोग के मुकाबले, MoXart का उपयोग करते समय अन्य लोगों की बातों को 36% बेहतर समझा।
- अनुभव: लोग मानसिक रूप से बहुत कम थकावट (cognitive load) महसूस कर रहे थे क्योंकि उन्हें शोर को छानने के लिए अपने मस्तिष्क पर ज़ोर नहीं देना पड़ा।
बड़ी तस्वीर (The Big Picture)
MoXaRt से पहले, यदि आप शोर वाले कमरे में किसी एक व्यक्ति को सुनना चाहते थे, तो आपको चिल्लाना पड़ता था, करीब जाना पड़ता था, या ऐसे हेडफ़ोन पहनने पड़ते थे जो सब कुछ ब्लॉक कर देते थे।
MoXaxt नियमों को बदल देता है। यह वास्तविक दुनिया के अराजक, उलझे हुए मलबे को एक साफ, व्यवस्थित प्लेलिस्ट में बदल देता है जिसे आप नियंत्रित कर सकते हैं। यह केवल दुनिया को शांत नहीं करता; यह आपको इसे क्यूरेट (curate) करने की अनुमति देता है, जिससे आपको उस चीज़ पर ध्यान केंद्रित करने की शक्ति मिलती है जो मायने रखती है और उसे अनदेखा करने की शक्ति मिलती है जो नहीं।
संक्षेप में: MoXart वास्तविकता के लिए एक रिमोट कंट्रोल देने जैसा है, जो आपको उन चीजों की आवाज़ बढ़ाने और उन चीजों को कम करने की अनुमति देता है जो आपको परेशान करती हैं, सब कुछ वास्तविक समय (real-time) में।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।