PhaseCoder: Microphone Geometry-Agnostic Spatial Audio Understanding for Multimodal LLMs
यह शोध पत्र PhaseCoder को प्रस्तुत करता है, जो एक ज्यामिति-अज्ञेय (geometry-agnostic) ट्रांसफार्मर एनकोडर है जो कच्चे मल्टीचैनल ऑडियो और माइक्रोफ़ोन निर्देशांकों को स्थानिक एम्बेडिंग में परिवर्तित करता है, जिससे मल्टीमॉडल LLMs को विविध डिवाइस कॉन्फ़िगरेशन में सुदृढ़ स्थानीयकरण और जटिल स्थानिक तर्क करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शोर-शराबे वाली पार्टी में हैं। आप कमरे के दूसरी ओर से भी अपने दोस्त की आवाज़ को आसानी से पहचान सकते हैं, भले ही संगीत तेज़ बज रहा हो और अन्य लोग आपस में बातें कर रहे हों। यह एक सुपरपावर है जिसे इंसानों ने "कॉकटेल पार्टी इफेक्ट" कहा है। हम केवल ध्वनि नहीं सुनते; हम महसूस करते हैं कि वह कहाँ से आ रही है। हमें पता होता है कि कोई आवाज़ हमारे पीछे है, हमारे बाईं ओर है, या हमसे दूर है। यह स्थानिक जागरूकता (spatial awareness) हमारे लिए इतनी स्वाभाविक है कि हम इसके बारे में शायद ही कभी सोचते हैं, लेकिन रोबोट और स्मार्ट असिस्टेंट के लिए, यह एक बहुत बड़ा रहस्य है। वर्तमान में, अधिकांश स्मार्ट उपकरण स्थान के प्रति "ऑडियो-अंधे" (audio-blind) हैं; वे ध्वनि की एक एकल, सपाट धारा सुनते हैं, जैसे कि एक सिंगल ईयरबड के माध्यम से रेडियो सुनना। वे आपको बता सकते हैं कि क्या कहा गया था, लेकिन उन्हें यह अंदाज़ा नहीं होता कि वक्ता कहाँ खड़ा है।
इसे ठीक करने के लिए, वैज्ञानिक कंप्यूटर को ध्वनि की दिशा समझना सिखाने की कोशिश कर रहे हैं। हालाँकि, इसमें एक पेंच है: इनमें से अधिकांश "स्थानिक श्रवण" (spatial hearing) प्रोग्राम कस्टम-मेड जूतों की तरह हैं। वे केवल पैरों के एक विशिष्ट जोड़े के लिए फिट होते हैं। यदि किसी डिवाइस में एक वर्ग के रूप में व्यवस्थित चार माइक्रोफ़ोन हैं, तो प्रोग्राम काम करता है। यदि किसी अन्य डिवाइस में एक घेरे में आठ माइक्रोफ़ोन हैं, तो प्रोग्राम टूट जाता है। ऐसा इसलिए है क्योंकि सॉफ़्टवेयर को एक विशिष्ट आकार पर प्रशिक्षित किया गया था और वह एक नए आकार के अनुकूल नहीं हो सकता। इसके अलावा, ये प्रोग्राम आमतौर पर केवल उंगली उठाकर कहते हैं "वहाँ," लेकिन वे इसके बारे में बातचीत नहीं कर सकते या कमरे में नेविगेट करने में मदद करने के लिए उस स्थान की जानकारी का उपयोग नहीं कर सकते। वे इशारा करने में बेहतरीन हैं, लेकिन सोचने में बेहद खराब हैं।
यहाँ PhaseCoder आता है, जो Google DeepMind और MIT के शोधकर्ताओं द्वारा बनाया गया एक नया आविष्कार है जो ध्वनि के लिए एक सार्वभौमिक अनुवादक (universal translator) के रूप में कार्य करता है। PhaseCoder को एक जादुई कान की तरह समझें जिसे इस बात की परवाह नहीं है कि माइक्रोफ़ोन के "कान" किस आकार से जुड़े हैं। चाहे माइक्रोफ़ोन एक बिखरे हुए घेरे में हों, एक पंक्ति में हों, या किसी रोबोट के सिर पर किसी अजीब पैटर्न में लगे हों, PhaseCoder फिर भी सटीक रूप से पता लगा सकता है कि ध्वनि कहाँ से आ रही है। यह ऐसा इसलिए करता है क्योंकि यह प्रत्येक माइक्रोफ़ोन पर टकराने वाली ध्वनि तरंगों के समय (या "फेज़") के सूक्ष्म अंतर को सुनता है, ठीक वैसे ही जैसे आपका मस्तिष्क ध्वनि का पता लगाने के लिए आपके बाएं और दाएं कान के बीच के सूक्ष्म विलंब (delay) का उपयोग करता है।
लेकिन PhaseCoder केवल इशारा करने तक ही सीमित नहीं है। शोधकर्ताओं ने इसे एक शक्तिशाली "मस्तिष्क" से जोड़ा है जिसे "लार्ज लैंग्वेज मॉडल" (LLM) कहा जाता है, विशेष रूप से Gemma का एक संस्करण। कल्पना कीजिए कि आप इस मस्तिष्क को एक नई इंद्रिय दे रहे हैं: 3D ध्वनि में दुनिया को देखने की क्षमता। अब, केवल "नमस्ते" सुनने के बजाय, AI समझ सकता है कि "नमस्ते, और मैं आपसे तीन मीटर बाईं ओर खड़ा हूँ।" शोधकर्ताओं ने इस प्रणाली को लाखों कंप्यूटर-जनित ध्वनि परिदृश्यों का उपयोग करके प्रशिक्षित किया, जिससे इसे माइक्रोफ़ोन के आकार को अनदेखा करने और केवल ध्वनि पर ध्यान केंद्रित करने की शिक्षा मिली।
परिणाम प्रभावशाली हैं। विभिन्न उपकरणों से वास्तविक दुनिया की रिकॉर्डिंग का उपयोग करते हुए परीक्षणों में, PhaseCoder ने एक चुनौतीपूर्ण डेटासेट पर लगभग 7.44 डिग्री की सटीकता के साथ ध्वनियों का सही स्थान निर्धारित किया, जिससे उन पिछले अत्याधुनिक मॉडलों को पछाड़ दिया गया जो विशिष्ट माइक्रोफ़ोन आकारों तक ही सीमित थे। इससे भी महत्वपूर्ण बात यह है कि जब उनसे जटिल प्रश्न पूछे गए, तो AI ध्वनि के बारे में तर्क करने में सक्षम था। यह उत्तर दे सका, "क्या वक्ता मेरे बाईं ओर है?" या "केवल उस व्यक्ति की बातों को लिखें जो मेरे पीछे खड़ा है," और सफलतापूर्वक अन्य सभी को अनदेखा कर सका। यह प्रणाली तीन से आठ माइक्रोफ़ोन की किसी भी संख्या के साथ काम करती है, जो यह सिद्ध करती है कि यह वास्तव में ध्वनि की ज्यामिति (geometry) को समझती है न कि केवल एक विशिष्ट लेआउट को याद करती है। हालाँकि यह प्रणाली अभी भी सटीक दूरी का आकलन करने में थोड़ा संघर्ष करती है (जो अकेले ऑडियो के लिए एक कठिन कार्य है), इसने सफलतापूर्वक कच्चे ध्वनि डेटा और बुद्धिमान तर्क के बीच के अंतर को पाट दिया है, जिससे मशीनों को दुनिया को वास्तव में "सुनने" की क्षमता मिल गई है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।