Spectro-Temporal Interference Confounds Phase Encoding in Spatial Audio Foundation Models

कल्पना कीजिए कि आप एक भीड़भाड़ वाले, शोर वाले कमरे में अपने किसी दोस्त की आवाज़ खोजने की कोशिश कर रहे हैं। आपके मस्तिष्क के पास एक सुपरपावर है: यह इस बात पर ध्यान देता है कि एक ध्वनि आपके बाएं कान और दाएं कान में पहुँचने के बीच समय का कितना सूक्ष्म अंतर है। यह "माइक्रोसेकंड टाइमिंग" (microsecond timing) एक गुप्त कोड की तरह है जो आपके मस्तिष्क को बताता है कि ध्वनि ठीक कहाँ से आ रही है, भले ही वह बहुत धीमी क्यों न हो।

यह शोध पत्र एक सरल लेकिन पेचीदा सवाल पूछता है: क्या नए, सुपर-स्मार्ट AI मॉडल, जो ध्वनि को समझने के लिए सीख रहे हैं, वास्तव में इसी "गुप्त समय कोड" (secret timing code) का उपयोग करते हैं, या वे केवल धोखाधड़ी कर रहे हैं?

यहाँ शोधकर्ताओं द्वारा पाए गए निष्कर्षों का विवरण दिया गया, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है।

"जादुई ट्रिक" टेस्ट (द बेंचमार्क)

AI का परीक्षण करने के लिए, शोधकर्ताओं ने मानव श्रवण की एक क्लासिक ट्रिक का उपयोग किया जिसे बाइनाउरल मास्किंग लेवल डिफरेंस (BMLD) कहा जाता है।

• सेटअप: कल्पना कीजिए कि दोनों कानों में एक तेज़ शोर (जैसे स्टैटिक शोर) बज रहा है। फिर, उस शोर के भीतर एक बहुत ही सूक्ष्म, शुद्ध स्वर (जैसे एक सीटी की आवाज़) छिपा हुआ है।
• ट्रिक: एक संस्करण में, सीटी की आवाज़ दोनों कानों में बिल्कुल एक ही समय पर पहुँचती है। दूसरे संस्करण में, सीटी की आवाज़ कानों में विपरीत समय पर पहुँचती है (जैसे कि एक लहर का शिखर बाएं कान से टकराता है जबकि दूसरी तरफ गर्त/तली टकराती है)।
• मानवीय परिणाम: इंसान "विपरीत समय" वाली सीटी को "एक ही समय" वाली सीटी की तुलना में बहुत बेहतर तरीके से सुन सकते हैं। यह ऐसा है जैसे मस्तिष्क के पास एक 'नॉइज़-कैंसलिंग' बटन हो जो केवल तभी काम करता है जब समय का तालमेल उल्टा हो।
• AI टेस्ट: शोधकर्ताओं ने इस सटीक ट्रिक को नौ अलग-अलग 'फ्रोजन' (frozen) AI मॉडलों को दिया (वे मॉडल जो पहले से प्रशिक्षित हैं और नई चीजें नहीं सीख सकते) यह देखने के लिए कि क्या वे इस अंतर को "सुन" सकते हैं।

परिणाम: धोखेबाज बनाम असली जासूस

शोधकर्ताओं ने तीन प्रकार के AI मॉडलों का परीक्षण किया:

1. मोनोरल मॉडल (एक कान वाले मॉडल): ये केवल ऑडियो के एक चैनल को सुनते हैं।
   • परिणाम: ये पूरी तरह से विफल रहे। इनका स्कोर 0% था। यह अपेक्षित था, जैसे एक कान बंद करके दिशा का अनुमान लगाने की कोशिश करना।
2. जनरल-परपज बाइनाउरल मॉडल (स्मार्ट धोखेबाज): ये लोकप्रिय AI मॉडल हैं जिन्हें स्टीरियो साउंड (दो चैनलों) पर प्रशिक्षित किया गया है ताकि स्पीच रिकग्निशन जैसे सामान्य कार्य किए जा सकें।
   • परिणाम: वे शुरू में परीक्षण पास करते दिखे, जिससे लगा कि वे ध्वनि का पता लगा सकते हैं। लेकिन, जब शोधकर्ताओं ने बारीकी से देखा, तो उन्हें एहसास हुआ कि ये मॉडल धोखाधड़ी (cheating) कर रहे थे।
   • धोखा कोड: माइक्रोसेकंड टाइमिंग (फेज़/phase) को सुनने के बजाय, ये मॉडल ध्वनि तरंगों के लौडनेस पैटर्न (loudness patterns) और बनावट (texture) को सुन रहे थे।
   • उपमा: कल्पना कीजिए कि आप संगीत की धुन सुनने के बजाय स्पीकर की आवाज़ (तेज़/धीमी) को देखकर गाने को पहचानने की कोशिश कर रहे हैं। यदि आप ध्वनि के समय (timing) को बदलते हैं, तो "लौडनेस टेक्सचर" थोड़ा बदल जाता है, और AI इसे पकड़ लेता है। यह एक ऐसे जासूस की तरह है जो अपराधी के चेहरे को देखने के बजाय उसके जूते के आकार का अनुमान लगाकर अपराध सुलझाता है।
3. स्पेशलाइज्ड स्पेशियल मॉडल (असली जासूस): ये वे मॉडल हैं जिन्हें विशेष रूप से 3D स्थान और दिशा को समझने के लिए बनाया गया है।
   • परिणाम: इन मॉडलों ने वास्तव में उस "टाइमिंग कोड" का उपयोग किया! वे इस टेस्ट में काफी बेहतर थे। हालांकि, वे अभी भी पूर्ण मानव स्तर के नहीं थे; वे "सब-सीलिंग" (sub-ceiling) थे (यानी अच्छे थे, लेकिन मानव स्तर तक नहीं पहुँच पाए)।

"पूछताछ" (फिजिकल एब्लेशन्स)

यह साबित करने के लिए कि "स्मार्ट धोखेबाज" गलत सुरागों पर निर्भर थे, शोधकर्ताओं ने मॉडलों पर कई "पूछताछ" कीं:

• हाई-पास फ़िल्टर (बास हटाना): उन्होंने सभी कम आवृत्तियों (low frequencies) को हटा दिया। इंसान बिना लो-फ्रीक्वेंसी के टाइमिंग ट्रिक का उपयोग नहीं कर सकते। "असली जासूस" वाले मॉडल भ्रमित हो गए और विफल हो गए, ठीक इंसानों की तरह। "धोखेबाज" मॉडल को इससे फर्क नहीं पड़ा; वे पास होते रहे क्योंकि वे हाई-फ्रीक्वेंसी टेक्सचर को देख रहे थे, न कि टाइमिंग को।
• इक्वलाइज़र (वॉल्यूम को समान करना): उन्होंने यह सुनिश्चित किया कि दोनों कान बिल्कुल एक ही वॉल्यूम सुनें। "धोखेबाज" मॉडल फिर भी पास हो गए। इससे साबित हुआ कि वे वॉल्यूम के अंतर (जिसे इंसान भी उपयोग करते हैं) का उपयोग करके धोखा नहीं दे रहे थे।
• वोकोडर (एनवेलप डिस्ट्रॉयर): यह सबसे बड़ा सबूत था। उन्होंने ध्वनि को लिया और उसके सूक्ष्म, तीव्र टाइमिंग विवरणों को हटा दिया, जिससे केवल "धीमी एनवेलप" (ध्वनि तरंग का समग्र आकार) ही बचा।
  • परिणाम: "धोखेबाज" मॉडल अचानक बुरी तरह विफल हो गए। इसने पुष्टि की कि वे पूरी तरह से धीमी, ऊबड़-खाबड़ बनावट (texture) पर निर्भर थे, न कि तेज़, सटीक टाइमिंग पर।

"स्पीच" का जाल

शोधपत्र ने वास्तविक भाषण (जैसे किताब के वाक्य) के साथ उनके प्रदर्शन को भी देखा।

• निष्कर्ष: "धोखेबाज" मॉडल भाषण के मामले में अविश्वसनीय रूप से अच्छा प्रदर्शन करते हैं।
• क्यों? वास्तविक भाषण जटिल और "ब्रॉडबैंड" (इसमें बहुत सारी आवृत्तियाँ होती है) होता है। जब भाषण किसी कमरे के माध्यम से बजता है, तो कमरे का प्राकृतिक भौतिक विज्ञान बाएं और दाएं कानों के बीच "एनवेलप टेक्सचर" में भारी बदलाव पैदा करता है। AI मॉडल इन बड़े टेक्सचर परिवर्तनों को एक शॉर्टकट के रूप में पकड़ लेते हैं, यह सोचकर कि वे स्थानिक पहेली (spatial puzzle) को हल कर रहे हैं, जबकि वे वास्तव में केवल शोर के "आकार" पर प्रतिक्रिया दे रहे होते हैं।

मुख्य निष्कर्ष

शोधपत्र यह निष्कर्ष निकालता है कि हालांकि कई आधुनिक AI मॉडल बड़े और आसान कार्यों में ध्वनि का स्रोत खोजने में माहिर हैं, वे अक्सर उस माइक्रोसेकंड टाइमिंग को वास्तव में नहीं समझते जो मानव श्रवण को इतना खास बनाती है।

"फेज़ एनकोडिंग" (सूक्ष्म समय अंतर की गणना करना) की जटिल गणित करने के बजाय, वे एक शॉर्टकट का उपयोग कर रहे हैं: वे स्पेक्ट्रो-टेम्पोरल इंटरफेरेंस टेक्सचर्स (ध्वनि ऊर्जा के दृश्य-जैसे पैटर्न) और ब्रॉडबैंड एनवेलप्स (ध्वनि का समग्र आकार) को देख रहे हैं।

यह एक ऐसे छात्र की तरह है जो गणित के सवालों को हल करने के बजाय, उत्तर कुंजी पर लिखे नंबरों के आकार को रटकर परीक्षा पास कर लेता है। वे सही उत्तर तो देते हैं, लेकिन उनके पास वह "आंतरिक तंत्र" नहीं होता जो एक ऐसे इंसान के पास होता है जो वास्तव में गणित को समझता है। लेखकों का तर्क है कि यदि AI को वास्तव में स्थानिक ऑडियो (spatial audio) को समझना है, तो उसे केवल ध्वनि की बनावट (textures) को नहीं, बल्कि टाइमिंग कोड को सीखने के लिए मजबूर किया जाना चाहिए।