ध्वनि एक निरंतर साथी है, सूचना की एक ऐसी धारा जो हमें बताती है कि हम कहाँ हैं और हमारे आस-पास क्या हो रहा है। एक बच्चे का रोना एक आवश्यकता का संकेत देता है, कांच के टूटने की आवाज़ खतरे की चेतावनी देती है, और एक शहर की गूँज एक विशिष्ट स्थान को परिभाषित करती है। मनुष्यों ने इन श्रवण संकेतों को छाँटने के लिए एक जीवन भर सीखा है, केवल सुनकर किसी घटना की प्रकृति या वातावरण के प्रकार का अनुमान लगाया है। फिर भी, ध्वनियों की विशाल विविधता, उनकी ओवरलैपिंग प्रकृति, और जिस तरह से शोर उन्हें ढक सकता है, इस कार्य को अविश्वसनीय रूप से कठिन बना देता है। दशकों से, वैज्ञानिकों ने कंप्यूटर को भी ऐसा करने के लिए सिखाने की कोशिश की है, लेकिन अधिकांश सफल विधियाँ एक भारी बोझ पर निर्भर रही हैं: पूर्व-लेबल वाले ऑडियो के विशाल पुस्तकालय। इन प्रणालियों को उन मनुष्यों द्वारा सिखाया जाता है जो हजारों रिकॉर्डिंग को "बच्चा रो रहा है" या "कांच टूट रहा है" जैसे नामों के साथ टैग करते हैं, जो एक धीमी, महंगी प्रक्रिया है और अक्सर तब विफल हो जाती है जब कंप्यूटर का सामना ऐसी ध्वनि से होता है जिसे उसे पहचानने के लिए नहीं सिखाया गया है। चुनौती एक ऐसा सिस्टम बनाने की रही है जो बिना किसी शब्दकोश के दुनिया को सुन सके, दुर्लभ घटनाओं की पहचान कर सके और बिना किसी इंसान के यह बताने की आवश्यकता के कि "यह क्या है," पृष्ठभूमि के दृश्य को समझ सके।

हांगकांग विश्वविद्यालय के शोधकर्ताओं ने एक नया दृष्टिकोण विकसित किया है जो इस समस्या को हल करने का प्रयास करता है, जिसमें कंप्यूटर को मानव अंतर्ज्ञान की नकल करने के तरीके से सुनने और तर्क करने के लिए सिखाया जाता है, लेकिन बिना किसी पूर्व-लेबल वाले प्रशिक्षण डेटा के। उनका तरीका, जो एक हालिया अध्ययन में वर्णित है, दो शक्तिशाली आर्टिफिशियल इंटेलिजेंस उपकरणों को जोड़ता है ताकि एक ऐसा सिस्टम बनाया जा सके जो कच्चे, अनलेबल ऑडियो से ध्वनियों को वर्गीकृत कर सके और वातावरण की पहचान कर सके। विशिष्ट ध्वनि पैटर्न को याद करने के बजाय, सिस्टम पहले एक रिकॉर्डिंग को उसके सबसे छोटे घटकों में तोड़ता है, जिससे रोने, टकराने या गोली चलने जैसी अलग-अलग ध्वनियों की पहचान होती है। इसके बाद यह एक भाषा-आधारित रीजनिंग इंजन का उपयोग करता है ताकि उन ध्वनियों की सूची को देख सके जो उसने पाई हैं और संदर्भ का निष्कर्ष निकाल सके। यदि सिस्टम एक बच्चे के रोने और एक ट्रेन के गुजरने की आवाज़ सुनता है, तो वह केवल दो अलग-अलग शोर नहीं देखता; वह यह समझने के लिए अपने ज्ञान का उपयोग करता है कि ये ध्वनियाँ एक-दूसरे से कैसे संबंधित हैं और निष्कर्ष निकालता है कि दृश्य संभवतः एक रेलवे स्टेशन है। व्यक्तिगत ध्वनियों और व्यापक वातावरण के बीच के संबंधों को जोड़ने की यह क्षमता सिस्टम को "ब्लाइंड" (अंधा) तरीके से काम करने की अनुमति देती है, जिससे वह उस ऑडियो का अर्थ निकाल पाता है जिसे उसने पहले कभी नहीं देखा है।

इस नए ढांचे का मूल एक दो-चरणीय प्रक्रिया है जो सुनने के कार्य को समझने के कार्य से अलग करती है। पहले चरण में एक विशेष मॉडल शामिल है जिसे ऑडियो को सुनने और मिश्रण के भीतर छिपी व्यक्तिगत ध्वनियों को निकालने के लिए डिज़ाइन किया गया है। एक सामान्य रिकॉर्डिंग में, ध्वनियाँ आपस में मिल जाती हैं और घुल-मिल जाती हैं, जिससे यह बताना मुश्किल हो जाता है कि एक कहाँ समाप्त होती है और दूसरी कहाँ शुरू होती है। शोधकर्ताओं का सिस्टम एक ऐसी तकनीक का उपयोग करता है जो ऑडियो के साथ एक पहेली की तरह व्यवहार करती है, ध्वनि के कुछ हिस्सों को छिपा देती है और आसपास के संदर्भ के आधार पर भविष्यवाणी करने की कोशिश करती है कि वहां क्या होना चाहिए। यह इसे विशिष्ट घटनाओं को अलग करने की अनुमति देता है, जैसे कि गोली चलना या कांच का टूटना, भले ही वे बैकग्राउंड के शोर की परतों के नीचे दबी हों। महत्वपूर्ण रूप से, सिस्टम इतना स्मार्ट है कि वह प्रत्येक प्रकार की ध्वनि के लिए सुनने की अवधि को समायोजित कर सकता है। वह जानता है कि एक बच्चे के रोने की अवधि कई सेकंड तक हो सकती है, जबकि गोली चलने की आवाज़ पलक झपकते ही खत्म हो जाती है, और वह प्रत्येक घटना की प्राकृतिक अवधि के अनुरूप अपने विश्लेषण को ढालता है। यह लचीलापन इसे उन गलतियों से बचने में मदद करता है जो कठोर सिस्टम करते हैं जब वे हर ध्वनि को एक ही निश्चित समय अंतराल में फिट करने की कोशिश करते हैं।

एक बार जब सिस्टम ध्वनियों को अलग कर लेता है और उसने जो सुना है उसकी एक सूची तैयार कर लेता है, तो वह दूसरे चरण पर जाता है: दृश्य को समझना। यहाँ, सिस्टम एक भाषा मॉडल का उपयोग करता है, जो टेक्स्ट की विशाल मात्रा पर प्रशिक्षित एक प्रकार का आर्टिफिशियल इंटेलिजेंस है, ताकि ध्वनियों की सूची की व्याख्या की जा सके। यह पहचानी गई ध्वनियों को एक वाक्य में शब्दों की तरह मानता है और इस ज्ञान का उपयोग करता है कि ये शब्द आमतौर जान कैसे एक साथ आते हैं, ताकि परिवेश का अनुमान लगाया जा सके। यदि सूची में "कॉफी मशीन," "कपों के टकराने की आवाज़," और "फुसफुसाती आवाज़ें" शामिल हैं, तो भाषा मॉडल इस पैटर्न को पहचान लेता है और निष्कर्ष निकालता है कि वातावरण एक कैफे है। यही वह चरण है जो सिस्टम को सामान्यीकरण करने की क्षमता देता है; इसे यह जानने के लिए किसी कैफे की तस्वीर दिखाने की आवश्यकता नहीं है कि वह कैसा सुनाई देता है। यह बस ध्वनियों के बीच के संबंध को समझता है। शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण एक ऐसे डेटासेट पर किया जिसमें बच्चे के रोने, कांच टूटने और गोली चलने जैसी दुर्लभ घटनाओं की रिकॉर्डिंग शामिल थी, जिन्हें पंद्रह अलग-अलग वातावरणों में मिलाया गया था, जिनमें व्यस्त शहर के केंद्र से लेकर शांत जंगल तक शामिल हैं।

प्रयोग के परिणाम चौंकाने वाले थे। दुर्लभ घटनाओं की पहचान करने के लिए पूछे जाने पर, सिस्टम ने बच्चे के रोने का पता लगाने में 96%, कांच टूटने में 98% और गोली चलने में 91% की सफलता दर हासिल की। ये संख्याएँ महत्वपूर्ण हैं क्योंकि सिस्टम को इन विशिष्ट उदाहरणों पर प्रशिक्षित नहीं किया गया था; इसने इन्हें खुद पहचानना सीखा। और भी अधिक प्रभावशाली इसकी वातावरण की पहचान करने की क्षमता थी। रिकॉर्डिंग के परिवेश का अनुमान लगाने के लिए पूछे जाने पर, सिस्टम के शीर्ष पांच अनुमानों में सही उत्तर 95% बार शामिल था, और इसका एकल सर्वश्रेष्ठ अनुमान 87% बार सही था। यह एक उल्लेखनीय उपलब्धि है क्योंकि यह एक ऐसा सिस्टम है जो बिना किसी लेबल वाले डेटा के काम करता है, और यह व्यापक मानवीय पर्यवेक्षण पर निर्भर करने वाली कई पारंपरिक विधियों से बेहतर प्रदर्शन करता है। शोधकर्ताओं ने सिस्टम का परीक्षण कठिन परिस्थितियों में भी किया, जिसमें रिकॉर्डिंग में भारी शोर पेश किया गया ताकि उन वातावरणों का अनुकरण किया जा सके जहाँ सिग्नल कमजोर होता है। यहाँ तक कि जब शोर घटना की आवाज़ से दस गुना अधिक तेज़ था, तब भी सिस्टम ने उच्च सटीकता बनाए रखी, और केवल प्रदर्शन में मामूली गिरावट के साथ घटनाओं और दृश्यों की सही पहचान की। यह लचीलापन बताता है कि सिस्टम साफ, सटीक ऑडियो पर निर्भर नहीं है बल्कि वास्तविक दुनिया की अव्यवस्था के बीच रास्ता बना सकता है।

अध्ययन ने यह भी पता लगाया कि यह विधि विभिन्न प्रकार के ऑडियो पर लागू होने पर कैसी रहती है, जिसमें वास्तविक घरेलू वातावरण और विभिन्न यूरोपीय शहरों के शहरी दृश्यों की रिकॉर्डिंग शामिल हैं। सिस्टम ने अच्छा प्रदर्शन करना जारी रखा, घर में बर्तन धोने या ब्लेंडर के शोर जैसी घटनाओं की सही पहचान की, और एक व्यस्त सड़क तथा एक शांत पार्क के बीच अंतर किया। विभिन्न डेटासेट्स में यह निरंतरता दर्शाती है कि यह दृष्टिकोण केवल एक विशिष्ट प्रकार के डेटा पर काम करने वाली विधि नहीं है, बल्कि सामान्य रूप से ध्वनि को समझने की एक मजबूत विधि है। शोधकर्ताओं ने उल्लेख किया कि हालांकि इस सिस्टम को लंबी रिकॉर्डिंग को प्रोसेस करने के लिए काफी कंप्यूटर मेमोरी की आवश्यकता होती है, लेकिन यह मानक हार्डवेयर पर चल सकता है और इंस्टॉल होने के बाद इसे निरंतर इंटरनेट कनेक्शन की आवश्यकता नहीं होती है। यह पोर्टेबिलिटी उन क्षेत्रों में व्यावहारिक अनुप्रयोगों के द्वार खोलती है जहाँ मानवीय पर्यवेक्षण असंभव या बहुत महंगा है, जैसे कि विफलता के शुरुआती संकेतों के लिए औद्योगिक मशीनरी की निगरानी करना, अपराध स्थलों का विश्लेषण करना, या शहरी यातायात और सुरक्षा का प्रबंधन करना।

इस कार्य को जो चीज़ विशेष रूप से उल्लेखनीय बनाती है, वह यह है कि यह ध्वनिक वर्गीकरण (acoustic classification) के प्रतिमान को कैसे बदल देता है। वर्षों से, यह क्षेत्र 'सुपरवाइज्ड लर्निंग' द्वारा हावी रहा है, जहाँ कंप्यूटर को उत्तरों के साथ हजारों उदाहरण दिए जाते हैं। नई विधि यह सिद्ध करती है कि एक कंप्यूटर बिना उन उत्तरों के, ध्वनियों के संबंधों और भाषा के तर्क का उपयोग करके अंतराल को भरने के लिए, सुनने और तर्क करने के लिए सीख सकता है। यह सुझाव देता है कि ध्वनि को समझने की कुंजी न केवल पैटर्न को पहचानने में है, बल्कि उस संदर्भ को समझने में भी है जिसमें वे पैटर्न दिखाई देते हैं। एक साउंड-सेपरेशन टूल को भाषा-आधारित रीजनिंग इंजन के साथ जोड़कर, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो शोर के एक अराजक मिश्रण को देख सकता है और उसमें छिपी कहानी को ढूंढ सकता है। हालांकि सिस्टम को तेज़ और अधिक कुशल बनाने के लिए अभी भी काम किया जाना बाकी है, लेकिन परिणाम उन मशीनों के लिए एक स्पष्ट मार्ग प्रदर्शित करते हैं जो वास्तव में अपने आस-पास की दुनिया को सुन सकती हैं, और एक ऐसे स्तर की स्वतंत्रता के साथ दुर्लभ और सामान्य दोनों की पहचान कर सकती हैं जो पहले पहुंच से बाहर थी।