कल्पना कीजिए कि आप ऑडियो क्लिप्स के एक विशाल पुस्तकालय में एक विशिष्ट ध्वनि को खोजने की कोशिश कर रहे हैं, लेकिन टाइप करके कोई विवरण देने या कोई धुन गुनगुनाने के बजाय, आपको अपनी आवाज़ से उस ध्वनि की नकल करनी है। यह "वॉयकल इमिटेशन" (स्वर नकल) के माध्यम से खोज का मूल सिद्धांत है, जहाँ कंप्यूटरों को यह समझना सीखना होगा कि किसी इंसान द्वारा कुत्ते के भौंकने या किसी चरमराहट वाले दरवाजे की नकल करने का प्रयास, उन वास्तविक ध्वनियों की रिकॉर्डिंग के समान है। इसकी कठिनाई मानव स्वर तंत्रिका (वोकल कॉर्ड्स) से ध्वनि उत्पन्न करने के तरीके और मशीनों द्वारा उन ध्वनियों को रिकॉर्ड और विश्लेषित करने के तरीके के बीच के अंतर में निहित है। मनुष्य असंगत होते हैं; एक व्यक्ति जोर से भौंक सकता है जबकि दूसरा फुसफुसा सकता है, और एक ही व्यक्ति हर बार अलग तरह से भौंक सकता है। एक कंप्यूटर की सफलता के लिए, इसे इन विविधताओं से परे देखना होगा और उस अंतर्निहित पैटर्न को खोजना होगा जो इंसान की नकल को उस वास्तविक ध्वनि से जोड़ता है जिसका वह प्रतिनिधित्व करता है।

क्वीन्स मैरी यूनिवर्सिटी ऑफ लंदन की शोधकर्ताओं की एक टीम ने इस समस्या से निपटने के लिए एक ऐसी प्रतियोगिता में भाग लिया जो ठीक इसी कौशल का परीक्षण करने के लिए डिज़ाइन की गई थी। उनका लक्ष्य एक ऐसा सिस्टम बनाना था जो उपयोगकर्ता की स्वर नकल को ले सके और तुरंत डेटाबेस से सही साउंड इफेक्ट निकाल सके। इसे करने के लिए, उन्होंने इन कनेक्शनों को पहचानने के लिए कंप्यूटर को सिखाने के दो अलग-अलग तरीकों का पता लगाया। पहला दृष्टिकोण एक पूर्व-प्रशिक्षित (pre-trained) कंप्यूटर मस्तिष्क पर निर्भर था जिसने पहले ही हजारों ध्वनियों को पहचानने का ज्ञान प्राप्त कर लिया था, जिसे फिर विशेष रूप से नकल को वास्तविक ध्वनियों से मिलाने पर ध्यान केंद्रित करने के लिए ट्यून किया गया था। दूसरा दृष्टिकोण अधिक जटिल था, जिसमें कंप्यूटर को न केवल सही जोड़ों को मिलाने के लिए सिखाया गया, बल्कि उसे गलतियों से सीखने के लिए भी तैयार किया गया, जिसमें अच्छे मिलानों की तुलना खराब मिलानों से की जाती थी, जिससे वह उन्मूलन और सुधार की प्रक्रिया के माध्यम से अपने निर्णय को परिष्कृत करता है।

शोधकर्ताओं ने अपने सिस्टम को प्रशिक्षित करने के लिए डेटा एकत्र करना शुरू किया। उन्होंने युग्मित (paired) रिकॉर्डिंग के एक संग्रह का उपयोग किया जहाँ एक इंसान ने एक विशिष्ट ध्वनि की नकल की थी, और मूल ध्वनि भी वहां मौजूद थी। ये जोड़े कंप्यूटर के सीखने के लिए आदर्श उदाहरण के रूप में काम करते थे। हालांकि, उनके पास रिकॉर्डिंग का एक दूसरा सेट भी था: स्वर नकलें जिनका कोई मिलान वाला मूल स्वर नहीं था लेकिन उन्हें उस प्रकार की ध्वनि के रूप में लेबल किया गया था जिसे वे दर्शाने की कोशिश कर रही थीं। टीम ने महसूस किया कि वे इन "अनाथ" (orphan) नकलों को एक शिक्षण उपकरण के रूप में उपयोग कर सकते थे। कंप्यूटर को एक नकल दिखाकर और फिर उससे यह पूछकर कि वह सही ध्वनि और अन्य समान दिखने वाली लेकिन गलत विकल्पों के बीच अंतर कैसे करे, वे सिस्टम को अधिक सटीक बनने के लिए मजबूर कर सकते थे।

मानवीय आवाजों की प्राकृतिक विविधताओं के विरुद्ध सिस्टम को मजबूत बनाने के लिए, शोधकर्ताओं ने प्रशिक्षण के दौरान ऑडियो पर डिजिटल रूपांतरणों की एक श्रृंखला लागू की। वे ध्वनि के समय (timing) को बदलते, उसका वॉल्यूम बदलते, या उसकी पिच (pitch) को थोड़ा बदलते, जिससे यह सिम्युलेट होता कि एक वास्तविक व्यक्ति हर बार अलग तरह से गा या बोल सकता है। उन्होंने इसमें थोड़ी मात्रा में स्टैटिक (static) भी जोड़ा या ऑडियो के छोटे अंशों को हटा दिया ताकि वास्तविक रिकॉर्डिंग की खामियों की नकल की जा सके। इन विकृत संस्करणों के माध्यम से कंप्यूटर को उजागर करके, सिस्टम ने ध्वनि की आवश्यक विशेषताओं पर ध्यान केंद्रित करना सीखा, न कि मामूली विवरणों से भ्रमित होना।

अपने पहले प्रयास में, टीम ने एक शक्तिशाली, पूर्व-मौजूद ऑडियो मॉडल का उपयोग किया जिसे सामान्य ध्वनियों के विशाल डेटासेट पर प्रशिक्षित किया गया था। उन्होंने इस मॉडल के मुख्य हिस्से को 'फ्रीज' (frozen) रखा, जिसका अर्थ है कि उन्होंने इसके आंतरिक ज्ञान को नहीं बदला, और बस इसके ऊपर एक नया, हल्का स्तर (layer) जोड़ा ताकि इसकी समझ को मिलान के अनुकूल प्रारूप में अनुवादित किया जा सके। यह दृष्टिकोण कुशल और प्रभावी था, जिससे सिस्टम को मॉडल के पहले से मौजूद विशाल ज्ञान का लाभ उठाने की अनुमति मिली बिना सब कुछ फिर से सीखने की आवश्यकता के। सिस्टम ने मानव नकल और लक्षित ध्वनि दोनों को एक साझा स्थान (shared space) में मैप करना सीखा जहाँ समान ध्वनियाँ एक-दूसरे के करीब स्थित होती हैं।

उनका दूसरा, और अंततः विजेता, सबमिशन एक अलग रास्ता अपनाता है। मॉडल को फ्रीज करने के बजाय, उन्होंने एक लचीले आर्किटेक्चर को फाइन-ट्यून किया जिसे हल्का और तेज़ बनाया गया था। उन्होंने दो शिक्षण रणनीतियों को मिलाया: एक जो सिस्टम को सही जोड़ों को मिलाने के लिए पुरस्कृत करती थी, और दूसरी जो उसे समान दिखने वाली लेकिन गलत ध्वनियों के साथ भ्रमित होने के लिए दंडित करती थी। यह दूसरी रणनीति, जिसे 'ट्रिपलेट लर्निंग' (triplet learning) कहा जाता है, एक 'एंकर' ध्वनि, एक सही मिलान और एक "हार्ड नेगेटिव" (एक ध्वनि जो इतनी समान थी कि भ्रमित कर सके लेकिन वास्तव में गलत थी) को प्रस्तुत करके काम करती थी। सिस्टम को इन कठिन मामलों के बीच अंतर करने के लिए मजबूर करके, शोधकर्ताओं ने इसे यह समझने में मदद की कि वास्तव में एक ध्वनि को क्या परिभाषित करता है। उन्होंने एक गतिशील संतुलन भी पेश किया, जो प्रशिक्षण के प्रत्येक बैच में उपलब्ध कठिन उदाहरणों की संख्या के आधार पर गलतियों के लिए दंड के महत्व को समायोजित करता था, जिससे यह सुनिश्चित हुआ कि सिस्टम सीखते समय स्थिर रहे।

जब शोधकर्ताओं ने आधिकारिक प्रतियोगिता बेंचमार्क के विरुद्ध अपने सिस्टम का परीक्षण किया, तो परिणाम स्पष्ट थे। दोनों विधियों ने पिछले सर्वश्रेष्ठ सिस्टमों को पछाड़ दिया, लेकिन हाइब्रिड लर्निंग रणनीति के साथ दूसरे दृष्टिकोण ने उच्चतम स्कोर प्राप्त किया। सिस्टम ने किसी भी अन्य प्रविष्टि की तुलना में सही ध्वनि को सूची में शीर्ष पर रखने में अधिक सफलता प्राप्त की, जिससे यह सिद्ध हुआ कि पूर्व-प्रशिक्षित ज्ञान को कठिन उदाहरणों से सीखने की एक संरचित पद्धति के साथ जोड़ने से अधिक विश्वसनीय उपकरण बनता है। अध्ययन ने दिखाया कि जबकि एक सरल, फ्रीज किया गया मॉडल अच्छा काम कर सकता है, एक ऐसा सिस्टम जो सक्रिय रूप से समान ध्वनियों के बीच भ्रम को समझने के लिए सीखता है, और भी बेहतर प्रदर्शन करता है।

यह कार्य ध्वनि पहचान के भविष्य के लिए एक महत्वपूर्ण अंतर्दृष्टि को उजागर करता है: कंप्यूटर को गलतियों को संभालने के लिए कैसे सिखाया जाता है, यह उतना ही महत्वपूर्ण है जितना कि वह डेटा जिससे वह सीखता है। यह सावधानीपूर्वक तय करके कि क्या नहीं चुनना है, और सिस्टम को इन कठिन मामलों को उचित रूप से तौलना सिखाकर, शोधकर्ताओं ने मानवीय स्वर रचनात्मकता और मशीन की सटीकता के बीच एक सेतु बनाया। उनकी सफलता बताती है कि सबसे प्रभावी सिस्टम वे नहीं हैं जो केवल ध्वनियों को याद करते हैं, बल्कि वे हैं जो सूक्ष्म अंतरों को समझने के लिए सीखते हैं जो एक ध्वनि को दूसरी से अलग बनाते हैं, भले ही इनपुट कितना भी परिवर्तनशील और अप्रत्याशित क्यों न हो।