INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval

सोचिए कि आप घास के ढेर में एक विशिष्ट सुई खोजने की कोशिश कर रहे हैं, लेकिन वह सुई आपके पूछने के तरीके के आधार पर अपना आकार बदल लेती है। यदि आप एक चमकदार सुई मांगते हैं, तो आपको एक अलग सुई मिलती है, या यदि आप लाल सुई मांगते हैं, या ऐसी सुई जो किसी तेज़ शोर के पास गिरी थी। दशकों से, कंप्यूटर जानकारी खोजने में बेहतर होते जा रहे हैं, लेकिन वे मुख्य रूप से एक कठोर मिलान प्रणाली (मैचिंग सिस्टम) पर निर्भर रहे हैं। यदि आप किसी शब्द को खोजते हैं, तो कंप्यूटर उस सटीक शब्द को ढूंढता है। यदि आप किसी ध्वनि को खोजते हैं, तो वह उस ध्वनि को ढूंढता है जो आपकी खोज के समान ही सुनाई देती है। यह तब अच्छा काम करता है जब आप जानते हैं कि आप वास्तव में क्या खोज रहे हैं, लेकिन यह तब विफल हो जाता है जब आपकी ज़रूरतें अधिक जटिल होती हैं। वास्तविक दुनिया में, लोग केवल एक ऐसी रिकॉर्डिंग नहीं ढूंढना चाहते जो सुनने में एक जैसी हो; वे शायद एक ऐसी रिकॉर्डिंग ढूंढना चाहते हैं जहाँ बोलने वाला व्यक्ति क्रोधित लग रहा हो, या जहाँ पृष्ठभूमि का शोर बारिश की आवाज़ हो, या जहाँ बोलने वाला व्यक्ति वही हो जिसने पिछले क्लिप में बात की थी। वैज्ञानिकों के लिए चुनौती यह रही है कि वे कंप्यूटर को केवल स्थिर पैटर्न मिलाने के बजाय इन बदलते, मानवीय निर्देशों को समझना सिखाएं।

नेशनल टेइवान यूनिवर्सिटी के शोधकर्ताओं ने एक नया परीक्षण स्थल 'INSPIRE' बनाकर इस समस्या को हल करने की दिशा में एक बड़ा कदम उठाया है। यह कोई नया कंप्यूटर प्रोग्राम नहीं है जो सब कुछ ठीक कर देता है, बल्कि एक सावधानीपूर्वक निर्मित बेंचमार्क है जिसे यह देखने के लिए बनाया गया है कि वर्तमान तकनीक इन लचीले निर्देशों को कितनी अच्छी तरह संभाल सकती है। शोधकर्ताओं ने बोले गए रिकॉर्डिंग्स का एक विशाल पुस्तकालय बनाया और उन्हें हजारों प्राकृतिक भाषा कमांड्स के साथ जोड़ा। ये कमांड सरल अनुरोधों से लेकर, जैसे "इस बातचीत का अगला भाग ढूंढें," से लेकर जटिल, बहु-स्तरीय मांगों तक विस्तृत हैं, जैसे "एक ही व्यक्ति के उदासी से बोलने और पृष्ठभूमि में कदमों की आहट सुनाई देने वाली रिकॉर्डिंग ढूंढें।" लक्ष्य यह देखना था कि क्या मौजूदा आर्टिफिशियल इंटेलिजेंस सिस्टम एक बोले गए प्रश्न और एक लिखित निर्देश को देखकर, उस सटीक ऑडियो क्लिप को सफलतापूर्वक ढूंढ सकते हैं जो उस विशिष्ट विवरण पर फिट बैठती हो।

शोधकर्ताओं ने यह देखने के लिए चार अलग-अलग प्रकार के कंप्यूटर सिस्टम का परीक्षण किया कि वे कैसे प्रदर्शन करते हैं। पहले समूह में बड़े ऑडियो-लैंग्वेज मॉडल शामिल थे, जो उन्नत सिस्टम हैं जिन्हें ध्वनि और टेक्स्ट दोनों को समझने के लिए प्रशिक्षित किया गया है। दूसरे समूह ने एक "कैस्केडेड पाइपलाइन" का उपयोग किया, एक ऐसी विधि जहाँ कंप्यूटर पहले बोले गए ऑडियो को लिखित टेक्स्ट और कैप्शन में बदलता है, और फिर मानक टेक्स्ट-सर्च टूल्स का उपयोग करके उस टेक्स्ट को खोजता है। तीसरा समूह स्व-पर्यवेक्षित (self-supervised) स्पीच मॉडल्स पर निर्भर था, जो टेक्स्ट में बदलने के बिना सीधे ध्वनि पैटर्न को समझते हैं। अंतिम समूह ने कंट्रास्टिव मॉडल्स का उपयोग किया जो टेक्स्ट और ऑडियो को एक साथ जोड़ने का प्रयास करते हैं। टीम ने यह मापा कि प्रत्येक सिस्टम ने हजारों गलत विकल्पों में से कितनी बार सही ऑडियो क्लिप को सफलतापूर्वक खोजा।

परिणामों ने यह स्पष्ट किया कि ये मशीनें कैसे सोचती हैं, इसमें एक स्पष्ट और आश्चर्यजनक विभाजन था। वे सिस्टम जो भाषण को पहले टेक्स्ट में बदलते हैं, वे वास्तव में क्या कहा गया है, इसके आधार पर क्लिप खोजने में उत्कृष्ट थे। यदि निर्देश एक विशिष्ट वाक्य या बातचीत के निरंतरता को खोजने के बारे में था, तो इन टेक्स्ट-आधारित तरीकों ने बहुत अच्छा प्रदर्शन किया। हालाँकि, जब निर्देश इस बारे में था कि ध्वनि कैसे उत्पन्न की गई थी, तो वे बुरी तरह संघर्ष करते थे। जब वक्ता की पहचान, उनके भावनात्मक स्वर, या पृष्ठभूमि के शोर के आधार पर क्लिप खोजने के लिए कहा गया, तो इन टेक्स्ट-आधारित सिस्टमों का प्रदर्शन रैंडम गेसिंग (यादृच्छिक अनुमान) से बेहतर नहीं था। वे शब्दों में बदलने के बाद खुशी भरी आवाज़ और उदास आवाज़ के बीच के अंतर को "सुन" नहीं सके।

दूसरी ओर, जो सिस्टम टेक्स्ट में बदलने के बजाय सीधे ध्वनि तरंगों को सुनते थे, उनकी ताकत विपरीत थी। वे वक्ता की आवाज़, उनके बोलने की शैली और उनके आसपास के पर्यावरणीय ध्वनियों को पहचानने में बहुत बेहतर थे। लेकिन इन्हीं सिस्टमों में तब विफलता आई जब निर्देश के लिए शब्दों के अर्थ को समझने या एक जटिल, बहु-भाग वाले कमांड का पालन करने की आवश्यकता थी। वे आवाज़ को सुन सकते थे, लेकिन वे एक विशिष्ट चीज़ बोलने वाले एक विशिष्ट स्वर को खोजने के निर्देश का पालन नहीं कर सके। यहाँ तक कि सबसे उन्नत बड़े ऑडियो-लैंग्वेज मॉडल भी, जिनसे इस अंतर को पाटने की उम्मीद थी, सफल नहीं हो पाए। उन्होंने कुछ कार्यों पर संतोषजनक प्रदर्शन किया, लेकिन वे तब पीछे रह गए जब कार्य के लिए ध्वनि और निर्देश दोनों की गहरी समझ की आवश्यकता थी।

अध्ययन ने यह भी देखा कि क्या होता है जब कंप्यूटर को 'परफेक्ट मेटाडेटा' का एक "संदर्भ" दिया जाता है, जैसे कि यह जानना कि बोलने वाला कौन है या पृष्ठभूमि का शोर क्या है, बजाय इसके कि ऑडियो से इसे समझने की कोशिश की जाए। इस पूर्ण जानकारी के साथ भी, टेक्स्ट-आधारित सिस्टम उन क्लिप्स को विश्वसनीय रूप से नहीं ढूंढ सके जब निर्देश विभिन्न विशेषताओं के जटिल संयोजन से जुड़े थे। यह सुझाव देता है कि समस्या केवल यह नहीं है कि कंप्यूटर सुनने में खराब हैं, बल्कि यह है कि उनका वर्तमान आर्किटेक्चर विभिन्न प्रकार की सूचनाओं को मिलाने वाले निर्देशों को संभालने के लिए नहीं बना है। शोधकर्ताओं ने पाया कि कोई भी एकल विधि जिसे उन्होंने परखा, मानव के बोलने के सभी अलग-अलग तरीकों को मजबूती से संभालने में सक्षम नहीं थी।

अंततः, यह शोध पत्र निष्कर्ष निकालता है कि यह क्षेत्र एक चौराहे पर खड़ा है। वर्तमान उपकरण बहुत अधिक विशिष्ट हैं; कुछ ट्रांसक्रिप्ट पढ़ने में माहिर हैं तो स्वर के प्रति बहरे हैं, जबकि अन्य स्वर को सुनने में माहिर हैं तो निर्देशों को समझने में अनपढ़ हैं। शोधकर्ता तर्क देते हैं कि अगली पीढ़ी की तकनीक को एक एकीकृत प्रणाली की आवश्यकता है, एक ऐसी प्रणाली जो एक ध्वनि को सुन सके, एक जटिल निर्देश को पढ़ सके, और समझ सके कि उत्तर इन दोनों के संयोजन में निहित है। जब तक ऐसा सिस्टम नहीं बनाया जाता, तब तक आवाजों के पुस्तकालय को उसी सहजता और सटीकता के साथ खोजने की क्षमता, जैसे हम टेक्स्ट को खोजते हैं, पहुंच से बाहर रहेगी। यह कार्य कोई अंतिम समाधान प्रदान नहीं करता है, लेकिन यह स्पष्ट रूप से परिदृश्य का मानचित्रण करता है, यह दिखाता है कि वर्तमान तकनीक कहाँ टूटती है और भविष्य में स्पीच रिट्रीवल (भाषण प्राप्ति) को कहाँ जाना चाहिए।