Transcription Policy as a Latent Variable: Activating Controllable Verbatim ASR with Word-Level Timing
यह शोध पत्र ट्रांसक्रिप्शन शैली को एएसआर (ASR) मॉडल में एक नियंत्रणीय लेटेंट वेरिएबल के रूप में मानने का प्रस्ताव देता है, जो यह प्रदर्शित करता है कि कवरेज-अवेयर डिकोडर टोकन और सुपरवाइज्ड क्रॉस-अटेंशन फाइन-ट्यूनिंग वर्बेटिम सटीकता, डिसफ्लुएंसी डिटेक्शन और शब्द-स्तरीय टाइमिंग में महत्वपूर्ण सुधार कर सकते हैं, साथ ही उच्च गुणवत्ता वाले वर्बेटिम स्पीच कॉर्पोरा के निर्माण को स्केल करने के लिए एक नया कार्य भी पेश करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, बहुत तेज़ रोबोट से बात कर रहे हैं जो आपकी आवाज़ सुनता है और आपके द्वारा कहे गए हर शब्द को बिल्कुल वैसा ही टाइप करता है। यह रोबोट 'ऑटोमैटिक स्पीच रिकग्निशन' (ASR) नामक क्षेत्र का हिस्सा है। लंबे समय से, इन रोबोटों की एक भ्रमित करने वाली आदत थी: उन्हें यह समझ नहीं आता था कि उन्हें आपके शब्दों को ठीक वैसे ही टाइप करना चाहिए जैसे वे आपके मुँह से निकले हैं—आपके "अम्म," "अह," हकलाने और खुद को सुधारने के साथ—या सब कुछ साफ करके केवल वह सुव्यवस्थित, सटीक वाक्य लिखना चाहिए जो आप कहना चाहते थे। यह एक लेखक को कहानी लिखने के लिए कहने जैसा था, लेकिन आपने उसे कभी यह नहीं बताया कि उसे लेखक की घबराहट भरी खाँसी को भी शामिल करना है या केवल कथानक को। इस भ्रम ने रोबोट की टाइपिंग को अस्थिर बना दिया, शब्दों के शुरू होने और खत्म होने के समय को अविश्वसनीय बना दिया, और यह बताना मुश्किल कर दिया कि क्या रोबोट वास्तव में गलतियाँ कर रहा था या बस लिखने की एक अलग शैली चुन रहा था।
बड़ा सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है: क्या रोबोट वास्तव में भाषण के बिखरे हुए हिस्सों को सुनने में बुरा है, या वह केवल नियमों को लेकर भ्रमित है? यह नया पेपर सुझाव देता है कि रोबोट टूटा हुआ नहीं है; वह बस मिश्रित निर्देशों वाला एक खेल खेल रहा है। लेखक तर्क देते हैं कि उन बिखरे हुए, वास्तविक जीवन के ध्वनियों को सुनने और टाइप करने की क्षमता पहले से ही रोबोट के मस्तिष्क के भीतर छिपी हुई है, लेकिन इसे चालू करने के लिए एक विशिष्ट "स्विच" की आवश्यकता है। वे "बिखरे हुए वर्बेटिम" (verbatim) और "साफ इरादे वाले" (intended) भाषण के बीच के चुनाव को एक लापता कौशल के रूप में नहीं, बल्कि एक छिपे हुए सेटिंग के रूप में देखते हैं जिसे बदला जा सकता है।
टीम ने, 'विस्पर' (Whisper) नामक एक लोकप्रिय AI मॉडल के साथ काम करते हुए, इस सिद्धांत का परीक्षण करने का निर्णय लिया कि वे रोबोट को एक सरल कंट्रोल पैनल दे सकें। उन्होंने विशेष "मोड टैग्स" (mode tags) पेश किए—छोटे, अदृश्य निर्देश जो रोबोट को टाइप करना शुरू करने से पहले ठीक वही बताते हैं जो उसे करना है। यदि आप "वर्बेटिम मोड" कहते हैं, तो रोबोट हकलाने और ठहराव के साथ सब कुछ टाइप करता है। यदि आप "इंटेंडेड मोड" कहते हैं, तो वह भाषण को साफ करता है और आपको सुव्यवस्थ संस्करण देता है। उन्होंने पाया कि केवल इन टैग्स को जोड़कर, वे रोबोट को इन शैलियों के बीच पूरी तरह से स्विच करने में सक्षम बना सकते थे, यहाँ तक कि उन भाषाओं के लिए भी जिन्हें उसने पहले कभी नहीं देखा था।
यहाँ जादू वाला हिस्सा है: शोधकर्ताओं ने पाया कि उन्हें रोबोट को फिर से यह सिखाने की ज़रूरत नहीं थी कि कैसे सुना जाता है। वास्तव में, उन्होंने रोबोट के मस्तिष्क को पूरी तरह से फ्रीज (जमा) कर दिया और केवल छोटे "मोड टैग" स्विच को प्रशिक्षित किया। रोबोट की मुख्य मेमोरी में बिना किसी बदलाव के, वे अंग्रेजी प्रशिक्षण डेटा का उपयोग करके जर्मन में भाषण के हकलाने का पता लगाने की इसकी क्षमता को एक भयानक 10% सफलता दर से बढ़ाकर एक शानदार 79% सफलता दर तक पहुँचाने में सफल रहे। यह सुझाव देता है कि कौशल वहाँ हमेशा से मौजूद था, बस सक्रिय होने की प्रतीक्षा कर रहा था।
उन्होंने रोबोट के समय के बोध को भी ठीक किया। आमतौर पर, जब कोई रोबोट किसी शब्द पर लड़खड़ाता है, तो वह इस बारे में भ्रमित हो जाता है कि वह शब्द ठीक कब शुरू हुआ और कब समाप्त हुआ। रोबोट को टाइप करते समय अपने आंतरिक "फोकस" पर ध्यान देने के लिए सिखाकर, उन्होंने इसकी टाइमिंग को अविश्वसनीय रूप से सटीक बना दिया। उन्होंने "वर्बैटिमाइज़" (Verbatimize) नामक एक नया तरीका भी बनाया। यह रोबोट को एक साफ, सटीक वाक्य और एक बिखरे हुए भाषण की रिकॉर्डिंग लेने और फिर मूल स्थान पर हकलाने और ठहराव को ठीक से डालते हुए, बिखरे हुए संस्करण को शून्य से फिर से बनाने की अनुमति देता है। यह बहुत बड़ी बात है क्योंकि इसका मतलब है कि हम हजारों साफ ट्रांसक्रिप्ट को बिना किसी मानव को हर एक रिकॉर्डिंग सुनने और मैन्युअल रूप से टाइप करने के लिए कहे, बिखरे हुए और वास्तविक संस्करणों में बदल सकते हैं।
पेपर दिखाता है कि सबसे बड़ी समस्या यह नहीं थी कि रोबोट में बिखरे हुए भाषण को संभालने की क्षमता की कमी थी, बल्कि यह थी कि हमने उन्हें यह चुनने का स्पष्ट तरीका नहीं दिया था कि इसे कैसे संभालना है। "ट्रांसक्रिप्शन पॉलिसी" को एक छिपे हुए अनुमान के बजाय एक स्पष्ट विकल्प बनाकर, शोधकर्ताओं ने रोबोट को अधिक स्थिर, अधिक सटीक और मानव बोलने की पूर्ण वास्तविकता को समझने में बहुत बेहतर बना दिया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।