Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs
यह शोध पत्र एक बहुभाषी स्पीच करेक्शन पाइपलाइन का प्रस्ताव करता है जो टोकन-स्तरीय डिसफ्लुएंसी डिटेक्शन को इंस्ट्रक्शन फाइन-ट्यूनिंग और एक कंट्रास्टिव लर्निंग ऑब्जेक्टिव के साथ जोड़ता है ताकि व्याकरणिक संरचना और अर्थ संबंधी सुसंगतता को बनाए रखते हुए एएसआर (ASR) ट्रांसक्रिप्ट से फिलर्स और पुनरावृत्तियों को प्रभावी ढंग से हटाया जा सके, जो हिंदी, बंगाली और मराठी में मौजूदा बेसलाइनों की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "माइंड द पॉज़" (Mind the Pause) पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।
समस्या: "हकलाने वाला" रोबोट
कल्पना कीजिए कि आप एक रोबोट असिस्टेंट से बात कर रहे हैं। आप कहते हैं, "अम, मुझे लगता है, उह, मीटिंग, मतलब, 3 बजे है।"
रोबोट का सुनने वाला सिस्टम (जिसे ASR कहा जाता है) बिल्कुल वैसा ही लिख देता है जैसा उसने सुना: "अम, मुझे लगता है, उह, मीटिंग, मतलब, 3 बजे है।"
हालाँकि यह आवाज़ के हिसाब से सटीक है, लेकिन रोबोट के दिमाग (जिसे लार्ज लैंग्वेज मॉडल या LLM कहा जाता है) के लिए इसे समझना एक बड़ी मुसीबत है। यह ऐसा है जैसे आप कोई किताब पढ़ रहे हों जहाँ लेखक बार-बार रुककर अपना गला साफ़ कर रहा हो, शब्दों को दोहरा रहा हो, या वाक्यों को बीच में ही फिर से शुरू कर रहा हो। यह "शोर" रोबोट को भ्रमित करता है, जिससे वह गलत जवाब देता है, अनुवाद खराब करता है, या जब वह आपसे वापस बात करता है तो वह अप्राकृतिक लगता है।
पुराने तरीके इस समस्या को ठीक करने के लिए 'कैंची' की तरह काम करने की कोशिश करते थे: वे "अम" और "उह" को ढूँढते और बस उन्हें काट देते थे। लेकिन अक्सर, इससे वाक्य अधूरा सा लगने लगता था, जैसे किसी पहेली का कोई हिस्सा गायब हो।
समाधान: एक दो-चरणीय "एडिटर" टीम
लेखकों ने इन ट्रांसक्रिप्ट्स को ठीक करने के लिए एक नई, स्मार्ट टीम का प्रस्ताव दिया है। इसे एक बिखरे हुए ड्राफ्ट पर काम करने वाली दो लोगों की एडिटिंग टीम की तरह समझें।
चरण 1: हाइलाइटर (डिटेक्टर)
सबसे पहले, वे एक विशेष टूल (जिसे MuRIL कहा जाता है) का उपयोग करते हैं जो एक हाइलाइटर पेन की तरह काम करता है। यह बिखरे हुए वाक्य को स्कैन करता है और हाइलाइट करता है कि कौन से शब्द "कचरा" हैं (जैसे फिलर्स, दोहराव) और कौन से "सोना" हैं (असली अर्थ)।
- उदाहरण: कल्पना कीजिए कि एक शिक्षक छात्र के निबंध को ग्रेड दे रहा है। केवल गलतियों को मिटाने के बजाय, शिक्षक उन्हें लाल स्याही से घेर देता है ताकि छात्र को पता चल सके कि उसे क्या ठीक करने की ज़रूरत है।
चरण 2: रीराइट आर्टिस्ट (LLM)
इसके बाद, वे इस हाइलाइट किए गए ड्राफ्ट को एक शक्तिशाली AI लेखक (LLM) को देते हैं। AI को निर्देश दिया जाता है: "यह बिखरा हुआ वाक्य है, और ये लाल घेरे हैं। इसे एक बेहतरीन, सुचारू वाक्य में फिर से लिखें, लेकिन इसका मूल अर्थ वही रहने दें।"
सीक्रेट सॉस: "एंटी-रिपीट" नियम
यही इस पेपर का सबसे बड़ा नवाचार है। आमतौर पर, जब आप किसी AI को फिर से लिखना सिखाते हैं, तो वह "अच्छे" उत्तर को देखकर और उससे मेल खाने की कोशिश करके सीखता है। लेकिन कभी-कभी, AI आलसी हो जाता है और गलती से उन बुरे शब्दों (जैसे "अम" और "उह") को फिर से शामिल कर देता है।
इसे रोकने के लिए, लेखकों ने कॉन्ट्रास्टिव लर्निंग (Contrastive Learning) नामक एक विशेष नियम जोड़ा।
- उदाहरण: कल्पना कीजिए कि आप एक बच्चे को केक बनाना सिखा रहे हैं।
- सामान्य ट्रेनिंग: आप उन्हें एक परफेक्ट केक दिखाते हैं और कहते हैं, "ऐसा ही एक बनाओ।"
- पेपर का तरीका: आप उन्हें एक परफेक्ट केक दिखाते हैं, लेकिन साथ ही पिछली बार उनके द्वारा बनाए गए जले हुए कुकीज़ पर एक बड़ा लाल "X" भी लगा देते हैं। आप कहते हैं, "ऐसा केक बनाओ, लेकिन इसमें जले हुए कुकीज़ मत डालना।"
यह "एंटी-रिपीट" नियम AI को सक्रिय रूप से दंडित करता है यदि वह वाक्य में "अम" या "उह" को वापस डालने की कोशिश करता है। यह AI को कचरे को पीछे छोड़ने के लिए अतिरिक्त सावधानी बरतने के लिए मजबूर करता है।
उन्होंने क्या टेस्ट किया
टीम ने तीन भारतीय भाषाओं पर इसका परीक्षण किया: हिंदी, बंगाली और मराठी। ये भाषाएँ कठिन हैं क्योंकि इनमें जटिल व्याकरण होता है और लोग बहुत अलग-अलग तरीकों से हकलाते या वाक्यों को फिर से शुरू करते हैं।
उन्होंने अपने नए तरीके की तुलना निम्नलिखित से की:
- पुरानी कैंची: सिर्फ शब्दों को काट देना।
- स्मार्ट गेसर्स: वे AI मॉडल जो बिना मदद के सुधार का अनुमान लगाने की कोशिश करते हैं।
- बड़े प्रसिद्ध मॉडल: जैसे GPT-4 और Gemini, जो बहुत महंगे और शक्तिशाली हैं।
परिणाम
पेपर में पाया गया कि उनका "दो-चरणीय टीम और एंटी-रिपीट नियम" विजेता रहा।
- कैंची से बेहतर: इसने व्याकरण को तोड़े बिना वाक्यों को ठीक किया।
- गेसर्स से बेहतर: इसने संदर्भ (context) को बहुत बेहतर समझा।
- दिग्गजों को पछाड़ना: आश्चर्यजनक रूप से, उनके छोटे, विशिष्ट मॉडल ने वास्तविक दुनिया की, बिखरी हुई ऑडियो रिकॉर्डिंग पर बड़े और महंगे मॉडलों जैसे GPT-4 के बराबर या कभी-कभी उनसे भी बेहतर प्रदर्शन किया।
यह क्यों महत्वपूर्ण है
लेखकों ने दिखाया कि यदि आप बोलने के दौरान होने वाले "हकलाने" को साफ नहीं करते हैं, तो रोबोट का दिमाग भ्रमित हो जाता है।
- प्रश्न उत्तर (Question Answering): रोबोट मूर्खतापूर्ण जवाब देता है।
- अनुवाद (Translation): अनुवाद खराब हो जाता है।
- वापस बोलना (Speaking Back): जब रोबोट वापस बोलता है, तो वह रोबोटिक और अजीब लगता है।
इस नए तरीके का उपयोग करके, रोबोट एक बिखरी हुई, हकलाती मानवीय आवाज़ को एक साफ, सुचारू वाक्य में बदल सकता है, और फिर उसे पूरी तरह से समझ सकता है।
संक्षेप में
यह पेपर स्पीच ट्रांसक्रिप्ट को साफ करने का एक स्मार्ट तरीका पेश करता है। केवल गलतियों को हटाने के बजाय, यह गलतियों को खोजने के लिए एक "हाइलाइटर" का उपयोग करता है और उन्हें ठीक करने के लिए एक "रीराइट आर्टिस्ट" का उपयोग करता है, जिसमें एक विशेष नियम है जो यह सुनिश्चित करता है कि आर्टिस्ट गलती से गलतियों को वापस न डाल दे। यह वॉयस असिस्टेंट और चैटबॉट्स को बहुत बेहतर बनाता है, खासकर हिंदी, बंगाली और मराठी जैसी भाषाओं के लिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।