Whisper-Aware LLM: Self-Supervised Uncertainty Learning for Robust Whispered Speech Recognition
यह शोध पत्र व्हिस्पर-अवेयर एलएलएम (Whisper-Aware LLM) को प्रस्तुत करता है, जो एक स्व-पर्यवेक्षित ढांचा है जो कॉन्फिडेंस-फ्यूज्ड डिकोडिंग को सक्षम करने के लिए ध्वनिक अनिश्चितता को परिमाणित करता है, जिससे फुसफुसाकर बोले गए भाषण की पहचान पर अत्याधुनिक प्रदर्शन प्राप्त होता है और साथ ही मतिभ्रम (hallucination) की दर को काफी कम किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त के साथ बातचीत करने की कोशिश कर रहे हैं जो आपके कान के बिल्कुल पास आकर फुसफुसा रहा है। अब, कल्पना कीजिए कि वह दोस्त एक ऐसे कमरे में खड़ा है जहाँ रेफ्रिजरेटर की गूँज, हवा की सरसराहट और भीड़ की दूर की बातचीत का शोर है। आपका मस्तिष्क अद्भुत है; यह आमतौर पर पृष्ठभूमि के शोर को फ़िल्टर कर सकता है और उस धीमी, सांस भरी आवाज़ पर ध्यान केंद्रित कर सकता है। लेकिन यदि आप एक कंप्यूटर को ऐसा करने के लिए कहें, तो वह अक्सर एक दीवार से टकरा जाता है। यह ऑटोमैटिक स्पीच रिकग्निशन (ASR) की दुनिया है, जो एक ऐसा विज्ञान है जिसका उद्देश्य मशीनों को मानव भाषण समझने के लिए सिखाना है।
tricky हिस्सा यह है कि फुसफुसाना सामान्य बातचीत की तुलना में एक बहुत ही अलग तरह की ध्वनि है। जब हम सामान्य रूप से बोलते हैं, तो हमारे वोकल कॉर्ड्स गिटार के तारों की तरह कंपन करते हैं, जिससे एक स्पष्ट, मजबूत संगीतमय स्वर पैदा होता है। जब हम फुसफुसाते हैं, तो वे कॉर्ड्स बिल्कुल भी कंपन नहीं करते; इसके बजाय, हम बस एक तंग जगह से हवा को धकेलते हैं, जिससे एक ऐसी ध्वनि पैदा होती है जो ज्यादातर केवल शोर है। कंप्यूटर के लिए, यह एक भ्रमित करने वाला मेश (mess) है। यह एक ऐसी किताब पढ़ने की कोशिश करने जैसा है जहाँ आधे अक्षर धुंधले हैं और बाकी आधे केवल रैंडम रेखाचित्र हैं। यदि कंप्यूटर बहुत अधिक ज़ोर देकर फुसफुसाहट को "सुनने" की कोशिश करता है, तो वह चीजें बनाना शुरू कर सकता है, जैसे हवा की आवाज़ को बिल्ली के बारे में किसी वाक्य में बदल देना। यह पेपर ठीक इसी समस्या को संबोधित करता है: हम कंप्यूटर को कैसे सिखाएं कि उसे कब पता चले कि वह फुसफुसाहट सुन रहा है, और अधिक महत्वपूर्ण बात यह है कि उसे कब पता चले कि वह भाषण बिल्कुल नहीं सुन रहा है?
इस पेपर के पीछे के शोधकर्ताओं ने, जो अलीबाबा में काम कर रहे हैं, कंप्यूटर को उत्तर का अनुमान लगाने के लिए मजबूर करने के बजाय उसे इस बारे में ईमानदार होना सिखाने का निर्णय लिया कि वह कितना अनिश्चित है। उन्होंने एक नया प्रकार का AI बनाया जिसे विस्पर-अवेयर एलएलएम (Whisper-Aware LLM) कहा गया। इस AI को एक ऐसे जासूस के रूप में सोचें जो न केवल सुराग ढूंढता है, बल्कि उसके पास एक "कॉन्फिडेंस मीटर" (विश्वास मीटर) भी होता है। इससे पहले कि जासूस संदिग्ध का नाम लिखे, मीटर उसे बताता है कि सबूत कितने डगमगाए हुए हैं। यदि सबूत बहुत अधिक धुंधले हैं (जैसे तूफान में फुसफुसाहट), तो जासूस जानता है कि बेतहाशा अनुमान लगाने के बजाय चुप रहना बेहतर है।
यहाँ बताया गया है कि उन्होंने इस "ईमानदार" जासूस को कैसे बनाया। सबसे पहले, उन्होंने AI को सेल्फ-सुपरवाइज्ड लर्निंग नामक एक तकनीक का उपयोग करके एक विशेष प्रशिक्षण पाठ्यक्रम दिया। केवल इसे हजारों फुसफुसाने वाले वाक्यों को दिखाने और यह कहने के बजाय कि "यह क्या कहता है," उन्होंने AI को फुससाहट के भौतिक दोषों को पहचानना सिखाया। उन्होंने दो विशिष्ट चुनौतियाँ सेट कीं:
- मिसिंग नोट गेम: चूंकि फुसफुसाहट में गहरे "कंपन" वाले स्वर (जिसे F0 कहा जाता है) की कमी होती है, इसलिए AI को उस गायब स्वर की भविष्यवाणी करने के लिए कहा गया। जब वह उस स्वर की भविष्यवाणी करने में विफल रहा, तो AI ने सीखा, "आह, यह संकेत कमजोर और अनिश्चित है।"
- पज़ल गेम: उन्होंने ध्वनि तरंग के हिस्सों को छिपा दिया और AI को उन्हें फिर से बनाने के लिए कहा। क्योंकि फुसफुसाहट बहुत अधिक शोर भरी और अव्यवस्थित होती है, इसलिए AI उन्हें पूरी तरह से फिर से बनाने में संघर्ष करता है। यह संघर्ष एक संकेत बन गया: "मुझे इसे समझने में कठिनाई हो रही है, इसलिए मुझे सावधान रहना चाहिए।"
एक बार जब AI इस अनिश्चितता को महसूस करना सीख गया, तो उन्होंने उसे बोलने का एक नया तरीका दिया। उन्होंने एक कॉन्फिडेंस-फ्यूज्ड डिकोडिंग (Confidence-Fused Decoding) सिस्टम पेश किया। कल्पना कीजिए कि AI सुनी गई आवाज़ के आधार पर एक कहानी लिख रहा है। आमतौर पर, वह सुनी गई हर आवाज़ पर अंधाधुंध भरोसा कर सकता है। लेकिन अब, उसके पास एक "ग्लोबल इंस्ट्रक्शन" (उसके अपने कॉन्फिडेंस मीटर से एक उच्च-स्तरीय नोट) है जो कहता है, "हे, सिग्नल डगमगा रहा है, सावधान रहें।" इसके अलावा, उसके पास एक "फ्रेम-वाइज कॉन्फिडेंस" है जो उसके ध्यान (attention) पर एक डिमर स्विच की तरह काम करता है। यदि ध्वनि का कोई विशिष्ट क्षण बहुत शोर वाला है, तो AI उस हिस्से पर अपने ध्यान की तीव्रता को कम कर देता है, प्रभावी रूप से शोर को अर्थ देने के बजाय उसे अनदेखा कर देता है।
इसके परिणाम प्रभावशाली थे। टीम ने अपने नए मॉडल का परीक्षण AISHELL6-Whisper नामक एक डेटासेट पर किया, जो कठिन फुसफुसाहट वाली बातचीत से भरा है। पुराने तरीके (मानक मॉडल का उपयोग करना) इस कठिन परीक्षण पर 1.58% बार गलतियाँ करते थे। नया विस्पर-अवेयर मॉडल उस त्रुटि दर को घटाकर केवल 1.31% कर देता है, जो पिछले सर्वश्रेष्ठ की तुलना में 17% सापेक्ष कमी है। लेकिन असली जादू तब हुआ जब उन्होंने "हैलुसिनेशन" (hallucinations)—उन क्षणों के लिए परीक्षण किया जहाँ AI शुद्ध शोर से शब्द बना देता है—के लिए परीक्षण किया।
एक विशेष परीक्षण में जिसे गैर-भाषण ध्वनियों (जैसे हवा या मशीन की गूँज) के साथ AI को चकमा देने के लिए डिज़ाइन किया गया था, पुराने मॉडल लगभग 25% से 29% समय "भाषण की कल्पना" करने लगे। वे फुसफुसाहट और हवा के बीच अंतर नहीं कर सके। नया विस्पर-अवेयर मॉडल, हालांकि, केवल 4.5% समय ही शब्द बनाता है। इसने सीखा कि यह कहना है, "मैं नहीं जानता कि यह क्या है," बजाय इसके कि वह अनुमान लगाए।
लेखकों ने यह भी जांचा कि क्या AI को फुसफुसाहट के प्रति सावधान होने के लिए सिखाने से सामान्य, तेज़ भाषण को समझने में इसकी क्षमता खराब तो नहीं हुई। उन्होंने LibriSpeech और AISHELL-1 जैसे मानक डेटासेट पर परीक्षण किया, और मॉडल ने क्षेत्र के शीर्ष विशेषज्ञों के समान प्रदर्शन किया, जिससे साबित हुआ कि "विस्पर-अवेयर" होने का मतलब "नॉर्मल-स्पीच ब्लाइंड" होना नहीं है।
संक्षेप में, यह पेपर सुझाव देता है कि एक भ्रमित करने वाली, शोर भरी फुसफुसाहट को संभालने का सबसे अच्छा तरीका कंप्यूटर पर चिल्लाना या उसे अधिक डेटा खिलाना नहीं है। यह कंप्यूटर को अपनी उलझन को पहचानने के लिए सिखाना है। AI को उसकी अपनी अनिश्चितता का अहसास कराकर, उन्होंने एक ऐसा सिस्टम बनाया जो न केवल फुसफुसाहट को सुनने में बेहतर है, बल्कि बहुत कम संभावना है कि वह तब निरर्थक बातें करने लगे जब दुनिया शांत और शोर भरी हो जाए। यह एक याद दिलाता है कि कभी-कभी, एक मशीन के लिए सबसे समझदारी भरा काम यह स्वीकार करना होता है कि वह निश्चित नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।