Pisets: A Robust Speech Recognition System for Lectures and Interviews
यह शोध पत्र "Pisets" को प्रस्तुत करता है, जो व्याख्यानों और साक्षात्कारों के लिए डिज़ाइन किया गया एक सुदृढ़ रूसी स्पीच-टू-टेक्स्ट सिस्टम है, जो करिकुलम लर्निंग और उन्नत अनिश्चितता मॉडलिंग के साथ Wav2Vec2, ऑडियो स्पेक्ट्रोग्राम ट्रांसफॉर्मर और व्हिस्पर (Whisper) को संयोजित करने वाले तीन-घटक आर्किटेक्चर का उपयोग करके मानक व्हिस्पर मॉडलों की तुलना में ट्रांसक्रिप्शन सटीकता को बढ़ाता है और मतिभ्रम (hallucinations) को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लंबे, जटिल व्याख्यान का ट्रांसक्रिप्शन (प्रतिलेखन) करने की कोशिश कर रहे हैं, जो एक प्रोफेसर द्वारा दिया गया है जो बहुत तेज़ी से बोलता है, कभी-कभी बुदबुदाता है, और उसके आसपास ब्लैकबोर्ड पर चॉक टकराने की आवाज़ें आ रही हैं। यदि आप एक मानक AI असिस्टेंट से इसे लिखने के लिए कहते हैं, तो वह शब्दों को सही तो लिख सकता है लेकिन ऐसी बातें भी बना सकता है जो कभी हुई ही नहीं थीं ("hallucination"), या शोर के कारण भ्रमित होकर वह पूरे वाक्यों को छोड़ भी सकता है।
इस समस्या को हल करने के लिए इस शोध पत्र के लेखकों ने "Pisets" (जिसका रूसी में अर्थ "लेखक/लिपिक" है) नामक एक सिस्टम बनाया है। Pisets को एक अकेले रोबोट के रूप में नहीं, बल्कि एक सटीक ट्रांसक्रिप्ट तैयार करने के लिए मिलकर काम करने वाली तीन-सदस्यीय संपादकीय टीम के रूप में समझें।
यहाँ उनकी यह "टीम" कैसे काम करती है, सरल उपमाओं (analogies) का उपयोग करते हुए दिया गया है:
1. पहला संपादक: "अति-संवेदनशील कान" (Wav2Vec2)
एक सामान्य सेटअप में, कंप्यूटर पूरी ऑडियो फ़ाइल को एक साथ सुनने की कोशिश करता है। Pisets की शुरुआत एक विशेषज्ञ से होती है जिसे Wav2Vec2 कहा जाता है।
- उपमा: कल्पना कीजिए कि एक जासूस है जो यह पहचानने में अविश्वसनीय रूप से कुशल है कि कब कोई बोल रहा है और कब वह चुप है। मानक उपकरणों के विपरीत, जो केवल वॉल्यूम के आधार पर अनुमान लगाते हैं (जैसे एक साधारण मोशन सेंसर), यह जासूस "संदर्भ" (context) का उपयोग यह जानने के लिए करता है कि वाक्य ठीक कहाँ शुरू और समाप्त होता है।
- तरीका: टीम ने इस जासूस को करिकुलम लर्निंग (Curriculum Learning) नामक विधि का उपयोग करके प्रशिक्षित किया। उन्होंने जासूस के सामने तुरंत सबसे कठिन, शोर वाले व्याख्यान नहीं फेंके, बल्कि स्पष्ट, शांत रिकॉर्डिंग से शुरुआत की और धीरे-धीरे शोर और लहजे (accents) को जोड़ा। यह ड्राइविंग सीखने जैसा है: पहले खाली पार्किंग लॉट में, फिर शांत सड़कों पर, और अंत में भारी ट्रैफिक में। इसने जासूस को अव्यवस्थपूर्ण वातावरण में भाषण खोजने में बहुत बेहतर बना दिया।
2. दूसरा संपादक: "शोर फ़िल्टर" (AST)
एक बार जब पहला संपादक ऑडियो को टुकड़ों में काट देता है, तो दूसरा विशेषज्ञ, ऑडियो स्पेक्ट्रोग्राम ट्रांसफॉर्मर (AST), कार्यभार संभालता है।
- उपमा: कभी-कभी पहला संपादक उत्साहित हो जाता है और उसे लगता है कि खांसना या कुर्सी रगड़ने की आवाज़ किसी व्यक्ति के बोलने की आवाज़ है। यह दूसरा संपादक एक सख्त गुणवत्ता नियंत्रण निरीक्षक (quality control inspector) की तरह कार्य करता है। यह ध्वनि तरंगों को देखता है और कहता है, "रुको, यह सिर्फ बैकग्राउंड शोर है, मानव आवाज नहीं।"
- परिणाम: यह अंतिम ट्रांसक्रिप्शन होने से पहले "गलत सूचनाओं" (false alarms) को फ़िल्टर कर देता है, जिससे यह सुनिश्चित होता है कि अगला चरण बेकार की चीज़ों को लिखने में समय बर्बाद न करे।
3. तीसरा संपादक: "मुख्य लेखक" (Whisper)
अंत में, साफ किया गया ऑडियो Whisper मॉडल के पास जाता है, जो भाषण को टेक्स्ट में बदलने के लिए बहुत प्रसिद्ध है।
- उपमा: यह वह मुख्य लेखक है जो वास्तव में शब्दों को टाइप करता है। क्योंकि पिछले दो संपादकों ने अपना काम कर दिया है, इसलिए लेखक शोर या सन्नाटे से विचलित नहीं होता है।
- सुरक्षा जाल: टीम ने एक "निरंतरता जांच" (consistency check) भी जोड़ी है। वे जो कुछ भी 'मुख्य लेखक' ने लिखा है, उसकी तुलना उस चीज़ से करते हैं जो 'पहले संपादक' (जासूस) ने सुनी थी। यदि वे काफी भिन्न हैं, तो सिस्टम इसे संभावित रूप से गलत मानकर फ्लैग (चिह्नित) कर देता है। वे एक विशेष गणितीय ट्रिक (BIRM) का भी उपयोग करते हैं ताकि लेखक कठिन ऑडियो के दौरान भी सटीक बना रहे।
यह प्रतिस्पर्धा से बेहतर क्यों है?
यह शोध पत्र इसकी तुलना WhisperX जैसे अन्य सिस्टमों से करता है।
- WhisperX एक तेज़ टाइपिस्ट की तरह है जो भाषण खोजने के लिए एक मानक मोशन सेंसर का उपयोग करता है। यह अच्छा है, लेकिन शोर से भ्रमित हो सकता है।
- Pisets उसी टाइपिस्ट की तरह है, लेकिन वे विशेषज्ञों की एक टीम के साथ काम कर रहे हैं जो काम को पहले साफ करते हैं और काम की दोबारा जांच करते हैं।
- परिणाम: लंबे व्याख्यानों (20-40 मिनट) के परीक्षणों में, जिनमें शोर (जैसे चॉक की आवाज़ या संगीत) शामिल था, Pisets ने मानक सिस्टम की तुलना में कम गलतियाँ कीं और कम काल्पनिक तथ्य बनाए।
"अनिश्चितता" विशेषता: "पीला हाइलाइटर"
Pisets का सबसे दिलचस्प हिस्सा इसकी यह बताने की क्षमता है कि, "मैं इस हिस्से के बारे में निश्चित नहीं हूँ।"
- उपमा: कल्पना कीजिए कि एक प्रूफरीडर न केवल गलतियों को सुधारता है बल्कि उन वाक्यों को पीले रंग से हाइलाइट भी करता है जिनके बारे में वह अनिश्चित है।
- यह कैसे काम करता है: सिस्टम हर शब्द के लिए एक "कॉन्फिडेंस स्कोर" (विश्वास स्कोर) की गणना करता है। यदि सिस्टम अनिश्चित है (शायद इसलिए क्योंकि ऑडियो बहुत तेज़ था या वक्ता बुदबुदा रहा था), तो वह उस शब्द को चिह्नित करता है।
- लाभ: शोध पत्र दिखाता है कि केवल 5% शब्दों (वे शब्द जिनके बारे में सिस्टम सबसे कम निश्चित है) को हाइलाइट करके, वे 35% गलतियों को पकड़ सकते हैं। यह एक इंसान को पूरे ट्रांसक्रिप्ट को शुरू से अंत तक पढ़ने के बजाय, केवल हाइलाइट किए गए हिस्सों को जल्दी से स्कैन करने की अनुमति देता है।
सारांश
"Pisets" एक मजबूत टूल है जिसे वैज्ञानिकों और पत्रकारों के लिए डिज़ाइन किया गया है जिन्हें लंबे, शोर वाले व्याख्यानों और साक्षात्कारों को सटीक टेक्स्ट में बदलने की आवश्यकता होती है। इस काम को एक जासूस (भाषण खोजना), एक फ़िल्टर (शोर हटाना), और एक लेखक (टेक्स्ट लिखना) में विभाजित करके, और फिर अनिश्चित हिस्सों के लिए एक हाइलाइटर जोड़कर, उन्होंने एक ऐसा सिस्टम बनाया है जो पिछले AI मॉडलों की तुलना में अधिक विश्वसनीय है और गलत तथ्य बनाने की संभावना कम रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।