← नवीनतम पेपर
⚡ विद्युत इंजीनियरिंग

21Codec: Decoder-side Speaker Control for Text-to-Speech

यह शोध पत्र 21Codec का प्रस्ताव करता है, जो एक स्ट्रीमिंग टेक्स्ट-टू-स्पीच मॉडल है जो टोकन स्ट्रीम में स्पीकर सूचना को न्यूनतम करने के लिए एडवरसेरियल ट्रेनिंग और डेटा ऑग्मेंटेशन का उपयोग करके मजबूत, डिकोडर-साइड स्पीकर नियंत्रण प्राप्त करता है, जिससे चंक्स (chunks) में सुसंगत स्पीकर पहचान सुनिश्चित होती है।

मूल लेखक: David Lindevelt, Suzan Verberne, Joost Broekens

प्रकाशित 2026-11-19
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: David Lindevelt, Suzan Verberne, Joost Broekens

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसी दुनिया की कल्पना करें जहाँ एक कंप्यूटर एक वाक्य को पढ़ सकता है और उसे किसी विशिष्ट व्यक्ति की आवाज़ में ज़ोर से बोल सकता है, जिसमें उनकी अनूठी टोन और लय भी शामिल हो। यह आधुनिक टेक्स्ट-टू-स्पीच तकनीक का वादा है, एक ऐसा क्षेत्र जो रोबोटिक बीप्स से बढ़कर लगभग मानवीय यथार्थवाद तक पहुँच गया है। इस क्षमता के केंद्र में ऑडियो कंप्रेशन (audio compression) नामक एक महत्वपूर्ण चरण है, जिसे कोडेक (codec) कहा जाता है। इस प्रक्रिया को एक अनुवादक के रूप में समझें जो कच्ची ध्वनि तरंगों को डिजिटल टोकन के एक संक्षिप्त प्रवाह में बदल देता है, ठीक वैसे ही जैसे एक लंबे उपन्यास को संक्षिप्त नोट्स की एक श्रृंखला में बदलना। ये नोट्स फिर एक डिकोडर को भेजे जाते हैं, जो ध्वनि को पुनर्गठित करता है। वर्षों तक, इन प्रणालियों ने अच्छा काम किया, लेकिन जब इन्हें वास्तविक समय (real-time) में बोलने के लिए कहा गया, तो इन्हें एक बाधा का सामना करना पड़ा। लाइव बातचीत के साथ तालमेल बिठाने के लिए, कंप्यूटर को ध्वनि को बहुत छोटे, तीव्र विस्फोटों (bursts) में प्रोसेस करना होता है। समस्या यह है कि जब सिस्टम केवल इन छोटे विस्फोटों के आधार पर यह अनुमान लगाने की कोशिश करता है कि कौन बोल रहा है, तो वह अक्सर अपना रास्ता भटक जाता है, जिससे आवाज़ डगमगा जाती है या वाक्य के बीच में ही किसी दूसरी पहचान में बदल जाती है।

नीदरलैंड के लाइडेन यूनिवर्सिटी के शोधकर्ताओं ने 21Codec नामक एक नई प्रणाली के साथ इस अस्थिरता का समाधान निकाला है। उनका कार्य वर्तमान मशीनों द्वारा आवाज़ की पहचान को संभालने के तरीके में एक मौलिक दोष को संबोधित करता है। मौजूदा मॉडलों में, कंप्यूटर यह समझने की कोशिश करता है कि कौन बोल रहा है, इसके लिए कि अब तक उत्पन्न किए गए नोट्स के पूरे अनुक्रम (sequence) को देखता है। जब सिस्टम को वास्तविक समय में काम करने के लिए मजबूर किया जाता है, तो वह एक बार में केवल उन नोट्स के एक छोटे से हिस्से को ही देख पाता है। नतीजंत, वह हर एक छोटे हिस्से के लिए वक्ता की पहचान का पुन: अनुमान लगाता है, और ये अनुमान अक्सर एक-दूसरे के साथ विरोधाभास करते हैं, जिससे ऐसी आवाज़ निकलती है जो ऐसा लगता है जैसे कि वह अपनी पहचान के बारे में अपना मन बदल रही हो। शोधकर्ताओं का तर्क है कि यह समस्या ध्वनि को डिकोड करने के तरीके की नहीं है, बल्कि यह जानकारी को संग्रहीत करने के तरीके की समस्या है। वे प्रस्ताव देते हैं कि आवाज़ की पहचान नोट्स के भीतर छिपी नहीं होनी चाहिए, जिसका इंतज़ार किया जाए, बल्कि इसे एक अलग निर्देश के रूप में सीधे डिकोडर को प्रदान किया जाना चाहिए।

इसे प्राप्त करने के लिए, टीम ने एक ऐसी प्रणाली बनाई है जो डिकोडर को भेजे जाने से पहले डिजिटल नोट्स से वक्ता की पहचान को सक्रिय रूप से हटा देती है। उन्होंने अपने मॉडल को एक "शिक्षक" (teacher) को शामिल करने वाली एक चतुर तकनीक का उपयोग करके प्रशिक्षित किया, जो नोट्स से वक्ता की पहचान करने की कोशिश करता है। मॉडल इस शिक्षक को मूर्ख बनाने का प्रयास करता है, प्रभावी रूप से वक्ता की पहचान को संपीड़ित डेटा स्ट्रीम के भीतर छिपा देता है। नोट्स पर आवाज़ के लिए निर्भर रहने के बजाय, सिस्टम एक अलग नियंत्रण संकेत (control signal) का उपयोग करता है—जो वांछित वक्ता का एक विशिष्ट डिजिटल फिंगरप्रिंट है—ताकि पुनर्निर्माण का मार्गदर्शन किया जा सके। यह संकेत प्रक्रिया के बिल्कुल अंत में लागू किया जाता है, जिससे यह सुनिश्चित होता है कि आवाज़ पहले शब्द से लेकर अंतिम शब्द तक सुसंगत बनी रहे, चाहे डेटा के टुकड़े कितने भी छोटे क्यों न हों। शोधकर्ताओं ने इसका परीक्षण एक एकल नोट अनुक्रम को लेकर और विभिन्न वॉयस फिंगरप्रिंट्स के साथ इसे बजाकर किया, जिससे शब्दों या वाक्य के अर्थ को बदले बिना वक्ता को सफलतापूर्वक बदला जा सका।

परिणाम बताते हैं कि स्थिर आवाज़ बनाए रखने के लिए यह दृष्टिकोण उल्लेखनीय रूप से प्रभावी है। जब सिस्टम ने वास्तविक समय के छोटे टुकड़ों में उसी नोट अनुक्रम को डिकोड किया, तो आवाज़ में कोई बदलाव नहीं आया, जबकि पिछले मॉडलों में आवाज़ स्पष्ट रूप से अलग वक्ताओं के बीच बदल जाती थी। टीम ने पाया कि वे ऑडियो जेनरेट होते समय ही नियंत्रण संकेत को बदलकर वक्ता की पहचान को बदल सकते थे, जिसके लिए अतिरिक्त डेटा भेजने या फ़ाइल के आकार को बढ़ाने की आवश्यकता नहीं थी। हालाँकि, इस सुधार के साथ एक मामूली समझौता भी आता है। जबकि आवाज़ स्वाभाविक लगती है और वक्ता की पहचान स्थिर रहती है, यह सिस्टम वक्ता की जानकारी को हटाने वाले मॉडलों की तुलना में सटीक शब्दों को संरक्षित करने में थोड़ा कम सटीक है। शोधकर्ताओं ने इसे यह जाँचकर मापा कि कंप्यूटर कितनी बार शब्दों को गलत समझता है, जिससे त्रुटियों में मामूली वृद्धि पाई गई, हालांकि ध्वनि की समग्र गुणवत्ता उच्च बनी रही।

यह कार्य सुझाव देता है कि यदि टेक्स्ट-टू-स्पीच सिस्टम को लाइव अनुवाद या इंटरैक्टिव सहायकों जैसे वास्तविक समय के अनुप्रयोगों के लिए वास्तव में विश्वसनीय बनाना है, तो उन्हें वॉयस आइडेंटिटी को संभालने के तरीके को बदलना होगा। वॉयस आइडेंटिटी को परिभाषित करने की जिम्मेदारी को संपीड़ित नोट्स से हटाकर एक बाहरी नियंत्रण संकेत पर स्थानांतरित करके, सिस्टम उस भ्रम से बच जाता है जो आवाज़ों के बदलने का कारण बनता है। शोधकर्ता स्वीकार करते हैं कि उनके मॉडल को अभी भी परिष्कृत किया जा रहा है और उनके द्वारा रिपोर्ट किए गए आंकड़े संभवतः रूढ़िवादी (conservative) हैं, क्योंकि उन्होंने बजट संबंधी बाधाओं के कारण प्रशिक्षण को जल्दी रोक दिया था। फिर भी, उनके निष्कर्ष एक स्पष्ट मार्ग प्रदान करते हैं: एक ऐसी प्रणाली जहाँ आवाज़ कुछ नोट्स से सुलझाई जाने वाली पहेली नहीं है, बल्कि मशीन द्वारा स्पष्ट रूप से किया गया एक चुनाव है, जो यह सुनिश्चित करता है कि बोलने वाला व्यक्ति शुरू से अंत तक वही व्यक्ति बना रहे।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →