💬 NLP

On the Effect of Segmentation Width and Cluster Size on Speech Resynthesis and Continuation in Generative Spoken Language Models

यह शोध पत्र यह प्रदर्शित करता है कि जनरेटिव स्पोकन लैंग्वेज मॉडल्स, पारंपरिक सेटिंग्स की तुलना में कम बिटरेट वाले डिस्क्रीट स्पीच रिप्रेजेंटेशन्स का उपयोग करके, बोधगम्य और स्वाभाविक स्पीच को संश्लेषित कर सकते हैं, साथ ही स्थिर निरंतरता गुणवत्ता बनाए रख सकते हैं, जिससे यह सुझाव मिलता है कि मानक कॉन्फ़िगरेशन अनावश्यक हो सकते हैं और साथ ही बेहतर ऑटोमैटिक इवैल्यूएशन मेट्रिक्स की आवश्यकता पर भी प्रकाश डाला गया है।

मूल लेखक: Shunsuke Kando, Wataru Nakata, Shinnosuke Takamichi, Yusuke Miyao

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shunsuke Kando, Wataru Nakata, Shinnosuke Takamichi, Yusuke Miyao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को लोगों की रिकॉर्डिंग सुनकर बोलना सिखाने की कोशिश कर रहे हैं, लेकिन आपको उसे कोई लिखित स्क्रिप्ट देने की अनुमति नहीं है। यह जेनरेटिव स्पोकन लैंग्वेज मॉडलिंग (GSLM) की दुनिया है। रोबोट को बिना कभी पन्ने पर लिखे शब्दों को देखे, सीधे ध्वनि की "भाषा" सीखनी होगी।

इसे करने के लिए, रोबट को पहले बोलने की निरंतर ध्वनि तरंगों (continuous sound waves) को डिजिटल "बिल्डिंग ब्लॉक्स" (discrete units) की एक सूची में बदलना होगा, ठीक वैसे ही जैसे एक चिकनी पेंटिंग को पिक्सेल के ग्रिड में बदलना। फिर, वह अगले ब्लॉक की भविष्यवाणी करने के लिए एक लैंग्वेज मॉडल का उपयोग करता है, और अंत में, एक सिंथेसाइज़र उन ब्लॉक्स को वापस ध्वनि में बदल देता है।

इस शोध पत्र में शोधकर्ताओं ने एक सरल प्रश्न पूछा: क्या रोबोट को अच्छी तरह से बोलने के लिए बहुत बड़ी संख्या में छोटे, विस्तृत पिक्सेल की आवश्यकता है, या क्या हम कम, बड़े ब्लॉक्स के साथ काम चला सकते हैं?

उन्होंने इसे कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करके इस प्रकार समझाया है:

1. ध्वनि को "चंक" (Chunk) करने के दो तरीके

शोधकर्ताओं ने यह देखने के लिए कि ये दो मुख्य सेटिंग्स रोबोट की स्पीच को कैसे प्रभावित करती हैं, उन्हें बदला:

सेगमेंटेशन विड्थ (समय का टुकड़ा/Time Chunk): ध्वनि को हर 20 मिलीसेकंड (एक बहुत छोटा हिस्सा) के बजाय, उन्होंने इसे हर 40, 80, या यहाँ तक कि 120 मिलीसेकंड में देखने की कोशिश की। इसे एक फिल्म देखने की तरह समझें: आप इसे फ्रेम-दर-फ्रेम देख सकते हैं (बहुत विस्तृत, बहुत सारा डेटा), या आप इसे 5-सेकंड के क्लिप्स में देख सकते हैं (कम विस्तृत, कम डेटा)।
क्लस्टर साइज (शब्दकोश का आकार/Vocabulary Size): Size): ध्वनि को ब्लॉक्स में बदलते समय, उन्होंने समान ध्वनियों को एक साथ समूहबद्ध किया। एक छोटा क्लस्टर साइज एक विशाल शब्दावली का अर्थ है जिसमें अद्वितीय ध्वनियों की संख्या बहुत अधिक है (जैसे 16,000 शब्दों वाली डिक्शनरी)। एक बड़ा क्लस्टर साइज का मतलब है कि वे ध्वनियों को व्यापक रूप से समूहित करते हैं, जिससे एक छोटा शब्दकोश उपयोग होता है (जैसे केवल 128 शब्दों वाली डिक्शनरी)।

लक्ष्य: बड़े समय के टुकड़ों (chunks) और छोटे शब्दकोश का उपयोग करके, उन्होंने एक "लोअर बिटरेट" (lower bitrate) सिस्टम बनाया। यह एक हाई-डेफिनिशन वीडियो को छोटी फ़ाइल में कंप्रेस करने जैसा है। आमतौर पर, जब आप किसी फ़ाइल को बहुत अधिक कंप्रेस करते हैं, तो गुणवत्ता गिर जाती है। शोधकर्ता देखना चाहते थे कि क्या भाषण इस तरह के संपीड़न (compression) के बाद भी जीवित रह सकता है।

2. उन्होंने दो परीक्षण किए

उन्होंने रोबोट पर दो अलग-अलग कार्यों का परीक्षण किया:

कार्य A: स्पीच रीसिंथेसिस (द "इको" टेस्ट)
- सेटअप: उन्होंने रोबोट को एक वाक्य दिया, उसे ब्लॉक्स में बदला, और उससे बिल्कुल वही वाक्य फिर से बनाने के लिए कहा।
- परिणाम: जैसा कि आप उम्मीद कर सकते हैं, जितने अधिक विस्तृत ब्लॉक्स होंगे (छोटे चंक्स, बड़ी शब्दावली), रोबोट उतना ही बेहतर सुनाई देगा। हालाँकि, उन्हें एक "स्वीट स्पॉट" मिला। भले ही ब्लॉक्स "चंकी" (chunkier) थे (लोअर बिटरेट), रोबोट अभी भी स्पष्ट रूप से बोलने में सक्षम था ताकि उसे समझा जा सके। उसे समझने योग्य होने के लिए बहुत बारीक विवरणों की आवश्यकता नहीं थी।
कार्य B: स्पीच कंटीन्यूएशन (द "वाक्य पूरा करने वाला" टेस्ट)
- सेटअप: उन्होंने रोबोट को एक वाक्य का आधा हिस्सा सुनाया और उससे कहानी का बाकी हिस्सा बनाने के लिए कहा।
- परिणाम: यह यहाँ दिलचस्प रहा। कई कंप्यूटर कार्यों में, कम विवरण का अर्थ खराब परिणाम होता है। लेकिन यहाँ, रोबोट ने "चंकी," लोअर-बिटरेट सेटिंग्स का उपयोग करते समय भी उतना ही अच्छा (और कभी-कभी थोड़ा बेहतर) प्रदर्शन किया।
- उपमा: कल्पना कीजिए कि आप एक कहानी पूरी करने की कोशिश कर रहे हैं। यदि आपके पास 16,000 शब्दों का शब्दकोश है, तो आप सही शब्द चुनने में फंस सकते हैं। लेकिन यदि आपके पास 1,000 शब्दों का छोटा शब्दकोश है, तो आप वास्तव में अधिक प्रवाह के साथ बोल सकते हैं क्योंकि आप सूक्ष्म विवरणों पर बहुत अधिक विचार नहीं कर रहे हैं। डेटा को सरल बनाने पर रोबोट वाक्य के अर्थ पर बेहतर ध्यान केंद्रित करने में सक्षम लग रहा था।

3. उन्होंने सफलता को कैसे मापा?

उन्होंने केवल सुना ही नहीं; उन्होंने रोबोट को ग्रेड देने के लिए तीन अलग-अलग तरीकों का उपयोग किया:

पुराने तरीके के मेट्रिक्स (Old School Metrics): यह जांचना कि क्या शब्द सही लिखे गए थे (समझने की क्षमता/intelligibility) और क्या आवाज स्वाभाविक लग रही थी।
LLM-as-a-Judge: उन्होंने एक सुपर-स्मार्ट AI (एक डिजिटल शिक्षक की तरह) का उपयोग किया जो दो अलग-अलग रोबोट की आवाजों को सुनता था और चुनता था कि कौन सी अधिक तार्किक और प्रवाहपूर्ण लग रही थी।
मानवीय रेटिंग (Human Ratings): वास्तविक लोगों ने आवाजों को सुना और उन्हें "सार्थक" दिखने के लिए 1 से 5 तक का स्कोर दिया।

ग्रेडिंग पर निष्कर्ष:
"डिजिटल शिक्षक" (LLM) वास्तव में पुराने गणितीय मेट्रिक्स की तुलना में अच्छी स्पीच को पहचानने में बेहतर था। हालाँकि, वह डिजिटल शिक्षक भी पूर्ण नहीं था; वह हमेशा मानव श्रोताओं से सहमत नहीं होता था। यह सुझाव देता है कि हमें अभी भी रोबोट स्पीच को स्वचालित रूप से ग्रेड करने के लिए एक बेहतर तरीके की आवश्यकता है।

4. मुख्य निष्कर्ष

यह पेपर निष्कर्ष निकालता है कि इन रोबोट्स को सिखाने का वर्तमान मानक तरीका जरूरत से ज्यादा (overkill) हो सकता है।

हम अक्सर यह मान लेते हैं कि अच्छी स्पीच पाने के लिए हमें भारी मात्रा में डेटा और सूक्ष्म, सटीक विवरणों की आवश्यकता होती है। यह पेपर दिखाता है कि स्पीच जनरेशन के लिए (दोनों बोलने को दोहराने और वाक्यों को पूरा करने के लिए), हम डेटा के "कंप्रेस्ड" संस्करण (कम, बड़े चंक्स) का उपयोग कर सकते हैं और समान उच्च-गुणवत्ता वाले परिणाम प्राप्त कर सकते हैं।

सरल शब्दों में: सूर्यास्त की एक शानदार फोटो लेने के लिए आपको 4K रेजोल्यूशन वाले कैमरे की आवश्यकता नहीं है; कभी-कभी एक स्टैंडर्ड डेफिनेशन कैमरा भी उतनी ही सुंदरता को कैद कर लेता है, लेकिन बहुत छोटी फ़ाइल साइज़ के साथ। शोधकर्ताओं ने पाया कि स्पीच जनरेशन भी इसी तरह काम कर सकता है: कम डेटा, फिर भी बेहतरीन साउंड।

तकनीकी सारांश: जनरेटिव स्पोकन लैंग्वेज मॉडल्स में स्पीच रीसिंथेसिस और कंटीन्यूएशन पर सेगमेंटेशन विड्थ और क्लस्टर साइज के प्रभाव पर

समस्या विवरण
जनरेटिव स्पोकन लैंग्वेज मॉडलिंग (GSLM) का लक्ष्य टेक्स्ट ट्रांसक्रिप्शन पर निर्भर किए बिना डिस्क्रीट स्पीच रिप्रजेंटेशन पर लैंग्वेज मॉडल्स (LMs) को प्रशिक्षित करना है। जबकि यह प्रतिमान (paradigm) अलिखित भाषाओं और शिशु भाषा अधिग्रहण (infant language acquisition) के लिए अनुप्रयोगों को सक्षम बनाता है, वर्तमान GSLM दृष्टिकोण दक्षता संबंधी चुनौतियों का सामना करते हैं। स्पीच सिग्नल्स को डिस्क्रीट यूनिट सीक्वेंस (स्पीच-टू-यूनिट, या s2u) में बदलने से आमतौर पर टेक्स्ट की तुलना में काफी लंबे सीक्वेंस बनते हैं, जिससे ट्रांसफॉर्मर-आधारित LMs के लिए कम्प्यूटेशनल लागत में द्विघातीय (quadratic) वृद्धि होती है। इसके अलावा, मौजूदा साहित्य सुझाव देता है कि स्पोकन लैंग्वेज अंडरस्टैंडिंग में प्रदर्शन को सीक्वेंस की लंबाई कम करके और क्लस्टर साइज बढ़ाकर सुधारा जा सकता है, लेकिन यह स्पष्ट नहीं है कि क्या ये निष्कर्ष स्पीच सिंथेसिस और कंटीन्यूएशन कार्यों के लिए भी लागू होते हैं, जो जनरेटिव अनुप्रयोगों के लिए महत्वपूर्ण हैं।

कार्यप्रणाली (Methodology)
लेखक s2u पाइपलाइन में दो प्रमुख मापदंडों में हेरफेर करके बिटरेट के GSLM प्रदर्शन पर प्रभाव की जांच करते हैं:

सेगमेंटेशन विड्थ ( $N$ ): एक SSL मॉडल (HuBERT-base) से निकाले गए निरंतर स्पीच रिप्रजेंटेशन को $N$ मिलीसेकंड के निश्चित-लंबाई वाले विंडोज़ में विभाजित किया जाता है।
क्लस्टर साइज ( $K$ ): इन सेगमेंट्स को अलग-अलग क्लस्टर्स की संख्या ( $K$ ) के साथ K-मीन्स क्लस्टरिंग का उपयोग करके क्वांटाइज किया जाता है, जो $2^7$ (128) से $2^{14}$ (16,384) तक भिन्न होता है।

$N$ के आठ मानों (20ms से 280ms) को $K$ के आठ मानों के साथ जोड़कर, यह अध्ययन 64 विशिष्ट बिटरेट सेटिंग्स बनाता है। बेसलाइन को $N=20$ (मूल HuBERT फ्रेम शिफ्ट के अनुरूप) और मानक क्लस्टर साइज के रूप में परिभाषित किया गया है।

प्रायोगिक ढांचा दो प्राथमिक कार्यों का मूल्यांकन करता है:

स्पीच रीसिंथेसिस (Speech Resynthesis): डिस्क्रीट यूनिट्स से इनपुट स्पीच को पुनरुत्पादित करना।
स्पीच कंटीन्यूएशन (Speech Continuation): एक इनपुट सेगमेंट पर आधारित अर्थपूर्ण और ध्वनिक रूप से सुसंगत स्पीच उत्पन्न करना।

यह सिस्टम एक मानक GSLM आर्किटेक्चर का उपयोग करता है: एक s2u मॉड्यूल, एक ट्रांसफॉर्मर-आधारित ऑटोरिग्रेसिव यूनिट LM (uLM, आधारित OPT), और एक यूनिट-टू-स्पीच (u2s) सिंथेसिस मॉड्यूल। मजबूती सुनिश्चित करने के लिए दो अलग-अलग u2s मॉडल्स का परीक्षण किया गया: पैरेलल वेवगन (Parallel WaveGAN) वोकोडर के साथ Tacotron2 और VITS (एक एंड-टू-एंड मॉडल)।

मूल्यांकन मेट्रिक्स (Evaluation Metrics)
अध्ययन एक बहुआयामी मूल्यांकन रणनीति का उपयोग करता है:

रीसिंथेसिस: बोधगम्यता (intelligibility) के लिए वर्ड एरर रेट (WER), प्राकृतिकता के लिए UTMOS, और एकोस्टिक फीचर रिकंस्ट्रक्शन के लिए मेल-सेपस्ट्रल डिस्टॉर्शन (MCD) और लॉग F0 RMSE।
कंटीन्यूएशन: विभिन्न सैंपलिंग टेम्परेचर पर परप्लेक्सिटी (PPL) और विविधता (VERT) की गणना की जाती है। लेखक नोट करते हैं कि PPL/VERT ट्रेड-ऑफ के लिए पारंपरिक "एरिया अंडर द कर्व" मेट्रिक अक्सर अमान्य होता है क्योंकि यह नॉन-मोनोटोनिक व्यवहार प्रदर्शित करता है; इसके बजाय, वे मिन-मैक्स नॉर्मलाइजेशन के बाद एक ओरकल पॉइंट तक यूक्लिडियन डिस्टेंस का उपयोग करते हैं।
उन्नत मूल्यांकन: LLM-एज़-ए-जज (GPT-4.1-mini) का उपयोग करके पेयरवाइज जजमेंट और मीनिंगफुलनेस मीन ऑपिनियन स्कोर (MMOS) का उपयोग करके मानव मूल्यांकन।

मुख्य परिणाम

स्पीच रीसिंथेसिस: हालांकि छोटे सेगमेंटेशन विड्थ ( $N$ ) को आम तौर पर प्राथमिकता दी जाती है, मध्यम बड़े मान (जैसे, $N=40$ या $80 $) बेसलाइन ($ N=20$) के समकक्ष प्रदर्शन प्राप्त करते हैं, जिसमें बोधगम्यता या प्राकृतिकता में कोई बड़ी गिरावट नहीं होती है। यह सुझाव देता है कि लो-बिटरेट सेटिंग्स स्पीच क्वालिटी को बनाए रख सकती हैं।
स्पीच कंटीन्यूएशन: रीसिंथेसिस के विपरीत, जहाँ बेसलाइन अक्सर सर्वोत्तम परिणाम देती है, बड़े $N$ (लो बिटरेट) वाले कई सेटिंग्स कंटीन्यूएशन कार्यों में बेसलाइन के बराबर या थोड़ा बेहतर प्रदर्शन करती हैं। विशेष रूप से, Tacotron2 के लिए $(N=120, K=2^{13})$ और VITS के लिए $(N=80, K=2^{12})$ जैसे सेटिंग्स उच्च प्रदर्शन प्रदर्शित करती हैं।
मॉडल डिपेंडेंसी: Tacotron2 ने लगातार VITS की तुलना में बोधगम्यता (WER) में बेहतर प्रदर्शन किया, जबकि VITS ने बेहतर एकोस्टिक फिडेलिटी (MCD, UTMOS) दिखाई। हालांकि, u2s मॉडल का चुनाव कंटीन्यूएशन के सिमेंटिक कंटेंट की गुणवत्ता पर सीमित प्रभाव डालता है, जैसा कि दोनों मॉडल्स के बीच PPL और VERT स्कोर में उच्च स्पीयरमैन रैंक सहसंबंध द्वारा प्रमाणित होता है।
मूल्यांकन मेट्रिक्स: LLM-आधारित पेयरवाइज जजमेंट ने पारंपरिक मेट्रिक्स (PPL, VERT) की तुलना में मानव व्यक्तिपरक स्कोर (MMOS) के साथ उच्च सहसंबंध दिखाया। हालांकि, समग्र सहसंबंध कम रहा, जो इंगित करता है कि वर्तमान ऑटोमैटिक मेट्रिक्स स्पीच मीनिंगफुलनेस को विश्वसनीय रूप से मूल्यांकन करने के लिए अपर्याप्त हैं।

महत्व और दावे
यह पेपर दावा करता है कि पारंपरिक GSLM सेटिंग, जो आमतौर पर उच्च-रिज़ॉल्यूशन वाले डिस्क्रीट यूनिट्स (छोटा $N$ , लंबा सीक्वेंस लेंथ) का उपयोग करती है, प्रभावी स्पीच जेनरेशन के लिए रेडंडेंट (अनावश्यक) जानकारी युक्त हो सकती है। लेखक प्रदर्शित करते हैं कि सेगमेंटेशन विड्थ बढ़ाकर और क्लस्टर साइज को अनुकूलित करके, कम बिटरेट पर भी बोधगम्य और प्राकृतिक स्पीच रीसिंथेसिस, साथ ही उच्च-गुणवत्ता वाला स्पीच कंटीन्यूएशन प्राप्त किया जा सकता है।

यह निष्कर्ष GSLMs के लिए अधिक कुशल प्रशिक्षण और इन्फरेंस की दिशा में एक मार्ग सुझाता है, जो आउटपुट क्वालिटी से समझौता किए बिना कम्प्यूटेशनल लागत को कम कर सकता है। इसके अतिरिक्त, यह अध्ययन मूल्यांकन पद्धति में एक महत्वपूर्ण अंतर को उजागर करता है: जबकि LLM-आधारित मेट्रिक्स पारंपरिक मेट्रिक्स की तुलना में सुधार प्रदान करते हैं, क्षेत्र में स्पीच कंटीन्यूएशन के लिए अभी भी मजबूत, उच्च-सहसंबंध वाले ऑटोमैटिक मूल्यांकन तरीकों की कमी है, जिसके लिए आगे के अनुसंधान की आवश्यकता है।

1. ध्वनि को "चंक" (Chunk) करने के दो तरीके

2. उन्होंने दो परीक्षण किए

3. उन्होंने सफलता को कैसे मापा?

4. मुख्य निष्कर्ष

इसी तरह के और पेपर