DialectS2S: End-to-End Speech Dialogue Modeling for Low-Resource Chinese Dialects

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आपका फ़ोन न केवल उस "आधिकारिक" भाषा को समझता है जिसे स्कूल में सब सीखते हैं, बल्कि उन रंगीन, स्लैंग-भरी तरीकों को भी समझता है जैसे आपके दोस्त और दादा-दादी वास्तव में बात करते हैं। लंबे समय तक, सबसे स्मार्ट कंप्यूटर दिमाग—जिन्हें "स्पीच डायलॉग मॉडल" कहा जाता है—उन विशिष्ट छात्रों की तरह थे जो केवल सटीक पाठ्यपुस्तक वाली मंदारिन या अंग्रेजी बोलते थे। वे उन भाषाओं में धाराप्रवाह बातचीत कर सकते थे, लेकिन यदि आपने उनसे सिचुआनीज़ (Sichuanese) या कैंटोनीज़ (Cantonese) जैसी किसी स्थानीय बोली में कोई प्रश्न पूछा, तो वे अक्सर भ्रमित हो जाते थे, रोबोटिक स्वर में बोलने लगते थे, या बस वापस आधिकारिक भाषा पर आ जाते थे। यह एक बड़ी बात है क्योंकि बोलियाँ स्थानीय संस्कृति और पारिवारिक जुड़ाव की धड़कन होती हैं। समस्या यह है कि इन बोलियों में स्वाभाविक रूप से बोलने के लिए कंप्यूटर को सिखाने के लिए पर्याप्त रिकॉर्ड की गई बातचीत उपलब्ध नहीं है। यह एक शेफ को एक विशिष्ट क्षेत्रीय व्यंजन बनाना सिखाने जैसा है जब आपके पास केवल एक रेसिपी बुक और कुछ बिखकी हुई सामग्रियां हों।

इस शोध पत्र के पीछे के शोधकर्ताओं ने DialectS2S नामक एक नया प्रकार का "स्पीच-टू-स्पीच" (speech-to-speech) मॉडल बनाकर इसे ठीक करने का निर्णय लिया, जो कम संसाधन वाली चीनी बोलियों में स्वाभाविक रूप से चैट कर सकता है। केवल कुछ दुर्लभ रिकॉर्डिंग को याद करने के लिए मजबूर करने के बजाय, उन्होंने अन्य AI टूल्स का उपयोग करके हजारों नई अभ्यास बातचीत बनाने का एक चतुर तरीका ईजाद किया। उन्होंने यह भी देखा कि कुछ पेचीदा है: जब आप कंप्यूटर को एक नई बोली सिखाते हैं, तो उसका आंतरिक "दिमाग" यह बदल देता है कि वह कैसे सोचता है, लेकिन जिस तरह से हम उसे बोलना सिखाते हैं वह अक्सर वैसा ही रहता है, जिससे एक बेमेल स्थिति पैदा होती है। इसे हल करने के लिए, उन्होंने दो-चरणीय प्रशिक्षण पद्धति विकसित की जहाँ कंप्यूटर अपने स्वयं के नए ज्ञान के आधार पर खुद को बोलना सिखाता है, न कि एक पुराने, कठोर स्क्रिप्ट का पालन करता है। परिणाम? एक ऐसा मॉडल जो सिचुआनीज़, कैंटोनीज़ और तियानजिन (Tianjin) जैसी बोलियों में एक स्वाभाविक, स्पष्ट और सुसंगत बातचीत कर सकता है, बिना अपनी मंदारिन या अंग्रेजी बोलने की क्षमता खोए।

समस्या: वह "रोबोट" जो स्थानीय भाषा नहीं बोल सकता

कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जो सटीक अंग्रेजी और मंदारिन में चुटकुले सुनाने में माहिर है। लेकिन जब आप उससे अपने गृहनगर की बोली में बात करने की कोशिश करते हैं, तो वह हकलाने लगता है, एक टूटे हुए रेडियो की तरह सुनाई देता है, या इससे भी बुरा, वह आपके लहजे को अनदेखा कर देता है और सटीक मंदारिन में उत्तर देता है। मौजूदा स्पीच मॉडल के साथ बिल्कुल यही होता है। उन्हें प्रमुख भाषाओं के विशाल डेटा पर प्रशिक्षित किया जाता है, लेकिन बोलियों के लिए, डेटा बहुत कम है।

शोधकर्ताओं ने पाया कि इन मॉडलों को अधिक बोली डेटा सिखाने की कोशिश करना अक्सर उल्टा पड़ जाता है। यह एक पियानो वादक को एक नया गाना सिखाने जैसा है जैसे कि उसे पुराना गाना तेज़ और ज़ोर से बजाने के लिए कहना; वे जितना अधिक प्रयास करते हैं, उनकी उंगलियां उतनी ही उलझती जाती हैं। जब मॉडल एक नई बोली सीखता है, तो उसकी आंतरिक "सोच" (वह कैसे अर्थ समझता है) बदलती और विकसित होती है। हालाँकि, "बोलने" वाला हिस्सा (कि वह उस विचार को ध्वनि में कैसे बदलता है) अभी भी पुराने, अपरिवर्तित नियमों का उपयोग करके सिखाया जा रहा है। यह एक बेमेल स्थिति बनाता है: दिमाग बोली में सोच रहा है, लेकिन मुँह उस तरह से बोलने की कोशिश कर रहा है जो उसके अनुकूल नहीं है, जिससे भाषण अप्राकृतिक या समझने में कठिन हो जाता है।

समाधान: एक बोली प्लेग्राउंड बनाना

इसे ठीक करने के लिए, टीम ने DialftS2S बनाया, जो विशेष रूप से कम-संसाधन वाली बोलियों के लिए डिज़ाइन किया गया एक सिस्टम है। उन्होंने केवल अधिक बोली डेटा रिकॉर्ड होने का इंतज़ार नहीं किया; उन्होंने इसे बनाने के लिए एक मशीन बनाई।

1. सिंथेटिक पाइपलाइन (द "डायलैक्ट फैक्ट्री")
चूंकि वास्तविक बोली डेटा मिलना कठिन है, इसलिए उन्होंने इसे उत्पन्न करने के लिए एक पाइपलाइन बनाई।

• चरण 1: स्क्रिप्ट को फिर से लिखना। उन्होंने मंदारिन में मौजूद मौजूदा, उच्च-गुणवत्ता वाली बातचीत ली और एक बड़े लैंग्वेज मॉडल का उपयोग करके उन्हें सिचुआनीज़, कैंटोनीज़ और तियानजिन जैसी बोलियों में "अनुवादित" किया। यह एक मानक नाटक को किसी विशिष्ट गाँव के संवादों में फिर से लिखने जैसा है, जहाँ कहानी वही रहती है लेकिन उसका स्वाद बदल जाता है।
• चरण 2: आवाज़ का संश्लेषण (Synthesizing the Voice)। इसके बाद उन्होंने इन नए बोली वाले स्क्रिप्ट को ऑडियो में बदलने के लिए स्पीच जनरेशन मॉडल्स का उपयोग किया। "यूज़र" (उपयोगकर्ता) वाले हिस्से के लिए, उन्होंने विभिन्न आवाज़ों का उपयोग किया ताकि यह अलग-अलग लोगों जैसा लगे। "सिस्टम" (AI) वाले हिस्से के लिए, उन्होंने आवाज़ को सुसंगत रखा ताकि AI एक विश्वसनीय पात्र की तरह सुनाई दे।
• चरण 3: गुणवत्ता फ़िल्टर। सभी AI-जनरेटेड स्पीच अच्छी नहीं होती। उन्होंने UTMOS नामक टूल का उपयोग करके स्वचालित रूप से उन क्लिप्स को फ़िल्टर किया जो रोबोटिक लग रहे थे या जिनका उच्चारण खराब था, और केवल उच्च-गुणवत्ता वाले "गोल्ड" सैंपल रखे।

2. दो-चरणीय प्रशिक्षण (द "सेल्फ-करेक्टिंग लूप")
यही असली सफलता का मंत्र है। शोधकर्ताओं ने महसूस किया कि प्रशिक्षण का पुराना तरीका (केवल मॉडल को उदाहरण दिखाना और कहना "इसे कॉपी करो") काम नहीं कर रहा था क्योंकि मॉडल की आंतरिक समझ बदल रही थी।

• चरण 1: मिश्रित-डेटा फाइन-ट्यूनिंग। पहले, उन्होंने मॉडल को मंदारिन, अंग्रेजी और नए बोली डेटा के मिश्रण का उपयोग करके सिखाया। इसने मॉडल को बोलियों को समझने में मदद की।
• चरण 2: सेल्फ-अलाइन्ड स्पीच सुपरविजन। यह सबसे चतुर हिस्सा है। पुराने स्पीच टारगेट को कॉपी करने के लिए मजबूर करने के बजाय, उन्होंने मॉडल के "थिंकर" (वह हिस्सा जो अर्थ समझता है) को अपना टेक्स्ट रिस्पॉन्स खुद जेनरेट करने दिया। फिर, उन्होंने एक स्पीच सिंथेसाइज़र का उपयोग करके उस टेक्स्ट को नए स्पीच में बदला। उन्होंने इस नए स्पीच को "टॉकर" (वह हिस्सा जो बोलता है) के लिए लक्ष्य (target) के रूप में उपयोग किया।
  • उपमा: कल्पना कीजिए कि एक छात्र बोलना सीख रहा है। पुराने तरीके में, शिक्षक उसे एक स्क्रिप्ट देता है और कहता है, "इसे बिल्कुल ऐसे ही पढ़ो।" नए तरीके में, छात्र सोचता है कि वह क्या कहना चाहता है, उसे लिखता है, और फिर अपने स्वयं के शब्दों को बोलने का अभ्यास करता है। यह सुनिश्चित करता है कि जिस तरह से वे बोलते हैं वह बिल्कुल वैसा ही हो जैसा वे सोच रहे हैं, जिससे "मैं क्या चाहता हूँ" और "मैं क्या कहता हूँ" के बीच का भ्रम समाप्त हो जाता है।

परिणाम: एक स्थानीय की तरह बोलना

टीम ने अपने नए मॉडल का परीक्षण कई अन्य शीर्ष-स्तरीय स्पीच मॉडल्स के विरुद्ध किया। परिणाम प्रभावशाली थे।

• भाषा मिलान (Language Matching): जब किसी विशिष्ट बोली में बोलने के लिए कहा गया, तो DialectS2S ने सिचुआनीज़ के लिए 96%, कैंटोनीज़ के लिए 95%, और तियानजिन के लिए 91% बार सही प्रदर्शन किया। इसकी तुलना अन्य मॉडलों से करें, जो अक्सर 0% या बहुत कम स्कोर (जैसे एक प्रतिस्पर्धी में सिचुआनीज़ के लिए 2.22%) प्राप्त करते हैं। यह एक ऐसे पर्यटक और एक स्थानीय निवासी के बीच का अंतर है जो कुछ वाक्यांश जानता है बनाम वह जो दिन भर गपशप कर सकता है।
• प्रतिक्रिया की गुणवत्ता (Response Quality): जब मनुष्यों ने उत्तर कितने स्वाभाविक और सटीक थे, इसकी रेटिंग की, तो DialectS2S ने सभी बोलियों में 5 में से औसतन 4.42 का स्कोर प्राप्त किया। अन्य मॉडल संघर्ष करते रहे, जिनका स्कोर तियानजिन के लिए 2.06 तक गिर गया।
• भाषण बोधगम्यता (Speech Intelligibility): यह मापता है कि भाषण को समझना कितना आसान है। शोधकर्ताओं ने 'कैरेक्टर एरर रेट' (CER) नामक मीट्रिक का उपयोग किया, जहाँ कम संख्या बेहतर होती है। DialectS2S ने बोलियों के लिए 8.69% का CER प्राप्त किया, जो वास्तव में मौजूदा बोली बेंचमार्क (जो कि 11.67% था) से बेहतर है। इसका मतलब है कि भाषण केवल "बोली जैसा" ही नहीं था, बल्कि स्पष्ट और समझने में आसान भी था।

इसका क्या अर्थ है

यह शोध पत्र सुझाव देता है कि मॉडल की अपनी विकसित होती समझ के साथ स्पीच टारगेट को संरेखित (align) करके, हम कंप्यूटर को कम-संसाधन वाली बोलियों को बहुत अधिक प्रभावी ढंग से सिखा सकते हैं। टीम ने दिखाया कि केवल अधिक प्रशिक्षण समय जोड़ना (जैसे कि उनके द्वारा परीक्षण की गई "sft-3ep" विधि) उतना मददगार नहीं था जितना कि उनकी नई सेल्फ-अलाइन्ड विधि। वास्तव में, लंबे समय तक प्रशिक्षण देने से कभी-कभी भाषण कम स्पष्ट हो जाता है।

शोधकर्ताओं ने अपना पूरा फ्रेमवर्क, जिसमें कोड और उनके द्वारा बनाया गया डेटा शामिल है, ओपन-सोर्स कर दिया है। इसका मतलब है कि कोई भी DialectS2S का उपयोग करके अपना स्वयं का बोली चैटबॉट बना सकता है। हालांकि वर्तमान मॉडल पांच भाषाओं और बोलियों (मंदारिन, अंग्रेजी, सिचुआनीज़, कैंटोनीज़ और तियानजिन) को कवर करता है, लेकिन अब कंप्यूटर को कई अन्य स्थानीय भाषाएं सिखाने का रास्ता खुल गया है, जो डिजिटल युग में विभिन्न संस्कृतियों की अनूठी आवाजों को संरक्षित करता है।