Context-Adaptive Emotional Speech Synthesis via Feature Control in Multi-Turn Dialogue (ChinaMM 2026)
यह शोधपत्र बहु-चरण भावनात्मक वाक् संश्लेषण (multi-turn emotional speech synthesis) के लिए एक संदर्भ-अनुकूलित ढांचे का प्रस्ताव करता है जो ऐतिहासिक संवाद स्मृति और स्पीच सिग्नल एवं टेक्स्ट के द्वि-मोडल संयुक्त इनपुट का लाभ उठाकर ध्वनिक विशेषताओं (acoustic features) की गतिशील रूप से भविष्यवाणी और नियंत्रण करता है, जिससे प्राकृतिक और भावनात्मक रूप से सुसंगत प्रतिक्रियाएं प्राप्त करने के लिए पारंपरिक ट्रांसक्रिप्शन-आधारित विधियों की सीमाओं को दूर किया जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी बातचीत हो रही है जहाँ दूसरी ओर से आने वाली आवाज़ पूरी तरह से मानवीय लगती है, न केवल उन शब्दों में जो वह बोलती है, बल्कि उस तरह से भी जिसमें वह सांस लेती है, रुकती है, और क्षण के मिजाज के अनुरूप अपने स्वर को बदलती है। दशकों तक, टेक्स्ट को स्पीच (आवाज़) में बदलने वाली तकनीक इस सूक्ष्मता के लिए संघर्ष करती रही है। हालाँकि मशीनें अब एक वाक्य को पूर्ण स्पष्टता के साथ बोल सकती हैं, लेकिन वे अक्सर वास्तविक संवाद में बोलने वालों के बीच बहने वाली सूक्ष्म भावनात्मक लहरों को समझने में विफल रहती हैं। वे यह समझने में विफल रहती हैं कि एक सपाट कथन और एक फुसफुसाते हुए रहस्य के बीच क्या अंतर है, या यह कि पिछली पंक्ति में आई एक हंसी का प्रभाव अगली पंक्ति के स्वर पर पड़ना चाहिए। यह अंतर इसलिए मौजूद है क्योंकि अधिकांश प्रणालियाँ एक मध्यस्थ पर निर्भर करती हैं: वे पहले किसी व्यक्ति की बोली गई आवाज़ को समझने के लिए उसे लिखित टेक्स्ट में बदलती हैं, और फिर उस टेक्स्ट का उपयोग एक नई आवाज़ उत्पन्न करने के लिए करती हैं। इस प्रक्रिया में, मूल आवाज़ के समृद्ध, अदृश्य विवरण—जैसे पिच का उतार-चढ़ाव, सांस लेने की तीव्र गति, या ठहराव की विशिष्ट लय—छीन लिए जाते हैं, जिससे कंप्यूटर के पास केवल बातचीत का ढांचा ही बचता है।
चीन संचार विश्वविद्यालय (Communication University of China) के शोधकर्ताओं की एक टीम ने इस अंतर को पाटने के लिए एक नया दृष्टिकोण विकसित किया है, जो मशीनों को केवल बातचीत के लिखित ट्रांसक्रिप्ट के बजाय वास्तविक ध्वनि को सुनने की अनुमति देता है। उनका काम, जिसे चीनMM 2026 सम्मेलन के लिए प्रस्तुत किया गया है, एक ऐसी प्रणाली पेश करता है जो बहु-चरणीय (multi-turn) संवाद को देख सकती है और एक ऐसा उत्तर उत्पन्न कर सकती है जो भावनात्मक रूप से निरंतर और स्वाभाविक रूप से सुसंगत महसूस होता है। चैट के इतिहास को शब्दों में बदलने के बजाय, उनकी विधि पिछले टर्न की कच्ची ऑडियो (raw audio) को बोले जाने वाले नए टेक्स्ट के साथ सीधे सिस्टम में फीड करती है। यह कंप्यूटर को ध्वनि तरंगों में निहित भावनात्मक स्थिति और पैरालिंग्विस्टिक संकेतों (paralinguistic cues)—जैसे कि हंसी, आहें, या तनाव—को समझने की अनुमति देता है। ऐसा करके, सिस्टम सटीक रूप से अनुमान लगा सकता है कि अगला वाक्य कैसा सुनाई देना चाहिए, यह सुनिश्चित करते हुए कि अतीत में एक उदास स्वर एक सहानुभूतिपूर्ण प्रतिक्रिया की ओर ले जाए, या उत्साह के एक विस्फोट का मिलान समान ऊर्जा से हो।
शोधकर्ताओं ने अपना समाधान एक दो-भाग वाले इंजन पर बनाया है जिसे मानव संवाद को संसाधित करने के तरीके की नकल करने के लिए डिज़ाइन किया गया है। पहला भाग एक अत्यधिक ध्यान देने वाले श्रोता के रूप में कार्य करता है, जिसे पिछले वाक्य की ध्वनि और अगले के टेक्स्ट के बीच संबंध को समझने के लिए प्रशिक्षित किया गया है। इस सिस्टम को सिखाने के लिए, टीम ने एक चतुर रणनीति का उपयोग किया जिसमें "दो-चरणीय" शिक्षण प्रक्रिया शामिल थी। पहले, उन्होंने एक मॉडल को भाषण के छोटे, अलग क्लिप्स में विशिष्ट विशेषताओं को पहचानने के लिए प्रशिक्षित किया, जैसे कि एक सेकंड के कुछ हिस्से से अधिक लंबे ठहराव की पहचान करना या गुस्से का संकेत देने वाले पिच के अचानक बदलाव को पकड़ना। उन्होंने ज्ञान की एक नींव बनाने के लिए सावधानीपूर्वक लेबल किए गए उदाहरणों के एक छोटे सेट का उपयोग किया। फिर, उन्होंने इस प्रशिक्षण को बातचीत के जोड़ों (pairs) तक विस्तारित किया: जो अभी कहा गया है उसकी ध्वनि और जो कहा जाने वाला है उसका टेक्स्ट। इससे मॉडल ने न केवल यह सीखा कि एक विशेषता कैसी सुनाई देती है, बल्कि यह भी कि एक संवाद में वह कैसे विकसित होती है। मॉडल ने सीखा कि पिछले सुने गए इतिहास के आधार पर आगामी प्रतिक्रिया के भावनात्मक स्वर और विशिष्ट ध्वनिक विवरणों की भविष्यवाणी कैसे की जाए।
हालाँकि, इन विशेषताओं की भविष्यवाणी करना आधी लड़ाई है; सिस्टम को उन भविष्यवाणियों को ऐसे निर्देशों में अनुवादित करना होगा जिनका एक स्पीच सिंथेसाइज़र वास्तव में पालन कर सके। उनका ढांचा का दूसरा भाग एक सटीक अनुवादक के रूप में कार्य करता है। पहला भाग वांछित आवाज़ का वर्णन प्राकृतिक भाषा में उत्पन्न करता है, लेकिन भविष्यवाणियों को सीधे स्पीच जनरेटर में फीड करने से भ्रम पैदा हो सकता है, जिससे मशीन निर्देशों को बोलने के बजाय उन्हें बोल सकती है। इसे रोकने के लिए, शोधकर्ताओं ने सख्त टेम्पलेट्स का एक सेट बनाया जो भविष्य की विशेषताओं को एक मानकीकृत प्रारूप में परिवर्तित करता है। उदाहरण के लिए, यदि सिस्टम एक हंसी की भविष्यवाणी करता है, तो अनुवादक यह सुनिश्चित करता है कि इसे एक निश्चित बिंदु पर हंसी डालने के विशिष्ट कमांड के रूप में फॉर्मेट किया जाए, न कि एक अस्पष्ट विवरण के रूप में। यह चरण सुनिश्चित करता है कि सूक्ष्म विवरण, जैसे कि शब्दों के बीच सांस लेना या किसी विशिष्ट शब्दांश पर जोर देना, बिल्कुल इच्छानुसार निष्पादित हों।
मौजूदा पद्धतियों के विरुद्ध परीक्षण करने पर, नया ढांचा एक बातचीत में भावनात्मक निरंतरता बनाए रखने की स्पष्ट क्षमता प्रदर्शित करता है। मानव संवाद के दो अलग-अलग डेटासेट्स का उपयोग करके किए गए प्रयोगों में, सिस्टम ने ऐसी आवाज़ें उत्पन्न कीं जिन्हें श्रोताओं ने पिछली तकनीकों की तुलना में काफी अधिक स्वाभाविक और भावनात्मक रूप से सटीक माना। शोधकर्ताओं ने मानव श्रोताओं से आवाज़ों की गुणवत्ता को रेट करवाकर और सॉफ्टवेयर का उपयोग करके उत्पन्न स्पीच की भावनात्मक श्रेणियों की मूल रिकॉर्डिंग के साथ तुलना करके इसे मापा। परिणामों ने दिखाया कि उनकी पद्धति ने इच्छित भावना से मेल खाने में उच्च सटीकता प्राप्त की, जिसमें एक डेटासेट पर 54.7 प्रतिशत और दूसरे पर 47.4 प्रतिशत का स्कोर रहा, जो अन्य अग्रणी प्रणालियों से बेहतर था। इसके अलावा, सिंथेसाइज्ड स्पीच में ध्वनि की गुणवत्ता में कम विरूपण (distortion) दिखा, जिसका अर्थ है कि यह बेसलाइन मॉडलों के आउटपुट की तुलना में वास्तविक मानव आवाज के अधिक करीब था।
इस सफलता का दृश्य प्रमाण इस बात में मिलता है कि सिस्टम बातचीत के प्रवाह को कैसे संभालता है। एक परीक्षण मामले में, जब एक वक्ता ने कहा, "यह आपका बिल है," तो सिस्टम ने वाक्य के अंत में पिच के नीचे की ओर झुकाव की सही भविष्यवाणी की, जो बयान के स्वाभाविक समापन को दर्शाता है, जबकि पुराने मॉडलों ने एक सपाट, अपरिवडित स्वर उत्पन्न किया। एक अन्य उदाहरण में, जब संदर्भ ने एक आनंदमय क्षण का सुझाव दिया, तो सिस्टम ने वाक्य के अंत में सफलतापूर्वक एक हंसी उत्पन्न की, एक ऐसी विशेषता जिसे पिछले मॉडल बनाने में विफल रहे क्योंकि उनके पास यह जानने के लिए संदर्भ नहीं था कि यह उपयुक्त है। इसी तरह, सिस्टम ने सही क्षणों पर प्राकृतिक ठहराव और सांसों को सम्मिलित करना सीखा, जिससे एक ऐसा रिदम बना जो एक वास्तविक मानवीय बातचीत जैसा महसूस हुआ, न कि रोबोटिक पाठ। ये क्षमताएं बिना प्रक्रिया को बहुत धीमा किए हासिल की गईं; पिछले टर्न को सुनने से लेकर नई आवाज़ उत्पन्न करने तक का पूरा सिस्टम एक सेकंड से भी कम समय में संचालित होता है, जो इसे वास्तविक समय की बातचीत के लिए पर्याप्त तेज़ बनाता है।
अध्ययन ने टीम द्वारा किए गए विशिष्ट डिज़ाइन विकल्पों के महत्व पर भी प्रकाश डाला। जब उन्होंने बिना अनुवाद चरण के सिस्टम का परीक्षण किया, तो स्पीच की गुणवत्ता काफी गिर गई, जिससे पुष्टि हुई कि सुनने वाले मॉडल से प्राप्त कच्ची भविष्यवाणियां सीधे उपयोग के लिए बहुत अव्यवस्थित थीं। इसने सिद्ध किया कि विशेषताओं का संरचित मानचित्रण (structured mapping) सिस्टम के काम करने के लिए आवश्यक था। शोधकर्ताओं ने उल्लेख किया कि हालांकि सिस्टम एक-पर-एक बातचीत में असाधारण रूप से अच्छा प्रदर्शन करता है, लेकिन यह वर्तमान में अपेक्षाकृत शांत परिवेशों के लिए डिज़ाइन किया गया है। वे इस तकनीक को अधिक जटिल परिदृश्यों, जैसे कि समूह चर्चाओं या शोर वाले वातावरण में संभालने के लिए विस्तारित करने और त्रुटियों को और कम करने के लिए सीखने की प्रक्रिया को परिष्कृत करने की योजना बना रहे हैं। फिलहाल, यह कार्य मशीनों को वास्तव में सुनने और मानवीय साथी की भावनात्मक गहराई के साथ प्रतिक्रिया देने के साथ एक सच्चा साथी बनाने की दिशा में एक महत्वपूर्ण कदम है, जो यह सिद्ध करता है कि एक स्वाभाविक आवाज़ की कुंजी केवल शब्दों में नहीं, बल्कि उनके बीच के मौन की ध्वनि में निहित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।