DuplexGen: Decoupling Content, Timing, and Acoustics for Synthetic Dialogue Speech
DuplexGen एक नवीन संवाद संश्लेषण ढांचा है जो स्क्रिप्ट जनरेशन के लिए एक LLM का उपयोग करने के बाद दो फुल-डुप्लेक्स संवादात्मक मॉडलों द्वारा वास्तविक समय में परस्पर क्रिया करके कंटेंट, टाइमिंग और ध्वनिकी को अलग करता है, जिससे स्क्रिप्टेड कंटेंट और उच्च-निष्ठा वाली स्पीच क्वालिटी को सुरक्षित रखते हुए व्यवधान (interruptions) और ओवरलैप जैसी स्वाभाविक रूप से उभरने वाली संवादात्मक गतिशीलता को सक्षम बनाया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मानवीय बातचीत समय के सामंजस्य का एक सूक्ष्म, तीव्र गति वाला नृत्य है, जहाँ वक्ता बोलते समय लगातार सुनते भी रहते हैं, एक-दूसरे को बीच में टोकते हैं, संक्षिप्त क्षणों में एक-दूसरे की बात के ऊपर अपनी बात रखते हैं, और प्रवाह को तोड़े बिना "हूँ-हाँ" जैसे त्वरित अभिज्ञान देते हैं। दशकों से, कंप्यूटर इस स्वाभाविक लय की नकल करने के लिए संघर्ष करते रहे हैं। हालाँकि कृत्रिम बुद्धिमत्ता (AI) लोगों द्वारा कहे जाने वाले शब्दों को उत्पन्न करने में उत्कृष्ट हो गई है, लेकिन यह वास्तविक बातचीत की अव्यवस्थित और सहज टाइमिंग को पकड़ने में ऐतिहासिक रूप से विफल रही है। अधिकांश मौजूदा प्रणालियाँ पहले एक स्क्रिप्ट तैयार करती हैं और फिर कठोर, पूर्व-लिखित नियमों का उपयोग करके ऑडियो में व्यवधान या ठहराव डालने का प्रयास करती हैं। इसका परिणाम अक्सर कृत्रिम और अप्राकृतिक होता है, जिसमें वह सहज आदान-प्रदान नहीं होता जो एक वास्तविक मानवीय संवाद की पहचान है। यह सीमा उन शोधकर्ताओं के लिए अत्यंत महत्वपूर्ण है जो वॉयस रिकग्निशन (आवाज़ पहचान) सिस्टम बना रहे हैं; यदि प्रशिक्षण डेटा बहुत अधिक सटीक या रोबोटिक लगता है, तो सॉफ्टवेयर किसी डॉक्टर के क्लिनिक या व्यस्त कैफे की वास्तविक अराजकता का सामना करने में विफल हो जाएगा।
शोधकर्ताओं की एक टीम ने 'डुप्लेक्सजेन' (DuplexGen) नामक एक नया दृष्टिकोण पेश किया है जो यह बदल देता है कि सिंथेटिक बातचीत कैसे बनाई जाती है। संवाद को एक एकल, अखंड प्रक्रिया मानने के बजाय, उन्होंने इस कार्य को तीन अलग-अलग चरणों में विभाजित कर दिया: क्या कहा जाता है, कब कहा जाता है, और वह कैसा सुनाई देता है। सबसे पहले, एक लार्ज लैंग्वेज मॉडल स्क्रिप्ट लिखता है, जो सटीक शब्दों और वक्ताओं के क्रम को निर्धारित करता है। यह सुनिश्चित करता है कि सामग्री स्थिर और नियंत्रणीय बनी रहे। इसके बाद, दो कृत्रिम बुद्धिमत्ता मॉडल इस स्क्रिप्ट को एक साथ प्रस्तुत करते हैं। पारंपरिक प्रणालियों के विपरीत जो एक सख्त कार्यक्रम का पालन करती हैं, ये मॉडल वास्तविक समय में एक-दूसरे को सुनते हैं, ठीक वैसे ही जैसे मनुष्य करते हैं। वे स्वतंत्र रूप से निर्णय लेते हैं कि स्क्रिप्ट का अगला शब्द बोलना है या मौन रहना है, जिससे बातचीत की टाइमिंग उनके बीच की अंतःक्रिया से स्वाभाविक रूप से उभरती है। अंत में, एक उच्च-गुणवत्ता वाला वॉयस सिंथेसाइज़र पूरी अंतःक्रिया को फिर से रिकॉर्ड करता है, जो दोनों मॉडलों द्वारा निर्मित सटीक टाइमिंग और ओवरलैप को सुरक्षित रखते हुए यह सुनिश्चित करता है कि ऑडियो स्पष्ट और यथार्थवादी सुनाई दे।
शोधकर्ताओं ने इस पद्धति का परीक्षण रोगी और चिकित्सक के बीच सिम्युलेटेड (कृत्रिम रूप से निर्मित) बातचीत बनाकर किया, जो एक ऐसा परिवेश है जहाँ सटीक टाइमिंग और स्वाभाविक व्यवधान अत्यंत महत्वपूर्ण हैं। उन्होंने अपने उभरते हुए, अंतःक्रिया-संचालित दृष्टिकोण की तुलना पुरानी विधियों से की, जो केवल निश्चित या यादृच्छिक अंतराल के साथ पूर्व-रिकॉर्ड किए गए भाषण खंडों को आपस में जोड़ती थीं। परिणामों ने एक स्पष्ट अंतर दिखाया। नई पद्धति ने ओवरलैपिंग स्पीच (एक साथ बोलने) और लंबे ठहराव वाली ऐसी बातचीत का निर्माण किया जो वास्तविक मानवीय रिकॉर्डिंग में पाए जाने वाले सांख्यिकीय पैटर्न से बारीकी से मेल खाती थी। इसके विपरीत, पुरानी जोड़ने वाली विधियाँ इन स्वाभाविक गतिकी को पुनरुत्पादित करने में विफल रहीं, और लगभग बिना किसी ओवरलैप के एक एकल, अप्राकृतिक भाषण पैटर्न में सिमट गईं। अध्ययन में पाया गया कि नए ढांचे ने वास्तविक बातचीत की टाइमिंग और सिंथेटिक बातचीत के बीच की सांख्यिकीय दूरी को लगभग आधा कर दिया, जिससे स्क्रिप्ट की सामग्री को बदले बिना मानवीय अंतःक्रिया की जटिल लय को सफलतापूर्वक पकड़ा जा सका।
केवल अधिक स्वाभाविक लगने के अलावा, यह दृष्टिकोण वॉयस रिकग्निशन तकनीक के परीक्षण के लिए एक शक्तिशाली उपकरण प्रदान करता है। चूँकि शोधकर्ताओं ने टाइमिंग और सामग्री को अलग-अलग नियंत्रित किया था, इसलिए वे सॉफ्टवेयर को हल करने के लिए कठिनाई के विशिष्ट स्तर बना सकते थे। उन्होंने तीन स्तरों की बातचीत तैयार की: कम व्यवधानों वाली विनम्र अंतःक्रियाएँ, सामान्य ओवरलैप वाली स्वाभाविक अंतःक्रियाएँ, और घने, बार-बार होने वाले व्यवधानों वाली प्रतिकूल अंतःक्रियाएँ। जब उन्होंने लोकप्रिय वॉयस रिकग्निशन सिस्टम का इन रिकॉर्डिंग्स पर परीक्षण किया, तो बातचीत जितनी अधिक ओवरलैपिंग और कठिन होती गई, त्रुटि दर उतनी ही बढ़ती गई। महत्वपूर्ण रूप से, अध्ययन ने खुलासा किया कि कठिनाई ओवरलैप की गुणवत्ता से नहीं, बल्कि ओवरलैप की टाइमिंग से आई थी। यह अंतर इंजीनियरों को अपने सिस्टम का तनाव परीक्षण (स्ट्रेस टेस्ट) करने के लिए एक नियंत्रित तरीका प्रदान करता है, जिससे यह सुनिश्चित होता है कि वे दो लोगों के एक-दूसरे के ऊपर बोलने की वास्तविक स्थिति को संभाल सकें।
शोधकर्ता स्वीकार करते हैं कि उनका सिस्टम मानवीय बातचीत की एक पूर्ण प्रतिलिपि नहीं है। चूँकि शब्द बातचीत शुरू होने से पहले ही तय कर दिए जाते हैं, इसलिए वक्ता बीच में अपना विचार नहीं बदल सकते या स्वयं को सुधार नहीं सकते, जो अंतःक्रिया की गहराई को सीमित करता है। इसके अतिरिक्त, वर्तमान प्रणाली ओवरलैप को मुख्य रूप से वाक्यों की सीमाओं पर संभालती है, न कि वाक्यों के भीतर गहराई में। हालाँकि, यह कार्य यह प्रदर्शित करता है कि सामग्री को टाइमिंग से अलग करके, ऐसी सिंथेटिक स्पीच उत्पन्न करना संभव है जो जीवंत और प्रतिक्रियाशील महसूस होती है। यह उपलब्धि एक नया, विश्वसनीय तरीका प्रदान करती है जिससे उस विशाल मात्रा में यथार्थवादी प्रशिक्षण डेटा का निर्माण किया जा सके, जिसकी आवश्यकता कंप्यूटर को मानवीय भाषण की जटिल और ओवरलैपिंग प्रकृति को समझने के लिए सिखाने हेतु होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।