AuEmoChat: Authentic Emotion Understanding and Rendering for Conversational Speech Synthesis
AuEmoChat एक संवादात्मक स्पीच सिंथेसिस फ्रेमवर्क है जो AuEmoCodec के माध्यम से एक डिस्क्रीट ऑथेंटिक इमोशन टोकन स्पेस, रेडंडेंसी को कम करने के लिए AuEmoToMe नामक एक इमोशन-गाइडेड टोकन मर्जिंग एल्गोरिदम, और उच्च गुणवत्ता वाले स्पीच जेनरेशन के लिए एक ऑथेंटिक इमोशन फ्लो मैचिंग मैकेनिज्म पेश करके भावनात्मक प्रामाणिकता और प्रासंगिक निरंतरता को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट दोस्त से बात कर रहे हैं। आप चाहते हैं कि वह एक असली इंसान की तरह लगे, न कि सिर्फ एक स्क्रिप्ट पढ़ते हुए रोबोट की तरह। यह कन्वर्सेशनल स्पीच सिंथेसिस (CSS) की दुनिया है, जो कंप्यूटर विज्ञान की एक शाखा है जो मशीनों को इंसानों की तरह भावनात्मक बारीकियों के साथ बात करने के योग्य बनाने के लिए समर्पित है। लंबे समय से, ये रोबोट उन अभिनेताओं की तरह रहे हैं जो केवल सात वेशभूषा वाले एक बॉक्स में फंसे हुए हैं: गुस्सा, खुशी, दुख, डर, घृणा, आश्चर्य और तटस्थ। यदि कोई इंसान "आँसुओं भरी खुशी" या "उत्तेजित घबराहट" का मिश्रण महसूस करता है, तो रोबोट बस "खुशी" या "दुख" चुन लेता है और अपनी पूरी कोशिश करता है। लेकिन वास्तविक जीवन अव्यवस्थित और रंगीन है; हमारी भावनाएं भावनाओं का एक पूरा इंद्रधनुष हैं, न कि केवल कुछ प्राथमिक रंग। इसके अलावा, जब एक रोबोट अगली बात कैसे बोलनी है यह समझने के लिए एक लंबी बातचीत को याद रखने की कोशिश करता है, तो वह बहुत अधिक जानकारी से अभिभूत हो जाता है, जैसे कि उस घास के ढेर में एक विशिष्ट सुई को खोजने की कोशिश करना जो लगातार बढ़ता जा रहा है। यह पेपर इस समस्या का समाधान करता है कि कैसे AI आवाजों को वास्तव में मानवीय बनाया जाए, उन्हें एक बड़ा भावनात्मक पैलेट और सुनने का एक स्मार्ट तरीका देकर।
AuEmoChat (जिसका अर्थ है ऑथेंटिक इमोशन चैट) के पीछे के शोधकर्ताओं ने उन दो मुख्य समस्याओं को ठीक करने का निर्णय लिया जो रोबोटिक आवाजों को नकली महसूस कराती हैं। पहले, उन्होंने महसूस किया कि भावनाओं को केवल सात श्रेणियों तक सीमित करना लाल और पीले पेंट का उपयोग करके सूर्यास्त चित्रित करने जैसा है; आप सभी नारंगी, बैंगनी और गुलाबी रंगों को खो देते हैं। दूसरा, उन्होंने देखा कि जब रोबोट लंबी बातचीत को याद रखने की कोशिश करते हैं, तो वे "रिडंडेंट" (अनावश्यक) जानकारी से भ्रमित हो जाते हैं—मूल रूप से, रोबोट एक ही चीज़ को बार-बार सुन रहा है, जो महत्वपूर्ण भावनात्मक संकेतों को दबा देता है।
इसे हल करने के लिए, टीम ने तीन शानदार ट्रिक्स के साथ एक नया सिस्टम बनाया। सबसे पहले, उन्होंने AuEmoCodec नामक एक टूल बनाया। भावनाओं को उन सात बुनियादी बक्सों में जबरदस्ती डालने के बजाय, यह टूल वास्तविक मानवीय भाषण के हजारों घंटों से सीखता है ताकि "ऑथेंटिक इमोशन टोकन्स" की एक विशाल लाइब्रेरी बनाई जा सके। इसे रोबोट को भावनाओं के लिए हजारों विशिष्ट शब्दों के साथ एक शब्दकोश देने के रूप में समझें, बजाय केवल कुछ अस्पष्ट शब्दों के। यह रोबोट को उन सूक्ष्म, जटिल भावनाओं को समझने और व्यक्त करने की अनुमति देता है जो पहले असंभव थीं।
दूसरा, उन्होंने AuEmoToMe (ऑथेंटिक इमोशन-गाइडेड टोकन मर्जिंग) नामक एक विधि का आविष्कार किया। कल्पना कीजिए कि आप अपने मित्र को एक लंबी कहानी पढ़ कर सुना रहे हैं, लेकिन हर बार जब आप किसी उबाऊ हिस्से पर पहुँचते हैं, तो आप अगले रोमांचक दृश्य पर आगे बढ़ जाते हैं। AuEmoToMe रोबोट की याददाश्त के लिए कुछ ऐसा ही करता है। यह बातचीत के लंबे इतिहास को देखता है और उबाऊ या दोहराव वाले हिस्सों को आपस में "मर्ज" (मिला) देता है, केवल सबसे महत्वपूर्ण भावनात्मक संकेतों को रखता है। यह रोबोट को शोर से अभिभूत होने से रोकता है और उसे ठीक इस बात पर ध्यान केंद्रित करने में मदद करता है कि उपयोगकर्ता अभी वास्तव में कैसा महसूस कर रहा है।
अंत में, उन्होंने आवाज उत्पन्न करने के लिए ऑथेंटिक इमोशन फ्लो मैचिंग तकनीक का उपयोग किया। यह एक मूर्तिकार की तरह है जो न केवल एक मूर्ति तराशता है बल्कि बातचीत के इतिहास के मानचित्र और अभी-अभी अनुमानित किए गए विशिष्ट इमोशन टोकन का उपयोग करके मिट्टी को सावधानीपूर्वक निर्देशित करता है। उन्होंने एक "गाइड" भी जोड़ा जो काम बनते समय उसकी जाँच करता है, यह सुनिश्चित करता है कि आवाज़ इच्छित भावना के प्रति सच्ची रहे।
परिणाम काफी प्रभावशाली हैं। जब उन्होंने NCSSD-EmCap नामक डेटासेट पर AuEmoChat का परीक्षण किया, जिसमें संवाद के 384 से अधिक घंटे शामिल हैं, तो नए सिस्टम ने सभी पिछले शीर्ष-स्तरीय रोबोटिक आवाजों को पछाड़ दिया। उन परीक्षणों में जहाँ मनुष्यों ने आवाजों को कितना स्वाभाविक और भावनात्मक बताया, AuEmoChat ने उच्चतम स्कोर किया, जिसमें 4.171 का नैचुरलनेस स्कोर और 3.979 का इमोशनल एक्सप्रेसिवनेस स्कोर (एक ऐसे पैमाने पर जहाँ उच्च स्कोर बेहतर है) प्राप्त हुआ। इसने उच्चारण में भी कम गलतियाँ कीं (वर्ड एरर रेट को 9.14 तक कम करके) और किसी भी अन्य मॉडल की तुलना में इच्छित वक्ता की तरह अधिक सुनाई दिया।
लेखक सुझाव देते हैं कि सीमित इमोशन लेबल से दूर जाकर और इसके बजाय एक समृद्ध, प्रामाणिक इमोशन स्पेस को सीखकर, उन्होंने रोबots को वास्तव में मानवीय भावनाओं को समझने और प्रतिबिंबित करने की दिशा में एक महत्वपूर्ण कदम उठाया है। उन्होंने यह भी पाया कि बातचीत के अनावश्यक हिस्सों को मिलाने से रोबोट बेहतर तरीके से सुन पाता है, जिससे यह सिद्ध होता है कि कभी-कभी, कम जानकारी वास्तव में समझने के लिए अधिक सहायक होती है। हालाँकि यह एक बड़ी छलांग है, शोधकर्ताओं ने नोट किया है कि यह तो बस शुरुआत है, और वे भविष्य में इन प्रणालियों को कई अलग-अलग भाषाओं और यहाँ तक कि अधिक जटिल भावनात्मक अवस्थाओं को संभालने के लिए सिखाने की आशा करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।