A Reliable Multimodal Conversational Emotion Recognition Model Based on a Dual-Stage Attention Mechanism
यह शोध पत्र DSA-MERC का प्रस्ताव करता है, जो एक विश्वसनीय मल्टीमॉडल संवादात्मक भावना पहचान मॉडल है जो सटीकता और मजबूती में सुधार के लिए लेबल शोर को कम करने और मल्टीमॉडल विशेषताओं को प्रभावी ढंग से एकीकृत करने हेतु कॉन्फिडेंस और ट्रांसफर लर्निंग रणनीतियों के साथ-साथ मल्टी-स्केल ऑप्टिमाइज़ेशन वाले ऑडियो-गाइडेड लीडर-फॉलोअर नेटवर्क और द्वि-दिशीय मल्टी-अटेंशन (Bi-Directional Multi-Attention) को संयोजित करने वाले एक ड्यूल-स्टेज अटेंशन मैकेनिज्म का उपयोग करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मनुष्य पंक्तियों के बीच पढ़ने (रीडिंग बिटवीन द लाइन्स) में माहिर होते हैं। जब हम बोलते हैं, तो हम केवल तथ्य ही नहीं बताते; हम अपनी आवाज़ के उतार-चढ़ाव, अपने चेहरे के तनाव और अपने शब्दों की लय में अपनी भावनाओं को भी समाहित करते हैं। हालाँकि, एक कंप्यूटर अक्सर इन बारीकियों को पकड़ने में संघर्ष करता है। वह "मैं ठीक हूँ" जैसे शब्दों को सुन सकता है और उन्हें एक तटस्थ कथन के रूप में दर्ज कर सकता है, जिससे वह कांपती हुई आवाज़ या सख्त मुस्कान को पहचानने में चूक सकता है जो यह बताती है कि बोलने वाला वास्तव में परेशान है। जो कहा गया है और जो वास्तवया अर्थ है, उनके बीच का यह अंतर उन शोधकर्ताओं के लिए केंद्रीय चुनौती है जो मशीनों को मानवीय भावनाओं को समझने के लिए सिखाने की कोशिश कर रहे हैं। यह क्षेत्र, जिसे 'कन्वर्सेशन में इमोशन रिकग्निशन' (संवाद में भावना पहचान) के रूप में जाना जाता है, ऐसे सिस्टम बनाने का लक्ष्य रखता है जो संवाद को सुन सकें और सटीक रूप से अनुमान लगा सकें कि कोई व्यक्ति कैसा महसूस कर रहा है। इसे अच्छी तरह से करने के लिए, एक कंप्यूटर केवल टेक्स्ट पर निर्भर नहीं रह सकता; उसे बोले गए शब्दों, आवाज़ के लहजे और दृश्य अभिव्यक्तियों को एक एकल, सुसंगत समझ में संश्लेषित करना सीखना होगा।
वर्षों से, शोधकर्ताओं ने इन प्रणालियों को बनाने का प्रयास किया है, लेकिन वे अक्सर एक दीवार से टकराकर रुक गए हैं। कई मौजूदा तरीके केवल विभिन्न प्रकार के डेटा को एक साथ जोड़ते हैं, जैसे कि ब्लॉकों को एक के ऊपर एक ढेर करना, बिना यह समझे कि वे वास्तव में कैसे परस्पर क्रिया करते हैं। अन्य लोग बातचीत की अत्यधिक लंबाई से अभिभूत हो जाते हैं, जिससे वे एक लंबे भाषण के बीच में दबे सबसे महत्वपूर्ण भावनात्मक संकेतों का ट्रैक खो देते हैं। इसके अलावा, इन कंप्यूटरों को प्रशिक्षित करने के लिए उपयोग किया जाने वाला डेटा अक्सर अपूर्ण होता है। मनुष्य इस बात पर सहमत होने में बहुत खराब होते हैं कि कोई व्यक्ति क्या महसूस कर रहा है; एक व्यक्ति किसी शिकन को "उदासी" के रूप में लेबल कर सकता है जबकि दूसरा उसे "क्रोध" कह सकता है। यह भ्रम "शोर युक्त" (नॉइजी) डेटा बनाता है जो लर्निंग एल्गोरिदम को भ्रमित करता है, जिससे अविश्वसनीय परिणाम मिलते हैं। बीजिंग यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी और चाइनीज एकेडमी ऑफ साइंसेज के शोधकर्ताओं की एक टीम ने इन विशिष्ट समस्याओं को हल करने के लिए एक नया दृष्टिकोण प्रस्तावित किया है। उन्होंने एक ऐसा मॉडल विकसित किया है जो न केवल डेटा को देखता है, बल्कि गलत लेबल को अनदेखा करने और सबसे विश्वसनीय भावनात्मक संकेतों पर तीव्रता से ध्यान केंद्रित करने के लिए सक्रिय रूप से सीखता है।
उनके नए सिस्टम का मूल एक दो-चरणीय प्रक्रिया है जिसे इस तरह से डिज़ाइन किया गया है कि वह नकल कर सके कि मनुष्य शायद बातचीत पर कैसे ध्यान देते हैं। पहले चरण में, मॉडल तीन मुख्य प्रकार की जानकारी लाता है: टेक्स्ट, ऑडियो और वीडियो। उन्हें केवल मिलाने के बजाय, यह एक ऐसी प्रक्रिया का उपयोग करता है जो प्रत्येक प्रकार को मदद के लिए दूसरों से "पूछने" की अनुमति देती है। एक जासूस की कल्पना करें जो गवाह को सुन रहा है; जासूस शब्दों को आवाज़ के लहजे के साथ मिलान कर सकता है ताकि यह देखा जा सके कि वे मेल खाते हैं या नहीं। इसी तरह, यह मॉडल वक्ता की स्थिति की प्रारंभिक समझ बनाने के लिए टेक्स्ट को ध्वनि और दृश्य संकेतों के साथ क्रॉस-रेफरेंस करता है। हालाँकि, शोधकर्ताओं ने देखा कि मानवीय बातचीत में, आवाज़ अक्सर सबसे प्रत्यक्ष और शक्तिशाली भावनात्मक संकेत लेकर आती है। एक चिल्लाहट या फुसफुसाहट बोले जा रहे शब्दों के अर्थ को दबा सकती है। इसे संबोधित करने के लिए, उनका मॉडल एक दूसरा, अधिक विशिष्ट चरण पेश करता है जहाँ ऑडियो नेतृत्व करता है।
इस दूसरे चरण में, सिस्टम ऑडियो को "लीडर" (नेता) और अन्य जानकारी को "फॉलोअर्स" (अनुगामी) के रूप में मानता है। मॉडल भावनात्मक उतार-चढ़ाव को खोजने के लिए आवाज़ को स्कैन करने हेतु एक परिष्कृत विधि का उपयोग करता है, उन विशिष्ट क्षणों की तलाश करता है जहाँ स्वर बदलता है या लय टूटती है। यह ऑडियो का विभिन्न पैमानों पर परीक्षण करके ऐसा करता है, बिल्कुल वैसे ही जैसे एक लैंडस्केप को देखने के लिए वाइड-एंगल लेंस (पूरी तस्वीर देखने के लिए) और ज़ूम लेंस (एक विवरण को पकड़ने के लिए) दोनों का उपयोग किया जाता है। यह सिस्टम को बातचीत के व्यापक भावनात्मक चाप और वक्ता की आवाज़ में होने वाले सूक्ष्म, क्षणिक परिवर्तनों, जो भावना के बदलाव का संकेत देते हैं, दोनों को पकड़ने की अनुमति देता है। ऑडियो को प्रक्रिया का मार्गदर्शन करने देकर, मॉडल यह सुनिश्चित करता है कि टेक्स्ट या विजुअल डेटा के शोर में सबसे शक्तिशाली भावनात्मक संकेत खो न जाएं।
इन प्रणालियों को प्रशिक्षित करने में एक बड़ी बाधा स्वयं डेटा की अविश्वसनीयता है। शोधकर्ताओं ने पाया कि कंप्यूटर को उसके सभी लेबलिंग त्रुटियों के साथ कच्चा डेटा खिलाना भ्रम पैदा करता है। इसे ठीक करने के लिए, उन्होंने एक ऐसी रणनीति शामिल की जो एक गुणवत्ता नियंत्रण निरीक्षक की तरह कार्य करती है। मॉडल के पूरी तरह से प्रशिक्षित होने से पहले, यह रणनीति डेटा का विश्लेषण करती है ताकि यह पहचान की जा सके कि कौन से लेबल गलत होने की संभावना है। यह विसंगतियों को खोजने के लिए मॉडल के अपने भविष्यवाणियों के पैटर्न की जांच करती है—उदाहरण के लिए, यदि मॉडल लगातार विश्वास के साथ कहता है कि एक निश्चित क्लिप "खुश" है, लेकिन लेबल "दुखी" कहता है, तो सिस्टम उस लेबल को संदिग्ध के रूप में चिह्नित करता है। फिर यह इन अविश्वसनीय उदाहरणों को फ़िल्टर करता है और मॉडल को अधिक स्वच्छ, अधिक भरोसेमंद डेटा पर फिर से प्रशिक्षित करता है। यह प्रक्रिया मूल डेटासेट में मानवीय त्रुटि के कारण होने वाले भ्रम को काफी कम करती है, जिससे मॉडल वास्तविकता के अधिक सटीक संस्करण से सीख पाता है।
जब शोधकर्ताओं ने इस नए दृष्टिकोण का परीक्षण दो प्रमुख संवादात्मक डेटा संग्रहों पर किया, तो परिणाम स्पष्ट थे। 7,000 से अधिक बोले गए वाक्यों वाले एक डेटासेट पर, उनके मॉडल ने 71.38% का प्रदर्शन स्कोर प्राप्त किया, जो उसी डेटा पर पहले से परीक्षण किए गए किसी भी अन्य तरीके से अधिक था। 13,000 से अधिक लाइनों वाले दूसरे, बड़े डेटासेट पर, इसने 65.99% तक की उपलब्धि हासिल की, जिसने फिर से प्रतिस्पर्धा को पीछे छोड़ दिया। ये संख्याएँ मायने रखती हैं क्योंकि वे दिखाती हैं कि मॉडल केवल अनुमान नहीं लगा रहा है; यह मानवीय भावनाओं के जटिल मिश्रण को वास्तव में बेहतर ढंग से समझ रहा है। प्रयोगों से यह भी पता चला कि मॉडल की सफलता तीनों प्रकार की जानकारी का एक साथ उपयोग करने पर बहुत अधिक निर्भर थी। जब उन्होंने ऑडियो या वीडियो को हटा दिया, तो प्रदर्शन में काफी गिरावट आई, जिससे सिद्ध हुआ कि सिस्टम को सही ढंग से काम करने के लिए पूरी तस्वीर की आवश्यकता होती है।
शोधकर्ताओं ने यह भी गहराई से देखा कि उनका मॉडल डेटा पर कैसे ध्यान देता है। आंतरिक कार्यप्रणाली को विज़ुअलाइज़ करके, उन्होंने देखा कि सिस्टम लगातार उन क्षणों पर ध्यान केंद्रित करता है जहाँ वक्ता की आवाज़ सबसे नाटकीय रूप से बदलती है। यह अप्रासंगिक बैकग्राउंड शोर या मामूली विवरणों से विचलित नहीं हुआ; इसके बजाय, इसने भावनात्मक बदलावों पर ध्यान केंद्रित किया। शोर को छानने और सिग्नल पर ध्यान केंद्रित करने की यह क्षमता ही इस सिस्टम को विश्वसनीय बनाती है। अध्ययन का सुझाव है कि विभिन्न प्रकार के डेटा को जोड़ने के एक स्मार्ट तरीके और प्रशिक्षण जानकारी को साफ करने की एक विधि को मिलाकर, हम ऐसी मशीनें बना सकते हैं जो मानवीय स्थिति के प्रति बहुत अधिक संवेदनशील हों। हालांकि यह कार्य मानवीय भावनाओं की सभी जटिलताओं का अंतिम समाधान नहीं है, लेकिन यह एक मजबूत और प्रभावी कदम है, जो यह दिखाता है कि जब कंप्यूटर शब्दों के साथ-साथ आवाज़ को भी सुनना सीख लेते हैं, तो वे हमें थोड़ा बेहतर समझ सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।