Robust Multimodal Sentiment Recognition Using Facial Expressions, Heart Rate Variability and Speech Signals
यह शोध पत्र एक सुदृढ़ मल्टीमॉडल डीप लर्निंग फ्रेमवर्क प्रस्तावित करता है जो CNNs, BiLSTMs और ECAPA-TDNNs का उपयोग करके चेहरे के भावों, हृदय गति परिवर्तनशीलता (heart rate variability) और वाक् संकेतों (speech signals) को एक सेल्फ-ऑर्गनाइजिंग मैप के माध्यम से फीचर फ्यूजन के लिए संलयित करता है, जिससे सात भावनात्मक अवस्थाओं को पहचानने में 98.6% सटीकता प्राप्त होती है और यह यूनिमॉडल बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक वीडियो गेम की विशाल, इमर्सिव दुनिया में, खिलाड़ी अब केवल बटन नहीं दबा रहे हैं; वे गहन भावनात्मक यात्राओं से गुजर रहे हैं। वर्षों से, गेम डिज़ाइनर यह अनुमान लगाने के लिए सर्वेक्षणों या सरल मेट्रिक्स पर भरोसा करते आए हैं कि एक खिलाड़ी कैसा महसूस कर रहा है, लेकिन ये तरीके अक्सर चूक जाते हैं, क्योंकि ये अनुभव के समाप्त होने के बाद केवल एक झलक ही पकड़ पाते हैं। मानवीय अनुभव को वास्तविक समय में वास्तव में समझने के लिए, वैज्ञानिकों ने 'अफेक्टिव कंप्यूटिंग' (affective computing) नामक एक क्षेत्र की ओर रुख किया है, जो मशीनों को मानवीय भावनाओं को पहचानना सिखाने का प्रयास करता है। यह प्रयास इस विचार पर आधारित है कि भावनाएं केवल एक चीज़ नहीं हैं; वे जटिल संकेत हैं जो हमारे चेहरों, हमारी आवाज़ों और यहाँ तक कि हमारे शरीरों के माध्यम से बाहर निकलते हैं। एक मुस्कान नकली हो सकती है, लेकिन हृदय गति में अचानक उछाल या आवाज़ का कांपना अक्सर सच्चाई को उजागर कर देता है। सूचना के इन विभिन्न प्रवाहों को जोड़कर, शोधकर्ता ऐसी प्रणालियाँ बनाने की आशा करते हैं जो देख, सुन और महसूस कर सकें कि कोई व्यक्ति क्या अनुभव कर रहा है, जिससे किसी भी एकल पद्धति की तुलना में मानवीय भावनाओं की कहीं अधिक स्पष्ट तस्वीर मिल सके।
शोधकर्ताओं की एक टीम ने इस अवधारणा को लिया और इसे सीधे गेमिंग के अराजक, तेज़-तर्रार वातावरण में लागू किया। उन्होंने एक नई प्रणाली विकसित की है जिसे खिलाड़ी के चेहरे को देखकर, उनकी आवाज़ सुनकर और उनकी हृदय गति की निगरानी करके उनके भावनात्मक स्तर को पढ़ने के लिए डिज़ाइन किया गया है। टीम ने महसूस किया कि केवल एक संकेत पर निर्भर रहना जोखिम भरा है। एक चमकदार स्क्रीन चेहरे के भावों को धुंधला कर सकती है, पृष्ठभूमि का शोर चिल्लाने की आवाज़ को दबा सकता है, और एक सेंसर दिल की धड़कन को गलत पढ़ सकता है। इसे हल करने के लिए, उन्होंने एक ऐसा ढांचा बनाया जो एक तीन-पैर वाले स्टूल (three-legged stool) की तरह कार्य करता है; यदि एक पैर डगमगाता है, तो अन्य उसे स्थिर रखते हैं। उन्होंने कृत्रिम बुद्धिमत्ता (AI) मॉडल को प्रशिक्षित किया ताकि वे छवियों में पैटर्न खोजने में कुशल एक प्रकार के नेटवर्क का उपयोग करके चेहरे की गतिविधियों का विश्लेषण कर सकें, भाषण की लय और स्वर की व्याख्या करने के लिए एक विशेष ऑडियो प्रोसेसर का उपयोग कर सकें, और हृदय गति में सूक्ष्म उतार-चढ़ाव को ट्रैक कर सकें जो तनाव या उत्साह का संकेत देते हैं। डेटा के इन तीन अलग-अलग प्रवाहों को फिर एक एकल, सुसंगत समझ में बुन दिया गया।
शोधकर्ताओं ने अपने निर्माण का परीक्षण डेटा के एक विशाल संग्रह पर किया, जिसमें हजारों चित्र, रिकॉर्ड की गई आवाज़ के घंटों और विभिन्न प्रकार के गेम खेलते खिलाड़ियों के विस्तृत हृदय गति लॉग शामिल थे। उन्होंने सात मुख्य भावनात्मक अवस्थाओं पर ध्यान केंद्रित किया: खुशी, दुख, क्रोध, भय, घृणा, आश्चर्य और एक तटस्थ अवस्था। जब उन्होंने अपने प्रयोग चलाए, तो परिणाम चौंकाने वाले थे। तीनों संकेतों को मिलाने से, सिस्टम ने 98.6 प्रतिशत बार खिलाड़ी की भावना को सही ढंग से पहचाना। यह प्रदर्शन काफी अधिक था जब सिस्टम ने केवल चेहरे, केवल आवाज़ या केवल हृदय गति का उपयोग करने का प्रयास किया था। सिस्टम ने यह भी साबित किया कि यह उल्लेखनीय रूप से विश्वसनीय है, और खराब रोशनी या शोर वाली स्थितियों में भी उच्च सटीकता बनाए रखता है, जो अक्सर एकल-संकेत प्रणालियों को भ्रमित कर देती हैं। वास्तव में, सिस्टम इतना प्रभावी था कि वह डर और आश्चर्य जैसी सूक्ष्म भावनाओं के बीच अंतर करने में लगभग पूर्ण निरंतरता के साथ सक्षम था।
इस उपलब्धि को जो बात विशेष रूप से उल्लेखनीय बनाती है, वह है कि यह सिस्टम वास्तविक जीवन की अव्यवस्था को कैसे संभालता है। एक सामान्य गेमिंग सत्र में, एक खिलाड़ी कैमरे से दूर हट सकता है, एक बड़े विस्फोट के ऊपर चिल्ला सकता है, या गुस्से के बजाय 'जंप स्केयर' (jump scare) के कारण उसका दिल तेजी से धड़क सकता है। एक प्रणाली जो केवल इनमें से एक सुराग को देखती है, वह भ्रमित हो सकती है। हालाँकि, क्योंकि यह नया ढांचा एक साथ तीनों संकेतों को सुनता है, इसलिए यह उन्हें क्रॉस-चेक कर सकता है। यदि चेहरा छिपा हुआ है लेकिन आवाज़ कांप रही है और हृदय गति बढ़ रही है, तो सिस्टम अभी भी विश्वास के साथ भय की पहचान कर सकता है। शोधकर्ताओं ने पाया कि इस दृष्टिकोण ने सिस्टम को सामान्य भावनाओं की तरह ही दुर्लभ और कठिन भावनाओं का पता लगाने में सक्षम बनाया, जिससे यह सुनिश्चित हुआ कि कोई भी भावना अनदेखी न रह जाए। यह पूरी प्रक्रिया एक दसवें सेकंड से भी कम समय में होती है, जो वीडियो गेम की तीव्र गति के साथ तालमेल बिठाने के लिए पर्याप्त तेज़ है।
यह कार्य सुझाव देता है कि इंटरैक्टिव तकनीक का भविष्य उन प्रणालियों में निहित है जो वास्तविक समय में उपयोगकर्ता के अनुकूल हो सकें। शोधकर्ताओं ने प्रदर्शित किया है कि दृश्य, श्रव्य और शारीरिक डेटा को जोड़कर, एक मजबूत भावनात्मक डिटेक्टर बनाना संभव है जो चुनौतीपूर्ण वातावरण में भी काम करता है। हालांकि इस अध्ययन ने विशेष रूप से गेमिंग पर ध्यान केंद्रित किया, लेकिन इसके निहितार्थ किसी भी ऐसी स्थिति में विस्तृत हैं जहाँ मानवीय भावनाओं को समझना महत्वपूर्ण है, जैसे मानसिक स्वास्थ्य की निगरानी से लेकर अधिक सहज मानव-कंप्यूटर संपर्क तक। टीम ने दिखाया है कि जब हम भावनाओं को केवल एक लेंस के माध्यम से देखना बंद कर देते हैं और इसके बजाय मानवीय अभिव्यक्ति के पूर्ण स्पेक्ट्रम को एक साथ लाते हैं, तो हम ऐसी मशीनें बना सकते हैं जो हमें पहले से कहीं बेहतर समझ सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।