An Adaptive Cross Attention Multimodal Transformer Architecture for Multilingual Speech Emotion Recognition
यह शोध पत्र एडेप्टिव क्रॉस-अटेंशन मल्टीमॉडल ट्रांसफॉर्मर (ACMT) का प्रस्ताव करता है, जो एक नवीन आर्किटेक्चर है जिसे द्विदिशीय क्रॉस-अटेंशन और एडेप्टिव गेटिंग के माध्यम से ध्वनिक, पाठ्य और दृश्य मोडैलिटीज़ को गतिशील रूप से संलयित करके बहुभाषी स्पीच इमोशन रिकग्निशन को बढ़ाने के लिए डिज़ाइन किया गया है ताकि लुप्त डेटा और भाषाई विविधताओं को संभाला जा सके, जबकि पूर्ण अनुभवजन्य प्रशिक्षण परिणामों की अनुपस्थिति के बावजूद एक व्यापक मूल्यांकन प्रोटोकॉल की रूपरेखा प्रस्तुत की गई है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मानव संचार केवल उन शब्दों से बना एक समृद्ध ताना-बाना नहीं है जिन्हें हम बोलते हैं। जब हम बात करते हैं, तो हम अपनी आवाज़ के उतार-चढ़ाव, अपनी बोलने की लय और अपने चेहरे पर आने वाले भावों के माध्यम से अपनी भावनाओं को भी साथ लेकर चलते हैं। एक ऐसी मशीन जो इन भावनात्मक संकेतों को समझ सकती है, उसमें तकनीक के साथ हमारे संवाद करने के तरीके को बदलने की क्षमता है, जो मानसिक स्वास्थ्य की निगरानी करने, ऑनलाइन शिक्षण को बेहतर बनाने या ग्राहक सेवा को अधिक सहानुभूतिपूर्ण बनाने के नए तरीके प्रदान कर सकती है। वर्षों से, शोधकर्ता कंप्यूटर को इन भावनाओं को पहचानने के लिए सिखाने का प्रयास कर रहे हैं, जिसकी शुरुआत उन सरल उपकरणों से हुई थी जो आवाज़ की पिच और ऊर्जा को मापते थे। हाल ही में, शक्तिशाली आर्टिफिशियल इंटेलिजेंस मॉडल ने विशाल मात्रा में कच्चे ऑडियो को सुनकर भाषण को समझना सीख लिया है, जिससे वे ऐसे पैटर्न खोज पाते हैं जिन्हें इंसान शायद मिस कर दें। हालाँकि, इनमें से अधिकांश प्रणालियाँ अभी भी केवल एक प्रकार की जानकारी पर निर्भर करती हैं, जो आमतौर पर ध्वनि होती है, या वे ध्वनि और टेक्स्ट जैसे विभिन्न सुरागों को एक कठोर तरीके से जोड़ती हैं जो तब अनुकूलित नहीं हो सकता जब कोई एक जानकारी गायब हो या अविश्वसनीय हो।
कोनेरू लक्ष्मिंया एजुकेशन फाउंडेशन के शोधकर्ताओं की एक टीम ने एक नया आर्किटेक्चर प्रस्तावित किया है जिसे विशेष रूप से इन समस्याओं को हल करने के लिए डिज़ाइन किया गया है। वे अपने सिस्टम को 'एडेप्टिव क्रॉस-अटेंशन मल्टीमॉडल ट्रांसफॉर्मर' कहते हैं। कंप्यूटर को ध्वनि, टेक्स्ट और वीडियो को अलग-अलग देखने के लिए मजबूर करने और फिर बस उनके परिणामों को आपस में जोड़ने के बजाय, यह नया डिज़ाइन विभिन्न प्रकार की जानकारी को एक-दूसरे को सक्रिय रूप से देखने और एक-दूसरे से सीखने की अनुमति देता है। एक ऐसी बातचीत की कल्पना करें जहाँ श्रोता न केवल शब्दों को सुनता है बल्कि वक्ता के चेहरे को भी देखता है और आवाज़ के लहजे को भी सुनता है, और उस सटीक क्षण में जो भी सुराग सबसे विश्वसनीय हो, उस पर अपना ध्यान लगातार केंद्रित करता है। यह सिस्टम भी वही काम करता है, लेकिन गणितीय रूप से, यह गणना करके कि ध्वनि की विशेषताएं टेक्स्ट से कैसे संबंधित हैं, टेक्स्ट वीडियो से कैसे संबंधित है, और वीडियो वापस ध्वनि से कैसे संबंधित है। यह कनेक्शन का एक गतिशील जाल बनाता है जो बोले गए प्रत्येक वाक्य के लिए अपडेट होता है।
शोधकर्ताओं ने इस प्रणाली को एक प्रमुख वास्तविक दुनिया की जटिलता को संभालने के लिए बनाया है: कभी-कभी, एक रिकॉर्डिंग में ध्वनि हो सकती है लेकिन वीडियो नहीं होता, या यह ऐसी भाषा में हो सकती है जिसे कंप्यूटर ने पहले नहीं देखा है। इसे संभालने के लिए, सिस्टम में एक विशेष सुरक्षा तंत्र शामिल है जो एक गेट (द्वार) की तरह कार्य करता है। यदि वीडियो गायब है, तो गेट बस उस पथ को बंद कर देता है और कंप्यूटर के ध्यान को ध्वनि और टेक्स्ट की ओर मोड़ देता है, जिससे यह सुनिश्चित होता है कि सिस्टम भ्रमित न हो या विफल न हो। यह पुराने तरीकों से अलग है जो शायद गायब वीडियो को एक खाली अनुमान या स्थिर औसत से भरने की कोशिश करते हैं। शोधकर्ताओं ने सिस्टम को कई भाषाओं, विशेष रूप से अंग्रेजी, जर्मन और इतालवी में काम करने के लिए भी डिज़ाइन किया है, जो एक ऐसी रणनीति का उपयोग करता है जिससे कंप्यूटर पहले सामान्य भावनात्मक पैटर्न सीख सके और फिर बिना प्रत्येक भाषा के लिए भारी मात्रा में नए डेटा की आवश्यकता के, विशिष्ट भाषाओं के लिए अपनी समझ को परिष्कृत कर सके।
अपने विचार का परीक्षण करने के लिए, टीम ने विभिन्न स्रोतों से भाषण रिकॉर्डिंग के छह अलग-अलग संग्रह एकत्र किए, जिसमें अभिनेताओं और वक्ताओं के हजारों क्लिप शामिल थे। इन रिकॉर्डिंग में लोग क्रोध, खुशी, उदासी, भय, घृणा और तटस्थता जैसी भावनाएं व्यक्त कर रहे थे। इनमें से कुछ संग्रहों में वीडियो था, कुछ में केवल ऑडियो था, और कुछ में बोले गए शब्दों के ट्रांसक्रिप्ट थे। शोधकर्ताओं ने इन सभी विभिन्न भावनात्मक लेबल को छह श्रेणियों के एक सुसंगत सेट पर मैप किया ताकि वे निष्पक्ष रूप से तुलना कर सकें। इसके बाद उन्होंने एक कठोर योजना तैयार की यह देखने के लिए कि उनका सिस्टम विभिन्न परिदृश्यों में कितनी अच्छी तरह काम करेगा: उस डेटा पर परीक्षण करना जिसे वे उसी भाषा में पहले नहीं देख चुके थे, पूरी तरह से अलग भाषाओं पर परीक्षण करना, और पूरी तरह से अलग स्रोतों से रिकॉर्डिंग पर परीक्षण करना ताकि यह देखा जा सके कि क्या यह सामान्यीकरण कर सकता है।
विस्तृत डिज़ाइन और स्पष्ट योजना के बावजूद, पेपर यह रिपोर्ट करता है कि शोधकर्ताओं ने अभी तक वास्तविक परिणाम प्राप्त करने के लिए पूर्ण प्रशिक्षण प्रक्रिया नहीं चलाई है। क्योंकि जिस वातावरण में उन्होंने यह पेपर लिखा था, वहां इतने बड़े मॉडल को प्रशिक्षित करने के लिए आवश्यक शक्तिशाली कंप्यूटर प्रोसेसर तक पहुंच नहीं थी और न ही उनके पास मूल डेटासेट तैयार थे, इसलिए वे अपने सिस्टम की अंतिम सटीकता को नहीं माप सके। उन्होंने जो प्रदान किया है वह मशीन का एक पूर्ण ब्लूप्रिंट है, विभिन्न भागों के जुड़ने का एक सुधारा गया गणितीय विवरण, और परीक्षण कैसे किया जाना चाहिए इसका एक सख्त प्रोटोकॉल है। उन्होंने दिखाया है कि आर्किटेक्चर ठोस है और गायब डेटा को संभालने की विधि गणितीय रूप से काम करने की गारंटी देती है, लेकिन उन्होंने अभी तक यह साबित नहीं किया है कि यह व्यवहार में मौजूदा प्रणालियों से बेहतर काम करता है।
लेखक स्पष्ट हैं कि उनका योगदान स्वयं डिज़ाइन और मूल्यांकन का ढांचा है, न कि पूर्ण भावना पहचानकर्ता बनाने की दौड़ में अंतिम विजय। उन्होंने अगले कदम के रूप में आवश्यक हार्डवेयर पर पूर्ण प्रशिक्षण चलाने की पहचान की है ताकि यह देखा जा सके कि क्या उनका सिद्धांत सही साबित होता है। यदि सफल रहे, तो यह दृष्टिकोण अधिक मजबूत और अनुकूलनीय सिस्टम की ओर ले जा सकता है, जो विभिन्न भाषाओं में और यहाँ तक कि अपूर्ण रिकॉर्डिंग गुणवत्ता के बावजूद मानव भावना को समझने में सक्षम होगा। हालाँकि, जब तक वह प्रशिक्षण पूरा नहीं हो जाता, तब तक यह कार्य एक परिष्कृत प्रस्ताव के रूप में खड़ा है—एक यात्रा के लिए विस्तृत मानचित्र जिसे शोधकर्ता शुरू करने के लिए तैयार हैं, लेकिन उन्होंने इसे अभी तक समाप्त नहीं किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।