A Shared Latent for Partially-Labeled Multi-Task Facial Affect Recognition
यह शोध पत्र एक साझा लेटेंट वेरिएशनल फ्रेमवर्क प्रस्तावित करता है जो आंशिक रूप से लेबल किए गए मल्टी-टास्क फेशियल अफेक्ट रिकग्निशन को एक सामान्य अफेक्ट रिप्रेजेंटेशन पर मार्जलाइजेशन के रूप में मानता है, और s-Aff-Wild2 पर कठोर नियंत्रित प्रयोगों के माध्यम से यह प्रदर्शित करता है कि यह दृष्टिकोण गंभीर लेबल स्पर्सिटी और इम्बैलेंस के बावजूद क्रॉस-टास्क सिग्नल्स का प्रभावी ढंग से लाभ उठाकर स्पेशलिस्ट और मास्क्ड-लॉस बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को केवल चेहरों को देखकर मानवीय भावनाओं को समझना सिखाने की कोशिश कर रहे हैं। यह केवल एक मुस्कान या त्योरियां चढ़ाने को पहचानने के बारे में नहीं है; यह एक जटिल, तीन-भाग वाली पहेली को एक साथ डिकोड करने के बारे में है। पहला, एक "मूड मीटर" (mood meter) है, जो एक निरंतर पैमाना है जो मापता है कि कोई व्यक्ति कितना सकारात्मक या नकारात्मक महसूस करता है और उस भावना की तीव्रता कितनी है। दूसरा, एक "लेबल बुक" (label book) है, जो विशिष्ट भावना को नाम देने की कोशिश करती है, जैसे कि "क्रोध" या "आश्चर्य"। तीसरा, एक "मसल मैप" (muscle map) है, जो चेहरे की मांसपेशियों के सूक्ष्म, अनैच्छिक आंदोलनों को ट्रैक करता है जो तब भी होते हैं जब हम अपनी भावनाओं को छिपाने की कोशिश करते हैं।
कठिन हिस्सा यह है कि वास्तविक दुनिया में, हमें शायद ही कभी कोई आदर्श पाठ्यपुस्तक उदाहरण मिलता है। कभी-कभी एक वीडियो क्लिप में मूड रेटिंग होती है लेकिन मसल डेटा नहीं होता; अन्य बार, इसमें एक मसल मैप होता है लेकिन इमोशन लेबल नहीं होता। यह एक जिग्सॉ पहेली को हल करने जैसा है जहाँ अधिकांश टुकड़े गायब हैं, और जो आपके पास हैं वे अलग-अलग बक्सों में बिखरे हुए हैं। अधिकांश कंप्यूटर प्रोग्राम इस समस्या को गायब हिस्सों को अनदेखा करके या उनके बारे में अनुमान लगाकर हल करते हैं, लेकिन यह शोध पत्र एक साहसी प्रश्न पूछता है: क्या होगा यदि हम अंतरालों को अनदेखा करना बंद कर दें और इसके बजाय उन गायब टुकड़ों का उपयोग चित्र को पूरा करने में मदद के लिए करें? लेखक कंप्यूटर को सिखाने का एक नया तरीका प्रस्तावित करते हैं कि कैसे एक भावना के बारे में एक आंशिक सुराग भी इसे अन्य भावनाओं को समझने में मदद कर सकता है, जिससे एक अव्यवस्थित, अपूर्ण डेटासेट एक शक्तिशाली शिक्षण उपकरण में बदल जाता है।
गायब टुकड़ों की पहेली
शोधकर्ताओं ने एक समस्या पर काम किया जिसे वे "पार्शियली-लेबल मल्टी-टास्क लर्निंग" (partially-labeled multi-task learning) कहते हैं। इसे एक ऐसी कक्षा के रूप में सोचें जहाँ एक शिक्षक एक ही छात्र से तीन अलग-अलग प्रश्न पूछता है: "वे कैसा महसूस कर रहे हैं?" (मूड), "वे क्या कह रहे हैं?" (अभिव्यक्ति), और "कौन सी मांसपेशियां हिल रही हैं?" (एक्शन यूनिट्स)। एक आदर्श दुनिया में, हर छात्र तीनों प्रश्नों के उत्तर देता है। लेकिन वास्तविक दुनिया में (विशेष रूप से, s-Aff-Wild2 नामक एक डेटासेट में), केवल लगभग 37% छात्र तीनों प्रश्नों के उत्तर देते हैं। बाकी केवल एक या दो का उत्तर देते हैं।
परंपरागत रूप से, इस तरह की स्थिति से निपटने वाले कंप्यूटर प्रोग्राम उन प्रश्नों को बस फेंक देते हैं जिनका वे किसी विशिष्ट छात्र के लिए उत्तर नहीं दे सकते। यदि किसी छात्र ने केवल "मूड" प्रश्न का उत्तर दिया, तो प्रोग्राम उस छात्र के लिए "अभिव्यक्ति" और "मसल" प्रश्नों को पूरी तरह से अनदेखा कर देगा। लेखकों ने महसूस किया कि यह एक बर्बादी थी। उन्होंने तर्क दिया कि भले ही एक छात्र केवल एक प्रश्न का उत्तर दे, वह उत्तर अभी भी शिक्षक को उस छात्र के समग्र व्यक्तित्व के बारे में कुछ बताता है।
जादुई "साझा रहस्य"
इसे ठीक करने के लिए, टीम ने एक चतुर तकनीक बनाई जिसे वे "शेयर्ड लेटेंट" (Shared Latent) कहते हैं। एक साझा, अदृश्य नोटबुक की कल्पना करें जिसे हर छात्र को किसी भी प्रश्न का उत्तर देने से पहले भरना ही होगा। इस नोटबुक में छात्र की वास्तविक भावनात्मक स्थिति का एक संकुचित सारांश होता है।
यहाँ जादू है: भले ही एक छात्र केवल "मूड" प्रश्न का उत्तर दे, उसका उत्तर उसे उस गुप्त नोटबुक को अपडेट करने के लिए मजबूर करता है। क्योंकि "अभिव्यक्ति" और "मसल" प्रश्न भी उसी नोटबुक पर निर्भर करते हैं, इसलिए "मूड" का उत्तर अप्रत्यक्ष रूप से कंप्यूटर को बाद में अन्य दो प्रश्नों का अनुमान लगाने में मदद करता है। यह ऐसा ही है जैसे यदि आपने केवल अपने मित्र को अपना पसंदीदा रंग बताया, लेकिन उस एक तथ्य ने उसे आपके पसंदीदा भोजन और संगीत का अनुमान लगाने में मदद की क्योंकि वह आपको इतना अच्छी तरह जानता था कि वह कड़ियों को जोड़ सके।
लुप्त उत्तरों को त्रुटियों के रूप में हटाने के बजाय, उन्हें "मार्गीनालाइज़" (marginalized - एक फैंसी गणितीय शब्द जिसका अर्थ है संभावनाओं का औसत निकालना) करने के सुराग के रूप में मानकर, कंप्यूटर मानवीय भावनाओं की बहुत समृद्ध समझ विकसित करता है।
दो आँखों की शक्ति
पेपर ने यह भी खोजा कि कंप्यूटर के "मस्तिष्क" को बनाने के बारे में कुछ आश्चर्यजनक है। आमतौर पर, वैज्ञानिक एक सुपर-स्मार्ट मस्तिष्क बनाने की कोशिश करते हैं। लेकिन यहाँ, टीम ने पाया कि एक साथ काम करने वाले दो थोड़े अलग मस्तिष्क का उपयोग करना बेहतर था, लेकिन एक शर्त के साथ।
उन्होंने दो अलग-अलग प्रकार के प्री-ट्रेंड फेस-रिकग्नाइज़र (जिन्हें बैकबोन कहा जाता है) का उपयोग करने का प्रयास किया। जब उन्होंने इन दोनों के उत्तरों का औसत निकाला, तो परिणाम बेहतर हो गए। हालाँकि, यह तभी काम करता है जब दोनों मस्तिष्क "नियर-पीयर्स" (near-peers) हों—अर्थात, वे लगभग समान रूप से स्मार्ट हों लेकिन उनकी गलतियाँ अलग-अलग हों। यदि उन्होंने एक सुपर-स्मार्ट मस्तिष्क और एक कमजोर मस्तिष्क का उपयोग किया, तो औसत लेने से कोई लाभ नहीं हुआ। यह दो जासूसों जैसा था: यदि वे दोनों तेज हैं लेकिन सुरागों को अलग तरह से देखते हैं, तो वे मामले को तेजी से सुलझाते हैं। यदि एक जीनियस है और दूसरा नौसिखिया, तो जीनियस को नीचे खींच लिया जाता है।
क्या काम आया और क्या नहीं
परिणाम प्रभावशाली थे, लेकिन लेखक बहुत सावधान थे कि उन्होंने यह भी बताया कि क्या काम नहीं आया, जो उतना ही महत्वपूर्ण है।
- अच्छी खबर: एक्सप्रेशन टास्क (भावना का नाम बताना) पर, उनके नए तरीके ने स्कोर को 0.403 (एक मानक विशेषज्ञ का उपयोग करके) से बढ़ाकर 0.446 कर दिया। यह एक महत्वपूर्ण उछाल था जिसे अन्य तरीके नहीं छू सके।
- एक्शन यूनिट सीलिंग: मसल-ट्रैकिंग कार्य के लिए, वे एक पिछले स्तर को तोड़ने में सफल रहे, जिससे स्कोर 0.543 से बढ़कर 0.556 हो गया। यह इसलिए हुआ क्योंकि दूसरे "नियर-पीयर" मस्तिष्क ने मदद की, न कि इसलिए कि उन्होंने अधिक डेटा जोड़ा।
- मूड मीटर: निरंतर मूड स्कोर (वेलेंस-एरोसल) लगभग 0.641 के आसपास स्थिर रहा। लेखकों ने नोट किया कि यह "नॉइज़" (शोर) के भीतर था, जिसका अर्थ है कि सुधार सांख्यिकीय रूप से महत्वपूर्ण नहीं था।
- क्या विफल रहा: उन्होंने मसल ट्रैकिंग में मदद करने के लिए अधिक बाहरी डेटा (जैसे अन्य अध्ययनों के डेटासेट) जोड़ने का प्रयास किया, लेकिन इससे कोई फर्क नहीं पड़ा। उन्होंने "मीन टीचर" (Mean Teacher) नामक एक लोकप्रिय विधि का भी परीक्षण किया (जहाँ एक कंप्यूटर खुद को सिखाता है), लेकिन वह इमोशन-नेमिंग कार्य में सुधार करने में विफल रहा। इससे सिद्ध हुआ कि समस्या प्रश्नों को कैसे भारित (weight) किया जाता है, इसके बारे में नहीं थी, बल्कि "गुप्त नोटबुक" (प्रतिनिधित्व) की गुणवत्ता के बारे में थी।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि कंप्यूटर दुर्लभ भावनाओं (जैसे "भय" या "घृणा") के साथ संघर्ष क्यों करते हैं, इसका कारण यह नहीं है कि उन्हें बेहतर गणितीय नियमों या अधिक डेटा की आवश्यकता है। बल्कि, कारण यह है कि जिस तरह से वे चेहरे को "देखते" हैं, वह उन पेचीदा भावनाओं को अलग करने के लिए पर्याप्त विस्तृत नहीं है। "शेयर्ड लेटेंट" का उपयोग करके कंप्यूटर को आंशिक सुरागों से सीखने के लिए मजबूर करके, और दो स्मार्ट-लेकिन-अलग मस्तिष्क जोड़कर, वे एक ऐसा सिस्टम बनाने में सफल रहे जो मूड, अभिव्यक्ति और मांसपेशी गति के बीच के अदृश्य संबंधों को देख सकता है।
अपने टेस्ट सेट पर उनके द्वारा प्राप्त अंतिम स्कोर 1.679 था। हालांकि यह एक मजबूत परिणाम है, लेखक विनम्र हैं: वे स्वीकार करते हैं कि यह एक "इन-सैंपल" (in-sample) एंडपॉइंट है (जिस डेटा पर उन्होंने ट्यूनिंग की है उस पर टेस्ट किया गया है) और वास्तविक परीक्षण यह है कि क्या यह "शेयर्ड लेटेंट" नोटबुक विचार अन्य, अनदेखे डेटासेट्स पर काम करता है। अन्य डेटासेट्स पर शुरुआती परीक्षण बताते हैं कि यह काम करता है, लेकिन केवल विशिष्ट परिस्थितियों में। मानव चेहरों को पूरी तरह से पढ़ने की यात्रा जारी है, लेकिन इस पेपर ने शोधकर्ताओं को अंधेरे में अंतराल देखने के लिए एक नया, शक्तिशाली टॉर्च थमा दिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।