C$^2$MOE: Consistency and Complementarity-guided Mixture of Experts for Incomplete Multimodal Emotion Learning

कल्पना कीजिए कि आप किसी वीडियो में अपने दोस्त को बात करते हुए देखकर यह अनुमान लगाने की कोशिश कर रहे हैं कि वह कैसा महसूस कर रहा है। आपके पास तीन सुराग हैं: वे क्या कह रहे हैं (टेक्स्ट), उनकी आवाज़ कैसी सुनाई देती है (ऑडियो), और उनका चेहरा कैसा दिखता है (वीडियो)। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे मल्टीमॉडल इमोशन रिकग्निशन (Multimodal Emotion Recognition) कहा जाता है। यह एक सुपर-स्मार्ट जासूस की तरह है जो किसी भी अकेले सुराग की तुलना में मानवीय भावनाओं को बेहतर ढंग से समझने के लिए सभी सुरागों को जोड़ता है। लेकिन समस्या यह है कि वास्तविक दुनिया में चीजें गलत हो जाती हैं। शायद माइक्रोफ़ोन बंद हो जाए, कैमरा फ्रीज हो जाए, या इंटरनेट कनेक्शन टूट जाए। अचानक, आपका जासूस आधे सुराग खो देता है। यदि AI को इन गायब हिस्सों को संभालने के लिए नहीं बनाया गया है, तो वह भ्रमित हो जाता है और गलत अनुमान लगाता है। यह वह समस्या है जिसे वैज्ञानिक हल करने की कोशिश कर रहे हैं: हम कंप्यूटर को गायब जानकारी के "खाली स्थानों को भरने" के लिए कैसे सिखा सकते हैं बिना भावना के वास्तविक अर्थ को खोए?

यह शोध पत्र एक नया समाधान पेश करता है जिसे C2MOE (कंसिस्टेंसी एंड कॉम्प्लीमेंटैरिटी-गाइडेड मिक्सचर ऑफ एक्सपर्ट्स) कहा जाता है। इसे विशेषज्ञों की एक टीम के रूप में सोचें जो केस सुलझाने के लिए काम करती है जब कुछ सबूत गायब होते हैं। शोधकर्ताओं ने महसूस किया कि पिछले तरीकों ने गायब डेटा को ठीक करने के लिए केवल अन्य सुरागों से जो वे जानते थे उसकी नकल करने की कोशिश की, लेकिन इससे अक्सर उबाऊ, दोहराव वाले अनुमान मिलते थे जो अनूठे विवरणों को छोड़ देते थे। C2MOE कुछ अधिक स्मार्ट करता है। यह काम को दो अलग-अलग भूमिकाओं में विभाजित करता है। एक विशेषज्ञ, "कंसिस्टेंसी डिटेक्टिव" (Consistency Detective), सुरागों के बीच साझा पैटर्न को देखता है—जैसे कि एक उदास आवाज़ आमतौर पर एक मुरझाए हुए चेहरे के साथ मेल खाती है। दूसरा, "कॉम्प्लीमेंटैरिटी डिटेक्टिव" (Complementarity Detective), उन अनूठे विवरणों को देखता है जो केवल एक सुराग द्वारा प्रदान किए जा सकते हैं—जैसे कि शब्दों का एक विशिष्ट चयन जो केवल टेक्स्ट ही प्रकट कर सकता है। एक स्मार्ट "मैनेजर" (रूटिंग नेटवर्क) का उपयोग करके यह तय करना कि उसे किस समय किस डिटेक्टिव की बात सुननी है, यह प्रणाली गायब जानकारी को बहुत अधिक सटीकता से पुनर्गठित कर सकती है। लेखकों ने इसका परीक्षण वीडियो कमेंट्स के दो प्रसिद्ध डेटासेट्स (CMU-MOSI और CMU-MOSEI) पर किया और पाया कि C2MOE लगातार मौजूदा तरीकों से बेहतर प्रदर्शन करता है, विशेष रूप से तब जब डेटा का बड़ा हिस्सा गायब होता है। वे सुझाव देते हैं कि साझा पैटर्न और अनूठे विवरणों के बीच संतुलन बनाकर, AI अधूरा डेटा होने पर भी मजबूत रह सकता है।

डिटेक्टिव टीम: C2MOE कैसे काम करता है

यह समझने के लिए कि C2MOE कैसे काम करता है, कल्पना कीजिए कि आप एक टूटे हुए पहेली (puzzle) को फिर से बनाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल आधे टुकड़े हैं। अतीत में, AI मॉडल उपलब्ध टुकड़ों को देखकर और सबसे अच्छी उम्मीद करके गायब टुकड़ों का अनुमान लगाने की कोशिश करते थे। कभी-कभी वे भाग्यशाली होते थे, लेकिन अक्सर वे एक ही चीज़ का बार-बार अनुमान लगाते थे, जिससे वे उन अनूठे विवरणों को खो देते थे जो उस तस्वीर को खास बनाते थे।

इस शोध पत्र के लेखक तर्क देते हैं कि हमें दो अलग-अलग प्रकार की जानकारी की आवश्यकता है जिसे रिकवर करना है:

1. कंसिस्टेंसी (Consistency): यह सुरागों के बीच की "साझा भाषा" है। यदि कोई चिल्ला रहा है, तो उनकी आवाज़ तेज़ होगी, उनका चेहरा लाल होगा, और उनके शब्द आक्रामक होंगे। ये तीनों चीजें एक-दूसरे के साथ सुसंगत (consistent) हैं।
2. कॉम्प्लीमेंटैरिटी (Complementarity): यह प्रत्येक सुराग का "अनोखा स्वाद" है। टेक्स्ट आपको बता सकता है कि वे किस बारे में चिल्ला रहे हैं, जबकि ऑडियो बताता है कि वे कितने गुस्से में हैं, और वीडियो दिखाता है कि वे किस पर चिल्ला रहे हैं। ये पहेली के अलग-अलग टुकड़े हैं जो ओवरलैप नहीं होते हैं लेकिन दोनों आवश्यक हैं।

समस्या यह है कि ये दोनों लक्ष्य अक्सर आपस में टकराते हैं। यदि आप सब कुछ सुसंगत बनाने पर बहुत अधिक ध्यान केंद्रित करते हैं, तो आप अनूठे विवरणों को मिटा सकते हैं। यदि आप अनूठे विवरणों पर बहुत अधिक ध्यान केंद्रित करते हैं, तो आप सुरागों के बीच के संबंध को खो सकते हैं।

मिक्सचर ऑफ एक्सपर्ट्स (MoE)
एक विशाल मस्तिष्क के बजाय जो सब कुछ करने की कोशिश करता है, C2MOE एक "मिक्सचर ऑफ एक्सपर्ट्स" दृष्टिकोण का उपयोग करता है। एक जासूसी एजेंसी की कल्पना करें जिसमें दो विशेषज्ञ हैं:

• द कंसिस्टेंसी एक्सपर्ट: यह जासूस पैटर्न पहचानने में माहिर है। यदि टेक्स्ट कहता है "मैं खुश हूँ," तो यह विशेषज्ञ जानता है कि आवाज़ उत्साहजनक होनी चाहिए और चेहरा मुस्कुराता हुआ होना चाहिए। उनका काम यह सुनिश्चित करना है कि गायब हिस्से मौजूद हिस्सों के साथ पूरी तरह फिट बैठें।
• द कॉम्प्लीमेंटैरिटी एक्सपर्ट: यह जासूस अजीब, अनूठे विवरणों को पकड़ने में माहिर है। यदि टेक्स्ट कहता है "मैं खुश हूँ," लेकिन आवाज़ व्यंग्यात्मक लगती है, तो यह विशेषज्ञ नोटिस करता है कि आवाज़ में एक अनूठा "स्वाद" है जिसे टेक्स्ट कैप्चर नहीं कर पाता। उनका काम यह सुनिश्चित करना है कि जब हम खाली स्थान भरते हैं, तो हम उन अनूठे विवरणों को न खोएं।

स्मार्ट मैनेजर
AI को कैसे पता चलता है कि उसे किस डिटेक्टिव की बात सुननी है? यह एक रूटिंग नेटवर्क का उपयोग करता है, जो एक स्मार्ट मैनेजर की तरह कार्य करता है। जब AI डेटा का एक हिस्सा देखता है, तो मैनेजर पूछता है: "क्या हमें पैटर्न से मेल खाने की आवश्यकता है, या हमें एक अनूठा विवरण खोजने की आवश्यकता है?" उत्तर के आधार पर, यह प्रत्येक विशेषज्ञ को एक स्कोर देता है। यदि गायब हिस्से को दूसरों के साथ मेल खाने की आवश्यकता है, तो कंसिस्टेंसी एक्सपर्ट को उच्च स्कोर मिलता है। यदि इसे कुछ नया जोड़ने की आवश्यकता है, तो कॉम्प्लीमेंटैरिटी एक्सपर्ट को प्राथमिकता मिलती है। अंतिम उत्तर दोनों का मिश्रण होता है, जिसे इस आधार पर भारित (weighted) किया जाता है कि मैनेजर प्रत्येक पर कितना भरोसा करता है।

प्रयोग: C2MOE का परीक्षण

शोधकर्ताओं ने अपने नए सिस्टम का परीक्षण इंटरनेट से लिए गए वीडियो कमेंट्स के दो बड़े संग्रहों (CMU-MOSI और CMU-MOSEI) पर किया। इन डेटासेट्स में हजारों वीडियो हैं जहाँ लोग विभिन्न विषयों पर बात करते हैं, और AI को यह अनुमान लगाना होता है कि वे खुश हैं, दुखी हैं, क्रोधित हैं, आदि।

परीक्षण को वास्तविक बनाने के लिए, उन्होंने वीडियो के हिस्सों को बेतरतीब ढंग से छिपाकर "मिसिंग डेटा" का अनुकरण किया। कभी उन्होंने ऑडियो छिपाया, कभी वीडियो, और कभी टेक्स्ट। उन्होंने उन परिदृश्यों का भी परीक्षण किया जहाँ डेटा का 70% तक गायब था!

परिणाम
परिणाम प्रभावशाली थे। लगभग हर परिदृश्य में, C2MOE ने अन्य शीर्ष तरीकों को पीछे छोड़ दिया।

• CMU-MOSI डेटासेट पर, जब तीनों सुराग (टेक्स्ट, ऑडियो, वीडियो) उपलब्ध थे, तब C2MOE ने 88.5% (बाइनरी सटीकता) और 47.4% (7-क्लास सटीकता) की सटीकता प्राप्त की।
• जब उन्होंने वीडियो और ऑडियो को छिपा दिया, जिससे केवल टेक्स्ट बचा, तब भी C2MOE 87.3% सटीकता प्राप्त करने में सफल रहा, जो अगले सर्वश्रेष्ठ तरीके से बेहतर था।
• यहाँ तक कि जब मिसिंग रेट बहुत अधिक था (0.7 तक, जिसका अर्थ है कि डेटा का 70% गायब था), तब भी C2MOE अन्य मॉडलों की तुलना में बहुत बेहतर स्थिति में रहा। जहाँ अन्य मॉडलों का प्रदर्शन डेटा गायब होने पर तेजी से गिरा, वहीं C2MOE का प्रदर्शन केवल थोड़ा सा ही कम हुआ।

लेखकों ने यह भी देखा कि AI ने गायब हिस्सों को कितनी अच्छी तरह से भरा। उन्होंने यह देखने के लिए कि "पुनर्निर्मित" (reconstructed) डेटा वास्तविक डेटा की तुलना में कैसा दिखता है, t-SNE नामक एक विज़ुअल टूल का उपयोग किया। उन्होंने पाया कि C2MOE के अनुमान वास्तविक चीज़ के बहुत करीब थे, जिससे डेटा का आकार और संरचना बरकरार रही, जबकि अन्य तरीके बिखरे हुए और अस्त-व्यस्त अनुमान पैदा करते थे।

यह क्यों महत्वपूर्ण है

मुख्य निष्कर्ष यह है कि सब कुछ एक जैसा (कंसिस्टेंसी) बनाने की कोशिश करना पर्याप्त नहीं है। आपको सुरागों के बीच के अनूठे अंतरों (कॉम्प्लीमेंटैरिटी) का भी सम्मान करने की आवश्यकता है। विशेषज्ञ विशेषज्ञों की एक टीम और स्विच करने के लिए एक स्मार्ट मैनेजर का उपयोग करके, C2MOE वास्तविक दुनिया की अधूरी वास्तविकता को पिछले मॉडलों की तुलना में बहुत बेहतर तरीके से संभाल सकता है।

यह शोध पत्र सुझाव देता है कि यह दृष्टिकोण मानव भावनाओं को समझने के लिए AI बनाने की दिशा में एक महत्वपूर्ण कदम है, भले ही डेटा अपूर्ण हो। हालाँकि लेखक यह दावा नहीं करते हैं कि उन्होंने गायब डेटा की समस्या को हमेशा के लिए हल कर दिया है, लेकिन उनके प्रयोग दृढ़ता से संकेत देते हैं कि यह "कंसिस्टेंसी एंड कॉम्प्लीमेंटैरिटी" रणनीति AI को अधिक मजबूत और विश्वसनीय बनाने का एक शक्तिशाली तरीका है। जैसा कि उन्होंने कहा, सर्वोत्तम परिणाम तब मिले जब उन्होंने साझा पैटर्न और अनूठे विवरणों दोनों के बीच संतुलन बनाया, जिससे सिद्ध हुआ कि विभिन्न प्रकार के विशेषज्ञों के बीच थोड़ा सा टीम वर्क बहुत काम आता है।