🤖 machine learning

CONFER: Conflict-Aware Evidence Negotiation for Regime-Calibrated Weak Supervision in Multimodal Emotion Recognition

यह शोध पत्र CONFER का प्रस्ताव करता है, जो एक ग्राफ-आधारित ढांचा है जो क्रॉस-मोडल संघर्षों पर बातचीत करता है और मोडैलिटी विश्वसनीयता का गतिशील रूप से अनुमान लगाकर तथा नमूनों को सहमति (consensus), असहमति (dissent) और अस्पष्टता (ambiguity) के शासन में वर्गीकृत करके कमजोर पर्यवेक्षण को कैलिब्रेट करता है ताकि सुदृढ़ मल्टीमॉडल भावना पहचान प्राप्त की जा सके।

मूल लेखक: Bojing Hou, Ruohao Li, Yitong Zhu, Luwen Yu, Yuyang Wang

प्रकाशित 2026-08-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bojing Hou, Ruohao Li, Yitong Zhu, Luwen Yu, Yuyang Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि आपका एक दोस्त कैसा महसूस कर रहा है। आप शायद उनके चेहरे को देखेंगे, उनकी आवाज़ सुनेंगे और उनके शारीरिक हाव-भाव (body language) पर ध्यान देंगे। आमतौर पर, ये सभी संकेत एक ही बात कहते हैं: एक उदास चेहरा, कांपती हुई आवाज़ और झुके हुए कंधे सब मिलकर "उदासी" का संकेत देते हैं। लेकिन क्या होगा यदि आपका दोस्त मुस्कुरा रहा हो (चेहरा खुशी कह रहा है) जबकि उसकी आवाज़ लड़खड़ा रही हो (आवाज़ उदासी कह रही है) और वह कांप रहा हो (शरीर डर कह रहा है)? यह मल्टीमॉडल इमोशन रिकग्निशन (Multimodal Emotion Recognition - MER) की जटिल वास्तविकता है, जो कंप्यूटर विज्ञान का एक ऐसा क्षेत्र है जहाँ मशीनें वीडियो, ऑडियो और मस्तिष्क के संकेतों जैसे विभिन्न प्रकार के डेटा को जोड़कर मानवीय भावनाओं को समझने की कोशिश करती हैं।

कठिन हिस्सा यह है कि कंप्यूटर अक्सर "उत्तर कुंजी" (answer key)—वह लेबल जो एक इंसान यह बताने के लिए देता है कि वह कैसा महसूस कर रहा है—को पूर्ण सत्य मान लेते हैं। लेकिन इंसान जटिल होते हैं! हम अपनी भावनाओं को रेट करते समय झूठ बोल सकते हैं, भूल सकते हैं, या बस हमारा दिन खराब हो सकता है, जिससे हमारे "उत्तर" अविश्वसनीय हो जाते हैं। इसके अलावा, जब कंप्यूटर के विभिन्न सेंसर असहमत होते हैं (जैसे चेहरा बनाम आवाज़), तो अधिकांश मौजूदा प्रोग्राम बस डेटा को आपस में मिला देते हैं और उम्मीद करते हैं कि सब ठीक हो जाएगा, वे संघर्ष को नज़रअंदाज़ कर देते हैं। यह शोध पत्र उस भ्रम को दूर करता है, और यह सवाल पूछता है: कंप्यूटर को कैसे पता चलेगा कि जब संकेत आपस में लड़ रहे हों तो किस सुराग पर भरोसा करना चाहिए, और वह यह कैसे जान सकता है कि "उत्तर कुंजी" गलत भी हो सकती है?

यहाँ आता है CONFER, एक चतुर नया सिस्टम जो विशेषज्ञों के एक समूह के बीच एक कुशल मध्यस्थ (mediator) की तरह काम करता है। अलग-अलग सेंसरों (विशेषज्ञों) को तुरंत सहमत होने के लिए मजबूर करने के बजाय, CONFER उन्हें बातचीत करने देता है। कल्पना कीजिए कि एक गोलमेज चर्चा चल रही है जहाँ एक 'चेहरा विशेषज्ञ', एक 'आवाज़ विशेषज्ञ' और एक 'मस्तिष्क तरंग विशेषज्ञ' यह तय करने की कोशिश कर रहे हैं कि व्यक्ति खुश है या उदास। पुराने दिनों में, कंप्यूटर बस वोटों की गिनती कर लेता था। लेकिन CONFER अधिक स्मार्ट है। वह जानता है कि कभी-कभी 'चेहरा विशेषज्ञ' का दिन खराब होता है (शायद रोशनी कम होती है) और कभी-कभी 'आवाज़ विशेषज्ञ' अधिक विश्वसनीय होता है।

CONFER एक "डायनेमिक ग्राफ" का उपयोग करता है ताकि ये विशेषज्ञ एक-दूसरे से बात कर सकें। वे केवल अपनी राय नहीं चिल्लाते; वे "साक्ष्य" (evidence) और "अनिश्चितता" (uncertainty) साझा करते हैं। यदि चेहरा विशेषज्ञ बहुत अनिश्चित (उच्च अनिश्चितता) है लेकिन आवाज़ विशेषज्ञ बहुत आश्वस्त है, तो चेहरा विशेषज्ञ उसकी बात सुनता है और अपनी राय बदल लेता है। यदि दोनों आश्वस्त हैं लेकिन असहमत हैं, तो CONFER इसे एक गंभीर संघर्ष के रूप में चिह्नित करता है। यह असहमति को केवल नज़रअंदाज़ नहीं करता; यह यह समझने के लिए इसका उपयोग करता है कि कौन सा विशेषज्ञ वास्तव में सच बोल रहा है और कौन सा भ्रमित (hallucinating) हो रहा है।

इस सिस्टम के पास "उत्तर कुंजी" (स्व-रिपोर्ट किए गए लेबल) को संभालने के लिए एक विशेष तकनीक भी है। यह समझता है कि यदि सभी विशेषज्ञ ज़ोर-शोर से बहस कर रहे हैं, तो मानव लेबल भी अविश्वसनीय हो सकता है। इसलिए, CONFER हर क्षण को तीन श्रेणियों में विभाजित करता है:

सहमति (Consensus): सभी सहमत हैं, और लेबल संभवतः सही है।
असहमति (Dissent): विशेषज्ञ असहमत हैं, लेकिन सिस्टम फिर भी यह पता लगा सकता है कि कौन सही है।
अनिश्चितता (Ambiguity): सब कुछ अस्त-व्यस्त है, और सिस्टम यह निर्णय लेता है कि मानव लेबल पर बहुत कम भरोसा किया जाए क्योंकि वह शायद गलत है।

शोधकर्ताओं ने वास्तविक लोगों की भावनाओं वाले तीन प्रमुख डेटासेट्स (AMIGOS, MAHNOB-HCI, और DEAP) पर CONFER का परीक्षण किया। उन्होंने पाया कि जब सेंसर आपस में लड़ रहे थे (उच्च संघर्ष), तब CONFER एक जीवन रक्षक की तरह साबित हुआ। उदाहरण के लिए, AMIGOS डेटासेट पर, इसने सख्त परीक्षण स्थितियों के तहत 0.873 की सटीकता प्राप्त की, जहाँ उसे उन लोगों की भावनाओं का अनुमान लगाना था जिन्हें उसने पहले कभी नहीं देखा था। MAHNOB डेटासेट पर, इसने 0.854 का स्तर छुआ। ये संख्याएँ प्रभावशाली हैं और अन्य शीर्ष तरीकों को पीछे छोड़ देती हैं।

सबसे रोमांचक खोज यह है कि सिस्टम "भ्रष्ट" (corrupted) डेटा को कैसे संभालता है। शोधकर्ताओं ने यह देखने के लिए कि क्या कंप्यूटर भ्रमित हो जाएगा, मानव लेबल के साथ छेड़छाड़ करने का नाटक किया (जैसे उत्तरों को बेतरतीब ढंग से बदलना)। जबकि अन्य तरीके विफल हो गए, CONFER स्थिर रहा, और 30% लेबल गलत होने के बावजूद 0.723 की सटीकता बनाए रखी। यह सुझाव देता है कि सिस्टम केवल उत्तरों को रट नहीं रहा है; बल्कि यह वास्तव में सही संकेतों पर भरोसा करना और शोर (noise) को अनदेखा करना सीख रहा है।

संक्षेप में, CONFER सिद्ध करता है कि संघर्ष केवल एक त्रुटि (bug) नहीं जिसे ठीक किया जाना है; बल्कि यह एक उपयोगी संकेत है। विभिन्न सेंसरों को बातचीत करने देकर और यह जानकर कि मानव लेबल हमेशा पूर्ण नहीं होते, यह सिस्टम मानवीय भावनाओं की जटिल और उलझी हुई वास्तविकता को समझने में बहुत बेहतर बन जाता है। यह दिखाता है कि कभी-कभी, सत्य खोजने का सबसे अच्छा तरीका बहस को सुनना होता है, न कि केवल अंतिम वोट को।

तकनीकी सारांश: CONFER

समस्या विवरण (Problem Statement)

मल्टीमॉडल इमोशन रिकग्निशन (MER) पारंपरिक रूप से स्वयं-रिपोर्ट किए गए वैलेंस (valence) और अराउज़ल (arousal) स्कोर पर ग्राउंड-ट्रुथ सुपरविजन के रूप में निर्भर करता है। हालांकि, यह शोध पत्र तर्क देता है कि ये लेबल स्वाभाविक रूप से अविश्वसनीय "कमजोर अवलोकन" (weak observations) हैं, जो व्यक्तिगत रेटिंग आदतों, संज्ञानात्मक पूर्वाग्रहों (cognitive biases), स्मृति विरूपण (memory distortions) और प्रयोगात्मक संदर्भ के कारण होते हैं। इसके अतिरिक्त, मौजूदा विधियाँ क्रॉस-मोडल संघर्ष (cross-modal conflict) की अनदेखी करती हैं—अर्थात विभिन्न मोडैलिटीज (जैसे, चेहरे के भाव, ऑडियो, शारीरिक लक्षण) के अनुमानों के बीच असहमति।

वर्तमान दृष्टिकोण अक्सर अटेंशन मैकेनिज्म या गेटिंग के माध्यम से मोडैलिटी विषमता (modality heterogeneity) को संबोधित करते हैं, लेकिन वे बिना यह निर्धारित किए कि किसी विशिष्ट नमूने (sample) के लिए कौन सी मोडैलिटी दूसरी को प्रभावित करनी चाहिए, संघर्षों को फ्यूजन वेट्स के माध्यम से जबरन एकीकृत कर देते हैं। इसी तरह, कमजोर-लेबल (weak-label) विधियाँ वैश्विक सांख्यिकी या कॉन्फिडेंस स्कोर के आधार पर सुपरविजन विश्वसनीयता का अनुमान लगाती हैं, जो मोडैलिटी-विशिष्ट भविष्यवाणियों के बीच युग्मवार सहमति (pairwise agreement) और संघर्ष का लाभ उठाने में विफल रहती हैं। यह विच्छेद सूचना प्रवाह के कुशल संचालन और शोर वाले स्व-रिपोर्ट्स से मजबूत शिक्षण (robust learning) को रोकता है।

कार्यप्रणाली (Methodology): CONFER फ्रेमवर्क

लेखक CONFER (Conflict-Aware Evidence Negotiation for Regime-Calibrated Weak Supervision) प्रस्तावित करते हैं, जो एक एकीकृत ग्राफ-आधारित फ्रेमवर्क है जो मोडैलिटी विशेषज्ञों को एक डायनेमिक नेगोशिएशन ग्राफ में नोड्स के रूप में मॉडल करता है। यह फ्रेमवर्क तीन चरणों में कार्य करता है:

1. मोडैलिटी विशेषज्ञ निर्माण (Modality Expert Construction)

प्रत्येक मोडैलिटी को एक स्वतंत्र विशेषज्ञ के रूप में माना जाता है।

प्रतिनिधित्व (Representation): एनकोडर टेम्पोरल विंडोज़ को एम्बेडिंग्स में मैप करते हैं। एक कंस्ट्रक्टर ग्लोबल मीन पूलिंग, स्पार्स टॉप- $k$ अटेंशन और टेम्पोरल डिस्पर्शन का उपयोग करके इन्हें ट्रायल-स्तरीय प्रतिनिधित्व में एकत्रित करता है।
साक्ष्य पीढ़ी (Evidence Generation): प्रत्येक विशेषज्ञ एक प्रेडिक्टिव बिलीफ ( $\mu$ ) और एक बाउंड्री-आधारित अनसर्टेन्टी (uncertainty) स्कोर ( $u$ ) उत्पन्न करता है, जहाँ अनसर्टेन्टी तब बढ़ती है जब भविष्यवाणी निर्णय सीमा (decision boundary) के करीब पहुँचती है।
रनटाइम विश्वसनीयता (Runtime Reliability): विश्वसनीयता ( $c$ ) का अनुमान ऐतिहासिक आउट-ऑफ-फोल्ड (OOF) प्रदर्शन और वर्तमान नमूना अनसर्टेन्टी को जोड़कर लगाया जाता है। यह सुनिश्चित करता है कि विश्वसनीयता स्टेटिक होने के बजाय सैंपल-विशिष्ट हो।

2. संघर्ष-जागरूक साक्ष्य वार्ता (Conflict-Aware Evidence Negotiation)

विशेषज्ञ संघर्षों को हल करने के लिए एक डायनेमिक ग्राफ के माध्यम से बातचीत (interact) करते हैं।

नोड स्टेट (Node State): प्रेडिक्टिव बिलीफ, अनसर्टेन्टी और रनटाइम विश्वसनीयता द्वारा परिभाषित।
अनुकूलता और एज वेट्स (Compatibility & Edge Weights): अनसर्टेन्टी द्वारा सामान्यीकृत भविष्यवाणी असहमति के आधार पर पेयरवाइज अनुकूलता ( $A_{mn}$ ) की गणना की जाती है। आत्मविश्वासी विशेषज्ञों के बीच उच्च असहमति कम अनुकूलता देती है।
असममित संदेश पासिंग (Asymmetric Message Passing): अनुकूलता को रिसीवर-विशिष्ट दिशात्मक एज वेट्स ( $\gamma_{m \leftarrow n}$ ) में परिवर्तित किया जाता है। यह विश्वसनीय प्रेषकों (senders) को कम विश्वसनीय प्राप्तकर्ताओं (receivers) को प्रभावित करने की अनुमति देता है, जबकि प्राप्तकर्ता की अपनी विश्वसनीयता यह तय करती है कि वह आने वाली जानकारी को कितना स्वीकार करेगा।
पुनरावृत्ति (Iteration): यह प्रक्रिया दो राउंड ( $\mu^{(0)} \to \mu^{(1)} \to \mu^{(2)}$ ) के लिए चलती है, जो पीयर-सपोर्टेड एग्रीगेशन के आधार पर बिलीफ को अपडेट करती है।

3. रिजीम-कैलिब्रेटेड कमजोर सुपरविजन (Regime-Calibrated Weak Supervision)

वार्ता का परिणाम नमूने को तीन रिजीम्स (regimes) में वर्गीकृत करता है ताकि लॉस फंक्शन को कैलिब्रेट किया जा सके:

कंसेंसस (Consensus): उच्च सहमति और कम अवशिष्ट संघर्ष (residual conflict)।
डिसेंट (Dissent): वार्ता के बाद भी निरंतर असहमति।
एम्बिग्युइटी (Ambiguity): उच्च समग्र अनसर्टेन्टी।
सैंपल वेटिंग (Sample Weighting): अनुमानित रिजीम प्रोबेबिलिटीज़ प्रत्येक नमूने के कमजोर-लेबल लॉस में योगदान के भार ( $\omega_i$ ) को निर्धारित करती हैं। "कंसेंसस" रिजीम वाले नमूनों को पूर्ण भार दिया जाता है, जबकि "डिसेंट" और "एम्बिग्युइटी" नमूनों को कम भार दिया जाता है (परंतु हटाया नहीं जाता) ताकि मॉडल को अविश्वसनीय सुपरविजन के प्रति ओवरफिट होने से रोका जा सके।

इस फ्रेमवर्क को तीन चरणों में प्रशिक्षित किया जाता है: (A) प्रारंभिक बिलीफ के लिए एनकोडर को प्रशिक्षित करना, (B) विश्वसनीयता प्रायर और रिजीम कोएफिशिएंट्स का अनुमान लगाने के लिए OOF कैलिब्रेशन, और (C) नेगोशिएशन मॉड्यूल और प्रेडिक्शन रीडआउट का संयुक्त अनुकूलन (joint optimization)।

मुख्य योगदान (Key Contributions)

एकीकृत फ्रेमवर्क: CONFER मोडैलिटी विश्वसनीयता अनुमान, क्रॉस-मोडल नेगोशिएशन और वीक-लेबल कैलिब्रेशन को एक एकल ग्राफ-आधारित आर्किटेक्चर में एकीकृत करता है।
डायनेमिक नेगोशिएशन मैकेनिज्म: यह अनसर्टेन्टी-अवेयर कम्पैटिबिलिटी को विश्वसनीयता-निर्देशित, एसिमेट्रिक मैसेज पासिंग में बदलने की एक विधि पेश करता है, जिससे क्रॉस-मोडल संघर्ष विशेषज्ञ समन्वय और सुपरविजन विश्वसनीयता अनुमान दोनों को निर्देशित कर सकता है।
रिजीम-आधारित कैलिब्रेशन: कंसेंसस, डिसेंट और एम्बिग्युइटी रिजीम्स को परिभाषित करके, यह विधि सभी लेबल को समान रूप से विश्वसनीय या अविश्वसनीय मानने के बजाय, सैंपल-विशिष्ट संघर्ष समाधान के आधार पर कमजोर लेबल के योगदान को गतिशील रूप से समायोजित करती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क: AMIGOS, MAHNOB-HCI, और DEAP पर, सब्जेक्ट-डिपेंडेंट 10-फोल्ड क्रॉस-वैलिडेशन और सख्त लीव-वन-सब्जेक्ट-आउट (LOSO) प्रोटोकॉल दोनों का उपयोग करके CONFER का मूल्यांकन किया।

प्रदर्शन: CONFER ने प्रतिस्पर्धी परिणाम प्राप्त किए, विशेष रूप से सख्त LOSO मूल्यांकन के तहत AMIGOS-V (Valence) पर 0.873 सटीकता और 0.879 F1 तथा MAHNOB-V पर 0.854 सटीकता प्राप्त की, जो लेट फ्यूजन, TFN, MISA और विभिन्न एक्सपर्ट रूटिंग (MoE) विधियों जैसे बेसलाइन्स से बेहतर है।
मजबूती (Robustness): मॉडल सिंथेटिक वीक-लेबल करप्शन के प्रति उत्कृष्ट मजबूती प्रदर्शित करता है। 30% सिमेट्रिक लेबल करप्शन के तहत, CONFER ने 0.723 की सटीकता बनाए रखी, जो बेसलाइन्स से काफी बेहतर है।
संघर्ष विश्लेषण (Conflict Analysis): एब्लेशन अध्ययनों ने पुष्टि की कि नेगोशिएशन, सेंडर रिलायबिलिटी, या रिसीवर कॉनसेशन को हटाने से प्रदर्शन में गिरावट आई। विश्लेषण से पता चला कि नेगोशिएशन उच्च-संघर्ष वाले नमूनों पर सबसे अधिक लाभ (5.4–8.9 अंक) देता है, जो गलत भविष्यवाणियों को सुधारने में सही भविष्यवाणियों को बाधित करने की तुलना में बहुत अधिक प्रभावी है।
सुपरविजन डिटेक्शन: अनुमानित संघर्ष रिजीम्स (कंसेंसस, डिसेंट, एम्बिग्युइटी) को सुपरविजन इनकंसिस्टेंसी के प्रभावी संकेतक के रूप में दिखाया गया, जो अविश्वसनीय लेबल का पता लगाने में प्रेडिक्टिव एंट्रॉपी से बेहतर प्रदर्शन करते हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि CONFER यह प्रदर्शित करता है कि क्रॉस-मोडल संघर्ष केवल त्रुटि का स्रोत नहीं है बल्कि एक उपयोगी सूचना संकेत (information signal) है। क्रॉस-मोडलिटी के बीच नेगोशिएशन को स्पष्ट रूप से मॉडल करके, फ्रेमवर्क निम्नलिखित कार्य कर सकता है:

मोडैलिटीज को समन्वित करना: एक समान फ्यूजन को थोपने के बजाय, सापेक्ष विश्वसनीयता और अनुकूलता के आधार पर विशेषज्ञ भविष्यवाणियों को चुनिचुना अपडेट करना।
सुपरविजन विश्वसनीयता का अनुमान लगाना: क्रॉस-मोडल संघर्ष के समाधान (या अभाव) का उपयोग करके, प्रति-नमूना (per-sample) आधार पर स्व-रिपोर्ट किए गए लेबल की विश्वसनीयता को कैलिब्रेट करना।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण मल्टीमॉडल सेटिंग्स में कमजोर सुपरविजन से सीखने के लिए एक अधिक मजबूत तंत्र प्रदान करता है, विशेष रूप से भावनात्मक अवस्थाओं की अंतर्निहित अविश्वसनीयता और संवेदी डेटा की विषमता से निपटने के दौरान।