Multimodal Ambivalence and Hesitancy Recognition via Cross-Attention and Gated Fusion
यह शोध पत्र वीडियो में द्वंद्व (ambivalence) और हिचकिचाहट (hesitancy) को पहचानने के लिए एक मल्टीमॉडल फ्रेमवर्क प्रस्तुत करता है, जो द्वि-दिशीय क्रॉस-अटेंशन (bidirectional cross-attention) और एक गेटेड मल्टीमॉडल यूनिट (Gated Multimodal Unit) के माध्यम से टेक्स्ट, ऑडियो और विजुअल फीचर्स को फ्यूज करता है ताकि 0.7394 का मैक्रो F1 स्कोर प्राप्त किया जा सके, जो ECCV 2026 में ABAW11 चुनौती में दोनों यूनिमोडल बेसलाइन और ज़ीरो-शॉट मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप केवल किसी को देखकर यह अनुमान लगाने की कोशिश कर रहे हैं कि आपका कोई मित्र क्या महसूस कर रहा है। कभी-कभी, यह आसान होता है: एक बड़ी मुस्कान खुशी का संकेत देती है, एक उदास चेहरा दुख का। लेकिन उन पेचीदा क्षणों के बारे में क्या होगा जब कोई द्वंद्व में हो? जैसे कि कोई "मैं ठीक हूँ" कह रहा हो, लेकिन उसकी आवाज़ कांप रही हो, जबकि उसका चेहरा ऐसा दिख रहा हो जैसे वह रोने ही वाला है। भावनाओं के इस भ्रमित करने वाले मिश्रण को एम्बीवैलेंस (ambivalence) या हेसिटेंसी (hesitancy - हिचकिचाहट) कहा जाता है। यह कुछ करने की इच्छा और उसे करने से डरने के बीच का आंतरिक खींचतान है। कंप्यूटर और मानव व्यवहार का अध्ययन करने वाले वैज्ञानिक (एक क्षेत्र जिसे अफेक्टिव कंप्यूटिंग कहा जाता है) मशीनों को इन सूक्ष्म, मिश्रित संकेतों को पहचानना सिखाने की कोशिश कर रहे हैं। वे जानते हैं कि केवल एक सुराग देखना—जैसे केवल आवाज़ सुनना या केवल चेहरे को देखना—अक्सर पर्याप्त नहीं होता है। किसी व्यक्ति को वास्तव में समझने के लिए, एक कंप्यूटर को एक सुपर-स्मार्ट जासूस की तरह काम करने की आवश्यकता है, जो शब्दों, स्वर और भावों को एक साथ जोड़कर इस रहस्य को सुलझा सके कि कोई वास्तव में क्या महसूस कर रहा है।
इस शोध पत्र में, उसाम (Oussama), यासीन (Yassine) और लार्बी (Larbi) नामक शोधकर्ताओं की एक टीम ने ठीक इसी पहेली को सुलझाने के लिए एक सुपर-डिटेक्टिव कंप्यूटर बनाने का निर्णय लिया। उन्होंने ABAW11 नामक एक प्रतियोगिता में भाग लिया, जिसका लक्ष्य वीडियो रिकॉर्डिंग में एम्बीवैलेंस और हिसिटेंसी का पता लगाना था। उन्होंने पहले तीन अलग-अलग "इंद्रियों" का अकेले परीक्षण किया: एक मस्तिष्क जो टेक्स्ट ट्रांसक्रिप्ट पढ़ता है, एक मस्तिष्क जो ऑडियो सुनता है, और एक मस्तिष्क जो चेहरे के वीडियो देखता है। उन्होंने पाया कि टेक्स्ट रीडर सबसे अच्छा एकल जासूस था, जिसने लगभग 66.6% उत्तर सही दिए (जिसे मैक्रो F1 नामक स्कोर द्वारा मापा गया)। ऑडियो सुनने वाला उसके ठीक पीछे था जो 62.8% पर था, और वीडियो देखने वाला थोड़ा कमजोर था जो 57.3% पर था। दिलचस्प बात यह है कि उन्होंने एक प्रसिद्ध "ज़ीरो-शॉट" AI (एक ऐसा AI जिसे इस विशिष्ट डेटा पर प्रशिक्षित नहीं किया गया था) का परीक्षण किया और उसने केवल 28.3% सही उत्तर दिए, जिससे यह सिद्ध हुआ कि आपको अपने AI को विशेष रूप से इस कठिन कार्य के लिए प्रशिक्षित करने की वास्तव में आवश्यकता है।
लेकिन असली जादू तब हुआ जब उन्होंने जासूसों को अकेले काम करने से रोक दिया और उन्हें एक टीम के रूप में काम करने के लिए प्रेरित किया। शोधकर्ताओं ने एक विशेष प्रणाली बनाई जहाँ टेक्स्ट, ऑडियो और वीडियो के मस्तिष्क एक-दूसरे से बात कर सकते थे। उन्होंने क्रॉस-अटेंशन (cross-attention) नामक एक तकनीक का उपयोग किया, जो एक वॉकी-टॉकी देने जैसा है ताकि वे दूसरों से पूछ सकें, "हे, मैं यहाँ एक कांपती हुई आवाज़ देख रहा हूँ, क्या तुम्हारा चेहरा एक घबराहट भरा भाव देख रहा है?" और "मैं एक हिचकिचाता हुआ शब्द देख रहा हूँ, क्या तुम्हारा ऑडियो एक ठहराव सुन रहा है?" इसने उन्हें विरोधाभासों को पहचानने की अनुमति दी, जैसे कि जब कोई "हाँ" कहता है लेकिन अनिश्चित सुनाई देता है। उन्होंने एक गेटेड मल्टीमॉडल यूनिट (Gated Multimodal Unit) भी जोड़ा, जो एक स्मार्ट मैनेजर की तरह काम करता है। यदि एक जासूस एक धुंधले चेहरे को देख रहा है या खराब ऑडियो सुन रहा है, तो मैनेजर कह सकता है, "एक सेकंड के लिए उस शोर वाले सिग्नल को अनदेखा करें, आइए स्पष्ट टेक्स्ट पर ध्यान केंद्रित करें।"
परफेक्ट सेटिंग्स खोजने के लिए ऑप्टुना (Optuna) नामक एक स्मार्ट सर्च टूल के साथ इस टीम को प्रशिक्षित करने के बाद, परिणाम प्रभावशाली थे। तीनों की टीम ने मिलकर 73.9% का स्कोर किया, जो सबसे अच्छे एकल जासूस की तुलना में 11.0% का सुधार है। यह सुझाव देता है कि विभिन्न इंद्रियों को एक-दूसरे की जांच करने की अनुमति देकर, कंप्यूटर उन सूक्ष्म, विरोधाभासी सुरागों को पकड़ सकता है जो एम्बीवैलेंस बनाते हैं, जो किसी भी एकल इंद्रिय की तुलना में बहुत बेहतर है। शोधकर्ता आश्वस्त हैं कि टेक्स्ट, ध्वनि और वीडियो के बीच स्पष्ट टीम वर्क ही इन कठिन मानवीय भावनाओं को अनलॉक करने की कुंजी है, और उन्होंने अपना कोड सार्वजनिक कर दिया है ताकि अन्य लोग भी इसका परीक्षण कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।