💻 computer science

VISAFF: Speaker-Centered Visual Affective Feature Learning for Emotion Recognition in Conversation

यह शोध पत्र VISAFF का प्रस्ताव करता है, जो एक ट्यूनिंग-मुक्त, वक्ता-केंद्रित ढांचा है जो बातचीत में भावना पहचान के लिए फ्रोजन विजन-लैंग्वेज मॉडल्स का लाभ उठाता है, सक्रिय वक्ताओं के दृश्य संकेतों पर ध्यान केंद्रित करके और उच्च प्रदर्शन प्राप्त करने के लिए उन्हें टेक्स्ट और ध्वनिक मोडैलिटीज़ के साथ गतिशील रूप से पूरक बनाकर महत्वपूर्ण रूप से कम कम्प्यूटेशनल लागत के साथ कार्य करता है।

मूल लेखक: Linan ZHU, Zihao Zhai, Xiao Han, Yuqian Fu, Xiangfan Chen, Xiangjie Kong, Guojiang Shen

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Linan ZHU, Zihao Zhai, Xiao Han, Yuqian Fu, Xiangfan Chen, Xiangjie Kong, Guojiang Shen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप केवल एक वीडियो देखकर यह अनुमान लगाने की कोशिश कर रहे हैं कि आपका कोई मित्र कैसा महसूस कर रहा है। यह इमोशन रिकग्निशन इन कन्वर्सेशन (ERC) यानी बातचीत में भावनाओं को पहचानने की चुनौती है।

लंबे समय तक, कंप्यूटर लोगों के शब्दों को पढ़कर ही उनकी भावनाओं का अनुमान लगाने की कोशिश करते रहे। लेकिन यह किसी चुटकुले को केवल उसकी पटकथा (स्क्रिप्ट) पढ़कर समझने जैसा है, जिसमें व्यक्ति के चेहरे और लहजे को अनदेखा कर दिया जाता है। इसमें आप व्यंग्य या एक बनावटी मुस्कान को मिस कर सकते हैं।

हाल ही में, कंप्यूटर विज़न-लैंग्वेज मॉडल्स (VLMs) के साथ और भी स्मार्ट हो गए हैं। ये एक अत्यंत चौकस AI जासूसों की तरह हैं जो वीडियो को देख सकते हैं और समझ सकते हैं कि क्या हो रहा है। हालाँकि, इस शोध पत्र के लेखकों ने पाया कि बातचीत के लिए इन AI जासूसों का उपयोग करने में दो बड़ी समस्याएँ हैं:

"डिस्ट्रैक्टेड डिटेक्टिव" (भटका हुआ जासूस) की समस्या: जब आप किसी सामान्य AI से ग्रुप चैट का वीडियो देखने के लिए कहते हैं, तो वह अक्सर विचलित हो जाता है। वह बोलने वाले व्यक्ति के चेहरे के बजाय बैकग्राउंड में लगे किसी मज़ेदार पोस्टर, किसी सुनने वाले के हाथ हिलाने या बाहर चलती हुई कार पर ध्यान केंद्रित कर सकता है। वह वक्ता के विशिष्ट भावनात्मक संकेतों को मिस कर देता है।
"एम्बिग्यूअस स्माइल" (अस्पष्ट मुस्कान) की समस्या: एक मुस्कान का मतलब हमेशा "खुशी" नहीं होता। कभी-कभी यह घबराहट वाली शिकन या व्यंग्यात्मक मुस्कान हो सकती है। यदि AI केवल वीडियो को देखता है, तो वह भ्रमित हो जाता है। यह जानने के लिए कि वह मुस्कान असली है या नकली, उसे शब्दों और आवाज के लहजे को सुनने की आवश्यकता होती है।

समाधान: VISAFF

लेखकों ने VISAFF (स्पीकर-सेंटर्ड विजुअल अफेक्टिव फीचर लर्निंग) नामक एक नया सिस्टम बनाया है। इसे एक "सुपर-डिटेक्टिव" को बिना भारी लागत के फिर से प्रशिक्षित किए प्रशिक्षित करने की दो-चरणीय प्रक्रिया के रूप में समझें।

चरण 1: "स्पॉटलाइट" (स्पीकर-सेंटर्ड अफेक्टिव ग्राउंडिंग)

कल्पना कीजिए कि AI जासूस लोगों से भरे एक अंधेरे कमरे में है। उसे हर चीज़ देखने के लिए इधर-उधर भटकने देने के बजाय, VISAFF विशेष रूप से उस व्यक्ति पर एक स्पॉटलाइट डालता है जो बात कर रहा है।

यह कैसे काम करता है: सिस्टम फ्रोजन (बिना बदले हुए) AI को एक विशेष निर्देश देता है: "बैकग्राउंड और अन्य लोगों को अनदेखा करें। केवल वक्ता के चेहरे और शरीर पर ध्यान केंद्रित करें।"
जादू: इसे AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं है (जो महंगा और धीमा है)। इसके बजाय, यह AI की मौजूदा ध्यान केंद्रित करने की क्षमता को "अनलॉक" करने के लिए चतुर प्रॉम्प्ट्स और वक्ता की एक संदर्भ फोटो का उपयोग करता है। यह एक ऐसे जासूस को आवर्धक लेंस (मैग्निफाइंग ग्लास) देने जैसा है जो पहले से ही देखना जानता है, बस उसे यह जानने की ज़रूरत थी कि कहाँ देखना है।

चरण 2: "सेफ्टी नेट" (रिलायबिलिटी-गाइडेड अफेक्टिव कॉम्प्लीमेंटेशन)

अब, कल्पना कीजिए कि वक्ता ने धूप का चश्मा पहना हुआ है, या वीडियो धुंधला है, या उन्होंने अपना चेहरा छिपा रखा है। "स्पॉटलाइट" चरण अभी भी अनिश्चित हो सकता है। यहीं पर दूसरा चरण काम आता है।

अवधारणा: सिस्टम खुद से पूछता है, "मैं जो देख रहा हूँ, उस पर मेरा विश्वास कितना है?"
सेफ्टी नेट: यदि दृश्य संकेत अस्थिर (कम आत्मविश्वास वाले) हैं, तो सिस्टम स्वचालित रूप से कमियों को भरने के लिए टेक्स्ट (उन्होंने क्या कहा) और ऑडियो (उन्होंने कैसे कहा) से मदद लेता है।
गेटकीपर: यदि वीडियो एकदम स्पष्ट है और भावना स्पष्ट है (उच्च आत्मविश्वास), तो सिस्टम भ्रम से बचने के लिए टेक्स्ट और ऑडियो को अनदेखा कर देता है। यह एक स्मार्ट गेटकीपर की तरह कार्य करता है: "यदि आँखें स्पष्ट हैं, तो आँखों पर भरोसा करें। यदि आँखें धुंधली हैं, तो आवाज़ पर भरोसा करें।"

यह क्यों महत्वपूर्ण है

यह शोध पत्र दावा करता है कि यह तरीका एक गेम-चेंजर है क्योंकि:

यह सस्ता और तेज़ है: इसके लिए विशाल AI मॉडल को फिर से प्रशिक्षित करने के लिए आवश्यक भारी कंप्यूटिंग पावर की आवश्यकता नहीं है। यह AI का उपयोग "जैसा है वैसा ही" (फ्रोजन) करता है और बस उसे बेहतर ढंग से निर्देशित करता है।
यह अधिक स्मार्ट है: केवल वक्ता पर ध्यान केंद्रित करके और वीडियो अस्पष्ट होने पर ही टेक्स्ट/ऑडियो का उपयोग करके, यह उन पुराने तरीकों की गलतियों से बचता है जो बैकग्राउंड से विचलित हो जाते थे या अस्पष्ट चेहरे के भावों की गलत व्याख्या करते थे।

संक्षेप में, VISAFF एक अत्यधिक प्रशिक्षित जासूस को काम पर रखने जैसा है जिसे आपको फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप बस उन्हें सही व्यक्ति को खोजने के लिए एक स्पॉटलाइट देते हैं और एक नियम पुस्तिका देते हैं कि, "यदि आप स्पष्ट रूप से नहीं देख पा रहे हैं, तो गवाह ने क्या सुना, उससे पूछें।" परिणाम, मनुष्यों की बातचीत में उनकी भावनाओं को समझने का एक बहुत अधिक सटीक तरीका है।

तकनीकी सारांश: VISAFF

समस्या विवरण (Problem Statement)

इमोशन रिकग्निशन इन कन्वर्सेशन (ERC) का लक्ष्य बहु-टर्न संवादों में वक्ताओं की भावनात्मक स्थिति की पहचान करना है। जबकि शुरुआती टेक्स्ट-आधारित विधियाँ सरल हैं, वे महत्वपूर्ण गैर-मौखिक जानकारी जैसे चेहरे के भावों और शारीरिक हाव-भावों की उपेक्षा करके जटिल परिदृश्यों (जैसे, व्यंग्य) में विफल हो जाती हैं। विजन-लैंग्वेज मॉडल्स (VLMs) का उपयोग करने वाले हालिया दृष्टिकोण सीधे वीडियो का विश्लेषण करने का प्रयास करते हैं लेकिन तीन महत्वपूर्ण सीमाओं का सामना करते हैं:

वक्ता पर ध्यान का अभाव (Lack of Speaker Focus): सामान्य VLMs स्वाभाविक रूप से ERC के लिए अनुकूलित नहीं होते हैं; वे अक्सर भावनात्मक रूप से अप्रासंगिक क्षेत्रों (जैसे, पृष्ठभूमि, निष्क्रिय श्रोता) की ओर ध्यान आकर्षित करते हैं बजाय सक्रिय वक्ता के।
गणना संबंधी लागत (Computational Cost): ERC के लिए बड़े VLMs को फाइन-ट्यून करना या पैरामीटर-कुशल अनुकूलन (जैसे, LoRA) का उपयोग करना अत्यधिक गणनात्मक लागत और व्यापक एनोटेटेड संसाधनों की मांग करता है।
दृश्य अस्पष्टता (Visual Ambiguity): अलग किए गए दृश्य संकेत अक्सर भाषाई सामग्री और वाचिक प्रोसोडी (vocal prosody) के संदर्भ के बिना अस्पष्ट या तकनीकी रूप से समझौतापूर्ण (जैसे, मोशन ब्लर) होते हैं। उदाहरण के तौर पर, संवादात्मक संदर्भ के बिना एक मुस्कान खुशी का संकेत नहीं दे सकती है।

यह शोध पत्र दो मुख्य चुनौतियों को संबोधित करता है: (1) सक्रिय वक्ता के भावनात्मक संकेतों पर ध्यान केंद्रित करने के लिए एक ट्यूनिंग-फ्री दृष्टिकोण का उपयोग करके फ्रोजन (frozen) VLMs की अंतर्निहित ERC तर्क क्षमताओं को कैसे अनलॉक किया जाए; और (2) दृश्य अनिश्चितता की भरपाई के लिए टेक्स्ट और ध्वनिक मोडैलिटीज का गतिशील रूप से लाभ उठाने के लिए एक एडेप्टिव मैकेनिज्म कैसे डिज़ाइन किया जाए।

कार्यप्रणाली (Methodology): VISAFF

लेखक VISAFF (स्पीकर-सेंटर्ड विजुअल अफेक्टिव फीचर लर्निंग) प्रस्तावित करते हैं, जो एक दो-चरणीय ढांचा है जो अंतर्निहित VLM को फाइन-ट्यून किए बिना संचालित होता है।

चरण 1: स्पीकर-सेंटर्ड अफेक्टिव ग्राउंडिंग (SCAG)

यह चरण एक फ्रोजन VLM का उपयोग जीरो-शॉट इन्फरेंस-टाइम फीचर एक्सट्रैक्टर के रूप में करता है। बिना प्रशिक्षण के VLM को प्रभावी ढंग से निर्देशित करने के लिए, लेखक दो इनपुट समूह पेश करते हैं:

प्रॉम्प्ट-गाइडेड VLM इनपुट्स (PGVI): इसमें सैम्पल किए गए वीडियो फ्रेम्स ( $F_i$ ), एक लक्षित वक्ता संदर्भ छवि ( $R_i$ ) शामिल है जो लोकलाइजेशन बाधा के रूप में कार्य करती है, और एक टास्क प्रॉम्प्ट ( $P_{task,i}$ ) जो मॉडल को जेनेरिक सीन डिस्क्रिप्शन के बजाय स्पीकर-सेंटर्ड अफेक्टिव एनालिसिस करने का स्पष्ट निर्देश देता है।
अफेक्टिव सिमेंटिक गाइडेंस इनपुट्स (ASGI): आवश्यक भावनात्मक संदर्भ प्रदान करने के लिए जिसकी अलग-थलग फ्रेम्स में कमी होती है, यह इनपुट संवाद संदर्भ ( $P_{ctx}$ ), ऑडियो विवरण ( $P_{aud}$ ), और लेक्सिकल वैलेंस-एराउज़ल-डोमिनेंस (VAD) प्रायर्स ( $P_{vad}$ ) से प्राप्त प्रॉम्प्ट्स को जोड़ता है।

फ्रोजन VLM इन संयुक्त इनपुट्स को प्रोसेस करता है ताकि स्पीकर-सेंटर्ड विजुअल अफेक्टिव फीचर्स ( $v_i$ ) निकाले जा सकें। VLM पैरामीटर्स में कोई ग्रेडिएंट बैक-प्रोपैगेट नहीं किया जाता है।

चरण 2: रिलायबिलिटी-गाइडेड अफेक्टिव कॉम्प्लीमेंटेशन (RGAC)

यह पहचानते हुए कि दृश्य संकेत अविश्वसनीय हो सकते हैं, यह चरण दृश्य विश्वसनीयता के आधार पर टेक्स्टुअल और ध्वनिक मोडैलिटीज को एडेप्टिव रूप से एकीकृत करता है।

विजुअल-गाइडेड क्रॉस-मोडल रिट्रीवल: टेक्स्टुअल (RoBERTa) और ध्वनिक (emotion2vec) फीचर्स को एक साझा स्पेस में प्रोजेक्ट किया जाता है। विजुअल फीचर को क्वेरी के रूप में उपयोग करते हुए, मॉडल क्रॉस-अटेंशन के माध्यम से टेक्स्टुअल और ध्वनिक अफेक्टिव रेफरेंस ( $\tilde{h}_i^{(m)}$ ) प्राप्त करता है। इन्हें विजुअल संकेतों की व्याख्या करने के लिए बाहरी संदर्भों के रूप में माना जाता है, न कि स्वतंत्र डोमिनेंट मोडैलिटीज के रूप में।
रिलायबिलिटी-गेटेड रेसिडुअल कॉम्प्लीमेंटेशन: एक ऑक्सिलरी विजुअल क्लासिफायर के माध्यम से एक विजुअल रिलायबिलिटी स्कोर ( $c_i$ ) की गणना की जाती है। मॉडल एक रेसिडुअल कॉम्प्लीमेंट ( $\Delta_i$ ) की गणना करता है जो प्राप्त बाहरी संदर्भों और वर्तमान विजुअल स्टेट के बीच के अंतर को दर्शाता है। अंतिम विजुअल रिप्रेजेंटेशन को इस प्रकार अपडेट किया जाता है:
$h_i^{(v)*} = h_i^{(v)} + (1 - c_i)\Delta_i$
जब विजुअल संकेत विश्वसनीय होते हैं ( $c_i \approx 1$ ), तो बाहरी कॉम्प्लीमेंट को दबा दिया जाता है। जब विजुअल संकेत अनिश्चित होते हैं ( $c_i \approx 0$ ), तो टेक्स्टुअल और ध्वनिक संदर्भ मजबूत मुआवजा प्रदान करते हैं।
प्रेडिक्शन: अंतिम इमोशन क्लासिफिकेशन के लिए कॉम्प्लीमेंटेड विजुअल रिप्रेजेंटेशन को प्राप्त टेक्स्ट और ऑडियो रेफरेंस के साथ कॉन्कैटिनेट किया जाता है।

ट्रेनिंग ऑब्जेक्टिव्स (Training Objectives)

फ्रेमवर्क को तीन लॉस फंक्शन का उपयोग करके ऑप्टिमाइज़ किया गया है:

क्लासिफिकेशन लॉस ( $L_{cls}$ ): अंतिम इमोशन प्रेडिक्शन को सुपरवाइज करता है।
ऑक्सिलरी विजुअल लॉस ( $L_{aux}$ ): विजुअल रिलायबिलिटी स्कोर को स्थिर करने और विजुअल ब्रांच की डिस्क्रिमिनेटिव क्षमता को बनाए रखने के लिए एक वीडियो-ओनली क्लासिफायर को सुपरवाइज करता है।
सिमेंटिक एलाइनमेंट लॉस ( $L_{cl}$ ): क्रॉस-मोडल इंटरैक्शन से पहले इंफोNCE और सुपरवाइज्ड कॉन्ट्रास्टिव लर्निंग का उपयोग करके मल्टीमॉडल फीचर स्पेस को रेगुलराइज़ करता है।

पेपर एक थ्योरिटिकल जनरलाइजेशन एरर बाउंड (Theorem 1) प्रदान करता है जो रिलायबिलिटी-गाइडेड डिजाइन का समर्थन करता है, यह दिखाते हुए कि ऊपरी बाउंड तब टाइट हो जाती है जब विजुअल कॉन्फिडेंस, विजुअल लॉस के साथ नेगेटिवली कोरिलेटेड होता है और बाहरी मोडैलिटीज की उपयोगिता के साथ पॉजिटिवली कोरिलेटेड होता है।

मुख्य योगदान (Key Contributions)

VISAFF फ्रेमवर्क: एक स्पीकर-सेंटर्ड विजुअल अफेक्टिव फीचर लर्निंग फ्रेमवर्क जो बिना किसी ERC-विशिष्ट फाइन-ट्यूनिंग के फ्रोजन VLMs को विजुअल रीजनिंग के लिए सक्रिय करता है, जिससे कंप्यूटेशनल ओवरहेड काफी कम हो जाता है।
SCAG मैकेनिज्म: प्रॉम्प्ट-गाइडेड VLM इनपुट्स और अफेक्टिव सिमेंटिक गाइडेंस का उपयोग करने वाला एक जीरो-शॉट ग्राउंडिंग मेथड, जो फ्रोजन VLMs को सक्रिय वक्ता के भावनात्मक विजुअल संकेतों की ओर निर्देशित करता है।
RGAC मैकेनिज्म: एक रिलायबिलिटी-गाइडेड अफेक्टिव कॉम्प्लीमेंटेशन मॉड्यूल जो विजुअल अनिश्चितता की भरपाई के लिए टेक्स्टुअल और ध्वनिक जानकारी को एडेप्टिव रूप से एकीकृत करता है, जिसे एक लर्नड विजुअल रिलायबिलिटी गेट द्वारा नियंत्रित किया जाता है।
एम्पिरिकल वैलिडेशन: दो रियल-वर्ल्ड डेटासेट्स (MELD और IEMOCAP) पर व्यापक प्रयोग जो फाइन-ट्यूनिंग या LoRA एडैप्टेशन का उपयोग न करने वाले स्टेट-ऑफ-द-आर्ट मेथड्स के मुकाबले प्रतिस्पर्धी प्रदर्शन प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग Qwen3-VL-Embedding को फ्रोजन बैकबोन के रूप में उपयोग करते हुए MELD और IEMOCAP डेटासेट्स पर किए गए थे।

परफॉर्मेंस: VISAFF ने पारंपरिक ERC मेथड्स और बिना फाइन-ट्यूनिंग या LoRA एडैप्टेशन वाले लार्ज-मॉडल-बेस्ड मेथड्स के बीच सर्वश्रेष्ठ वेटेड F1 (W-F1) स्कोर हासिल किया।
- IEMOCAP: 77.30% W-F1 (DialogueLLM w/o LoRA के 63.78% के मुकाबले)।
- MELD: 67.12% W-F1 (DialogueLLM w/o LoRA के 64.42% के मुकाबले)।
एब्लेशन स्टडीज (Ablation Studies):
- SCAG को हटाने (VLM को रॉ फ्रेम्स फीड करना) से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो स्पीकर ग्राउंडिंग और सिमेंटिक गाइडेंस की आवश्यकता की पुष्टि करता है।
- RGAC को हटाने से स्पष्ट गिरावट आई, जो रिलायबिलिटी-गाइडेड कॉम्प्लीमेंटेशन के महत्व को प्रमाणित करता है।
- कंपोनेंट एनालिसिस ने दिखाया कि टेक्स्टुअल और ध्वनिक दोनों संदर्भ, और रिलायबिलिटी गेट, अंतिम प्रेडिक्शन में सकारात्मक योगदान देते हैं।
रिलायबिलिटी एनालिसिस: फ्रेमवर्क ने लो-कॉन्फिडेंस विजुअल बिन्स में सबसे महत्वपूर्ण प्रदर्शन लाभ दिखाया (उदाहरण के लिए, IEMOCAP के लिए 0.2–0.4 कॉन्फिडेंस बिन पर +24.1% गेन), जो यह दर्शाता है कि मॉडल विजुअल संकेतों के अस्पष्ट होने पर प्रभावी रूप से टेक्स्ट/ऑडियो का लाभ उठाता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि VISAFF डायनेमिक डायलॉग परिदृश्यों में मल्टीमॉडल रीजनिंग के लिए एक अत्यधिक कुशल फ्रेमवर्क प्रदान करता है। इसका प्राथमिक महत्व यह प्रदर्शित करने में है कि:

फ्रोजन VLMs, ERC के लिए व्यवहार्य हैं: उचित टास्क-गाइडेड ग्राउंडिंग और सिमेंटिक प्रॉम्प्टिंग के साथ, फ्रोजन VLMs फाइन-ट्यूनिंग की भारी लागत के बिना उच्च-गुणवत्ता वाले स्पीकर-सेंटर्ड विजुअल अफेक्टिव फीचर्स निकाल सकते हैं।
स्पीकर-सेंटर्ड फोकस महत्वपूर्ण है: ग्लोबल वीडियो फीचर्स पर निर्भर रहने के बजाय सक्रिय वक्ता और उनके भावनात्मक संकेतों को स्पष्ट रूप से निर्देशित करना सटीक ERC के लिए आवश्यक है।
कॉन्टेक्स्टुअल रिलायबिलिटी मायने रखती है: विजुअल संकेत स्वाभाविक रूप से अस्पष्ट होते हैं; एक रिलायबिलिटी-अवेयर मैकेनिज्म जो विजुअल अनिश्चितता को भाषाई और ध्वनिक संदर्भ के साथ डायनेमिक रूप से पूरक करता है, मजबूती (robustness) को काफी बढ़ाता है।

लेखक इस कार्य को ERC के लिए एक विजुअल-ओरिएंटेड पर्सपेक्टिव के रूप में देखते हैं, जो स्पीकर-सेंटर्ड विजुअल रीजनिंग और रिलायबिलिटी-अवेयर मल्टीमॉडल कॉम्प्लीमेंटेशन में भविष्य के शोध को प्रोत्साहित करता है।