💻 computer science

AffectVerse: Emotional World Models for Multimodal Affective Computing

AffectVerse एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल है जो एक इमोशन वर्ल्ड मॉड्यूल को एकीकृत करके भावनात्मक तर्क को बढ़ाता है ताकि क्रॉस-मोडल टेम्पोरल इमेजिनेशन और बिलीफ एग्रीगेशन के माध्यम से शॉर्ट-होराइजन लेटेंट अफेक्टिव प्रेडिक्शन को निष्पादित किया जा सके, जिससे अफेक्टिव डायनेमिक्स को कैप्चर किया जा सके और नौ बेंचमार्क पर बेहतर प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Bo Zhao, Fanghua Ye, Yixin Ji, Sicheng Zhao, Xiaojiang Peng, Zitong YU

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bo Zhao, Fanghua Ye, Yixin Ji, Sicheng Zhao, Xiaojiang Peng, Zitong YU

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप टीवी पर एक नौकरी का साक्षात्कार (job interview) देख रहे हैं। उम्मीदवार बोलना शुरू करता है, और उसकी आवाज़ बस थोड़ी सी कांपने लगती है। उसकी मुस्कान थोड़ी ज्यादा खिंची हुई दिखती है, जैसे कोई मुखौटा हो। एक इंसान जो इसे देख रहा है, वह यह अनुमान लगाने के लिए वाक्य खत्म होने का इंतज़ार नहीं करता कि वह व्यक्ति कैसा महसूस कर रहा है। इसके बजाय, हमारा मस्तिष्क तुरंत एक "क्या होगा अगर" वाला सिमुलेशन शुरू कर देता है: "अगर वे इसी तरह बोलते रहे, तो क्या वे टूट जाएंगे? या वे बस घबराए हुए हैं?" हम अपने अनुमान (अपने "विश्वास") को नए संकेतों के आने के साथ वास्तविक समय में अपडेट करते हैं।

इमोशन रिकग्निशन (भावना पहचान) के वर्तमान कंप्यूटर मॉडल थोड़े उस फोटोग्राफर की तरह हैं जो घटना खत्म होने के बाद केवल एक तस्वीर लेता है। वे पूरे वीडियो, ऑडियो और टेक्स्ट को देखते हैं, और फिर कहते हैं, "ठीक है, वह उदासी भरा था।" वे इस गतिशील प्रक्रिया को समझने में चूक जाते हैं कि भावना कैसे विकसित हो रही थी।

यह पेपर AffectVerse पेश करता है, जो एक नया AI मॉडल है जो एक मानव पर्यवेक्षक की तरह सोचने की कोशिश करता है। केवल यह देखने के बजाय कि क्या हुआ, यह यह कल्पना करने के लिए सीखता है कि अब आगे क्या होने वाला है।

यह कैसे काम करता है, यहाँ सरल चरणों में दिया गया है:

1. मुख्य विचार: द "इमोशन वर्ल्ड मॉड्यूल" (Emotion World Module)

सोचिए कि AI के मस्तिष्क में एक विशेष "कल्पना इंजन" है जिसे इमोशन वर्ल्ड मॉड्यूल (EWM) कहा जाता है। जबकि मानक AI मॉडल केवल अतीत को पढ़ते हैं, यह इंजन तीन चीजें करता है:

चरण 1: द टाइम-ट्रैवलर (क्रॉस-मोडल टेम्पोरल इमेजिनेशन)
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं और स्क्रीन एक सेकंड के लिए काली हो जाती है। एक इंसान संगीत और अभिनेता के चेहरे के आधार पर अनुमान लगा सकता है कि आगे क्या होगा। AffectVerse गणितीय रूप से यही करता है। यह अब तक देखे गए वीडियो और ऑडियो को देखता है और भविष्यवाणी करने की कोशिश करता है कि कुछ सेकंड बाद वीडियो और ऑडियो कैसा दिखेगा और सुनाई देगा। यह वास्तव में भविष्य को नहीं देखता; यह अपनी समझ को परखने के लिए भविष्य का एक "भूतिया" (ghost) संस्करण बनाता है।
- उपमा: यह शतरंज के खिलाड़ी की तरह है जो तीन चालें आगे की ओर देखता है। वे चालें अभी चलते नहीं हैं, लेकिन वे खेल के प्रवाह को समझने के लिए उनका सिमुलेशन करते हैं।
चरण 2: द समराइज़र (MAMA बिलीफ एग्रीगेशन)
AI ने अब ये "भूतिया" भविष्य के क्लिप बना लिए हैं। लेकिन यह अपने मस्तिष्क में पूरा मूवी फीड नहीं कर सकता। इसलिए, यह उन सभी कल्पित भविष्य के क्षणों को कुछ "बिलीफ टोकन" (belief tokens) में संकुचित करने के लिए MAMA नामक एक स्मार्ट फ़िल्टर का उपयोग करता है।
- उपमा: इसे एक समाचार एंकर द्वारा ब्रेकिंग स्टोरी का सारांश देने जैसा समझें। पूरी स्क्रिप्ट पढ़ने के बजाय, वे आपको "हेडलाइन" देते हैं कि आगे क्या होने की संभावना है। ये हेडलाइंस ही "विश्वास" (beliefs) हैं।
चरण 3: द इंजेक्शन (बिलीफ इंजेक्शन)
अंत में, AI इन "विश्वास की हेडलाइंस" को लेता है और उन्हें अपने मुख्य संवाद में डाल देता है। अब, जब AI यह तय करता है कि व्यक्ति क्या महसूस कर रहा है, तो वह केवल अतीत को नहीं देख रहा होता; वह अपने भविष्य के पूर्वानुमान पर भी विचार कर रहा होता है।
- उपमा: यह एक जासूस की तरह है जो न केवल अपराध स्थल (अतीत) को देखता है बल्कि इस बारे में भी एक संदेह रखता है कि अपराधी कौन हो सकता है (भविष्य का विश्वास)। यह संदेह उन्हें केस को तेज़ी से और अधिक सटीकता से सुलझाने में मदद करता है।

2. यह कैसे सीखता है (प्रशिक्षण)

इस मॉडल को एक चालाकी भरे तरीके से प्रशिक्षित किया जाता है। इसे एक वीडियो क्लिप दिखाई जाती है, लेकिन स्क्रीन को जल्दी ही काट दिया जाता है (जैसे कि एक "स्पॉइलर-मुक्त" संस्करण)।

AI को अनुमान लगाना होता है कि बाकी का वीडियो कैसा सुनाई देगा और कैसा दिखेगा।
यदि इसका अनुमान सही निकलता है, तो इसे इनाम मिलता है।
यह उसे समय के साथ भावनाओं के बदलने के पैटर्न (जैसे, कैसे एक मुस्कान बुदबुदाहट में बदल जाती है, या कैसे एक शांत आवाज़ कांपने लगती है) सीखने के लिए मजबूर करता है।

एक बार जब यह "भविष्य की भविष्यवाणी" करने का कौशल सीख जाता है, तो इसे स्क्रीन कटने की आवश्यकता नहीं होती। पूर्ण वीडियो देखते समय, यह अपनी समझ को मजबूत बनाने के लिए उसी कौशल का उपयोग करता है।

3. परिणाम

शोधकर्ताओं ने AffectVerse का परीक्षण नौ अलग-अलग डेटासेट्स (वीडियो, ऑडियो और टेक्स्ट के संग्रह) पर किया।

परिणाम: AffectVerse अन्य शीर्ष मॉडलों (जैसे AffectGPT और Qwen2.5-Omni) की तुलना में काफी बेहतर प्रदर्शन (औसतन लगभग 2.5% से 5% बेहतर) करता है।
यह क्यों महत्वपूर्ण है: यह पेपर दिखाता है कि AI को एक बातचीत के अगले कुछ सेकंडों की "कल्पना" करने के लिए सिखाकर, यह जटिल और बदलती भावनाओं को समझने में बहुत बेहतर हो जाता है। यह उन स्थितियों को बेहतर ढंग से संभालता है जहाँ ऑडियो या वीडियो गायब हो सकता है या छोटा हो सकता है, जो उन मॉडलों की तुलना में जो केवल स्थिर स्नैपशॉट देखते हैं।

सारांश

संक्षेप में, AffectVerse एक ऐसा AI है जो केवल वर्तमान को नहीं देखता; यह लगातार निकट भविष्य का सिमुलेशन करता है। एक भावना कैसे विकसित हो सकती है, इसकी "कल्पना" करके, यह इस बारे में एक अधिक मजबूत "विश्वास" बनाता है कि व्यक्ति क्या महसूस कर रहा है, जिससे अधिक स्मार्ट और सटीक इमोशन रिकग्निशन होता है। यह इमोशन रिकग्निशन को एक स्थिर फोटो से एक गतिशील मूवी में बदल देता है।

तकनीकी सारांश: AffectVerse: मल्टीमॉडल अफेक्टिव कंप्यूटिंग के लिए इमोशनल वर्ल्ड मॉडल्स

1. समस्या विवरण (Problem Statement)

वर्तमान मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) आमतौर पर पूर्ण ऑडियो-विजुअल-टेक्स्ट इनपुट्स पर एक स्टैटिक पैटर्न-मैचिंग कार्य के रूप में भावना पहचान (emotion recognition) को देखते हैं। यह प्रतिमान (paradigm) प्रभाव (affect) की टेम्पोरल डायनेमिक्स, जैसे कि बढ़ना (escalation), रिकवरी, या क्रॉस-मोडल संघर्षों को कैप्चर करने में विफल रहता है, जिससे जटिल भावनात्मक प्रक्रियाओं को केवल स्थिर स्नैपशॉट्स तक सीमित कर दिया जाता है। जबकि मनुष्य देखे गए संकेतों को भविष्य में होने वाले भावनात्मक परिवर्तनों के पूर्वानुमानों के साथ एकीकृत करके भावनाओं का अनुमान लगाते हैं, मौजूदा MLLMs के पास आंशिक अवलोकनों (partial observations) के तहत इन "प्रेडिक्टिव बिलीफ स्टेट्स" (predictive belief states) को मॉडल करने के लिए तंत्र का अभाव है। यह शोध पत्र स्टैटिक मल्टीमॉडल रिकग्निशन और मानव भावनात्मक अनुमान की टेम्पोरल प्रकृति के बीच के अंतर की पहचान करता है।

2. कार्यप्रणाली (Methodology)

लेखक AffectVerse का प्रस्ताव करते हैं, जो Qwen2.5-Omni पर आधारित एक मॉडल है जो एक इमोशन वर्ल्ड मॉड्यूल (EWM) को एकीकृत करता है। पारंपरिक वर्ल्ड मॉडल्स के विपरीत, जो रिवॉर्ड्स और एक्शन्स के आधार पर भविष्य की अवस्थाओं की भविष्यवाणी करते हैं, AffectVerse एक एक्शन-फ्री (action-free) फॉर्मूलेशन का उपयोग करता है जिसे विशेष रूप से अफेक्टिव इन्फरेंस के लिए डिज़ाइन किया गया है। EWM 'प्रेडिक्टिव प्रोसेसिंग' के सिद्धांत पर कार्य करता है, जहाँ मॉडल देखे गए प्रीफिक्स से भविष्य के लेटेंट ऑडियो-विजुअल रिप्रेजेंटेशन्स की भविष्यवाणी करता है ताकि LLM के बिलीफ स्टेट को अपडेट किया जा सके।

EWM के तीन मुख्य घटक हैं:

2.1 क्रॉस-मोडल टेम्पोरल इमेजिनेशन (Cross-Modal Temporal Imagination)

प्रेडिक्टिव प्रोसेसिंग और मल्टीसेन्सरी इंटीग्रेशन सिद्धांतों पर आधारित, यह मॉड्यूल पिछले टोकन्स से भविष्य के वीडियो और ऑडियो रिप्रेजेंटेशन्स की भविष्यवाणी करता है।

तंत्र (Mechanism): यह लर्नबल फ्यूचर क्वेरी टोकन्स ( $N_s=8$ ) के साथ एक मल्टी-स्टेप रोलआउट प्रक्रिया ( $S=3$ ) का उपयोग करता है।
क्रॉस-मोडल संदर्भ (Cross-Modal Context): प्रत्येक मोडैलिटी का इमेजिनेशन ब्रांच अपने स्वयं के पिछले टोकन्स और दूसरी मोडैलिटी के पिछले टोकन्स, दोनों पर अटेंड करता है, जिन्हें लर्नबल टैग एम्बेडिंग्स ( $e_{self}, e_{cross}$ ) द्वारा अलग किया जाता है।
ट्रेनिंग सिग्नल (Training Signal): इस मॉड्यूल को एक सेल्फ-सुपरवाइज्ड ऑब्जेक्टिव के माध्यम से प्रशिक्षित किया जाता है जहाँ प्रेडिक्टेड फ्यूचर टोकन्स की तुलना वास्तविक फ्यूचर टोकन्स से की जाती है (जो मुख्य ग्रेडिएंट फ्लो से अलग होते हैं) और इसके लिए MSE और कोसाइन सिमिलैरिटी लॉस का संयोजन उपयोग किया जाता है। यह मॉडल को बिना इंफरेंस के समय भविष्य के डेटा की आवश्यकता के बिना ट्रांजिशन रेगुलैरिटीज सीखने के लिए मजबूर करता है।

2.2 MAMA (Modality-Aware Multi-step Attention) बिलीफ एग्रीगेशन

शरेर के कंपोनेंट प्रोसेस मॉडल से प्रेरित, यह मॉड्यूल मल्टी-स्टेप इमेजिन्ड टोकन्स को कॉम्पैक्ट "बिलीफ टोकन्स" में एकत्रित करता है।

प्रक्रिया (Process): यह इमेजिन्ड वीडियो और ऑडियो टोकन्स को टाइप एम्बेडिंग्स द्वारा अलग किए गए मेमोरी बैंक में असेंबल करता है।
डायनेमिक कैपेसिटी (Dynamic Capacity): बिलीफ क्वेरी टोकन्स की संख्या ( $N_q$ ) उपलब्ध मोडैलिटीज के अनुसार अनुकूलित होती है (डुअल-मोडैलिटी के लिए 8, सिंगल-मोडैलिटी के लिए 4)।
बाउंड्री इंजेक्शन (Boundary Injection): टेम्पोरल स्प्लिट पॉइंट पर कॉन्टेक्स्ट को बनाए रखने के लिए, एग्रीगेटेड बिलीफ टोकन्स को पिछले देखे गए "बाउंड्री टोकन्स" ( $v_b, a_b$ ) के रेजिडुअल इंजेक्शन के साथ संवर्धित किया जाता है।

2.3 बिलीफ इंजेक्शन (Belief Injection)

परिणामी कॉम्पैक्ट बिलीफ टोकन्स को वापस LLM के हिडन डायमेंशन में प्रोजेक्ट किया जाता है और दो विशिष्ट स्थितियों में टोकन सीक्वेंस में इंटरलीव किया जाता है:

अंतिम ऑडियो-विजुअल टोकन के तुरंत बाद (टेक्स्ट एनकोडिंग को अफेक्टिव कॉन्टेक्स्ट से समृद्ध करने के लिए)।
उत्तर क्षेत्र (answer region) से ठीक पहले (रिस्पॉन्स जनरेशन के लिए एक "इमोशनल प्रायर" प्रदान करने के लिए)।
यह रणनीति सुनिश्चित करती है कि LLM रीजनिंग के दौरान देखे गए साक्ष्य और कल्पित (imagined) भावनात्मक निरंतरता दोनों पर ध्यान केंद्रित कर सके।

2.4 ट्रेनिंग स्ट्रैटेजी (Training Strategy)

टेम्पोरल स्प्लिटिंग (Temporal Splitting): ट्रेनिंग के दौरान, भविष्य के टोकन्स को ट्रंकेट करने के लिए एक रैंडम कीप रेश्यो $\kappa \sim \text{Uniform}[0.7, 1.0)$ लागू किया जाता है, जो आंशिक अवलोकन का अनुकरण करता है।
मोडैलिटी ड्रॉपआउट (Modality Dropout): मिसिंग सेंसरी एविडेंस के प्रति मजबूती (robustness) सुधारने के लिए एक मोडैलिटी को $p=0.1な$ प्रायिकता के साथ रैंडमली ड्रॉप किया जाता है।
ऑब्जेक्टिव्स (Objectives): मॉडल को दो लॉस के साथ एंड-टू-एंड प्रशिक्षित किया जाता है: टास्क परफॉरमेंस के लिए लैंग्वेज मॉडलिंग लॉस ( $L_{lm}$ ) और प्रेडिक्टिव रिप्रेजेंटेशन लर्निंग के लिए इमेजिनेशन लॉस ( $L_{imagine}$ ), जिसे $\lambda_{img}=1.0$ के साथ संतुलित किया जाता है।

3. प्रमुख योगदान (Key Contributions)

अफेक्ट के लिए एक्शन-फ्री वर्ल्ड मॉडल: अफेक्टिव कंप्यूटिंग के लिए वर्ल्ड-मॉडल-शैली के प्रेडिक्टिव रिप्रेजेंटेशन लर्निंग का एक अभिनव अनुकूलन, जो एक्शन्स, रिवॉर्ड्स या कंट्रोल पॉलिसी की आवश्यकता को समाप्त करता है।
इमोशन वर्ल्ड मॉड्यूल (EWM): एक विशिष्ट आर्किटेक्चर जिसमें क्रॉस-मोडल टेम्पोरल इमेजिनेशन, MAMA बिलीफ एग्रीगेशन और बिलीफ इंजेक्शन शामिल है, जो MLLMs को लेटेंट अफेक्टिव डायनेमिक्स पर तर्क करने में सक्षम बनाता है।
प्रेडिक्टिव बिलीफ-स्टेट मॉडलिंग: यह प्रदर्शित करना कि भावना को प्रेडिक्टिव बिलीफ-स्टेट मॉडलिंग के रूप में तैयार करना, स्टैटिक फ्यूजन दृष्टिकोणों की तुलना में बेहतर प्रदर्शन देता है।
व्यापक मूल्यांकन (Comprehensive Evaluation): नौ बेंचमार्क (MER2023/2024, MELD, IEMOCAP, MOSI, MOSEI, SIMS, OV-MERD+) पर व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम (Experimental Results)

Affectverse का मूल्यांकन तीन मोडैलिटी सेटिंग्स (ऑडियो+टेक्स्ट, वीडियो+टेक्स्ट, ऑडियो+वीडियो+टेक्स्ट) के तहत नौ बेंचमार्क पर किया गया।

मुख्य परिणाम: फुल ऑडियो+वीडियो+टेक्स्ट सेटिंग में, AffectVerse ने 77.34% का औसत स्कोर प्राप्त किया, जिसने मजबूत Qwen2.5-Omni बेसलाइन (74.76%) और AffectGPT (74.77%) को +2.57% से पीछे छोड़ दिया। इसने 9 में से 8 बेंचमार्क पर प्रथम स्थान प्राप्त किया।
मजबूती (Robustness): मॉडल ने टेम्पोरल ट्रंकेशन (बदलते $\kappa$ के साथ) और मिसिंग मोडैलिटीज के तहत भी सुचारू गिरावट (graceful degradation) प्रदर्शित की। विशेष रूप से, ट्रेनिंग के दौरान मध्यम टेम्पोरल ट्रंकेशन एक रेगुलराइज़र के रूप में कार्य करता है, जो कुछ डेटासेट्स (जैसे CMU-MOSI) पर फुल-ऑब्जर्वेशन ट्रेनिंग की तुलना में प्रदर्शन में सुधार करता है।
एब्लेशन स्टडीज (Ablation Studies):
- टेम्पोरल प्रेडिक्शन: केवल टेम्पोरल स्प्लिटिंग जोड़ने से बेसलाइन में +0.87% का सुधार हुआ।
- क्रॉस-मोडल इमेजिनेशन: इसने टेम्पोरल स्प्लिटिंग की तुलना में सबसे बड़ा एकल लाभ (+1.00%) प्रदान किया, जो पूरक क्रॉस-मोडल संकेतों का लाभ उठाने के महत्व को उजागर करता है।
- बिलीफ कंस्ट्रक्शन: MAMA एग्रीगेशन, इंटरलीव्ड इंजेक्शन और रेजिडुअल बाउंड्री इंजेक्शन ने योगात्मक (additive) लाभ दिए, जो पूर्ण EWM पाइपलाइन की आवश्यकता की पुष्टि करते हैं।
- हाइपरपैरामीटर्स: $S=3$ रोलआउट स्टेप्स और $p=0.15$ की मोडैलिटी ड्रॉपआउट प्रायिकता पर इष्टतम प्रदर्शन पाया गया।

5. महत्व और दावे (Significance and Claims)

यह शोध दावा करता है कि प्रेडिक्टिव बिलीफ-स्टेट मॉडलिंग अफेक्टिव कंप्यूटिंग के लिए एक व्यावहारिक और प्रभावी विकल्प है। भावना को एक निश्चित धारणा (fixed category) के बजाय एक टेम्पोरल रूप से विकसित होने वाली प्रक्रिया के रूप में मानकर, AffectVerse मॉडल को नए साक्ष्य आने पर अपनी समझ को अपडेट करने की अनुमति देता है, जिससे क्षणिक संकेतों (transient cues) को अंतिम भावनात्मक अवस्थाओं से अलग किया जा सकता है।

लेखक इस कार्य को अफेक्टिव साइंस (विशेष रूप से प्रेडिक्टिव प्रोसेसिंग और अप्रेजल थ्योरीज) और मल्टीमॉडल डीप लर्निंग के बीच एक सेतु के रूप में प्रस्तुत करते हैं। वे दावा करते हैं कि उनका "एक्शन-फ्री" वर्ल्ड मॉड्यूल सफलतापूर्वक उन ट्रांजिशन संकेतों को एनकोड करता है जो आगामी भावनात्मक परिवर्तन की भविष्यवाणी करते हैं, जिससे इंफरेंस के समय अनदेखे संकेतों की आवश्यकता के बिना अधिक मजबूत और गतिशील भावना पहचान संभव होती है।

स्वीकृत सीमाएं (Limitations Acknowledged):
लेखक नोट करते हैं कि वर्तमान मूल्यांकन फिक्स्ड रोलआउट और कीप-रेशियो हाइपरपैरामीटर्स पर निर्भर करता है। मजबूती का विश्लेषण व्यापक डोमेन शिफ्ट (जैसे शोर, लहजा, विषय परिवर्तन) के बजाय मोडैलिटी और टेम्पोरल पार्शियल ऑब्जर्वेशन पर केंद्रित है। भविष्य के कार्यों के लिए प्रेडिक्टिव बिलीफ मॉडलिंग को स्ट्रॉन्गर अलाइनमेंट, डोमेन-शिफ्ट मूल्यांकन और डायलॉग-लेवल इमोशन ट्रैकिंग तक विस्तारित करने का सुझाव दिया गया है।