Unveiling the Cognitive Compass: Theory-of-Mind-Guided Multimodal Emotion Reasoning

यहाँ शोध पत्र "Unveiling the Cognitive Compass: Theory-of-Mind-Guided Multimodal Emotion Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) में तीव्र प्रगति के बावजूद, उनकी गहन भावनात्मक समझ (deep emotional understanding) की क्षमता सीमित बनी हुई है। वर्तमान मॉडल अक्सर वास्तविक संज्ञानात्मक सिमुलेशन के बजाय सतही पैटर्न मिलान (surface-level pattern matching) पर निर्भर करते हैं।

• अंतराल (The Gap): मौजूदा बेंचमार्क मुख्य रूप से भावना पहचान (यह पहचानना कि "क्या" भावना मौजूद है) पर ध्यान केंद्रित करते हैं, लेकिन वे भावनाओं की गतिशील, संदर्भ-निर्भर प्रकृति और अन्य मानसिक अवस्थाओं (विश्वास, इरादे, इच्छाओं) के साथ उनके संबंध का मूल्यांकन करने में विफल रहते हैं।
• सीमा (The Limitation): वर्तमान मूल्यांकन प्रतिमानों में निदान करने के लिए एक एकीकृत संज्ञानात्मक ढांचे (एक "कॉग्निटिव कंपास") की कमी है कि मॉडल कहाँ और क्यों विफल होते हैं। वे अक्सर "इमोशनल हैलुसिनेशन" (भावनात्मक मतिभ्रम) या अविश्वसनीय तर्क श्रृंखलाएं उत्पन्न करते हैं जो सुसंगत तो दिखती हैं लेकिन मानसिक अवस्थाओं के आरोपण (mental state attribution) में तार्किक आधार की कमी रखती हैं।
• मुख्य मुद्दा (The Core Issue): MLLMs थ्योरी-ऑफ-माइंड (ToM) के साथ संघर्ष करते हैं—जो स्वयं और दूसरों के प्रति मानसिक अवस्थाओं को आरोपित करने की संज्ञानात्मक क्षमता है। स्पष्ट ToM मॉडलिंग के बिना, मॉडल यह तर्क नहीं दे सकते कि कोई भावना क्यों मौजूद है, वह कैसे विकसित होती है, या दूसरों द्वारा इसकी व्याख्या कैसे की जाती है।

2. कार्यप्रणाली (Methodology)

लेखक एक दो-आयामी दृष्टिकोण प्रस्तावित करते हैं: निदान के लिए एक पदानुक्रमित बेंचमार्क और सुधार के लिए एक नवीन प्रशिक्षण ढांचा।

A. HitEmotion बेंचमार्क

एक पदानुक्रमित बेंचमार्क जिसे विकासात्मक मनोविज्ञान और ToM पर आधारित, बढ़ते संज्ञानात्मक स्तरों के माध्यम से क्षमता संबंधी ब्रेकपॉइंट्स का निदान करने के लिए डिज़ाइन किया गया है। यह 22 विविध डेटासेट्स (वीडियो, इमेज, ऑडियो और टेक्स्ट को कवर करते हुए) से 24 कार्यों को तीन स्तरों में व्यवस्थित करता है:

1. स्तर 1: भावना धारणा और पहचान (EPR): मल्टीमॉडल इनपुट को स्पष्ट भावनात्मक अवस्थाओं (जैसे, चेहरे के भावों का पता लगाना, भावना ध्रुवीयता) से जोड़ने पर केंद्रित है।
2. स्तर 2: भावना समझ और विश्लेषण (EUA): इसके लिए संदर्भ जागरूकता और संबंधपरक तर्क की आवश्यकता होती है (जैसे, अनुनय तकनीकों का पता लगाना, हास्य की समझ, इरादा विश्लेषण)।
3. स्तर 3: भावना संज्ञान और तर्क (ECR): उच्चतम संज्ञानात्मक स्तर, जिसके लिए कारण संबंधी आरोपण (causal attribution), द्वितीय-क्रम तर्क (second-order reasoning) और अस्थायी गतिशीलता (temporal dynamics) की आवश्यकता होती है (जैसे, व्यंग्य का पता लगाना, भावना के कारण का निष्कर्षण, भावना परिवर्तन विश्लेषण)।

B. TMPO (Theory-of-Mind Preference Optimization)

एक दो-चरणीय प्रशिक्षण प्रक्रिया के माध्यम से MLLM तर्क को बढ़ाने के लिए एक नवीन ढांचा:

1. चरण 1: ToM-एलाइनड सुपरवाइज्ड फाइन-ट्यूनिंग (SFT):
   • मॉडल को ToM-शैली के प्रॉम्प्ट्स का उपयोग करके संरचित तर्क श्रृंखलाएं उत्पन्न करने के लिए प्रशिक्षित किया जाता है।
   • ये प्रॉम्प्ट्स मॉडल को विशिष्ट संज्ञानात्मक चरणों के माध्यम से मार्गदर्शन करते हैं: अनुभवात्मक सिमुलेशन (Perceptual Simulation) $\rightarrow$ संज्ञानात्मक सहानुभूति (Cognitive Empathy) $\rightarrow$ परिप्रेक्ष्य लेना (Perspective-Taking) $\rightarrow$ निष्कर्ष (Conclusion)।
   • आउटपुट को तर्क के लिए <thought> टैग और अंतिम भविष्यवाणी के लिए <answer> टैग के साथ संरचित किया जाता है, जो मॉडल को विचार-विमर्श और निष्कर्ष को अलग करने के लिए मजबूर करता है।
2. चरण 2: ToM-आधारित प्राथमिकता अनुकूलन (GRPO):
   • मॉडल के तर्क को परिष्कृत करने के लिए ग्रुप-वाइज रिवॉर्ड पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करता है।
   • केवल अंतिम उत्तर को अनुकूलित करने के बजाय, यह विधि मध्यवर्ती मानसिक अवस्थाओं को प्रक्रिया-स्तरीय पर्यवेक्षण (process-level supervision) के रूप में उपयोग करती है।
   • रिवॉर्ड फंक्शन ($R$): एक मिश्रित रिवॉर्ड फंक्शन चार आयामों का मूल्यांकन करता है:
     • $R_{structure}$: सही तर्क प्रारूप को लागू करता है।
     • $R_{content}$: अंतिम उत्तर की तथ्यात्मक शुद्धता सुनिश्चित करता है।
     • $R_{process}$: ToM-विशिष्ट शब्दावली (जैसे, "विश्वास", "इरादा") के उपयोग को प्रोत्साहित करता है।
     • $R_{consistency}$: एक LLM जज का उपयोग करके तार्किक विरोधाभासों और हैलुसिनेशन को दंडित करता है।

3. प्रमुख योगदान (Key Contributions)

1. HitEmotion बेंचमार्क: पहला पदानुक्रमित बेंचमार्क जो सरल वर्गीकरण से आगे बढ़कर जटिल तर्क के माध्यम से भावनात्मक बुद्धिमत्ता के तीन संज्ञानात्मक स्तरों पर MLLMs का व्यवस्थित मूल्यांकन करता है। इसमें 24 कार्यों के 20,114 उदाहरण शामिल हैं।
2. TMPO फ्रेमवर्क: एक नया प्रशिक्षण प्रतिमान जो सुदृढीकरण शिक्षण (reinforcement learning) में मध्यवर्ती मानसिक अवस्थाओं को पुरस्कार के रूप में उपयोग करके MLLMs को "सामान्य उभरते" (general emergent) तर्क से "डोमेन-अर्जित" (domain-acquired) कौशल की ओर ले जाता है।
3. ToM-निर्देशित तर्क श्रृंखला: एक प्रॉम्प्टिंग रणनीति जो मानसिक अवस्था आरोपण के इर्द-गिर्द तर्क को स्पष्ट रूप से संरचित करती है, जिससे फाइन-ट्यूनिंग के बिना भी मॉडल के प्रदर्शन में महत्वपूर्ण सुधार होता है।
4. व्यापक मूल्यांकन: व्यापक प्रयोगों से सिद्ध होता है कि वर्तमान SOTA मॉडल (GPT-4o और Gemini-2.5-Pro सहित) में स्तर 3 के तर्क कार्यों में महत्वपूर्ण कमियां हैं, जिसे TMPO प्रभावी ढंग से संबोधित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

शोध पत्र ने 17 मॉडल्स (13 ओपन-सोर्स, 4 क्लोज्ड-सोर्स) का HitEmotion बेंचमार्क पर मूल्यांकन किया।

• बेसलाइन कमियां: शीर्ष-स्तरीय मॉडल भी उच्च-क्रम के कार्यों में संघर्ष करते हैं। स्तर 3 (संज्ञान और तर्क) में, अधिकांश मॉडल्स के लिए कोई भी कार्य औसत स्कोर 60 से ऊपर प्राप्त नहीं कर सका। जैसे-जैसे संज्ञानात्मक गहराई बढ़ती है, प्रदर्शन तेजी से गिरता है।
• ToM प्रॉम्प्टिंग का प्रभाव: एक ज़ीरो-शॉट रणनीति के रूप में ToM-शैली की प्रॉम्प्टिंग लागू करने से सक्षम मॉडल्स (जैसे, Gemini-2.5-Pro जटिल कार्यों पर ~5-10% सुधरा) के प्रदर्शन में उल्लेखनीय वृद्धि हुई, जो सिद्ध करता है कि ToM एक प्रभावी तर्क स्कैफोल्ड के रूप में कार्य करता है।
• TMPO प्रदर्शन:
  • TMPO-अनुकूलित मॉडल (Qwen2.5-Omni-7B पर आधारित) ने स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए, जो 24 में से 16 कार्यों पर प्रमुख प्रोप्राइटरी मॉडल्स को भी पीछे छोड़ देता है।
  • इसने स्तर 3 के कार्यों में सबसे महत्वपूर्ण लाभ दिखाया, बड़े मॉडल्स के अंतर को कम किया और अपनी तर्क श्रृंखलाओं में बेहतर तार्किक निरंतरता और निष्ठा प्रदर्शित की।
  • एब्लेशन अध्ययनों ने पुष्टि की कि इष्टतम प्रदर्शन के लिए रिवॉर्ड फंक्शन के सभी चार घटक (संरचना, सामग्री, प्रक्रिया, निरंतरता) आवश्यक हैं।

5. महत्व (Significance)

• प्रतिमान परिवर्तन (Paradigm Shift): यह कार्य क्षेत्र को भावना को एक स्थिर वर्गीकरण समस्या के रूप में मानने के बजाय एक गतिशील मानसिक सिमुलेशन (mental simulation) प्रक्रिया के रूप में देखने की ओर ले जाता है।
• निदान उपकरण (Diagnostic Tool): HitEmotion शोधकर्ताओं को यह सटीक रूप से पहचानने के लिए एक "कॉग्निटिव कंपास" प्रदान करता है कि मॉडल की भावनात्मक बुद्धिमत्ता कहाँ टूटती है (जैसे, द्वितीय-क्रम तर्क बनाम बुनियादी धारणा में विफलता)।
• दक्षता (Efficiency): TMPO यह प्रदर्शित करता है कि एक अपेक्षाकृत छोटा 7B पैरामीटर वाला मॉडल, जब संज्ञानात्मक-जागरूक सुदृढीकरण शिक्षण के साथ प्रशिक्षित किया जाता है, तो जटिल भावनात्मक तर्क में बहुत बड़े प्रोप्राइटरी मॉडल्स से बेहतर प्रदर्शन कर सकता है, जो सहानुभूतिपूर्ण AI के लिए एक लागत प्रभावी मार्ग प्रदान करता है।
• भविष्य का AI: यह शोध ऐसे AI सिस्टम विकसित करने की नींव रखता है जो न केवल "भावनात्मक रूप से जागरूक" हैं बल्कि वास्तव में सहानुभूतिपूर्ण (empathetic) हैं, जो मन, संदर्भ और भावना के बीच जटिल परस्पर क्रिया को समझने में सक्षम हैं।

संसाधन: डेटासेट और कोड https://HitEmotion.github.io/ पर सार्वजनिक रूप से उपलब्ध हैं।