Customizing Visual Emotion Evaluation for MLLMs: An Open-vocabulary, Multifaceted, and Scalable Approach
यह शोध पत्र एक ओपन-वोकैबुलरी, ऑटोमेटेड इमोशन स्टेटमेंट जजमेंट फ्रेमवर्क प्रस्तावित करके मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) के लिए मौजूदा विजुअल इमोशन इवैल्यूएशन विधियों की सीमाओं को संबोधित करता है जो वर्तमान मॉडल्स की संदर्भ-आधारित व्याख्या में ताकत को प्रकट करता है लेकिन मनुष्यों की तुलना में व्यक्तिपरक धारणा को समझने में महत्वपूर्ण अंतराल को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, विद्वान रोबोट मित्र (एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल, या MLLM) है जो तस्वीरें देख सकता है और उनके बारे में बात कर सकता है। आप जानना चाहते हैं: क्या यह रोबोट वास्तव में उस तस्वीर के "भाव" को महसूस करता है, या यह सिर्फ अनुमान लगा रहा है?
लंबे समय तक, वैज्ञानिकों ने रोबोट से सरल प्रश्न पूछकर इसे परखने की कोशिश की जैसे, "क्या यह तस्वीर खुश है या दुखी?" या "वह व्यक्ति क्यों रो रहा है?" लेकिन परिणाम भ्रमित करने वाले थे। कभी-कभी रोबोट बहुत अच्छा प्रदर्शन करता था; तो कभी वह बुरी तरह विफल हो जाता था।
इस शोध के लेखक तर्क देते हैं कि समस्या रोबोट के दिमाग में नहीं है—बल्कि टेस्ट (परीक्षा) में है। पुराने टेस्ट ऐसे थे जैसे किसी मछली की पेड़ पर चढ़ने की क्षमता को मापने की कोशिश करना। वे बहुत कठोर, बहुत सीमित थे, और इस बात को ध्यान में नहीं रखते थे कि मानवीय भावनाएं वास्तव में कितनी जटिल और उलझी हुई होती हैं।
यहाँ उनके नए समाधान का एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:
1. पुराना तरीका: "बहुविकल्पीय" (Multiple Choice) का जाल
कल्पना कीजिए कि आप एक जलती हुई इमारत में दौड़ते हुए अग्निशमन कर्मी (firefighter) की तस्वीर दिखाते हैं।
- पुराना टेस्ट: पूछता है, "यह कौन सी भावना है?" और आपको एक सूची देता है: खुशी, दुख, क्रोध, डर।
- समस्या: रोबोट "बहादुरी" या "तत्परता" कह सकता है। लेकिन टेस्ट कहता है, "गलत! ये सूची में नहीं हैं!"
- खामी: मानवीय भावनाएं केवल चेकबॉक्स की एक सूची नहीं हैं। वे कहानी, संदर्भ और इस बात पर निर्भर करती हैं कि उसे कौन देख रहा है। पुराने टेस्टों ने रोबोट को एक ऐसे बॉक्स में फिट करने की कोशिश की जो उनके लिए सही नहीं था।
2. नया विचार: "सही या गलत" का खेल (ESJ)
लेखक एक नया खेल प्रस्तावित करते हैं जिसे इमोशन स्टेटमेंट जजमेंट (ESJ) कहा जाता है। रोबोट से भावना का अनुमान लगाने के लिए कहने के बजाय, वे उसे एक कथन (statement) देते हैं और पूछते हैं, "क्या यह सच है या झूठ?"
इसे एक शिक्षक की तरह समझें जो छात्र को एक वाक्य पढ़कर सुनाता है और पूछता है, "क्या यह वाक्य इस तस्वीर के लिए सही है?"
- कथन A: "यह तस्वीर लोगों को बहादुर महसूस कराती है क्योंकि एक फायरफाइटर एक परिवार को बचा रहा है।" -> सच।
- कथन B: "यह तस्वीर एक 35 वर्षीय फायरफाइटर को केवल डर महसूस कराती है, तत्परता नहीं।" -> झूठ। (शायद वह दोनों महसूस करता है, या शायद वह कर्तव्य की भावना महसूस करता है।)
यह बेहतर है क्योंकि:
- यह बारीकियों (nuance) की अनुमति देता है (यह केवल "दुख" या "सुख" नहीं है)।
- यह संदर्भ (context) की जाँच करता है (कहानी में क्या हो रहा है?)।
- यह व्यक्तिपरकता (subjectivity) की जाँच करता है (अलग-अलग लोग कैसा महसूस करेंगे?)।
3. फैक्ट्री: INSETS ("भावना असेंबली लाइन")
इस खेल को संभव बनाने के लिए, उन्हें लाखों ऐसे "सही/गलत" कथनों की आवश्यकता थी। इन्हें हाथ से लिखना एक जीवनकाल ले लेगा। इसलिए, उन्होंने INSETS नामक एक रोबोट फैक्ट्री बनाई।
- चरण 1: मूड रिंग। उन्होंने कई अलग-अलग AI रोबोटों को हजारों तस्वीरें दिखाईं और पूछा, "कौन से शब्द मूड का वर्णन करते हैं?" रोबोटों ने हजारों शब्द चिल्लाकर बोले (जैसे "उत्सवपूर्ण," "चिंतित," "परमानंद")।
- चरण 2: लाइब्रेरियन। उन्होंने उन सभी शब्दों को लिया और भावनाओं के एक विशाल, संरचित पुस्तकालय (एक प्रसिद्ध मनोवैज्ञानिक के मानचित्र पर आधारित) में व्यवस्थित किया।
- चरण 3: कहानीकार। इसके बाद सिस्टम ने उन शब्दों के आधार पर हजारों "सही" और "गलत" वाक्य स्वचालित रूप से लिखे, जो विभिन्न कोणों को कवर करते थे: मूड, कहानी, परिवेश और विभिन्न लोग कैसे महसूस कर सकते हैं।
इसका परिणाम एक विशाल लाइब्रेरी है जिसे INSETS-462k (462,000 उदाहरण) कहा जाता है और एक अंतिम, उच्च-गुणवत्ता वाला टेस्ट जिसे MVEI नाम दिया गया है।
4. परिणाम: रोबोट स्मार्ट है, लेकिन इंसान नहीं
उन्होंने दुनिया के सर्वश्रेष्ठ AI मॉडलों (जैसे GPT-4o) पर यह टेस्ट चलाया।
- अच्छी खबर: रोबोट बहुत बेहतर हो रहे हैं! वे यह समझाने में माहिर हैं कि कोई तस्वीर उन्हें एक निश्चित तरीके से क्यों महसूस कराती है (जैसे, "काले बादल इसे उदास बनाते हैं")।
- बुरी खबर: वे अभी भी विषयपरकता (Subjectivity) के मामले में संघर्ष कर रहे हैं।
- उदाहरण: यदि आप किसी को डरावनी फिल्म का दृश्य दिखाते हैं, तो एक इंसान जानता है कि एक हॉरर प्रशंसक "उत्साहित" महसूस कर सकता है, जबकि एक डरा हुआ बच्चा "भयभीत" महसूस करेगा। रोबोट अक्सर इसे समझने में चूक जाते हैं। वे अक्सर सोचते हैं कि हर कोई बिल्कुल एक जैसा महसूस करता है।
- यहाँ तक कि सबसे स्मार्ट रोबोट भी इंसानों से काफी पीछे हैं, विशेष रूप से यह अनुमान लगाने में कि विशिष्ट लोग (जैसे एक फायरफाइटर या एक शिक्षक) कैसी प्रतिक्रिया देंगे।
5. यह क्यों महत्वपूर्ण है?
यह पेपर AI के लिए एक बेहतर ड्राइविंग लाइसेंस टेस्ट बनाने जैसा है।
- पहले, टेस्ट केवल यह था "क्या आप कार चला सकते हैं?" (बुनियादी भावना पहचान)।
- अब, टेस्ट यह है "क्या आप ट्रैफिक में नेविगेट कर सकते हैं, सड़क के संकेतों को पढ़ सकते हैं, और यह समझ सकते हैं कि अन्य ड्राइवर कैसे प्रतिक्रिया दे सकते हैं?" (संदर्भ, बारीकियां और विषयपरकता)।
लेखक आशा करते हैं कि इस नए, अधिक निष्पक्ष टेस्ट का उपयोग करके, डेवलपर्स ऐसा AI बना सकते हैं जो केवल तस्वीरों को "देखता" नहीं है, बल्कि उनके पीछे की भावनात्मक कहानियों को वास्तव में समझता है।
संक्षेप में: हमने रोबोट से एक छोटे से बॉक्स से रंग चुनने के बजाय, एक वाक्य पढ़ने और यह बताने के लिए कहना शुरू किया कि क्या वह सही लगता है। इसने यह उजागर किया कि हालांकि रोबट स्मार्ट हो रहे हैं, फिर भी उन्हें मानवीय भावनाओं की जटिल और व्यक्तिगत दुनिया को सीखने के लिए बहुत कुछ सीखना बाकी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।