Why Do Vision Language Models Struggle To Recognize Human Emotions?
यह शोध पत्र पहचान करता है कि विजन-लैंग्वेज मॉडल लॉन्ग-टेल्ड डेटासेट बायस के कारण हेड-क्लास कोलैप्स को बढ़ाकर और सघन टेम्पोरल सीक्वेंस के भीतर महत्वपूर्ण सूक्ष्म-अभिव्यक्तियों (माइक्रो-एक्सप्रेशंस) को पकड़ने में असमर्थता के कारण भावना पहचान में संघर्ष करते हैं, और वैकल्पिक सैंपलिंग रणनीतियों तथा एक मल्टी-स्टेज कॉन्टेक्स्ट एनरिचमेंट पद्धति वाले समाधान प्रस्तावित करता है जो मध्यवर्ती फ्रेमों को टेक्स्टुअल सारांशों में परिवर्तित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, अत्यंत बुद्धिमान छात्र है जिसका नाम विज़न-लैंग्वेज मॉडल (VLM) है। इस छात्र ने इंटरनेट की लगभग हर किताब पढ़ ली है और वह बिल्ली या कार की तस्वीर का सटीक वर्णन कर सकता है। वे विज़ुअल कार्यों के "ए-ग्रेड" छात्र हैं।
लेकिन जब आप उन्हें किसी व्यक्ति के चेहरे के भाव बदलते हुए एक वीडियो दिखाते हैं, तो वे अचानक ऐसे व्यवहार करने लगते हैं जैसे वे भावनाओं को पढ़ना भूल गए हों। वे देख सकते हैं कि कोई मुस्कुरा रहा है और कह सकते हैं, "यह उदास लग रहा है," या कोई गुस्से में है और कह सकते हैं, "वे तटस्थ (neutral) दिख रहे हैं।"
यह शोध पत्र पूछता है: "यह सुपर-स्मार्ट छात्र इतनी मानवीय चीज़ में क्यों विफल हो रहा है?"
लेखकों ने इसके दो मुख्य कारण खोजे हैं, जिन्हें हम कुछ रोज़मर्रा के उपमाओं (analogies) से समझा सकते।
1. "लोकप्रिय बच्चा" समस्या (लॉन्ग-टेल बायस)
उपमा: एक कक्षा की कल्पना करें जहाँ 90% छात्रों का नाम "जॉन" है, और केवल एक छात्र का नाम "ज़ेफ़िर" है। यदि शिक्षक पूछता है, "कमरे में कौन है?" तो छात्र लगभग हमेशा "जॉन" का अनुमान लगाएगा, भले ही वास्तव में वहाँ "ज़ेफ़िर" मौजूद हो। उन्होंने ज़ेफ़िर को पर्याप्त बार नहीं देखा है कि वे उसे पहचान सकें।
वास्तविकता:
- डेटा: इंटरनेट आम चीजों से भरा है। "खुश" या "तटस्थ" दिखने वाले लोगों के लाखों फोटो हैं। लेकिन "तिरस्कारपूर्ण" (contemptuous) या "असहाय" (helpless) दिखने वाले लोगों के बहुत कम फोटो हैं।
- गलती: क्योंकि VLM को इस इंटरनेट डेटा पर प्रशिक्षित किया गया था, इसलिए वह सोचता है कि "खुशी" और "तटस्थता" ही एकमात्र वास्तविक भावनाएँ हैं। जब वह किसी दुर्लभ, जटिल भावना (जैसे "निराशा") को देखता है, तो वह घबरा जाता है और सबसे आम भावना ("उदासी" या "तटस्थता") का अनुमान लगाने लगता है।
- समाधान: लेखकों ने मॉडल को एक "संतुलित" आहार पर फिर से प्रशिक्षित करने का प्रयास किया जहाँ दुर्लभ भावनाओं को समान महत्व दिया गया। इससे मॉडल को भावनाओं की दुनिया के "ज़ेफ़िरों" को अनदेखा करने से रोकने में मदद मिली।
2. "धुंधली तस्वीर" समस्या (टेम्पोरल ब्लाइंडनेस/समय की अंधीपन)
उपमा: एक कॉमेडियन के चेहरे के तीन रैंडम, स्थिर स्नैपशॉट्स (snapshots) देखकर एक चुटकुले को समझने की कोशिश करने की कल्पना करें: एक चुटकुले से पहले, एक बीच में, और एक बाद में। आप टाइमिंग को मिस कर सकते हैं—वह पल भर में भौंहें ऊपर उठना या एक छोटी सी मुस्कान जो स्नैपशॉट्स के बीच में होती है। यदि आप केवल स्नैपशॉट्स को देखते हैं, तो आप पंचलाइन को मिस कर देते हैं।
वास्तविकता:
- माइक्रो-एक्सप्रेशंस (सूक्ष्म-अभिव्यक्तियाँ): मानवीय भावनाएँ अक्सर "माइक्रो-एक्सप्रेशंस" में होती हैं—चेहरे की सूक्ष्म, क्षणिक हरकतें जो आधे सेकंड से भी कम समय तक रहती हैं।
- बॉटलनेक (अवरोध): VLMs की उनकी "मेमोरी" (जिसे टोकन बजट कहा जाता है) में कितनी जानकारी रखी जा सकती है, इसकी एक सीमा होती है। एक वीडियो को इस मेमोरी में फिट करने के लिए, वे आमतौर पर कुछ "स्पार्स" (विरल) फ्रेम लेते हैं (जैसे वे स्नैपशॉट्स)।
- ग्लिच (खराबी):
- यदि वे बहुत कम फ्रेम लेते हैं, तो वे माइक्रो-एक्सप्रेशन को पूरी तरह से मिस कर देते हैं।
- यदि वे उस क्षण को पकड़ने के लिए बहुत अधिक फ्रेम लेने की कोशिश करते हैं, तो मॉडल अभिभूत (overwhelmed) हो जाता है। यह एक ऐसी किताब पढ़ने जैसा है जिसके हर पन्ने आपस में चिपके हुए हैं; महत्वपूर्ण विवरण शोर में खो जाते हैं। मॉडल फ्रेम के क्रम को अनदेखा करने लगता है और उन्हें केवल "तस्वीरों के समूह" के रूप में देखता है, जिससे समय का बोध खो जाता है।
- प्रमाण: लेखकों ने दिखाया कि यदि आप वीडियो के फ्रेम को शफल (क्रम बदलना) कर देते हैं, तो VLM का प्रदर्शन बहुत कम बदलता है। यह साबित करता है कि मॉडल वास्तव में वीडियो को "देख" नहीं रहा है; वह केवल स्थिर छवियों के आधार पर अनुमान लगा रहा है।
समाधान: "अनुवादक" रणनीति
चूंकि मॉडल बहुत अधिक वीडियो फ्रेम को नहीं संभाल सकता, इसलिए लेखकों ने एक चतुर वर्कअराउंड (जुगाड़) निकाला। इसे एक अनुवादक को काम पर रखने के रूप में सोचें।
- चरण 1: मॉडल कुछ प्रमुख फ्रेम (स्नैपशॉट्स) चुनता है।
- चरण 2: उन छूटे हुए फ्रेमों (स्नैपशॉट्स के बीच के अंतराल) को अतिरिक्त वीडियो के रूप में मॉडल में डालने के बजाय, मॉडल पहले शब्दों का उपयोग करके उन अंतरालों में क्या हुआ, इसका वर्णन करता है।
- उदाहरण: मुस्कान बनने के 10 धुंधले फ्रेम दिखाने के बजाय, मॉडल लिखता है: "फ्रेम 1 और 2 के बीच, मुँह के कोने एक पल के लिए ऊपर की ओर झटके से उठे।"
- चरण 3: मॉडल प्रमुख फ्रेमों साथ ही इन टेक्स्ट विवरणों को पढ़ता है।
यह क्यों काम करता है: मॉडल टेक्स्ट पढ़ने में बहुत अच्छा है। वीडियो के "लापता समय" को एक "कहानी" में बदलकर, मॉडल बिना अभिभूत हुए भावना के प्रवाह को समझ सकता है।
मुख्य निष्कर्ष
वर्तमान AI वस्तुओं के नाम बताने में अद्भुत है (यदि वह एक "कुत्ता" देखता है तो वह जानता है कि वह क्या है), लेकिन यह मानव चेहरे की कहानी को समझने में बहुत खराब है। यह एक ऐसे पर्यटक की तरह है जो मानचित्र तो पढ़ सकता है लेकिन स्थानीय संस्कृति को नहीं समझता।
AI को वास्तव में सहानुभूतिपूर्ण बनाने के लिए, हमें इसे केवल अधिक डेटा खिलाना नहीं है। हमें इसे भावनाओं के समय (timing) का सम्मान करना सिखाना होगा और यह मान लेना बंद करना होगा कि जो चीज़ें सबसे आम हैं, वही एकमात्र महत्वपूर्ण चीज़ें हैं। लेखक दिखाते हैं कि थोड़ी सी मदद के साथ (जैसे वीडियो के अंतरालों को टेक्स्ट में अनुवाद करना), हम इन सुपर-स्मार्ट मॉडल्स को अंततः मानवीय भावनाओं को "समझने" में सक्षम बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।