EVL-MCoT: Enhanced Vision-Language Multi-CoT for Harmful Meme Detection
यह शोध पत्र EVL-MCoT का प्रस्ताव करता है, जो एक उन्नत विजन-लैंग्वेज फ्रेमवर्क है जो बैकग्राउंड नॉलेज इंटीग्रेशन और फाइन-ग्रेंड विजुअल-टेक्स्ट अलाइनमेंट की सीमाओं को संबोधित करने के लिए मल्टी-परस्पेक्टिव चेन-ऑफ-थॉट रीजनिंग और एक प्रोटोटाइप-गाइडेड डिकोडिंग मैकेनिज्म का लाभ उठाता है ताकि हानिकारक मीम्स (memes) का पता लगाने में सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की छिपी हुई भाषा
कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक खेल का मैदान है जहाँ लोग केवल बात नहीं करते; वे चित्रों और शब्दों के मिश्रण का उपयोग करके चुटकुले सुनाते हैं। इन्हें "मीम्स" (memes) कहा जाता है। कभी-कभी, एक मीम केवल एक अजीब कैप्शन के साथ एक मज़ेदार बिल्ली हो सकती है। लेकिन अन्य समय में, एक मीम एक 'ट्रोजन हॉर्स' (Trojan horse) की तरह होता है: यह एक हानिरहित मज़ाक जैसा दिखता है, लेकिन वास्तव में इसके अंदर एक बुरा, नस्लवादी या घृणास्पद संदेश छिपा होता है। यह एक पेचीदा समस्या है जिसे वैज्ञानिक हल करने की कोशिश कर रहे हैं। एक मीम को समझने के लिए, आप केवल चित्र को नहीं देख सकते या केवल टेक्स्ट को नहीं पढ़ सकते; आपको यह समझना होगा कि वे एक साथ कैसे काम करते हैं। यह एक जादू के खेल को समझने की तरह है जहाँ आप केवल जादूगर के हाथों को देखते हैं या केवल संगीत को सुनते हैं, लेकिन दोनों को एक साथ कभी नहीं देख पाते।
लंबे समय तक, कंप्यूटरों ने इन बुरे मीम्स को पहचानने की कोशिश की, जिसमें उन्होंने चित्र और टेक्स्ट को अलग-अलग देखा, जैसे दो अलग-अलग जासूस जो अलगाव में काम कर रहे हों। लेकिन यह अक्सर विफल रहा क्योंकि वे सूक्ष्म सुरागों को चूक गए, जैसे व्यंग्य (sarcasm) या सांस्कृतिक संदर्भ, जो केवल दोनों को मिलाने पर ही दिखाई देते हैं। हाल ही में, वैज्ञानिकों ने "चेन-ऑफ-थॉट" (Chain-of-Thought - CoT) तर्क का उपयोग करना शुरू किया। इसे एक कंप्यूटर को "ज़ोर से सोचने" के लिए कहने के रूप में सोचें, जो अपने उत्तर देने से पहले अपने चरणों को एक छात्र की तरह समझाता है जो अपना गणित का काम दिखाता है। हालाँकि, करने का पुराना तरीका ऐसा था जैसे किसी छात्र को केवल एक ही विधि का उपयोग करके समस्या हल करने के लिए कहना। यदि उस छात्र ने अपने पहले चरण में गलती की, तो पूरा उत्तर गलत हो जाता, और उसके पास कोई बैकअप प्लान नहीं होता। यह शोध पत्र कंप्यूटरों को अधिक सावधानी से सोचने में मदद करने का एक नया तरीका पेश करता है, जो कई दृष्टिकोणों का उपयोग करके उन चालाक, हानिकारक मीम्स को पकड़ता है जिन्हें अन्य चूक जाते हैं।
डिटेक्टिव स्क्वॉड: EVL-MCoT
शोधकर्ताओं, युन्नान विश्वविद्यालय के हाओ यांग, जिन वांग और ज़ुएजे झांग ने EVL-MCoT (Enhanced Vision-Language Multi-CoT) नामक एक नया सिस्टम प्रस्तावित किया है। आप इस सिस्टम को एक सुपर-पावर्ड डिटेक्टिव स्क्वॉड के रूप में देख सकते हैं जो एक मामले को सुलझाने के लिए केवल एक जासूस पर निर्भर नहीं रहता है। इसके बजाय, यह एक ही मीम की जांच करने के लिए अलग-अलग कोणों से एक पूरी टीम भेजता है।
यहाँ जादू कैसे होता है:
1. "दो बार सोचने" की रणनीति (Multi-CoT)
पुराने दिनों में, एक कंप्यूटर एक मीम को देखता और एक ही बार में अनुमान लगाने की कोशिश करता कि वह बुरा है या अच्छा। यदि वह भ्रमित हो जाता, तो वह बस अनुमान लगा लेता। नया तरीका, EVL-MCoT, कंप्यूटर को एक ही मीम के लिए कई अलग-अलग स्पष्टीकरण उत्पन्न करने के लिए मजबूर करता है। कल्पना कीजिए कि तीन अलग-अलग विशेषज्ञों से एक भ्रमित करने वाले चुटकुले को समझाने के लिए कहना: एक इतिहास पर ध्यान केंद्रित कर सकता है, दूसरा दृश्य प्रतीकों पर, और तीसरा आवाज़ के लहजे (tone) पर। सिस्टम एक ही छवि के लिए एक "हानिकारक" स्पष्टीकरण और एक "हानिरहित" स्पष्टीकरण बनाता है। फिर, यह कई रास्तों के बीच के अंतर को देखता है, जिससे कंप्यूटर के लिए व्यंग्य या छिपे हुए पूर्वाग्रह से धोखा खाना बहुत कम संभव हो जाता है। यह परीक्षा जमा करने से पहले अपने काम को दूसरे जोड़े आँखों से चेक करने जैसा है।
2. "फ्लैशलाइट" डिकोडर (Prototype-Guided)
बुरे मीम्स को पहचानने के साथ सबसे बड़ी समस्याओं में से एक यह है कि कंप्यूटर अक्सर चित्र में सूक्ष्म, महत्वपूर्ण विवरणों को मिस कर देता है। वह पूरी भीड़ को देख सकता है लेकिन कोने में दिख रहे एक विशिष्ट गुस्से वाले चेहरे को मिस कर सकता है। इसे ठीक करने के लिए, शोधकर्ताओं ने एक "प्रोटोटाइप-गाइडेड डिकोडर" जोड़ा है। इसे एक विशेष फ्लैशलाइट के रूप में सोचें जिसका उपयोग कंप्यूटर छवि को स्कैन करने के लिए करता है। पूरी तस्वीर को एक साथ देखने के बजाय, फ्लैशलाइट विशिष्ट "प्रोटोटाइप्स" या प्रमुख पैटर्न (जैसे एक विशिष्ट प्रतीक या अभिव्यक्ति का प्रकार) को हाइलाइट करती है जो महत्वपूर्ण माने जाते हैं। यह कंप्यूटर को उन बारीक विवरणों पर ज़ूम करने में मदद करता है जिन्हें आमतौर पर अनदेखा कर दिया जाता है, यह सुनिश्चित करते हुए कि वह उन छोटे सुरागों को न छोड़े जो एक मज़ेदार तस्वीर को घृणापूर्ण बना देते हैं।
3. "कॉन्टेक्स्ट" डिकोडर (Context-Guided)
भले ही कंप्यूटर विवरण देख ले, लेकिन सही संदर्भ (context) के बिना वह यह नहीं समझ पाएगा कि वे क्यों महत्वपूर्ण हैं। "कॉन्टेक्स्ट-गाइडेड डिकोडर" एक अनुवादक की तरह काम करता है जो चित्र और शब्दों के बीच के बिंदुओं को जोड़ता है। यह फ्लैशलाइट द्वारा खोजे गए दृश्य संकेतों को लेता है और पूछता है, "यह चित्र टेक्स्ट के अर्थ को कैसे बदलता है?" उदाहरण के लिए, यदि टेक्स्ट कहता है "घर जाओ," तो यह हानिरहित है। लेकिन यदि चित्र लोगों के एक विशिष्ट समूह को पीछा किए जाने का दृश्य दिखाता है, तो अर्थ पूरी तरह से बदल जाता है। यह डिकोडर टेक्स्ट और इमेज को गहराई से एक-दूसरे से बात करने के लिए मजबूर करता है, जिससे यह सुनिश्चित होता है कि कंप्यूटर पूरी कहानी को समझे, न कि केवल उसके हिस्सों को।
उन्होंने क्या पाया
टीम ने अपने नए सिस्टम का परीक्षण मीम्स के दो बड़े संग्रहों पर किया: Hateful Memes डेटासेट (10,000 से अधिक उदाहरणों के साथ) और MultiOFF डेटासेट (743 उदाहरणों के साथ)। उन्होंने अपने सिस्टम की तुलना कई अन्य प्रसिद्ध मॉडलों के साथ की, जिनमें GPT-4 और LLaVA जैसे विशाल AI दिमाग भी शामिल हैं।
परिणाम काफी उत्साहजनक थे। Hateful Memes डेटासेट पर, EVL-MCoT ने मानक परीक्षणों पर 75.88% और कठिन, अनदेखे परीक्षणों पर 75.57% की सटीकता प्राप्त की। इसने क्रमशः 79.25% और 79.40% का AUROC (एक माप कि यह अच्छे और बुरे के बीच कितनी अच्छी तरह अंतर करता है) भी प्राप्त किया। ये संख्याएँ उनके द्वारा परीक्षण किए गए लगभग हर अन्य तरीके से अधिक थीं, जिनमें कुछ बहुत उन्नत मॉडल भी शामिल थे।
MultiOFF डेटासेट पर, सिस्टम ने 70.0% की सटीकता और 63.8 का F1-स्कोर प्राप्त किया, जिसने फिर से अन्य मॉडलों को पीछे छोड़ दिया।
शोधकर्ताओं ने यह देखने के लिए भी प्रयोग किए कि क्या होगा यदि वे अपने सिस्टम के हिस्सों को हटा दें। जब उन्होंने "Multi-CoT" (कई सोचने के पथ) को हटाया, तो सटीकता काफी गिर गई। जब उन्होंने "Prototype-Guided" या "Context-Guided" डिकोडर को हटाया, तो प्रदर्शन भी नीचे चला गया। यह सुझाव देता है कि उनके दल का प्रत्येक हिस्सा सर्वोत्तम परिणामों के लिए आवश्यक है। उन्होंने पाया कि अधिक सोचने के पथों का उपयोग करना (विशेष रूप से, 3 हानिकारक और 3 हानिरहित स्पष्टीकरण उत्पन्न करना) केवल एक या दो के उपयोग की तुलना में बेहतर काम करता है।
यह क्यों मायने रखता है
यह शोध पत्र सुझाव देता है कि जिस तरह से हम कंप्यूटर को इंटरनेट संस्कृति को समझने के लिए सिखाते हैं, उसे बदलने की आवश्यकता है। केवल एक चित्र को देखकर अनुमान लगाने या तर्क की एक एकल रेखा का उपयोग करने के बजाय, हमें ऐसे सिस्टम की आवश्यकता है जो खुद से बहस कर सकें, अपने काम की जाँच कर सकें और बारीकी से विवरणों को देख सकें। इस "Multi-CoT" दृष्टिकोण का उपयोग करके, EVL-MCoT सिस्टम यह दर्शाता है कि कंप्यूटर उन छिपे हुए, हानिकारक संदेशों को पहचानने में बेहतर हो सकते हैं जो एक मुस्कान के पीछे छिपने की कोशिश करते हैं। हालांकि यह सिस्टम पूर्ण नहीं है, फिर भी यह मशीनों को मीम्स की जटिल, अक्सर पेचीदा भाषा को समझने में मदद करके इंटरनेट को एक सुरक्षित स्थान बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।