Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

इंटरनेट की कल्पना एक विशाल, अराजक डिजिटल टाउन स्क्वायर के रूप में करें जहाँ हर कोई चिल्ला रहा है, मज़ाक कर रहा है और कहानियाँ साझा कर रहा है। इस शहर में, "मीम्स" (memes) संचार करने का सबसे लोकप्रिय तरीका हैं। एक मीम को केवल एक मज़ेदार तस्वीर के रूप में नहीं, बल्कि एक डिजिटल सैंडविच के रूप में सोचें: इसमें एक दृश्य परत (छवि) और एक टेक्स्ट परत (उस पर लिखे शब्द) होती है। आमतौर पर, ये दोनों परतें एक चुटकुला सुनाने या विचार साझा करने के लिए मिलकर काम करती हैं। लेकिन कभी-कभी, विशेष रूप से राजनीति में, यह सैंडविच पेचीदा हो जाता है। टेक्स्ट व्यंग्यात्मक हो सकता है, छवि भ्रामक हो सकती है, या पूरी चीज़ एक चालाक जाल हो सकती है जिसे आपको किसी नेता या नीति के बारे में एक निश्चित तरह से महसूस कराने के लिए डिज़ाइन किया गया है।

कंप्यूटरों के लिए, इन डिजिटल सैंडविचों को समझना एक बुरा सपना है। यह एक पहेली को सुलझाने जैसा है जहाँ चित्र और शब्द अलग-अलग भाषाएँ बोल रहे हैं। यदि कंप्यूटर केवल चित्र को देखता है, तो वह चुटकुले को मिस कर सकता है। यदि वह केवल शब्दों को पढ़ता है, तो वह संदर्भ (context) को मिस कर सकता है। यह तब और भी कठिन हो जाता है जब भाषा ऐसी हो जिसका अध्ययन कंप्यूटर ने अंग्रेजी की तुलना में कम किया हो, जैसे कि बंगाली। "अफेक्टिव कंप्यूटिंग" (affective computing) के क्षेत्र के शोधकर्ता—जो कि केवल एक फैंसी तरीका है यह कहने का कि "मशीनों को भावनाओं और इरादों को समझना सिखाना"—एक सुपर-स्मार्ट जासूस बनाने की कोशिश कर रहे हैं जो इन मीम्स को देख सके और समझ सके: "क्या यह व्यक्ति मुझे हँसाने की कोशिश कर रहा है, या वे मेरे राजनीतिक विचारों को बदलने की कोशिश कर रहे हैं?"

यह ठीक वही पहेली है जिसे बांग्लादेश इंजीनियरिंग यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने हल किया है। उन्होंने बंगाली मीम्स पर ध्यान केंद्रित किया, जो अक्सर अव्यवस्थित, कलात्मक और राजनीतिक व्यंग्य से भरे होते हैं। उनका लक्ष्य एक ऐसा सिस्टम बनाना था जो यह बता सके कि एक मीम जो केवल मनोरंजन के लिए है और एक जो राजनीतिक एजेंडा थोपने की कोशिश कर रहा है, के बीच क्या अंतर है। उन्होंने पाया कि इसे हल करने का रहस्य सारा डेटा एक ब्लेंडर में डालकर सबसे अच्छी उम्मीद करना नहीं था। इसके बजाय, उन्होंने एक ऐसा सिस्टम बनाया जो एक बहुत ही सावधान जासूस की तरह काम करता है, जो कंप्यूटर को चित्र और शब्दों को एक साथ देखने के लिए मजबूर करता है, विशिष्ट शब्दों को छवि के विशिष्ट हिस्सों के साथ मिलाता है, ठीक वैसे ही जैसे एक जासूस संदिग्ध के विवरण को अपराध स्थल की फोटो से मिलाता है।

जासूस का नया टूलकिट

शोधकर्ता, मूसा तुअर फराजी और नुफायर जहान रेज़ा ने महसूस किया कि इसे हल करने के पिछले प्रयास कुछ हद तक एक कॉमिक बुक को एक पेज पर चित्रों को देखने और दूसरे पेज पर शब्दों को अलग-अलग देखने जैसा था। उन्होंने "मल्टीमॉडल क्रॉस-अटेंशन फ्यूजन" (Multimodal Cross-Attention Fusion) नामक एक नई विधि प्रस्तावित की। यह बोलने में थोड़ा कठिन लग सकता है, आइए इसे एक सरल उपमा से समझते हैं।

कल्पना कीजिए कि आप एक जटिल जादू का खेल समझने की कोशिश कर रहे हैं। आपके पास जादू के खेल का एक वीडियो (छवि) है और जादूगर जो कह रहा है उसका एक ट्रांसक्रिप्ट (टेक्स्ट) है। एक साधारण कंप्यूटर बस वीडियो को देखेगा और फिर ट्रांसक्रिप्ट को अलग से पढ़ेगा और फिर अनुमान लगाएगा कि क्या हुआ। लेकिन एक स्मार्ट जासूस जानता है कि जादूगर के शब्द तभी समझ में आते हैं जब आप देखते हैं कि वह वीडियो में कहाँ इशारा कर रहा है।

टीम का नया सिस्टम इस प्रकार काम करता है:

1. आंखें और कान: सबसे पहले, सिस्टम एक शक्तिशाली "आंख" (विज़न-लैंग्वेज मॉडल) का उपयोग करके मीम पर लिखे बिखरे हुए, कलात्मक टेक्स्ट को पढ़ता है, भले ही बैकग्राउंड शोर भरा हो या फॉन्ट अजीब हो। यह एक "दिमाग" का भी उपयोग करता है जिसने लाखों चित्रों और वाक्यों को देखा है ताकि छवि के सामान्य भाव और शब्दों के अर्थ को समझा जा सके।
2. मैचमेकर (जोड़ी बनाने वाला): यह जादुई हिस्सा है। चित्र और टेक्स्ट को बस आपस में चिपकाने के बजाय, सिस्टम एक "क्रॉस-अटेंशन" तंत्र का उपयोग करता है। कल्पना करें कि मीम के शब्द चित्र से पूछ रहे हैं, "हे, क्या तुम इस चित्र के इस हिस्से के बारे में बात कर रहे हो?" और चित्र जवाब देता है, "हाँ, मैं हूँ!" या "नहीं, यहाँ देखो!" सिस्टम विशिष्ट शब्दों को छवि के विशिष्ट क्षेत्रों के साथ संरेखित (align) करता है। यदि टेक्स्ट कहता है "भ्रष्ट" और छवि एक राजनेता को दिखाती है, तो सिस्टम उन दोनों को मजबूती से जोड़ देता है। यदि टेक्स्ट कहता है "नायक" लेकिन छवि एक खलनायक को दिखाती है, तो सिस्टम उस विसंगति को पकड़ लेता है।
3. नियम पुस्तिका: उन्होंने कंप्यूटर की मदद के लिए एक "राजनीतिक नियम पुस्तिका" (लेक्सिकन) जोड़ने का भी प्रयास किया। यह एक जासूस को उन शब्दों की सूची देने जैसा है जो अक्सर राजनीतिक भाषणों में दिखाई देते हैं। हालाँकि, उन्होंने कुछ आश्चर्यजनक पाया: यदि आप जासूस को इस सूची पर बहुत अधिक निर्भर रहने के लिए मजबूर करते हैं, तो वह गलतियाँ करने लगता है। वह किसी मीम को राजनीतिक मान सकता है क्योंकि उसमें एक राजनीतिक शब्द है, भले ही संदर्भ बिल्कुल अलग हो।

उन्होंने क्या पाया

टीम ने अपने नए "मैचमेकर" सिस्टम का परीक्षण 'PoliMemeDecode1' नामक एक डेटासेट पर किया, जो बंगाली मीम्स से भरा है। उन्होंने अपने तरीके की तुलना पुराने तरीकों से की, जैसे केवल चित्र को देखना, केवल टेक्स्ट को पढ़ना, या बिना किसी विशेष मिलान के चित्र और टेक्स्ट को बस एक साथ जोड़ देना।

परिणाम प्रभावशाली थे। उनके नए सिस्टम ने, जो शब्दों को चित्र के हिस्सों के साथ सावधानीपूर्वक मिलाता है, लगभग 0.94 का स्कोर प्राप्त किया जिसे "मैक्रो-एफ1" (Macro-F1) कहा जाता है। इसे समझने के लिए, यह एक बहुत उच्च स्कोर है, जिसका अर्थ है कि सिस्टम लगभग हर समय सही था। यह पुराने तरीकों से काफी बेहतर प्रदर्शन करता है। उदाहरण के लिए, केवल चित्रों को देखने से लगभग 0.88 का स्कोर मिला, और केवल टेक्स्ट पढ़ने से लगभग 0.85 मिला। जब उन्होंने बिना "मैचमेकर" अटेंशन के चित्र और टेक्स्ट को बस एक साथ जोड़ने की कोशिश की, तो स्कोर बढ़कर 0.935 हो गया, लेकिन नए अटेंशन मेथड ने इसे 0.940 तक पहुँचा दिया।

हालाँकि, उनके पेपर ने एक लोकप्रिय विचार को भी खारिज कर दिया। कई शोधकर्ताओं का मानना था कि "राजनीतिक नियम पुस्तिका" (लेक्सिकन) जोड़ने से कंप्यूटर अधिक स्मार्ट हो जाएगा। लेखकों ने पाया कि इसके विपरीत हुआ। जब उन्होंने नियम पुस्तिका का उपयोग करके सिस्टम के आत्मविश्वास को बढ़ाने की कोशिश की, तो प्रदर्शन वास्तव में गिर गया। पूर्ण सिस्टम के साथ स्कोर गिरकर 0.915 हो गया। क्यों? क्योंकि नियम पुस्तिका ने कंप्यूटर को बहुत कठोर बना दिया था। इसने हर जगह राजनीतिक इरादे देखने शुरू कर दिए, यहाँ तक कि निर्दोष चुटकुलों में भी, जिससे गलत अलार्म (false alarms) बढ़ गए। पेपर सुझाव देता है कि कंप्यूटर बेहतर सीखता है जब वह खुद से चित्र और टेक्स्ट के बीच संबंध को समझ लेता है, बजाय इसके कि उसे कीवर्ड्स की पूर्व-लिखित सूची का पालन करने के लिए मजबूर किया जाए।

यह क्यों महत्वपूर्ण है

शोधकर्ताओं ने केवल नंबरों पर ध्यान नहीं दिया। उन्होंने यह देखने के लिए कि कंप्यूटर कैसे सोच रहा है, इसके "हुड" के नीचे भी झाँका। उन्होंने पाया कि सिस्टम वास्तव में सही चीजों पर ध्यान दे रहा था। जब उन्होंने यह देखने के लिए "स्मूथग्रैड" (SmoothGrad) नामक तकनीक का उपयोग किया कि कंप्यूटर छवि के किन हिस्सों पर ध्यान केंद्रित कर रहा है, तो इसने लोगों के चेहरों और छवि पर लिखे टेक्स्ट को हाइलाइट किया, और बैकग्राउंड के शोर को अनदेखा कर दिया। यह साबित करता कि कंप्यूटर केवल अनुमान नहीं लगा रहा था; वह वास्तव में दृश्य साक्ष्य को टेक्स्ट के अर्थ के साथ जोड़ रहा था।

उन्होंने यह भी जांचा कि क्या कंप्यूटर अपने उत्तरों में आश्वस्त था। परिणामों से पता चला कि सिस्टम अच्छी तरह से कैलिब्रेटेड था, जिसका अर्थ है कि जब वह कहता था कि वह 90% सुनिश्चित है, तो वह आमतौर पर सही होता था। कुछ बार जब वह गलत हुआ, तो वह अक्सर इसलिए था क्योंकि मीम स्वयं वास्तव में भ्रमित करने वाला या अस्पष्ट था, जो किसी भी इंसान या मशीन के लिए एक कठिन चुनौती है।

अंत में, यह पेपर दिखाता है कि बंगाली जैसी कम संसाधन वाली भाषाओं के लिए, राजनीतिक मीम्स को समझने का सबसे अच्छा तरीका कंप्यूटर को "बुरे शब्दों" का शब्दकोश रटने के लिए मजबूर करना नहीं है। इसके बजाय, यह कंप्यूटर को एक अच्छा जासूस बनने के रूप में सिखाना है जो पूरी तस्वीर को देखता है, सुरागों को मिलाता है, और कहानी को समझता है। टोकन (शब्दों) को विजुअल क्षेत्रों के साथ संरेखित करने की विधि का उपयोग करके, टीम ने एक ऐसा उपकरण बनाया है जो न केवल अधिक सटीक है, बल्कि अधिक विश्वसनीय भी है, जो एक अत्याधुनिक प्रदर्शन (state-of-the-art performance) प्रदर्शित करता है जो बताता है कि यह दृष्टिकोण इंटरनेट मीम्स की जटिल, शोर भरी और अक्सर राजनीतिक दुनिया को डिकोड करने का एक शक्तिशाली तरीका है।