Structured Semantic Prototype-Guided Multi-Source Multimodal Sentiment Analysis with Fine-Grained Gating and Disagreement Decomposition
यह शोध पत्र SPG-MSA का प्रस्ताव करता है, जो एक नवीन मल्टीमॉडल सेंटीमेंट एनालिसिस फ्रेमवर्क है जो टेक्स्ट, विजुअल और OCR मोडैलिटीज के बीच संरेखित (aligned), पूरक (complementary) और असहमति वाले साक्ष्यों को प्रभावी ढंग से मॉडल करने के लिए स्ट्रक्चर्ड सिमेंटिक प्रोटोटाइप्स, एक क्वालिटी-अवेयर गेटिंग मैकेनिज्म और रिलेशन-स्पेसिफिक ब्रांचेस का लाभ उठाता है, जिससे बेंचमार्क डेटासेट्स पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सोशल मीडिया पोस्ट शायद ही कभी केवल शब्द या केवल चित्र होते हैं; वे दोनों का एक जटिल मिश्रण होते हैं, जो अक्सर छवियों के भीतर छिपे टेक्स्ट, अन्य बातचीत के स्क्रीनशॉट और उन दृश्य दृश्यों के साथ लेयर्ड (स्तरित) होते हैं जो उस कहानी को बताते हैं जिसे कैप्शन नहीं बताता। जब कोई व्यक्ति एक तटस्थ वाक्य के साथ किसी उत्पाद की फोटो पोस्ट करता है, या एक व्यंग्यात्मक टिप्पणी के साथ एक खुशहाल छवि पोस्ट करता है, तो पोस्ट के पीछे की वास्तविक भावना इन विभिन्न हिस्सों में बिखरी होती है। कंप्यूटरों के लिए इसे समझने के लिए, उन्हें केवल चित्र को देखने और टेक्स्ट को अलग से पढ़ने से कहीं अधिक करने की आवश्यकता है। उन्हें यह पता लगाने की आवश्यकता है कि छवि का कौन सा विशिष्ट भाग या कौन सा विशेष शब्द वास्तविक भावना को वहन करता है, और वे हिस्से एक साथ कैसे फिट बैठते हैं जब वे सहमत होते हैं या जब वे एक-दूसरे का खंडन करते हैं। यही मल्टीमॉडल सेंटीमेंट एनालिसिस (बहुविध भावना विश्लेषण) की चुनौती है: मशीनों को एक डिजिटल पोस्ट के पूर्ण संदर्भ को समझना सिखाना, न कि केवल उसकी सतही विशेषताओं को।
एक शोधकर्ता ने इस समस्या से निपटने के लिए एक नया तरीका विकसित किया है, जो एक कुंद उपकरण के बजाय एक सावधानीपूर्वक संपादक की तरह कार्य करने वाला सिस्टम बनाता है। कैप्शन में प्रत्येक शब्द और फोटो में प्रत्येक पिक्सेल को समान रूप से महत्वपूर्ण मानने के बजाय, उनका तरीका, जिसे SPG-MSA कहा जाता है, सबसे प्रासंगिक सुरागों को चुनने के बारे में सीखता है। यह इसे आठ मार्गदर्शक अवधारणाओं, या "प्रोटोटाइप्स" के एक सेट का उपयोग करके करता है, जो उन सामान्य कारणों का प्रतिनिधित्व करते हैं जिनके कारण लोग चीजों के बारे में दृढ़ता से महसूस करते हैं, जैसे कि विश्वास, शिल्प कौशल की गुणवत्ता, या पुरानी यादों (नॉस्टेल्जिया) का अहसास। ये अवधारणाएं एक फिल्टर के रूप में कार्य करती हैं, जिससे कंप्यूटर को यह तय करने में मदद मिलती है कि पोस्ट के कौन से हिस्से वास्तव में व्यक्त की जा रही भावना के लिए प्रासंगिक हैं। उदाहरण के लिए, यदि कोई पोस्ट किसी हस्तनिर्मित वस्तु के बारे में है, तो सिस्टम जानता है कि उसे टेक्स्ट और इमेज में "शिल्प कौशल" के प्रमाणों को खोजना है, और असंबंधित पृष्ठभूमि के विवरणों को अनदेखा करना है।
शोधकर्ता ने यह भी पहचाना कि सभी जानकारी समान रूप से विश्वसनीय नहीं होती है। सोशल मीडिया पोस्ट में अक्सर ऐसा टेक्स्ट शामिल होता है जिसे किसी चित्र से स्वचालित रूप से पढ़ा गया हो या अन्य कंप्यूटर प्रोग्रामों द्वारा उत्पन्न विवरण हो। कभी-कभी ये अतिरिक्त स्रोत सहायक होते हैं, लेकिन कभी-कभी वे गलत या अप्रासंगिक होते हैं। इसे संभालने के लिए, नया सिस्टम एक गुणवत्ता जांच शामिल करता है जो इस बात का वजन करता है कि सूचना का प्रत्येक हिस्सा कितना भरोसेमंद है, इससे पहले कि उसका उपयोग किया जाए। यह एक स्पष्ट, पठनीय संकेत पर भारी निर्भर रहने या एक धुंधले, भ्रमित करने वाले संकेत को अनदेखा करने का विकल्प चुन सकता है। इसके अलावा, सिस्टम यह नोटिस करने के लिए डिज़ाइन किया गया है कि जब टेक्स्ट और इमेज अलग-अलग बातें कह रहे हों। यदि कोई उपयोगकर्ता एक दुखद वाक्य लिखता है लेकिन उत्सव की तस्वीर पोस्ट करता है, तो सिस्टम उन्हें सहमत होने के लिए मजबूर नहीं करता है। इसके बजाय, यह इस असहमति के लिए एक विशेष प्रतिनिधित्व बनाता है, जिससे अंतिम निर्णय इस तनाव को सुचारू बनाने के बजाय उस तनाव को प्रतिबिंबित कर सके।
यह परीक्षण करने के लिए कि क्या यह दृष्टिकोण वास्तव में काम आया, शोधकर्ता ने इसे वास्तविक दुनिया के सोशल मीडिया पोस्ट के दो बड़े संग्रहों पर लागू किया। उन्होंने अपने सिस्टम की तुलना हाल ही में विकसित कई अन्य उन्नत तरीकों से की। परिणामों ने दिखाया कि उनकी नई विधि सही भावना या भावना का अनुमान लगाने में अधिक सटीक थी। एक डेटासेट पर, इसने लगभग 82.5 प्रतिशत की सटीकता प्राप्त की, और दूसरे पर, इसने लगभग 73 प्रतिशत तक पहुँच प्राप्त की। अधिक महत्वपूर्ण बात यह है कि शोधकर्ता ने यह सिद्ध किया कि यह सुधार केवल इसलिए नहीं आया क्योंकि कंप्यूटर के पास देखने के लिए अधिक डेटा था या वह केवल बड़ा और अधिक जटिल था। उन्होंने विशिष्ट परीक्षण चलाए जहाँ उन्होंने अन्य सिस्टमों को बिल्कुल वही अतिरिक्त जानकारी दी लेकिन बिना विशेष फ़िल्टरिंग और असहमति-संभालने वाले उपकरणों के। वे अन्य सिस्टम उतना अच्छा प्रदर्शन नहीं कर सके, जिससे पता चलता कि नए तरीके द्वारा सूचना को व्यवस्थित और चयनित करने का तरीका ही इसकी सफलता की कुंजी थी।
अध्ययन ने इस बात पर भी बारीकी से नज़र डाली कि सिस्टम त्रुटियों और कठिन मामलों को कैसे संभालता है। जब शोधकर्ता ने जानबूझकर भ्रमित करने वाले पोस्ट बनाने के लिए छवियों और टेक्स्ट को आपस में मिला दिया, तो नया सिस्टम दूसरों की तुलना में अधिक स्थिर रहा, जिससे पता चला कि वह उन स्थितियों को बेहतर ढंग से संभाल सकता है जहाँ दृश्य और लिखित सुराग मेल नहीं खाते। हालाँकि, शोधकर्ता इस बात को लेकर सावधान थे कि यह परिष्कारता एक लागत के साथ आती है। इस सिस्टम को सरल मॉडलों की तुलना में अधिक कंप्यूटिंग पावर की आवश्यकता होती है और प्रत्येक पोस्ट को प्रोसेस करने में अधिक समय लगता है। यह तात्कालिक, सेकंड-दर-सेकंड के निर्णयों के लिए नहीं है बल्कि उन स्थितियों के लिए बेहतर है जहाँ पोस्ट के गहरे, अधिक विश्वसनीय विश्लेषण की आवश्यकता होती है।
अंततः, यह कार्य सुझाव देता है कि ऑनलाइन भावना को समझने का भविष्य संरचना और सूक्ष्मता में निहित है। कंप्यूटर को विशिष्ट प्रकार के अर्थ खोजने, अपने स्रोतों की विश्वसनीयता की जांच करने और यह सम्मान करने के लिए सिखाकर कि पोस्ट के विभिन्न भाग संघर्ष में हैं, सिस्टम डिजिटल अभिव्यक्ति की अधिक मानवीय समझ प्राप्त करता है। निष्कर्ष संकेत देते हैं कि हालांकि हम अभी भी मानवीय भावनाओं की हर सूक्ष्मता को पूरी तरह से डिकोड नहीं कर सकते, लेकिन एक संरचित तर्क की परत जोड़ने से मशीनें सोशल मीडिया की अव्यवस्थित, विरोधाभासी और समृद्ध वास्तविकता को काफी अधिक कौशल के साथ नेविगेट कर सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।