Predicting semantic consistency between images and Korean hashtags on Instagram
यह शोध पत्र छवियों और कोरियाई इंस्टाग्राम हैशटैग के बीच अर्थ संबंधी निरंतरता (semantic consistency) की भविष्यवाणी करने के लिए एक पांच-स्तरीय क्रमिक वर्गीकरण (ordinal classification) ढांचे का प्रस्ताव करता है, जो यह प्रदर्शित करता है कि एक फाइन-ट्यून्ड कोरियाई-अनुकूलित CLIP मॉडल, GPT-4o द्वारा एनोटेट किए गए डेटासेट पर अपने अंग्रेजी समकक्ष और शास्त्रीय क्लासिफायर दोनों से बेहतर प्रदर्शन करता है, साथ ही इस कार्य की अंतर्निहित अस्पष्टता और मल्टीमॉडल समझ में भाषाई उपयुक्तता के महत्वपूर्ण महत्व को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंस्टाग्राम जैसे प्लेटफॉर्म पर, एक तस्वीर केवल एक चित्र मात्र नहीं होती। यह एक वक्तव्य, एक मनोदशा और एक साथ सांस्कृतिक संवाद का एक हिस्सा होती है। जब कोई उपयोगकर्ता कॉफी के एक साधारण कप की फोटो पोस्ट करता है, तो वे इसे "मॉर्निंग ब्रू" (सुबह की ताज़ा कॉफी) जैसे शाब्दिक विवरण के साथ टैग कर सकते हैं, लेकिन अक्सर, वे एक ऐसी हैशटैग का उपयोग करते हैं जो एक भावना व्यक्त करती है, जैसे "हीलिंग" (उपचार) या "मंडे ब्लूज़" (सोमवार की उदासी)। ये टैग केवल दृश्य चीज़ों का वर्णन नहीं करते; वे भावना, स्लैंग और साझा सांस्कृतिक समझ को व्यक्त करते हैं। यदि किसी कंप्यूटर को वास्तव में सोशल मीडिया को समझना है, तो उसे छवि और उसके साथ जुड़े शब्दों के बीच इन सूक्ष्म, गैर-शाब्दिक संबंधों को पढ़ना सीखना होगा। यह एक कठिन कार्य है क्योंकि एक फोटो और उसके हैशटैग के बीच का संबंध एक सरल 'हाँ या ना' वाला मिलान नहीं है। इसके बजाय, यह एक स्पेक्ट्रम पर मौजूद है, जो पूरी तरह से असंबंधित होने से लेकर गहराई से अर्थपूर्ण होने तक फैला हुआ है, और यह अर्थ अक्सर उस संदर्भ पर निर्भर करता है जिसे मशीन आसानी से नहीं देख सकती।
सियोल नेशनल यूनिवर्सिटी और सुंगशिन वीमेंस यूनिवर्सिटी के शोधकर्ताओं ने कंप्यूटर को इस जटिल परिदृश्य को नेविगेट करना सिखाने के लिए काम किया। उन्होंने विशेष रूप से कोरियाई इंस्टाग्राम पोस्ट पर ध्यान केंद्रित किया, जहाँ भाषा संक्षिप्त रूपों, मीम्स और सांस्कृतिक रूप से विशिष्ट अभिव्यक्तियों से भरी होती है, जो धाराप्रवाह बोलने वालों के लिए भी कठिन हो सकती है। टीम ने इस समस्या को एक द्विआधारी (बाइनरी) विकल्प के रूप में नहीं, बल्कि एक पांच-स्तरीय पैमाने के रूप में देखा। उन्होंने अपने मॉडलों से यह तय करने के लिए कहा कि एक हैशटैग छवि के साथ अत्यधिक असंगत, निम्न, मध्यम, उच्च या अत्यधिक सुसंगत है। ऐसा करने के लिए, उन्होंने सार्वजनिक पोस्ट से 12,000 से अधिक इमेज और हैशटैग जोड़ियों का एक डेटासेट बनाया। चूंकि हजारों व्यक्तिपरक कनेक्शनों को मैन्युअल रूप से लेबल करना धीमा है और इसमें मानवीय असहमति की संभावना रहती है, इसलिए उन्होंने पहले सख्त दिशानिर्देशों के आधार पर प्रारंभिक लेबल उत्पन्न करने के लिए एक शक्तिशाली आर्टिफिशियल इंटेलिजेंस टूल का उपयोग किया। फिर उन्होंने चार मानव विशेषज्ञों द्वारा डेटा के एक नमूने की समीक्षा करवाकर इन लेबल्स को सत्यापित किया, जिससे यह सुनिश्चित हुआ कि कंप्यूटर के निर्णय मानव समझ के पर्याप्त करीब हों ताकि वे उपयोगी हो सकें।
शोधकर्ताओं ने यह परीक्षण करने के लिए कि कौन सी विधि सबसे अच्छा काम करती है, कई अलग-अलग दृष्टिकोणों का परीक्षण किया। उन्होंने मौजूदा, सामान्य-उद्देश्य वाले मॉडलों के साथ शुरुआत की जिन्हें इंटरनेट से लाखों इमेज और टेक्स्ट जोड़ियों पर प्रशिक्षित किया गया था। ये मॉडल "डॉग" शब्द के साथ "डॉग" जैसी शाब्दिक छवियों को मिलाने में अच्छे थे, लेकिन वे सोशल मीडिया पर प्रचलित अमूर्त, भावनात्मक टैग के साथ संघर्ष करते थे। जब टीम ने कंप्यूटर की मेमोरी में छवि और टेक्स्ट के बीच गणितीय दूरी को मापने की कोशिश की, तो परिणाम खराब रहे। मॉडल पांच स्तरों की निरंतरता के बीच अंतर नहीं कर सके। हालाँकि, जब शोधकर्ताओं ने इन स्थिर (फ्रोजन) मॉडलों के ऊपर एक सरल निर्णय लेने वाली परत जोड़ी, तो प्रदर्शन में सुधार हुआ। इससे पता चला कि जबकि मूल मॉडल सामान्य सामग्री को समझते थे, उन्हें श्रेणीबद्ध, व्यक्तिपरक प्रकृति की व्याख्या करने के लिए एक विशिष्ट मार्गदर्शक की आवश्यकता थी।
सबसे महत्वपूर्ण खोज तब हुई जब टीम ने आंतरिक सेटिंग्स को समायोजित करके, जिसे 'फाइन-ट्यूनिंग' कहा जाता है, मॉडलों को विशेष रूप से इस कार्य के लिए सिखाने का प्रयास किया। उन्होंने दो अलग-अलग बेस मॉडलों का परीक्षण किया: एक सामान्य उपयोग के लिए डिज़ाइन किया गया और दूसरा विशेष रूप से कोरियाई भाषा के लिए अनुकूलित। परिणाम चौंकाने वाले थे। जब उन्होंने सामान्य मॉडल को फाइन-ट्यून किया, तो इसका प्रदर्शन वास्तव में खराब हो गया। ऐसा लगा कि एक सामान्य-उद्देश्य वाली प्रणाली को बिना मजबूत भाषाई आधार के एक विशिष्ट, सांस्कृतिक रूप से सूक्ष्म कार्य सीखने के लिए मजबूर करने से वह अपना रास्ता भटक गई। इसके विपरीत, कोरियाई-अनुकूलित मॉडल फाइन-ट्यूनिंग के साथ फला-फूला। इसने उच्चतम सटीकता प्राप्त की और, अधिक महत्वपूर्ण बात यह है, यह केवल सबसे अधिक बार आने वाले टैग का अनुमान लगाने के बजाय कठिन, कम सामान्य टैगों को पहचानने में बहुत बेहतर हो गया। इससे संकेत मिला कि एक ऐसा मॉडल होना जो पहले से ही भाषा और संस्कृति को समझता हो, सोशल मीडिया अभिव्यक्ति की बारीकियों को समझने के लिए सफलतापूर्वक सिखाने हेतु एक पूर्व शर्त है।
यह देखने के लिए कि क्या यह सुधार वास्तव में आवश्यक था, शोधकर्ताओं ने अपने सर्वश्रेष्ठ फाइन-ट्यून किए गए मॉडल की तुलना शक्तिशाली, पारंपरिक कंप्यूटर प्रोग्रामों से की, जो बिना मॉडल बदले केवल स्थिर डेटा को देखते हैं। उन्होंने पाया कि पारंपरिक प्रोग्राम फाइन-ट्यून किए गए मॉडल की समग्र सटीकता से मेल खा सकते हैं। हालाँकि, फाइन-ट्यून किया गया मॉडल एक महत्वपूर्ण मामले में श्रेष्ठ था: यह अधिक संतुलित था। इसने दुर्लभ या कठिन मामलों को नजरअंदाज नहीं किया। जहाँ पारंपरिक प्रोग्राम सामान्य और आसान उत्तरों को सही बताने में अच्छे थे, वहीं वे अक्सर उन 'एज केसेस' (सीमांत मामलों) में विफल हो जाते थे जो अप्रासंगिक सामग्री को फ़िल्टर करने के लिए सबसे महत्वपूर्ण होते हैं। फाइन-ट्यून किए गए मॉडल ने, जिसने छवियों और शब्दों को एक साथ समझने के अपने आंतरिक बोध को समायोजित करना सीख लिया था, सभी प्रकार के टैगों के लिए अधिक स्थिर और निष्पक्ष मूल्यांकन प्रदान किया।
अध्ययन ने इस कार्य की अंतर्निहित कठिनाई को भी रेखांकित किया। यहाँ तक कि डेटा को सत्यापित करने वाले मानव विशेषज्ञों के बीच भी, पूर्ण सहमति नहीं थी। वे केवल आधे जोड़ों पर ही एक-दूसरे के सटीक स्कोर से मेल खाते थे, जिसमें अधिकांश असहमति पांच-स्तरीय पैमाने पर केवल एक कदम की दूरी पर थी। यह सुझाव देता है कि अस्पष्टता केवल कंप्यूटर की विफलता नहीं है, बल्कि मानव संचार की एक विशेषता है। जब कोई हैशटैग किसी मनोदशा या सांस्कृतिक मजाक को व्यक्त करता है, तो अक्सर कोई एक "सही" उत्तर नहीं होता। सबसे अच्छा कंप्यूटर मॉडल लगभग 72 प्रतिशत बार सही उत्तर या पड़ोसी उत्तर देने में सफल रहा। यह प्रदर्शन स्तर, हालांकि पूर्ण नहीं है, फिर भी मानव अभिव्यक्ति की भावनात्मक और सांस्कृतिक परतों को समझाने में मशीनों को सिखाने की दिशा में एक महत्वपूर्ण कदम है, जो उन्हें सोशल मीडिया पोस्ट के पूर्ण अर्थ को समझने के करीब ले जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।