Contextualized Prompting For Stance Detection On Social Media
यह शोध पत्र सोशल मीडिया स्टैंड (stance) डिटेक्शन के लिए ज़ीरो-शॉट प्रॉम्प्टिंग में विभिन्न प्रासंगिक विशेषताओं को एकीकृत करने के प्रभाव की जांच करता है, जो यह प्रकट करता है कि जहाँ LLM-जनित लक्ष्य विवरण (target descriptions) लगातार प्रदर्शन में सुधार करते हैं, वहीं अन्य वास्तविक दुनिया का उपयोगकर्ता मेटाडेटा अक्सर इनपुट शोर और प्रासंगिक जानकारी को फ़िल्टर करने में मॉडल की कठिनाई के कारण मिश्रित या हानिकारक परिणाम देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किसी अजनबी के विचारों का अनुमान लगाने की कोशिश कर रहे हैं, जैसे कि "क्या हमें मास्क पहनना चाहिए?" या "क्या यह राजनेता अच्छा काम कर रहा है?" आपके पास केवल उनका एक छोटा सा टेक्स्ट मैसेज है। यह सोशल मीडिया पर स्टांस डिटेक्शन (Stance Detection) की चुनौती है। यह बिल्कुल वैसा ही है जैसे किसी के द्वारा भेजे गए एक टेक्स्ट मैसेज के केवल एक वाक्य को पढ़कर उनके मूड का अंदाजा लगाने की कोशिश करना। यह अक्सर भ्रमित करने वाला हो सकता है क्योंकि वह संदेश व्यंग्यात्मक (sarcastic), अस्पष्ट, या महत्वपूर्ण संदर्भ के बिना हो सकता है।
हाल ही में, हमारे पास सुपर-स्मार्ट एआई असिस्टेंट (जिन्हें लार्ज लैंग्वेज मॉडल्स या LLMs कहा जाता है) उपलब्ध हुए हैं जो बिना किसी विशेष उदाहरणों के सिखाए, इन चीजों का अनुमान लगाने में माहिर हैं। हालाँकि, आमतौर पर हम इन एआई को एक संदेश को एक शून्य (vacuum) में देखने के लिए कहते हैं, जैसे कि वे बिना किसी अन्य जानकारी के एक साउंडप्रूफ कमरे में पढ़ रहे हों।
इस शोध पत्र के लेखकों ने एक सरल प्रश्न पूछा: "क्या होगा यदि हम एआई को कुछ अतिरिक्त पृष्ठभूमि जानकारी दें, जैसे कि एक 'चीट शीट' (cheat sheet), ताकि वह संदेश को बेहतर ढंग से समझ सके?"
उन्होंने इस विचार का परीक्षण करने के लिए एआई को अलग-अलग प्रकार की "चीट शीट्स" (संदर्भ/context) दीं, इससे पहले कि उससे स्टैंड (stance) का अनुमान लगाने को कहा जाए। यहाँ उन्होंने क्या पाया, जिसे सरल उपमाओं (analogies) के माध्यम से समझाया गया है:
वे "चीट शीट्स" जिनका उन्होंने परीक्षण किया
- यूजर का बायो (The "About Me" Page): उन्होंने एआई को यूजर का ट्विटर बायो दिया (जैसे, "मैं अपने देश और ईश्वर से प्रेम करता हूँ")।
- यूजर के अन्य ट्वीट्स (The "Past History"): उन्होंने एआई को उसी व्यक्ति के दस अन्य हालिया ट्वीट्स दिखाए।
- लक्ष्य का विवरण (The "Encyclopedia Entry"): उन्होंने एly एआई को उस व्यक्ति या वस्तु का एक छोटा, तटस्थ सारांश लिखने के लिए कहा जिस पर चर्चा की जा रही है (जैसे, "डॉ. फाऊसी एक डॉक्टर हैं जिन्होंने महामारी के दौरान नेतृत्व किया")।
- विशिष्ट संदर्भ (The "Scene Setter"): उन्होंने एआई से उस विशिष्ट स्थिति को समझाने के लिए कहा जिसका उल्लेख ट्वीट में किया गया है (जैसे, "यह ट्वीट मास्क अनिवार्यताओं और बंदूक अधिकारों के बीच बहस के बारे में है")।
परिणाम: क्या काम आया और क्या नहीं
एआई को एक रहस्य सुलझाने वाले जासूस के रूप में सोचें। कभी-कभी अतिरिक्त सुराग मदद करते हैं; कभी-कभी वे केवल शोर (noise) पैदा करते हैं।
1. "विश्वकोश प्रविष्टि" (Target Description) सुपरस्टार थी 🌟
एआई को उस व्यक्ति या वस्तु का स्पष्ट, तटस्थ विवरण देने से कि ट्वीट किसके बारे में है, उसे लगातार अधिक स्मार्ट बना दिया।
- उपमा: कल्पना कीजिए कि आप अनुमान लगाने की कोशिश कर रहे हैं कि कोई "नई कार" के बारे में खुश है या नहीं। यदि आप नहीं जानते कि "नई कार" का अर्थ एक लग्जरी स्पोर्ट्स कार है या एक पुरानी खटारा गाड़ी, तो आप गलत अनुमान लगा सकते हैं। लेकिन यदि आप एआई को बताते हैं, "नई कार एक बिल्कुल नई फेरारी है," तो उत्तर स्पष्ट हो जाता है। इस "विवरण" ने एआई को विषय वस्तु समझने में मदद की, जिससे लगभग सभी परीक्षणों में बेहतर अनुमान लगे।
2. "पिछला इतिहास" (अन्य ट्वीट्स) एक दोधारी तलवार थी ⚔️
पारंपरिक कंप्यूटर विज्ञान में, किसी उपयोगकर्ता के पिछले पोस्ट दिखाना आमतौर पर मदद करता है। लेकिन यहाँ, इसने अक्सर एआई को भ्रमित कर दिया।
- उपमा: कल्पना कीजिए कि आप किसी व्यक्ति द्वारा कहे गए एक वाक्य का निर्णय ले रहे हैं: "मुझे इससे नफरत है।" यदि आप उन्हें कल लिखे गए दस अन्य क्रोधित वाक्य भी दिखा देते हैं, तो एआई अभिभूत (overwhelmed) हो सकता है या यह मान सकता है कि वह व्यक्ति हमेशा क्रोधित रहता है, भले ही यह विशिष्ट वाक्य तटस्थ या व्यंग्यात्मक रहा हो। अतिरिक्त टेक्स्ट ने "शोर" की तरह काम किया, जिसने एआई को विचलित किया और कभी-कभी उस एकल ट्वीट के विशिष्ट स्टैंड का अनुमान लगाने में इसे और भी खराब बना दिया।
3. "मेरे बारे में" (Bio) और "सीन सेटर" (विशिष्ट संदर्भ) हिट-या-मिस्स थे 🎯
कभी-कभी ये मददगार होते हैं, लेकिन अक्सर नहीं।
- उपमा: यदि किसी यूजर के बायो में लिखा है "मुझे खेल पसंद हैं," और ट्वीट किसी खेल के बारे में है, तो यह मदद करता है। लेकिन यदि ट्वीट राजनीति के बारे में है, तो वह बायो बेकार है। एआई यह समझने में संघर्ष करता था कि कौन से सुराग महत्वपूर्ण हैं और कौन से केवल पृष्ठभूमि का शोर हैं। वह अक्सर उस जानकारी से भ्रमित हो गया जो वास्तव में काम की नहीं थी।
मुख्य निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि हालांकि एआई को अधिक जानकारी देना एक अच्छा विचार लगता है, लेकिन यह हमेशा इतना सरल नहीं होता है।
- अच्छी खबर: यदि आप एआई को विषय की एक स्पष्ट, तटस्थ परिभाषा देते हैं (Target Description), तो यह लगभग हमेशा बेहतर अनुमान लगाता है।
- बुरी खबर: यदि आप एआई के सामने यूजर के अन्य ट्वीट्स या व्यक्तिगत बायो का ढेर लगा देते हैं, तो यह अक्सर विचलित हो जाता है। यह "मददगार सुरागों" और "अप्रासंगिक शोर" के बीच अंतर करने में संघर्ष करता है।
लेखकों ने इन विचारों का परीक्षण करने के लिए कोविड-19 के बारे में जर्मन ट्वीट्स का एक नया, उच्च-गुणवत्ता वाला डेटासेट भी बनाया, जिससे यह सुनिश्चित हुआ कि उनके निष्कर्ष केवल अंग्रेजी तक सीमित नहीं हैं।
संक्षेप में: सोशल मीडिया पोस्ट को समझने में एआई की मदद करने के लिए, उसे विषय की एक स्पष्ट परिभाषा दें। लेकिन उसे उपयोगकर्ता के पूरे इतिहास को देने में सावधान रहें, क्योंकि यह केवल अव्यवस्था (clutter) से भ्रमित हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।