Zero-Shot Stance Detection in the Wild: Dynamic Target Generation and Multi-Target Adaptation
यह शोध पत्र DGTA नामक एक नवीन ज़ीरो-शॉट स्टैंड्स डिटेक्शन कार्य प्रस्तावित करता है जो पूर्व ज्ञान के बिना कई गतिशील लक्ष्यों और उनके रुख (स्टेंस) की पहचान करता है, और यह प्रदर्शित करता है कि फाइन-ट्यून किए गए लार्ज लैंग्वेज मॉडल्स, विशेष रूप से दो-चरणीय और एकीकृत रणनीतियों के माध्यम से, एक नए निर्मित चीनी सोशल मीडिया डेटासेट पर बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हलचल भरे, अराजक बाज़ार (जैसे कि एक सोशल मीडिया फीड) से गुजर रहे हैं। इस बाज़ार में, लोग हर चीज़ पर अपनी राय चिल्ला रहे हैं: राजनेताओं, नए फोन, स्पोर्ट्स टीमों और "स्वतंत्रता" या "कॉर्पोरेट लालच" जैसे अमूर्त विचारों के बारे में।
समस्या: "अंधा" जासूस
पारंपरिक कंप्यूटर प्रोग्राम जिन्हें इन विचारों को समझने के लिए डिज़ाइन किया गया है (जिन्हें "स्टेंस डिटेक्शन" कहा जाता है), वे उन जासूसों की तरह हैं जो केवल तभी काम करते हैं जब उन्हें एक विशिष्ट "वांटेड पोस्टर" दिया जाता है। यदि आप उन्हें कहते हैं, "टेस्ला के बारे में लोग क्या सोचते हैं, यह पता लगाओ," तो वे यह काम बहुत अच्छी तरह से कर सकते हैं। लेकिन अगर कोई पास आकर कहता है, "टेस्ला महान है, लेकिन BYD बेहतर है, और NIO अजीब है," तो पारंपरिक जासूस जम जाता है। उसे नहीं पता कि BYD या NIO को कैसे देखा जाए क्योंकि वे मूल सूची में नहीं थे। वह एक पूर्व-निर्धारित लक्ष्य की प्रतीक्षा करने के लिए अटका हुआ है।
समाधान: "जंगली" जासूस
इस शोध पत्र के लेखक एक नए प्रकार के जासूस का प्रस्ताव करते हैं: DGTA (डायनेमिक टारगेट जनरेशन एंड मल्टी-टारगेट अडैप्टेशन) मॉडल। एक "वांटेड पोस्टर" की आवश्यकता होने के बजाय, यह जासूस को प्रशिक्षित किया गया है कि वह इस जंगली बाज़ार में घूमे, बातचीत को सुने और कहे:
- "हे, मैं किसी को टेस्ला के बारे में बात करते हुए सुन रहा हूँ।"
- "ओह, और वे BYD के बारे में भी चर्चा कर रहे हैं।"
- "और NIO के बारे में भी।"
- "अब, मुझे यह समझने दें कि वे प्रत्येक के बारे में क्या राय रखते हैं।"
इसे जीरो-शॉट स्टेंस डिटेक्शन इन द वाइल्ड कहा जाता है। कंप्यूटर को चलते-फिरते लक्ष्यों की सूची बनानी होती है और प्रत्येक के लिए राय का पता लगाना होता है, वह भी एक साथ।
उन्होंने प्रशिक्षण मैदान कैसे बनाया
इस नए जासूस को सिखाने के लिए, शोधकर्ताओं को केवल पुराने पाठ्यपुस्तकों का उपयोग नहीं करना था। उन्हें एक विशाल, नया प्रशिक्षण मैदान बनाना पड़ा जिसमें वास्तविक चीनी सोशल मीडिया पोस्ट (वीबो) का उपयोग किया गया था।
- भीड़: उन्होंने 240 अलग-अलग उपयोगकर्ताओं से 125,000 से अधिक पोस्ट एकत्र किए।
- सफाई: उन्होंने शुद्ध टेक्स्ट को छोड़ने के लिए इमोजी, लिंक और यूजरनेम को हटा दिया।
- शिक्षक: उन्होंने डेटा को लेबल करने के लिए केवल एक मानव को काम पर नहीं रखा। उन्होंने लेबलिंग के लिए तीन अलग-अलग AI मॉडलों की एक "समिति" का उपयोग किया। यदि तीन में से दो मॉडल इस बात पर सहमत थे कि लक्ष्य क्या था और राय क्या थी, तो उन्होंने उसे रख लिया। यदि वे असहमत थे, तो उन्होंने उसे बाहर कर दिया। फिर मानव विशेषज्ञों ने काम की दोबारा जांच की।
- परिणाम: लगभग 71,000 पोस्टों का एक उच्च-गुणवत्ता वाला डेटासेट, जिसमें एकल-लक्ष्य रैलियों से लेकर एक ही वाक्य में तीन या चार अलग-अलग विषयों वाले जटिल तर्क शामिल थे।
प्रशिक्षण विधियाँ: एक-चरणीय बनाम दो-चरणीय
शोधकर्ताओं ने अपने "लार्ज लैंग्वेज मॉडल्स" (सुपर-स्मार्ट AI दिमाग) को यह काम सिखाने के लिए दो अलग-अलग तरीके आजमाए:
- "ऑल-इन-वन" शेफ (इंटीग्रेटेड स्ट्रैटेजी): इस मॉडल को बताया जाता है, "इस टेक्स्ट को पढ़ें, सभी लक्ष्यों को खोजें और प्रत्येक के लिए राय बताएं, यह सब एक ही बार में।" यह एक ऐसे शेफ की तरह है जो भोजन को काटने, पकाने और परोसने का काम एक साथ करता है।
- असेंबली लाइन (टू-स्टेज स्ट्रैटेजी): यह काम को विभाजित करता है।
- स्टेशन 1: एक मॉडल टेक्स्ट को पढ़ता है और बस लक्ष्यों की सूची बनाता है (जैसे बारकोड पढ़ने वाला स्कैनर)।
- स्टेशन 2: एक अलग मॉडल उस सूची और मूल टेक्स्ट को लेता है और यह तय करता है कि राय सकारात्मक, नकारात्मक या तटस्थ है। यह एक ऐसे व्यक्ति की तरह है जो पहले सामग्री ढूंढता है और दूसरा व्यक्ति खाना पकाता है।
परिणाम: कौन जीता?
उन्होंने अपने मॉडल्स का परीक्षण पुराने, सरल प्रोग्रामों और उन मॉडल्स के विरुद्ध किया जो बिना विशेष रूप से प्रशिक्षित हुए (प्रॉम्प्टेड मॉडल्स) केवल निर्देशों को पढ़ते हैं।
- विजेता: विशेष रूप से प्रशिक्षित (फाइन-ट्यून्ड) AI मॉडल्स ने प्रतियोगिता को पछाड़ दिया।
- "ऑल-इन-वन" विजेता: DeepSeek-R1 नामक एक मॉडल (जिसे जवाब देने से पहले "सोचने" के लिए प्रशिक्षित किया गया है) राय का पता लगाने में सबसे अच्छा बना। इसने सटीकता पर 79.26% का स्कोर प्राप्त किया।
- "टू-स्टेप" विजेता: Qwen2.5 नामक मॉडल केवल लक्ष्यों को खोजने में सबसे अच्छा था, जिसने 66.99% का स्कोर किया।
- सबक: AI को विशेष रूप से इस बिखरे हुए, वास्तविक दुनिया के काम के लिए प्रशिक्षित करने से यह सामान्य निर्देश देने की तुलना में बहुत बेहतर हुआ। साथ ही, जो मॉडल्स को "तर्क करने" (चरण-दर-चरण सोचने) के लिए सिखाया गया था, वे उन मॉडल्स से बेहतर थे जो केवल अनुमान लगाते थे।
चुनौतियां (जहाँ जासूस लड़खड़ाता है)
विशिष्ट स्थितियों में यहाँ तक कि सर्वश्रेष्ठ मॉडल्स को भी कठिनाई हुई:
- बहुत अधिक लक्ष्य: जब एक वाक्य में तीन या चार अलग-अलग विषय होते थे, तो मॉडल्स भ्रमित हो जाते थे और उन्हें आपस में मिला देते थे।
- छिपे हुए अर्थ: यदि कोई व्यंग्य या रूपक का उपयोग करता था (जैसे कि एक खराब साझेदारी को दर्शाने के लिए "सेब और चरवाहे की शादी" कहना), तो मॉडल्स कभी-कभी नकारात्मक स्वर को पकड़ नहीं पाते थे और उसे तटस्थ समझ लेते थे।
- अस्पष्ट लक्ष्य: यदि लक्ष्य कोई स्पष्ट नाम (जैसे "ट्रंप") नहीं बल्कि एक अमूर्त विचार (जैसे "व्यवस्था की अन्यायपूर्णता") था, तो मॉडल्स उसे सटीक रूप से पकड़ने में संघर्ष करते थे, हालांकि वे यह खोजने में अच्छे थे कि किसी चीज़ पर चर्चा की जा रही है।
सारांश में
यह शोध पत्र कंप्यूटर को यह सिखाने का एक नया तरीका पेश करता है कि बिना किसी पूर्व-निर्मित विषयों की सूची के सोशल मीडिया बहसों को कैसे समझा जाए। एक विशाल, सावधानीपूर्वक जांचे गए डेटासेट का निर्माण करके और AI मॉडल्स को या तो "पूरी तरह से सोचने" या "असेंबली लाइन में काम करने" के लिए प्रशिक्षित करके, उन्होंने एक ऐसी प्रणाली बनाई जो स्वचालित रूप से पहचान सकती है कि लोग किसके बारे में बात कर रहे हैं और वे उनके बारे में क्या सोचते हैं, यहाँ तक कि इंटरनेट के अराजक और अप्रत्याशित "जंगल" में भी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।