UCSC NLP at SemEval-2026 Task 10: Boundary-Aware Span Extraction and RoBERTa Classification for Conspiracy Detection
UCSC NLP टीम के SemEval-2026 टास्क 10 (PsyCoMark) के लिए सिस्टम्स, षड्यंत्र के संकेतों और दस्तावेजों का पता लगाने के लिए हार्ड-नेगेटिव सैंपलिंग के साथ बाउंड्री-अवेयर स्पैन एक्सट्रैक्शन और RoBERTa-आधारित वर्गीकरण का उपयोग करते हैं, जिससे क्रमशः 7वें और 11वें स्थान की रैंकिंग प्राप्त हुई और एंटिटी-जैसे भूमिकाओं बनाम अमूर्त भूमिका सीमाओं में संवेदनशीलता के विरुद्ध मजबूत पहचान को रेखांकित किया गया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य को सुलझाने की कोशिश कर रहे हैं, लेकिन उंगलियों के निशान खोजने के बजाय, आप उन विशिष्ट "सामग्रियों" (ingredients) की तलाश कर रहे हैं जो किसी कहानी को एक षड्यंत्र सिद्धांत (conspiracy theory) जैसा महसूस कराती हैं। यह पेपर बताता है कि कैसे यूसी सांता क्रूज़ (UC Santa Cruz) की एक टीम ने SemEval-2026 नामक प्रतियोगिता के लिए ठीक यही काम करने के लिए एक कंप्यूटर प्रोग्राम बनाया।
यहाँ उनके काम का विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए:
दो मुख्य कार्य
प्रतियोगिता में दो अलग-अलग चुनौतियाँ थीं, जिन्हें टीम ने दो अलग-अलग "जासूसी एजेंटों" (AI मॉडल्स) के साथ हल किया।
1. सामग्री शिकारी (Subtask 1)
- लक्ष्य: वाक्य के उन विशिष्ट हिस्सों को खोजना जो एक षड्यंत्र की कहानी में भूमिका निभाते हैं। भूमिकाएँ हैं:
- अभिनेता (The Actor): बुरा काम कौन कर रहा है?
- पीड़ित (The Victim): किसे नुकसान पहुँच रहा है?
- क्रिया (The Action): वह बुरा काम क्या है?
- प्रमाण (The Evidence): क्या "सबूत" पेश किया जा रहा है?
- प्रभाव (The Effect): वह डरावना परिणाम क्या है?
- चुनौती: केवल "जेफ्री" शब्द को ढूँढना ही काफी नहीं है। कंप्यूटर को यह पता होना चाहिए कि वाक्य कहाँ शुरू होता है और कहाँ समाप्त होता है। उदाहरण के लिए, क्या "क्रिया" केवल "राज खोल दिया" (spilled the beans) है, या यह पूरा वाक्यांश "मोसाद ऑपरेशन पर राज खोल दिया" (spilled the beans on the Mossad operation) है?
- चाल (The Trick): टीम ने कंप्यूटर को एक "सीमा पूर्णतावादी" (boundary perfectionist) बनने के लिए सिखाया। उन्होंने इसे बताया: "यदि आप वाक्यांश की शुरुआत या अंत को थोड़ा भी गलत बताते हैं, तो यह मान्य नहीं होगा।" उन्होंने हार्ड-नेगेटिव माइनिंग (Hard-Negative Mining) नामक तकनीक का भी उपयोग किया। कल्पना कीजिए कि एक शिक्षक एक छात्र को बिल्ली की तस्वीर दिखाकर कहता है, "यह एक बिल्ली है।" फिर, वे एक बहुत ही रोएंदार कुत्ते की तस्वीर दिखाते हैं जो बिल्ली जैसा दिखता है और कहते हैं, "यह बिल्ली नहीं है।" यह छात्र को दोनों के बीच की महीन रेखा को समझने में मदद करता है। कंप्यूटर ने एक वास्तविक षड्यंत्र के मार्कर और उस वाक्यांश के बीच अंतर करना सीखा जो लगभग एक जैसा दिखता है लेकिन पूरी तरह से सही नहीं है।
2. कहानी का न्यायाधीश (Subtask 2)
- लक्ष्य: पूरे दस्तावेज़ को पढ़ना और तय करना: क्या यह एक षड्यंत्र सिद्धांत है? क्या यह निश्चित रूप से नहीं है? या यह बताना असंभव है?
- चाल: इस मॉडल ने पहले जासूस द्वारा खोजी गई विशिष्ट सामग्रियों को नहीं देखा। इसके बजाय, इसने एक मानव पाठक की तरह पूरी कहानी को पढ़ा, जो समग्र "वाइब" (vibe) या लहजे को देखता है। इसने एक आलोचनात्मक समाचार रिपोर्ट (जिसमें एक अभिनेता और एक पीड़ित का उल्लेख हो सकता है लेकिन वह षड्यंत्र नहीं है) और एक वास्तविक षड्यंत्र कथा (जो उन्हीं भूमिकाओं का उपयोग करती है लेकिन एक संदिग्ध, गुप्त लहजे के साथ) के बीच अंतर करना सीखा।
उन्होंने यह कैसे किया
टीम ने RoBERTa नामक एक शक्तिशाली AI मस्तिष्क का उपयोग किया। इसे एक बहुत ही पढ़े-लिखे लाइब्रेरियन के रूप में सोचें जिसने इंटरनेट पर लगभग सब कुछ पढ़ा है और समझता है कि शब्द एक-दूसरे के साथ कैसे जुड़ते हैं।
- सामग्री शिकारी के लिए: उन्होंने लाइब्रेरियन से केवल एक-एक शब्द को लेबल करने के लिए नहीं कहा। इसके बजाय, उन्होंने लाइब्रेरियन से टेक्स्ट के हर संभावित टुकड़े (32 शब्दों तक लंबे) को देखने के लिए कहा और पूछा, "क्या यह टुकड़ा 'प्रमाण' की परिभाषा में फिट बैठता है?" उन्होंने लाइब्रेरियन को इन टुकड़ों की शुरुआत और अंत की तारीखों/स्थानों के बारे में अत्यंत चयनात्मक होने के लिए प्रशिक्षित किया।
- कहानी के न्यायाधीश के लिए: उन्होंने पूरी कहानी को लाइब्रेरियन को दिया और एक साधारण निर्णय माँगा: हाँ, नहीं, या शायद।
परिणाम
जब टीम ने अपने जासूसों को आधिकारिक प्रतियोगिता में उतारा:
- सामग्री शिकारी सभी टीमों में से 7वें स्थान पर रहा। यह "अभिनेता" और "पीड़ित" (जैसे लोगों के नाम) को खोजने में बहुत अच्छा था, लेकिन यह "क्रिया" या "प्रभाव" जैसे अधिक अमूर्त (abstract) हिस्सों के साथ संघर्ष करता रहा, जहाँ वाक्यांश की सीमाएँ धुंधली होती हैं।
- कहानी का न्यायाधीश 12वें स्थान पर रहा। यह एक षड्यंत्र की कहानी और एक सामान्य समाचार कहानी के बीच अंतर करने में काफी अच्छा था।
उन्होंने क्या सीखा ("अहा!" क्षण)
- सटीकता कठिन है: कंप्यूटर ने सबसे बड़ी गलती वाक्यांश की शुरुआत और अंत को थोड़ा गलत करने में की। यदि "प्रमाण" शब्द "रिपोर्ट" था, तो कंप्यूटर कभी-कभी "एक रिपोर्ट" या "एक रिपोर्ट के अनुसार" का अनुमान लगाता था। प्रतियोगिता के नियम सख्त थे: यदि आपने सटीक शब्दों को नहीं पाया, तो आपको शून्य अंक मिलते थे।
- दो सिर एक से बेहतर हैं (अलग-अलग): टीम ने निर्णय लिया कि वे दोनों जासूसों को काम करते समय एक-दूसरे से बात करने नहीं देंगे। उन्होंने सोचा, "यदि पहला जासूस गलती करता है, तो हम नहीं चाहते कि दूसरा जासूस उस गलती से भ्रमित हो जाए।" उन्होंने उन्हें अलग रखा और केवल अंत में उनके उत्तरों को संयोजित किया।
- "बता नहीं सकते" वाली समस्या: प्रतियोगिता में "बता नहीं सकते" नामक एक तीसरा विकल्प था। हालाँकि, अंतिम स्कोरिंग नियमों ने इस श्रेणी को अनदेखा कर दिया। इसका मतलब था कि परीक्षण के दिन कंप्यूटर का प्रदर्शन, अभ्यास के दौरान इसके प्रदर्शन से थोड़ा अलग था, क्योंकि फिनिश लाइन पर नियम थोड़े बदल गए थे।
संक्षेप में
यूसी सांता क्रूज़ की टीम ने एक ऐसी प्रणाली बनाई है जो एक बहुत ही सटीक संपादक और एक सूक्ष्म पर्यवेक्षक के रूप में कार्य करती है। उन्होंने दिखाया कि जबकि कंप्यूटर षड्यंत्र सिद्धांतों के सामग्रियों को पहचानने में बेहतर हो रहे हैं, वे अभी भी उन सामग्रियों की सटीक सीमाओं के साथ संघर्ष करते हैं। हालाँकि, वे यह तय करने के लिए कि क्या यह एक षड्यंत्र है या नहीं, एक कहानी के समग्र मिजाज को समझने में काफी अच्छे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।