mdok-style at SemEval-2026 Task 10: Finetuning LLMs for Conspiracy Detection
यह शोध पत्र mdok-शैली की प्रणाली प्रस्तुत करता है, जो सीमित प्रशिक्षण डेटा की समस्या को हल करने के लिए डेटा ऑग्मेंटेशन और सेल्फ-ट्रेनिंग के साथ Qwen3-32B मॉडल को फाइनट्यून करके SemEval-2026 टास्क 10 की कॉन्सपिरेसी डिटेक्शन चुनौती में प्रतिस्पर्धी परिणाम (52 में से 8वां स्थान) प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप सोशल मीडिया प्लेटफॉर्म (Reddit) पर लोगों की एक विशाल, शोर-शराबे वाली भीड़ में एक विशिष्ट प्रकार की अफवाह को पहचानने की कोशिश कर रहे हैं। कुछ लोग केवल तथ्य साझा कर रहे हैं, जबकि अन्य जंगली साजिश के सिद्धांत (conspiracy theories) फैला रहे हैं। आपका काम एक रोबोटिक जासूस बनाना है जो एक अकेले कमेंट को सुनकर चिल्ला सके, "हाँ, यह एक साजिश है!" या "नहीं, यह सिर्फ सामान्य बातचीत है।"
यह पेपर बताता है कि कैसे mdok-style टीम ने SemEval-2026 Task 10 नामक प्रतियोगिता के लिए अपना रोबोटिक जासूस बनाया। उन्होंने इसे इस प्रकार किया, जिसे सरल भाषा में समझाया गया है:
1. समस्या: एक विशाल मस्तिष्क के लिए एक छोटी लाइब्रेरी
टीम के पास एक बड़ी समस्या थी: उनके पास एक बहुत ही स्मार्ट रोबोट था (एक लार्ज लैंग्वेज मॉडल जिसे Qwen3-32B कहा जाता है, जो 32 बिलियन "न्यूरॉन्स" वाले एक सुपर-ब्रेन की तरह है), लेकिन उनके पास प्रशिक्षण के लिए किताबों की एक बहुत छोटी लाइब्रेरी थी (लगभग 4,000 उदाहरणों वाले कमेंट्स)।
आमतौर पर, एक सुपर-ब्रेन को सिखाने के लिए एक विशाल लाइब्रेरी की आवश्यकता होती है। इतने कम उदाहरणों के साथ, रोबोट भ्रमित हो सकता है या चीजों पर "जरूरत से ज्यादा विचार" (overthink) कर सकता है। यह एक मास्टर शेफ को केवल तीन रेसिपी का उपयोग करके एक जटिल व्यंजन पकाना सिखाने जैसा है।
2. समाधान: "मैजिक कॉपी मशीन" और "स्टूडेंट-टीचर" लूप
इस छोटी लाइब्रेरी की समस्या को ठीक करने के लिए, टीम ने दो चतुर तरकीबों का उपयोग किया जो उन्होंने अपने पिछले काम (AI-जनरेटेड टेक्स्ट को पहचानने) से ली थीं।
तरकीब A: मैजिक कॉपी मशीन (डेटा ऑग्मेंटेशन)
मौजूदा कमेंट्स को केवल कॉपी करने के बजाय, उन्होंने एक "मैजिक कॉपी मशीन" का उपयोग करके उन्हीं कहानियों के थोड़े अलग संस्करण बनाए। उन्होंने केवल कॉपी-पेस्ट नहीं किया; उन्होंने:
- केस (Case) बदला: उन्होंने कुछ कमेंट्स को ALL CAPS (बड़े अक्षरों) में लिखा और कुछ को पूरी तरह से लोअरकेस (छोटे अक्षरों) में। उनका मानना था कि साजिश का सिद्धांत तब भी साजिश ही रहता है चाहे उसे चिल्लाकर बोला जाए या फुसफुसाकर।
- पहचान छिपाई: उन्होंने विशिष्ट नामों, ईमेल और फोन नंबरों को
[USER]या[PHONE]जैसे जेनेरिक टैग्स से बदल दिया। इससे रोबोट को किसी विशिष्ट व्यक्ति पर ध्यान केंद्रित करने के बजाय, साजिश के विचार पर ध्यान केंद्रित करने में मदद मिली। - अक्षरों को बदला: उन्होंने कुछ अक्षरों को अन्य वर्णमालाओं के समान दिखने वाले अक्षरों से बदल दिया (जैसे 'a' को ग्रीक 'अल्फा' से बदलना)। यह एक वेश बदलकर चलने जैसा है। इन भेषों को पहचानने के लिए रोबोट को प्रशिक्षित करके, उन्होंने यह सुनिश्चित किया कि बाद में रोबोट को विजुअल ट्रिक्स (दृश्य चालों) द्वारा धोखा देना कठिन हो जाए।
उन्होंने इन सभी कॉपियों का उपयोग नहीं किया, बल्कि केवल एक छोटा हिस्सा (10%) लिया, ताकि प्रशिक्षण संतुलित रहे।
तरकीब B: स्टूडेंट-टीचर लूप (सेल्फ-ट्रेनिंग)
यह सबसे रचनात्मक हिस्सा है। चूंकि उनके पास टेस्ट डेटा (अंतिम परीक्षा के प्रश्न) के लिए लेबल नहीं थे, इसलिए उन्होंने रोबोट को खुद को सिखाने दिया।
- टीचर (शिक्षक): पहले, उन्होंने रोबोट को छोटी, ज्ञात लाइब्रेरी पर प्रशिक्षित किया।
- एग्जाम (परीक्षा): उन्होंने रोबोट से अज्ञात टेस्ट कमेंट्स के उत्तरों का अनुमान लगाने के लिए कहा।
- फिल्टर (छलनी): रोबोट कुछ उत्तरों के बारे में बहुत आश्वस्त था (जैसे, "मुझे 99% यकीन है कि यह एक साजिश है")। टीम ने केवल उन अत्यधिक आश्वस्त अनुमानों को लिया और उन्हें "गोल्ड स्टैंडर्ड" नए प्रशिक्षण डेटा के रूप में माना।
- री-लेसन (पुनः पाठ): उन्होंने इन नए "गोल्ड" उदाहरणों को वापस रोबोट को खिलाया और उसे फिर से सिखाया। यह एक छात्र द्वारा अभ्यास परीक्षण देने, केवल उन प्रश्नों को रखने जो उसने 100% सही प्राप्त किए, और फिर और भी स्मार्ट बनने के लिए उन्हें फिर से पढ़ने जैसा है।
3. परिणाम: एक टॉप-टियर डिटेक्टिव
टीम ने अपने रोबोट को प्रतियोगिता में उतारा।
- स्कोर: उनके रोबोट ने 0.78 का स्कोर प्राप्त किया (एक ऐसे पैमाने पर जहाँ 1.0 पूर्ण है)।
- रैंकिंग: 52 टीमों में से वे 8वें स्थान पर रहे। यह उन्हें शीर्ष 20% (85वां पर्सेंटाइल) में रखता है।
दिलचस्प बात यह है कि उन्होंने पाया कि एक बहुत छोटा, सरल रोबोट (DeBERTa नामक मॉडल) भी लगभग उतना ही अच्छा प्रदर्शन कर रहा था जितना कि उनका विशाल सुपर-ब्रेन। यह सुझाव देता है कि जबकि उनकी फैंसी "मैजिक कॉपी मशीन" और "सेल्फ-टीचिंग" की तरकीबें बहुत बढ़िया रहीं, कभी-कभी एक छोटा, सस्ता उपकरण भी लगभग समान रूप से प्रभावी ढंग से काम कर सकता है।
सारांश
टीम ने एक विशाल, शक्तिशाली AI मॉडल लिया और उसे सोशल मीडिया कमेंट्स में साजिश के सिद्धांतों को पहचानने के लिए प्रशिक्षित किया। क्योंकि उनके पास पर्याप्त डेटा नहीं था, उन्होंने अधिक अभ्यास सामग्री बनाने के लिए वेशों (टेक्स्ट फॉर्मेट बदलना) का उपयोग किया और अपने स्वयं के आश्वस्त अनुमानों का उपयोग करके AI को खुद को सिखाने दिया। परिणाम एक अत्यधिक प्रतिस्पर्धी सिस्टम था जिसने 52 में से 8वां स्थान प्राप्त किया, जो यह सिद्ध करता है कि AI-जनरेटेड टेक्स्ट को पहचानने के लिए डिज़ाइन की गई तकनीकें मानव-निर्मित साजिश के सिद्धांतों को पहचानने के लिए भी उपयोग की जा सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।