EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection

कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे पुस्तकालय की तरह है जहाँ किताबें इंसानों और एक नए, अविश्वसनीय रूप से तेज़ प्रकार के लाइब्रेरियन द्वारा लिखी जाती हैं: आर्टिफिशियल इंटेलिजेंस (AI)। लंबे समय तक, ये AI लाइब्रेरियन (जिन्हें लार्ज लैंग्वेज मॉडल्स कहा जाता है) केवल सरल नोट्स लिख सकते थे, लेकिन अब वे पूरी कहानियाँ, निबंध और लेख लिख सकते हैं जो लगभग बिल्कुल वैसा ही लगता है जैसे किसी इंसान ने लिखा हो। यह एक दोधारी तलवार है। एक ओर, यह रचनात्मकता के लिए एक महाशक्ति (superpower) है; दूसरी ओर, यह पहचानना मुश्किल बना देता है कि वास्तव में टेक्स्ट किसने लिखा है। यदि कोई छात्र एक निबंध जमा करता है, तो हमें कैसे पता चलेगा कि वह उसने लिखा है, AI ने लिखा है, या उसने अपने कच्चे ड्राफ्ट को सुधारने के लिए AI की मदद ली है? यह वह बड़ी पहेली है जिसे वैज्ञानिक हल करने की कोशिश कर रहे हैं: टेक्स्ट के लिए एक "झूठ पकड़ने वाला यंत्र" बनाना जो इंसान, रोबोट और इंसान-रोबोट की टीम के बीच अंतर कर सके।

इस कहानी में, चीन के शोधकर्ताओं की एक टीम ने इस पहेली को सुलझाने के लिए EVIL-Detect नामक एक नया टूल बनाया है। उन्होंने केवल एक डिटेक्टर नहीं बनाया; उन्होंने एक "डिटेक्टिव स्क्वाड" (जासूसों की टोली) बनाई है जो सच पकड़ने के लिए मिलकर काम करती है। उनके सिस्टम का परीक्षण NLPCC 2026 नामक एक प्रमुख प्रतियोगिता में किया गया था, जहाँ इसे एक कठिन चुनौती का सामना करना पड़ा: तीन प्रकार के टेक्स्ट के बीच अंतर करना—पूरी तरह से मानव लेखन, पूरी तरह से AI लेखन, और वह टेक्स्ट जो एक इंसान द्वारा लिखा गया था लेकिन फिर AI द्वारा सुधारा या पॉलिश किया गया था। जबकि अन्य तरीकों ने एक एकल मस्तिष्क का उपयोग करके उत्तर का अनुमान लगाने की कोशिश की, EVIL-Detect ने एक टीम दृष्टिकोण अपनाया, जिसमें सही उत्तर प्राप्त करने के लिए विभिन्न सुरागों को जोड़ा गया। अंतिम स्कोर में, उनके सिस्टम ने 0.8888 का मैक्रो-F1 स्कोर प्राप्त किया, और आधिकारिक मूल्यांकन में प्रथम स्थान प्राप्त किया।

समस्या: "तीन-तरफा" रहस्य

अधिकांश पुराने डिटेक्टर बाइनरी स्विच की तरह थे: वे केवल "मानव" या "AI" कह सकते थे। लेकिन वास्तविक दुनिया अधिक जटिल है। लोग अक्सर अपने व्याकरण को ठीक करने या अपने लेखन को बेहतर बनाने के लिए AI का उपयोग करते हैं। यह एक तीसरा वर्ग बनाता है: LLM-रिफाइंड टेक्स्ट (LLM-सुधारा गया टेक्स्ट)। कल्पना कीजिए कि एक छात्र एक ड्राफ्ट लिखता है (मानव), फिर AI से कहता है कि "इसे अधिक पेशेवर बनाओ" (रिफाइंड), या एक AI पूरी कहानी शून्य से लिखता है (AI)। चुनौती यह है कि "रिफाइंड" टेक्स्ट दोनों का मिश्रण जैसा दिखता है, जिससे इसे पहचानना बहुत कठिन हो जाता है।

शोधकर्ताओं ने पाया कि यदि आप बस एक कंप्यूटर को एक साथ तीनों श्रेणियों का अनुमान लगाना सिखाने की कोशिश करते हैं, तो वह भ्रमित हो जाता है। उनके परीक्षणों में, एक मानक विधि जिसने सीधे तीनों श्रेणियों को सीखने की कोशिश की, वह बहुत खराब प्रदर्शन करती है, और केवल 0.1690 का स्कोर प्राप्त करती है। यह एक कुत्ते को एक साथ तीन भाषाएँ बोलने सिखाने जैसा था; उसने बस हार मान ली।

समाधान: डिटेक्टिव स्क्वाड (EVIL-Detect)

एक बड़े मस्तिष्क के बजाय, टीम ने EVIL-Detect (जो Edit-aware View-Integrated Learning for Detection को दर्शाता है) बनाया। इस सिस्टम को चार अलग-अलग जासूसों की एक टीम के रूप में सोचें, जिनमें से प्रत्येक टेक्स्ट को अलग-अलग चश्मों के माध्यम से देखता है। वे केवल वोट नहीं देते; वे आपस में बात करते हैं और अपने मतभेदों को सुलझाते हैं ताकि अंतिम निर्णय पर पहुँच सकें।

यहाँ वे चार जासूस और वे क्या देखते हैं, दिए गए हैं:

1. "एडिट डिटेक्टिव" (सुपरवाइज्ड ट्रेनिंग): इस जासूस को यह मापने के लिए प्रशिक्षित किया गया है कि टेक्स्ट में कितना बदलाव किया गया है। यह एक इंसान की मूल शैली और अंतिम संस्करण के बीच के अंतर को देखता है। यदि टेक्स्ट शुद्ध मानव है, तो परिवर्तन शून्य है। यदि यह शुद्ध AI है, तो परिवर्तन बहुत बड़ा है। यदि यह "रिफाइंड" है, तो परिवर्तन बीच में कहीं है। यह जासूस 0 से 1 के स्लाइडिंग स्केल पर एक स्कोर देता है, जो टीम को बताता है कि टेक्स्ट कितना "संपादित" महसूस होता है।
2. "जीरो-शॉट डिटेक्टिव" (EchoPrompt): इस जासूस को विशिष्ट डेटा पर प्रशिक्षित होने की आवश्यकता नहीं है। यह एक चतुर ट्रिक का उपयोग करता है: यह टेक्स्ट से पूछता है, "क्या यह कुछ ऐसा है जो एक रोबोट कहेगा?" यह तुलना करता है कि विभिन्न AI मॉडल द्वारा उस टेक्स्ट को उत्पन्न करने की संभावना कितनी है। यदि टेक्स्ट बहुत अधिक एक रोबोट के स्वाभाविक आउटपुट जैसा लगता है, तो यह जासूस "AI-जनरेटेड" के लिए रेड फ्लैग उठाता है।
3. "वर्ड काउंट डिटेक्टिव" (लेक्सिकल स्टैटिस्टिक्स): यह जासूस छोटी, उबाऊ बारीकियों को देखता है: कुछ शब्द या अक्षरों के संयोजन कितनी बार आते हैं। इंसान और रोबोट शब्दों के अलग-अलग "फिंगरप्रिंट" का उपयोग करते हैं। यह जासूस इन पैटर्न को गिनता है ताकि यह देख सके कि टेक्स्ट मानव आदतों की ओर झुकता है या मशीन की आदतों की ओर।
4. "रूल बुक डिटेक्टिव" (टेक्स्ट रूल्स): यह सुरक्षा जाल है। यह उन स्पष्ट संकेतों को देखता है जो एक इंसान नहीं करेगा, जैसे कि बचा हुआ कंप्यूटर कोड (HTML टैग जैसे <div या <html>) या अधूरे वाक्य जो दिखाते हैं कि एक रोबोट बीच में ही रुक गया। यदि यह इन्हें देखता है, तो यह तुरंत टेक्स्ट को AI के रूप में चिह्नित कर देता है।

वे एक साथ कैसे काम करते हैं: "कॉन्फ्लिक्ट-अवेयर" मीटिंग

EVIL-Detect का जादू केवल चार जासूसों का होना नहीं है; बल्कि यह है कि वे तब कैसे व्यवहार करते हैं जब वे असहमत होते हैं। कभी-कभी "एडिट डिटेक्टिव" को लगता है कि एक टेक्स्ट "रिफाइंड" है, लेकिन "वर्ड काउंट डिटेक्टिव" को लगता है कि यह "AI" है।

केवल उनके वोटों का औसत निकालने के बजाय (जो कि एक लोकतंत्र की तरह होगा जहाँ अल्पसंख्यक राय को अनदेखा कर दिया जाता है), टीम एक कॉन्फ्लिक्ट-अवेयर फ्यूजन (Conflict-Aware Fusion) रणनीति का उपयोग करती है। उनके पास विवादों को सुलझाने के लिए नियमों का एक सेट है:

• यदि दो जासूस सहमत हैं, तो वे उसी उत्तर के साथ जाते हैं।
• यदि वे असहमत हैं, तो वे विशिष्ट सुरागों को देखते हैं। उदाहरण के लिए, यदि "एडिट डिटेक्टिव" "मानव" और "रिफाइंड" के बीच अनिश्चित है, तो टीम "जीरो-शॉट डिटेक्टिव" को यह देखने के लिए चेक करती है कि क्या AI के मजबूत संकेत हैं।
• अंत में, "रूल बुक डिटेक्टिव" का अंतिम निर्णय होता है। यदि टेक्स्ट में स्पष्ट कंप्यूटर कोड है, तो सिस्टम बाकी सब को दरकिनार कर देता है और इसे AI घोषित कर देता है।

परिणाम: प्रतियोगिता जीतना

जब टीम ने अपने सिस्टम का परीक्षण आधिकारिक प्रतियोगिता के डेटा पर किया, जिसमें अनदेखे उदाहरण भी शामिल थे जिन्हें डिटेक्टरों को तोड़ने के लिए डिज़ाइन किया गया था, तो EVIL-Detect ने अविश्वसनीय रूप से अच्छा प्रदर्शन किया।

• पहले टेस्ट सेट (testp1) पर, इसने 0.8913 का मैक्रो-F1 स्कोर प्राप्त किया।
• दूसरे, अधिक कठिन टेस्ट सेट (testp2) पर, इसने 0.8888 स्कोर किया।

सिस्टम विशेष रूप से शुद्ध AI टेक्स्ट को पहचानने में बहुत अच्छा था (उस श्रेणी में 0.9219 स्कोर किया) और इसने ट्रिकी "रिफाइंड" टेक्स्ट के साथ भी अच्छा काम किया ( 0.8407 स्कोर किया)। शोधकर्ताओं ने पाया कि "एडिट डिटेक्टिव" टीम का सबसे मजबूत एकल सदस्य था, लेकिन सिस्टम केवल शीर्ष स्थान पर इसलिए पहुँचा क्योंकि अन्य जासूसों ने उन गलतियों को ठीक करने में मदद की जो मुख्य वाले ने की थीं।

उन्होंने क्या सीखा (और क्या खारिज किया)

पेपर में कुछ अन्य विचारों का भी परीक्षण किया गया कि क्या वे काम करते हैं, और उन्होंने पाया कि कुछ लोकप्रिय तरीके वास्तव में इस विशिष्ट तीन-तरफा चुनौती में विफल रहे।

• डायरेक्ट ट्रेनिंग विफल रही: उन्होंने एक एकल AI मॉडल को सीधे तीनों श्रेणियों का "अनुमान" लगाने के लिए प्रशिक्षित करने की कोशिश की। यह एक आपदा थी, जिसने केवल 0.1690 स्कोर किया। इसने साबित कर दिया कि आप केवल डेटा को एक मॉडल में नहीं डाल सकते और उम्मीद नहीं कर सकते कि वह बिना मदद के "मानव," "AI," और "रिफाइंड" के बीच के सूक्ष्म अंतर को समझ लेगा।
• पुराने डिटेक्टर संघर्ष कर रहे थे: उन्होंने "बिनोकुलर्स" (Binoculars) नामक एक विधि का भी परीक्षण किया, जो साधारण बाइनरी डिटेक्शन के लिए अच्छी है, लेकिन इसने यहाँ केवल 0.3928 स्कोर किया। यह तीन वर्गों की जटिलता को नहीं संभाल सका।

शोधकर्ताओं का सुझाव है कि सफलता का रहस्य एक एकल "सुपर-मॉडल" नहीं था, बल्कि एक मल्टी-सिग्नल एन्सेम्बल (multi-signal ensemble) था। "एडिट स्ट्रेंथ" (कितना बदला गया), "लाइकलीहुड" (क्या यह एक रोबोट की तरह लगता है?), और "वर्ड पैटर्न्स" को जोड़कर, उन्होंने एक ऐसा सिस्टम बनाया जो आज के समय में लोग वास्तव में कैसे AI का उपयोग करते हैं, इसकी जटिल वास्तविकता को संभालने के लिए पर्याप्त मजबूत है।

संक्षेप में, EVIL-Detect दिखाता है कि AI और इंसानों की दुनिया में सच पकड़ने के लिए, आपको विशेषज्ञों की एक ऐसी टीम की आवश्यकता होती है जो बहस कर सके, समझौता कर सके और एक-दूसरे की दोबारा जाँच कर सके, न कि केवल एक अनुमान पर निर्भर रह सके।