MD-ProTector: Positioning Multiple Data-Driven Prototypes for LLM-Generated Text Detection

कल्पना कीजिए कि आप एक विशाल, शोर-शराबे वाले पुस्तकालय में कदम रख रहे हैं जहाँ हर सेकंड लाखों किताबें लिखी जा रही हैं। कुछ इंसानी हाथों से लिखी जा रही हैं, जो अपनी खामियों, गलतियों और व्यक्तिगत कहानियों से भरी हैं। अन्य 'लार्ज लैंग्वेज मॉडल्स' (LLMs) नामक सुपर-स्मार्ट रोबोटों द्वारा तैयार की जा रही हैं, जिन्होंने इंसानी लेखन की नकल करना इतनी बखूबी सीख लिया है कि वे बिल्कुल हमारे जैसे लग सकते हैं। समस्या क्या है? यह पहचानना कठिन होता जा रहा है कि अंतर क्या है। कंप्यूटर विज्ञान की दुनिया में, इसे "AI डिटेक्शन" (AI पहचान) की लड़ाई कहा जाता है। लंबे समय तक, वैज्ञानिकों ने इसे सरल "हाँ या ना" वाले डिटेक्टरों के माध्यम से हल करने की कोशिश की, जैसे कि किसी क्लब का बाउंसर जो बस एक लिस्ट चेक करता है और कहता है "इंसान" या "रोबोट"। लेकिन यह दृष्टिकोण बहुत ही उथला है। इंसान सब एक जैसे नहीं होते; एक कवि एक समाचार रिपोर्टर से अलग तरह से लिखता है, और एक रोबोट भी कई अलग-अलग शैलियों में लिख सकता है। यदि आप उन सभी विभिन्न शैलियों को केवल दो श्रेणियों में समेटने की कोशिश करते हैं, तो आप उन विवरणों को खो देते हैं जो वास्तव में महत्वपूर्ण हैं।

यहाँ शोधकर्ताओं की एक नई टीम है जो सियोल नेशनल यूनिवर्सिटी से है, जिन्होंने केवल एक अकेले बाउंसर का उपयोग करने के बजाय विशेषज्ञों की एक पूरी टीम बनाने का निर्णय लिया। उन्होंने MD-ProTector नामक एक प्रणाली बनाई। इसे एक ऐसी जासूसी एजेंसी के रूप में सोचें जिसमें केवल एक "मानव जासूस" और एक "रोबोट जासूस" नहीं है। इसके बजाय, उनके पास विशेषज्ञों की एक पूरी टीम है। एक मानव जासूस रेस्टोरेंट रिव्यूज (समीक्षाओं) का विशेषज्ञ है, दूसरा अकादमिक शोध पत्रों का, और तीसरा अनौपचारिक बातचीत का। इसी तरह, रोबोट टीम के पास भी विशेषज्ञ हैं जो यह पहचानने में माहिर हैं कि AI लेखन एक विज्ञान लेख, एक समाचार कहानी या एक काल्पनिक उपन्यास जैसा दिखता है। इन विशेषज्ञों को सामान्य "मानव" या "रोबोट" के बजाय विशिष्ट प्रकारों के लेखन को पहचानने के लिए प्रशिक्षित करके, यह प्रणाली बहुत अधिक सटीक हो जाती है। शोध पत्र दिखाता है कि यह "स्कॉड" (विशेषज्ञों की टोली) वाला दृष्टिकोण पुराने "एकल बाउंसर" पद्धति की तुलना में बेहतर काम करता है, खासकर जब लेखन शैलियाँ अजीब हों, विषय नए हों, या रोबलेट सिस्टम को धोखा देने की कोशिश कर रहे हों।

"एक-आकार-सभी-के-लिए-फिट" बाउंसर के साथ समस्या

कुछ समय के लिए, AI टेक्स्ट को पकड़ने का मानक तरीका एक सरल बाइनरी क्लासिफायर (द्विआधारी वर्गीकरण) का उपयोग करना था। कल्पना कीजिए कि आपके पास कंचों का एक बड़ा थैला है। कुछ लाल हैं (इंसानों द्वारा लिखे गए), और कुछ नीले हैं (AI द्वारा उत्पन्न)। पुराना तरीका लाल और नीले के बीच एक रेखा खोजने की कोशिश करता था। यह तब ठीक काम करता था जब सभी कंचे एक ही समान रंग के हों। लेकिन वास्तव में, "लाल" कंचे नियॉन, पेस्टल और गहरे क्रिमसन रंग के आते हैं, और "नीले" कंचे आसमानी, नेवी और इलेक्ट्रिक रंगों के होते हैं। जब आप उन सभी विभिन्न रंगों को केवल दो समूहों में जबरदस्ती डालते हैं, तो वह रेखा धुंधली हो जाती है। डिटेक्टर एक ऐसे मानव लेखक से भ्रमित हो सकता है जो रोबोट की तरह लिखता है, या एक ऐसे AI से जो इंसान की तरह लिखता है, क्योंकि वह केवल व्यापक श्रेणी को देख रहा है, विशिष्ट शैली को नहीं।

शोधकर्ताओं ने महसूस किया कि नकली को पकड़ने के लिए, आपको समूहों के भीतर की विविधता को समझने की आवश्यकता है। आप केवल यह नहीं कह सकते कि "यह मानव है"; आपको यह जानना होगा कि यह किस प्रकार का मानव लेखन है। लेकिन पेचीदा बात यह है: यदि आप केवल कंप्यूटर को यह बताते हैं, "हे, 8 अलग-अलग मानव डिटेक्टर बनाओ," तो कंप्यूटर समान समाधानों पर आ सकता है। यह ऐसे 8 डिटेक्टर बना सकता है जो बिल्कुल एक जैसे दिखते हैं, या वे सभी एक ही प्रकार के लेखन को पकड़ने की कोशिश कर सकते हैं, जिससे बाकी हिस्सा असुरक्षित रह जाता है। कंप्यूटर को एक तरीका चाहिए जिससे प्रत्येक डिटेक्टर को एक अद्वितीय कार्य मिल सके।

समाधान: विशेषज्ञ जासूसों की एक टोली

यहीं पर MD-ProTector काम आता है। टीम ने एक ऐसी प्रणाली बनाई है जो मनुष्यों और मशीनों दोनों के लिए प्रोटोटाइप का एक "बैंक" बनाती है। "प्रोटोटाइप" केवल एक विशिष्ट शैली के आदर्श, औसत उदाहरण के लिए एक तकनीकी शब्द है। एक विशाल "मानव" प्रोटोटाइप के बजाय, उनके पास 8 अलग-अलग मानव प्रोटोटाइप हैं। एक "रोबोट" प्रोटोटाइप के बजाय, उनके पास 8 अलग-अलग रोबोट प्रोटोटाइप हैं।

लेकिन वे यह कैसे सुनिश्चित करते हैं कि ये 8 प्रोटोटाइप एक ही काम न करें? उन्होंने प्रोटोटाइप पोजिशनिंग (Prototype Positioning) नामक एक विशेष प्रशिक्षण नियम बनाया।

कल्पना कीजिए कि आप अपने दोस्तों के एक समूह को स्कैवेंजर हंट (वस्तुओं की खोज) के लिए व्यवस्थित कर रहे हैं। आप केवल यह नहीं कहते, "जाओ और चीजें ढूंढो।" आप कहते, "एलिस, तुम लाल चीजें ढूंढो; बॉब, तुम नीली चीजें ढूंढो; चार्ली, तुम भारी चीजें ढूंढो।" आप उन्हें उनकी खूबियों के आधार पर विशिष्ट निर्देश देते हैं। कंप्यूटर के मस्तिष्क में, शोधकर्ता पहले यह पता लगाते हैं कि सभी "मानव" टेक्स्ट में क्या समानता है ("क्लास हब")। फिर, वे देखते हैं कि प्रत्येक विशिष्ट टेक्स्ट उस औसत से कैसे अलग है। वे प्रत्येक प्रोटोटाइप को बताते हैं: "सामान्य चीजों की चिंता मत करो; उन अद्वितीय, बचे हुए विवरणों को खोजो जो तुम्हारे समूह को विशेष बनाते हैं।"

यह प्रक्रिया प्रोटोटाइप्स को फैलने के लिए मजबूर करती है। एक प्रोटोटाइप "उद्धरणों (citations) वाले अकादमिक लेखन" को पहचानने में माहिर हो सकता है, जबकि दूसरा "स्लैंग (बोलचाल की भाषा) वाले अनौपचारिक ब्लॉग पोस्ट" को पहचानने में माहिर हो सकता है। वे एक विविध टीम बन जाते हैं, जिनमें से प्रत्येक लेखन की दुनिया के एक अलग कोने को कवर करता है।

उन्होंने क्या पाया: टोली की जीत

शोधकर्ताओं ने उपलब्ध सबसे कठिन परीक्षणों का उपयोग करके अपने नए सिस्टम का पुराने एकल-बाउंसर तरीकों के विरुद्ध परीक्षण किया। उन्होंने इसमें सब कुछ झोंक दिया: विभिन्न भाषाएं, विभिन्न विषय, और यहाँ तक कि वे रोबलेट भी जो अपनी लेखन शैली बदलकर डिटेक्टरों को धोखा देने की कोशिश कर रहे थे।

परिणाम प्रभावशाली थे। MAGE CDCM (जो डोमेन और मॉडल्स को मिलाता है) नामक एक परीक्षण में, MD-ProTector ने 95.14% का AvgRec (एक स्कोर जो मानव और रोबोट दोनों को पकड़ने के बीच संतुलन बनाता है) प्राप्त किया। यह उनके द्वारा परीक्षण किए गए सभी तरीकों में उच्चतम स्कोर था। तुलना के लिए, मानक "एकल बाउंसर" विधि (Binary CE) केवल 90.79% तक पहुँच पाई, और DeTeCtive नामक एक अन्य उन्नत विधि 94.84% तक पहुँची।

उन्होंने RAID पर भी परीक्षण किया, जो एक ऐसा बेंचमार्क है जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या डिटेक्टर उन कठिन, एडवरसेरियल हमलों (adversarial attacks) को संभाल सकते हैं जहाँ मूल स्रोत को छिपाने के लिए टेक्स्ट को जानबूझकर बिगाड़ा गया है। यहाँ, MD-ProTector ने फिर से 88.18% के AvgRec के साथ शीर्ष स्थान प्राप्त किया, जो अगले सर्वश्रेष्ठ तरीके से स्पष्ट अंतर से आगे है। इसने "फॉल्स पॉजिटिव रेट" (गलती से किसी इंसान को रोबोट कहना) को भी अविश्वसनीय रूप से कम, केवल 27.78% पर बनाए रखा, जो एक बड़ी बात है क्योंकि आप वास्तविक लोगों पर रोबोट होने का आरोप नहीं लगाना चाहते।

यहाँ तक कि जब उन्होंने उन भाषाओं पर परीक्षण किया जिन्हें उसने पहले नहीं देखा था (M4 बेंचमार्क), तो इसने बहुत अच्छा प्रदर्शन किया, हालांकि इसने पाया कि विशिष्ट चुनौतियों में इसे अन्य की तुलना में थोड़ा कठिन लगा। यह सुझाव देता है कि जबकि यह टोली बेहतरीन है, अभी भी सबसे कठिन, अनदेखी भाषाओं पर इसे कुछ काम करने की आवश्यकता है।

यह क्यों मायने रखता है

शोध पत्र सुझाव देता है कि AI को पकड़ने का भविष्य एक बड़ी, डरावनी दीवार बनाने के बारे में नहीं है; बल्कि एक स्मार्ट, अधिक विविध टीम बनाने के बारे में है। यह स्वीकार करके कि "मानव लेखन" और "AI लेखन" एक ही, एकरूप ब्लॉक नहीं हैं बल्कि कई अलग-अलग शैलियों का संग्रह हैं, MD-ProTector उन विवरणों को देखने में सक्षम होता है जिन्हें अन्य चूक जाते हैं।

शोधकर्ता सावधानीपूर्वक नोट करते हैं कि यह कोई जादुई छड़ी नहीं है जो सब कुछ हमेशा के लिए हल कर देगी। वे स्वीकार करते हैं कि यदि रोबोट और भी स्मार्ट हो जाते हैं या यदि लेखन शैलियाँ समय के साथ नाटकीय रूप से बदल जाती हैं, तो सिस्टम को अपडेट करने की आवश्यकता हो सकती है। लेकिन फिलहाल, यह "विशेषज्ञों की टोली" वाला दृष्टिकोण हमारी डिजिटल लाइब्रेरी को ईमानदार रखने का सबसे प्रभावी तरीका लगता है, यह सुनिश्चित करते हुए कि जब हम कोई कहानी पढ़ें, तो हमें पता हो कि इसे वास्तव में किसने लिखा है।