The Base-Rate Trap in Generative AI Text Detection: Why Detectors Cannot Serve as Standalone Evidence of Academic Misconduct, and Who Bears the Cost
यह शोध पत्र तर्क देता है कि जनरेटिव एआई टेक्स्ट डिटेक्टर (generative AI text detectors), बेस-रेट फैलेसी (base-rate fallacy) के कारण, शैक्षणिक कदाचार के स्टैंडअलोन साक्ष्य के रूप में संरचनात्मक रूप से अनुपयुक्त हैं, जो अस्वीकार्य रूप से उच्च फाल्स-पॉजिटिव दरों और गैर-नेटिव अंग्रेजी लेखकों पर गंभीर असमान प्रभावों का कारण बनता है, जिससे डिटेक्शन-आधारित पुलिसिंग से मूल्यांकन पुनर्रचना की ओर बदलाव आवश्यक हो जाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऐसे शहर में जासूस हैं जहाँ लगभग हर कोई निर्दोष है, लेकिन कुछ लोग गुप्त रूप से अदृश्य लबादे (cloaks) पहने हुए हैं जो उन्हें भीड़ के बाकी लोगों जैसा ही दिखाते हैं। आपके पास एक विशेष "क्लोक डिटेक्टर" गैजेट है। आपके गैजेट का बिक्री ब्रोशर कहता है कि यह 90% सटीक है, जो सुनने में बहुत शानदार लगता है। लेकिन यहाँ एक पेंच है: 10,000 लोगों के शहर में, शायद केवल 1,000 लोग लबादे पहने हुए हैं (10%), और बाकी 9,000 निश्चित रूप से नहीं पहने हुए हैं। यदि आपका गैजेट निर्दोष लोगों पर गलती करता है, तो यह गलती से 900 निर्दोष लोगों को लबादा पहने हुए के रूप में चिह्नित कर देगा। वहीं दूसरी ओर, यह वास्तव में लबादा पहनने वालों में से केवल 900 को ही पकड़ पाएगा। अचानक, आपके "90% सटीक" गैजेट ने 1,800 लोगों पर उंगली उठा दी है, लेकिन उनमें से केवल आधे ही वास्तव में दोषी हैं। यह "बेस-रेट ट्रैप" (Base-Rate Trap) है। यह विज्ञान की एक प्रसिद्ध पहेली है जो हमें दिखाती है कि कैसे अच्छे उपकरण भी बुरी तरह विफल हो सकते हैं जब वह चीज़ दुर्लभ हो जिसे आप खोज रहे हैं। यह समस्या केवल जादुई लबादों के बारे में नहीं है; यह इस बारे में है कि हम चिकित्सा, कानून और अब, स्कूलों में बड़े निर्णय कैसे लेते हैं।
यह बिल्कुल वही कहानी है जो मोनाश यूनिवर्सिटी के तंजीम इस्लाम खान का एक नया शोध पत्र हमें बताता है, जो स्कूलों में आर्टिफिशियल इंटेलिजेंस (AI) डिटेक्टरों के बारे में है। जैसे-जैसे ChatGPT जैसे AI उपकरण लोकप्रिय हुए हैं, स्कूल छात्रों द्वारा प्रस्तुत किए गए AI-जनित कार्य को पकड़ने के लिए सॉफ्टवेयर का उपयोग करने की कोशिश कर रहे हैं। शोध पत्र का तर्क है कि ये डिटेक्टर वर्तमान में इस बात के एकमात्र प्रमाण के रूप में बेकार हैं कि किसी छात्र ने AI-जनित कार्य प्रस्तुत किया है, और उनका उस तरह से उपयोग करना वास्तव में अनुचित और खतरनाक है।
लेखक ने वास्तविक छात्रों या वास्तविक निबंधों का परीक्षण नहीं किया। इसके बजाय, उन्होंने एक विशाल, सुपर-स्मार्ट कंप्यूटर सिमुलेशन बनाया—एक डिजिटल "क्या होगा अगर" मशीन। उन्होंने इसमें उन सर्वोत्तम आंकड़ों को डाला जो हमारे पास इन AI डिटेक्टरों के वास्तविक दुनिया के परीक्षणों से उपलब्ध हैं और उन सर्वोत्तम अनुमानों को डाला कि कितने छात्र वास्तव में AI-जनित कार्य प्रस्तुत करते हैं। फिर, उन्होंने यह देखने के लिए सिमुलेशन को हजारों बार चलाया कि 10,000 निबंध सबमिशन वाले एक विशिष्ट स्कूल वर्ष में क्या होगा।
सिमुलेशन ने जो पाया, वह चौंकाने वाला है। भले ही आप एक ऐसा डिटेक्टर उपयोग करें जिसे "लगभग पूर्ण" (near-perfect) माना जाता है (0.99 स्कोर के साथ), और आप यह मान लें कि 10% छात्र AI-जनित कार्य प्रस्तुत करते हैं, फिर भी डिटेक्टर सही होने के बजाय गलत होने की अधिक संभावना रखेगा। सिमुलेशन में, जब डिटेक्टर ने किसी छात्र को चिह्नित किया, तो इस बात की केवल 67.9% संभावना थी कि वे वास्तव में दोषी थे। इसका मतलब है कि आरोपित किए गए प्रत्येक तीन में से लगभग एक छात्र निर्दोष था। यदि डिटेक्टर थोड़ा कम पूर्ण है (जो अधिकांश वास्तविक डिटेक्टर हैं), तो स्थिति बहुत खराब हो जाती है। 10% की वास्तविक दर पर AI-जनित कार्य के साथ, एक मानक डिटेक्टर केवल 22.6% बार ही सही हो सकता है। दूसरे शब्दों में, प्रत्येक एक छात्र को पकड़ने के लिए, यह तीन निर्दोषों पर झूठा आरोप लगाता है।
शोध पत्र स्पष्ट करता है कि यह इसलिए नहीं है कि डिटेक्टर खराब तरीके से बनाए गए हैं; यह एक गणितीय समस्या है। शोध पत्र यह सिद्ध करता है कि यह होने की 95% निश्चितता के लिए कि चिह्नित छात्र वास्तव में दोषी है (एक मानक जो गंभीर अनुशासनात्मक मामलों में आवश्यक होता है), डिटेक्टर को लगभग असंभव रूप से अच्छा होना होगा—इतना अच्छा कि उसे वास्तव में AI-जनित कार्य प्रस्तुत करने वाले लगभग सभी छात्रों को अनदेखा करना पड़ेगा ताकि गलतियाँ करने से बचा जा सके। यह घास के ढेर में सुई खोजने की तरह है जहाँ आप सुरक्षित रहने के लिए पूरा घास का ढेर ही फेंक देते हैं; आप सुई तो नहीं पाएंगे, लेकिन आप किसी को नुकसान भी नहीं पहुँचाएंगे।
सिमुलेशन ने निष्पक्षता के बारे में एक दुखद सच्चाई भी उजागर की। शोध पत्र ने मॉडल किया कि ये डिटेक्टर उन छात्रों के साथ कैसा व्यवहार करते हैं जो अंग्रेजी को दूसरी भाषा के रूप में लिखते हैं। क्योंकि उनकी लेखन शैली कभी-कभी अधिक अनुमानित (जैसे कि एक मशीन) होती है, डिटेक्टर भ्रमित हो जाते हैं और उन्हें AI समझ लेते हैं। सिमुलेशन ने दिखाया कि यदि एक डिटेक्टर को मूल अंग्रेजी बोलने वालों के प्रति निष्पक्ष होने के लिए सेट किया जाता है, तो यह गैर-मूल भाषियों पर 16 गुना अधिक दर से झूठा आरोप लगाएगा। 10,000 छात्रों के एक विशिष्ट स्कूल में, सिमुलेशन ने भविष्यवाणी की कि लगभग 2,213 निर्दोष छात्रों पर गलत आरोप लगाया जाएगा, जिसमें गैर-मूल भाषियों को सबसे अधिक दोष झेलना पड़ेगा।
शोध पत्र निष्कर्ष निकालता है कि स्कूलों को इन डिटेक्टर स्कोर को छात्रों द्वारा AI-जनित कार्य प्रस्तुत करने के "धक्का देने वाले सबूत" (smoking gun) के रूप में मानना बंद कर देना चाहिए। गणित इसे सरल रूप से संभव नहीं बनाता है। छात्रों को पकड़ने के लिए एक ऐसे उपकरण का उपयोग करने के बजाय जो गणितीय रूप से हजारों गलतियाँ करने के लिए गारंटीकृत है, लेखक सुझाव देते हैं कि स्कूलों को यह बदलने की आवश्यकता है कि वे टेस्ट कैसे लेते हैं। उन्हें ऐसे असाइनमेंट डिजाइन करने चाहिए जिन्हें AI-जनित कार्य प्रस्तुत करना कठिन हो, जैसे मौखिक परीक्षा या समय के साथ किए जाने वाले प्रोजेक्ट। शोध पत्र इस बात पर जोर देता है कि छात्रों को गलत तरीके से आरोपित होने से बचाने का सबसे सुरक्षित तरीका यह है कि डिटेक्टरों को अंतिम निर्णय लेने के लिए छोड़ने के बजाय उन्हें रोकना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।