Why AI Detection Fails for Academic Integrity

नीचे एक शोध पत्र का सारांश दिया गया है, जिसके बाद एक स्वचालित जांचकर्ता द्वारा पाई गई कमियां दी गई हैं।

=== सारांश ===
कल्पना कीजिए कि स्कूल के निबंधों और शोध पत्रों की दुनिया एक विशाल, हलचल भरी लाइब्रेरी की तरह है। वर्षों से, शिक्षक और प्रोफेसर लाइब्रेरियन रहे हैं, यह सुनिश्चित करने के लिए कि शेल्फ पर मौजूद हर किताब उसी व्यक्ति द्वारा लिखी गई है जिसका नाम कवर पर है। लेकिन हाल ही में, एक नए प्रकार का रोबोट लेखक प्रकट हुआ है। ये रोबोट, जिन्हें लार्ज लैंग्वेज मॉडल्स (या LLMs) कहा जाता है, सेकंडों में पूरी कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं और जटिल विचारों को समझा सकते हैं। इसने एक घबराहट पैदा कर दी है: "हम कैसे जानें कि एक छात्र ने वास्तव में अपना निबंध लिखा है, या उसने बस रोबोट से इसे लिखने के लिए कह लिया?"

इसे हल करने के लिए, स्कूलों ने "AI डिटेक्टिव्स" (AI जासूसों) को काम पर रखना शुरू कर दिया है। ये विशेष कंप्यूटर प्रोग्राम हैं जिन्हें रोबोट द्वारा लिखे गए टेक्स्ट का पता लगाने के लिए डिज़ाइन किया गया है। विचार सरल है: यदि जासूस कहता है, "इसमें रोबोट जैसी गंध आ रही है," तो छात्र को परेशानी होती है। लेकिन यहाँ एक पेंच है: ये जासूस पूर्ण होने चाहिए, फिर भी वे अक्सर भ्रमित हो जाते हैं। वे एक ऐसे छात्र को अपराधी मान सकते हैं जिसने केवल अपनी व्याकरण सुधारने के लिए रोबट का उपयोग किया है, जबकि उस छात्र को पकड़ने में विफल रह सकते हैं जिसने पूरा लेख लिखने के लिए रोबोट का उपयोग किया और फिर उसे छिपाने की कोशिश की। यह शोध पत्र गहराई से इस बात की जांच करता है कि क्या ये AI डिटेक्टिव्स वास्तव में अपना काम कर रहे हैं, या वे केवल शैक्षणिक ईमानदारी का कबाड़ा कर रहे हैं।

---

द ग्रेट AI डिटेक्टिव फेल-ऑफ (The Great AI Detective Fail-Off)

इस अध्ययन में, नोट्रे डेम विश्वविद्यालय के शोधकर्ताओं ने AI डिटेक्टिव्स को परखने का निर्णय लिया। उन्होंने केवल नकली निबंध ही नहीं देखे; उन्होंने चार अलग-अलग क्षेत्रों: रसायन विज्ञान (Chemistry), कंप्यूटर विज्ञान (Computer Science), राजनीति विज्ञान (Political Science) और धर्मशास्त्र (Theology) से वास्तविक, प्रकाशित शोध सार (research abstracts - वैज्ञानिक पत्रों की शुरुआत में दिए गए संक्षिप्त सारांश) देखे। उन्होंने "रोबोट-पूर्व युग" (2013-2015) के शोध पत्रों की तुलना "रोबोट युग" (2023-2025) के शोध पत्रों से की।

उन्होंने यह देखने के लिए तीन अलग-अलग परिदृश्यों के साथ एक खेल सेट किया कि डिटेक्टिव्स ने कैसे प्रतिक्रिया दी:

1. मूल (The Original): एक मानव ने सार लिखा था, और किसी भी रोबोट ने इसे छुआ नहीं था।
2. हल्की पॉलिश (The Light Polish): एक मानव ने सार लिखा था, लेकिन उन्होंने रोबोट से केवल इसे "बेहतर बनाने" (व्याकरण और प्रवाह ठीक करने) के लिए कहा था।
3. पूर्ण पुनलेखन (The Full Rewrite): एक मानव ने रोबोट को पूरा लेख दिया, और रोबोट ने शून्य से एक नया सार लिखा।

फिर, उन्होंने इन टेक्स्ट को दो प्रसिद्ध व्यावसायिक AI डिटेक्टरों के माध्यम से चलाया: पैनग्राम (Pangram) और GPTZero।

"फॉल्स अलार्म" (गलत सूचना) की समस्या

पहला बड़ा आश्चर्य यह था कि डिटेक्टिव्स कितनी बार निर्दोष मनुष्यों को देखते ही "रोबोट!" चिल्लाने लगे।

• जब शोधकर्ताओं ने डिटेक्टरों को 2023-2025 के मूल, मानव-लिखित सार खिलाए, तो डिटेक्टरों ने उन्हें 8.9% से 15.0% बार AI-जनित के रूप में चिह्नित किया। इसका मतलब है कि लगभग हर दस ईमानदार शोध पत्रों में से एक को केवल अस्तित्व में होने के कारण "दोषी" का ठप्पा मिल गया।
• गैर-विज्ञान विषयों के लिए समस्या और भी खराब हो गई। धर्मशास्त्र और राजनीति विज्ञान जैसे क्षेत्रों में, डिटेक्टर रसायन विज्ञान या कंप्यूटर विज्ञान की तुलना में बहुत अधिक संदिग्ध थे। ऐसा होता है कि यदि आप एक ऐसी शैली में लिखते हैं जिसमें बहुत सारे फैंसी अकादमिक शब्दों या लंबे वाक्यों का उपयोग होता है, तो डिटेक्टर सोचते हैं कि आप एक रोबोट हैं, भले ही आप एक मानव प्रोफेसर हों।
• असली चौंकाने वाली बात क्या थी? जब उन्होंने एक ईमानदार पेपर लिया और बस रोबोट से उसे "परिष्कृत" (refine) करने या पॉलिश करने के लिए कहा, तो डिटेक्टर पागल हो गए। उन्होंने इन हल्के से संपादित (lightly edited) पेपरों को 64% से 80% बार AI-जनित के रूप में चिह्नित किया।

उपमा (Analogy): कल्पना कीजिए कि एक संग्रहालय में एक सुरक्षा गार्ड है। यदि आप टक्सीडो (फैंसी अकादमिक लेखन) पहनकर अंदर आते हैं, तो गार्ड सोचता है कि आप चोर हैं। यदि आप टक्सीडो पहनकर आते हैं और फिर अपने दोस्त से अपना बो-टाई बांधने में मदद मांगते हैं (हल्का AI संपादन), तो गार्ड आप पर हमला कर देता है। लेकिन अगर कोई चोर जोकर की पोशाक (एक पूर्ण रोबोट निबंध) पहनकर आता है, तो गार्ड उसे जाने दे सकता है यदि वह पहले अपना कॉस्ट्यूम बदल ले।

"मैजिक क्लोक" (जादुई लबादा) की समस्या

अध्ययन के दूसरे भाग में "ह्यूमानाइज़र्स" (Humanizers) को देखा गया। ये वे उपकरण हैं जिन्हें विशेष रूप से AI डिटेक्टिव्स को धोखा देने के लिए डिज़ाइन किया गया है। वे रोबोट-लिखित टेक्स्ट को इतना बदल देते हैं कि वह फिर से मानवीय दिखने लगता है।

शोधकर्ताओं ने रोबोट-लिखित सार (जिन्हें डिटेक्टिव्स को पकड़ना चाहिए था) को लिया और उन्हें Undetectable AI नामक ह्यूमानाइज़र के माध्यम से चलाया। परिणाम चौंकाने वाला था।

• ह्यूमानाइज़र से पहले, डिटेक्टर अधिकांश पूर्ण रोबोट पुनलेखनों को पकड़ लेते थे।
• ह्यूमानाइज़र के बाद, डिटेक्टर पूरी तरह से अपना मानसिक संतुलन खो बैठे। वे रोबोट-लिखित टेक्स्ट में से 96% से अधिक को पकड़ने में विफल रहे। दूसरे शब्दों में, ह्यूमानाइज़र ने रोबोट पर एक "जादुई लबादा" डाल दिया, और डिटेक्टिव देख ही नहीं सके।

उपमा: यह "रेड लाइट, ग्रीन लाइट" के खेल जैसा है। AI डिटेक्टिव वह व्यक्ति है जिसकी पीठ मुड़ी हुई है। यदि एक रोबोट कमरे के आर-पार चलने की कोशिश करता है, तो डिटेक्टिव उसे पकड़ लेता है। लेकिन यदि रोबोट एक विशेष अदृश्य सूट (ह्यूमानाइज़र) पहन लेता है, तो डिटेक्टिव मुड़ता है और उसे खाली कमरा ही दिखता है। रोबोट वहीं है, लेकिन डिटेक्टिव सोचता है कि सब सुरक्षित है।

छात्रों के लिए "कैच-22" (एक दुविधा)

यह एक भयानक स्थिति पैदा करता है, जिसे लेखक "कैच-22" (एक ऐसी स्थिति जिसमें कोई जीत नहीं है) कहते हैं।

• ईमानदार छात्र जो बेहतर लिखने या व्याकरण सुधारने के लिए AI का उपयोग करते हैं, उन्हें चिह्नित किए जाने और दंडित किए जाने की संभावना है। अध्ययन में पाया गया कि ईमानदार संपादन से चिह्नित होने की संभावना 64-80% होती है।
• सामग्री उत्पन्न करने के लिए AI का उपयोग करने वाले छात्र जो इसे छिपाने के लिए ह्यूमानाइज़र का उपयोग करते हैं, उनके बचने की संभावना 96%+ होती है।

यह शोध पत्र तर्क देता है कि वर्तमान प्रणाली ईमानदार लोगों को दंडित करती है और बेईमानों को पुरस्कृत करती है। उनका सुझाव है कि डिटेक्टर वास्तव में यह नहीं देख रहे हैं कि "यह किसने लिखा है," बल्कि वे शब्दों में विशिष्ट पैटर्न पर प्रतिक्रिया दे रहे हैं, जैसे कि कितने लंबे शब्दों का उपयोग किया गया है या एक वाक्य में कितने अकादमिक शब्द भरे गए हैं। जब एक ह्यूमानाइज़र उन पैटर्न को बदल देता है, तो डिटेक्टर भ्रमित हो जाता है।

लेखक क्या निष्कर्ष निकालते हैं

शोधकर्ता बहुत स्पष्ट हैं: AI डिटेक्टिव्स का उपयोग एकमात्र प्रमाण के रूप में नहीं किया जाना चाहिए कि एक छात्र ने नकल की है।

उन्होंने पाया कि:

1. डिटेक्टिव अविश्वसनीय हैं: वे ईमानदार मानव लेखन को बहुत अधिक बार चिह्नित करते हैं, विशेष रूप से गैर-विज्ञान विषयों में।
2. ह्यूमानाइज़र्स बहुत अच्छे हैं: वे आसानी से डिटेक्टिव्स को मूर्ख बना सकते हैं, जिससे पूर्ण AI-जनित निबंध को पकड़ना असंभव हो जाता है यदि कोई उसे छिपाने की कोशिश करता है।
3. विशेषताएं मायने रखती हैं: डिटेक्टिव इस बात की परवाह अधिक करते हैं कि "लंबे शब्द" और "अकादमिक शब्दावली" क्या हैं, बजाय इसके कि वास्तव में एक मानव ने उन विचारों के बारे में सोचा या नहीं।

पेपर सुझाव देता है कि स्कूलों को इन "जादुई छड़ियों" पर भरोसा करना बंद करने की आवश्यकता है जो AI का पता लगाने का दावा करती हैं। इसके बजाय, उन्हें पूरी तस्वीर देखनी चाहिए: एक छात्र अपने काम का मसौदा कैसे तैयार करता है, उसके लेखन का इतिहास, और मानवीय निर्णय। केवल एक कंप्यूटर स्कोर पर निर्भर रहना ऐसा है जैसे किसी शिक्षक को इसलिए निकाल देना क्योंकि थर्मामीटर ने कहा कि वह बहुत गर्म है, बिना यह जांचे कि क्या वास्तव में उसे बुखार आया था या वह बस आग के पास खड़ा था।

संक्षेप में, AI डिटेक्टिव वर्तमान में अपना काम करने में विफल हो रहे हैं। वे बहुत शोर मचाने वाले हैं, आसानी से धोखा खा जाते हैं, और गलत लोगों को दंडित करते हैं। जब तक वे बेहतर नहीं हो जाते, तब तक उनका उपयोग छात्र के भाग्य का फैसला करने के लिए करना एक जोखिम भरा खेल है जिसमें ईमानदार छात्र ही हारने वाले हैं।