Convergent assessment cannot be policed: a residual-entropy bound on authorship attribution and its consequences for integrity in quantitative disciplines

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं: "यह किसने लिखा है?" स्कूलों और विश्वविद्यालयों की दुनिया में, यह अकादमिक अखंडता का परम प्रश्न है। वर्षों से, जासूसों द्वारा उपयोग किया जाने वाला मुख्य उपकरण एक विशेष प्रकार का "फिंगरप्रिंट स्कैनर" रहा है, जिसे लंबी, बहती कहानियों—निबंधों—के लिए डिज़ाइन किया गया है। ये स्कैनर किसी व्यक्ति के लिखने के सूक्ष्म, अनूठे तरीकों को देखते हैं, जैसे कि वे कॉमा (विराम चिह्न) का उपयोग कैसे करते हैं या उनके वाक्यों की संरचना कैसी है। लेकिन यहाँ एक मोड़ है: AI चैटबॉट्स इन कहानियों को लिखने में इतने कुशल हो गए हैं कि स्कैनर संघर्ष कर रहे हैं। स्कूल इस समस्या को ठीक करने के लिए छात्रों द्वारा किए जाने वाले अन्य सभी कार्यों, जैसे गणित की समस्याओं, बहुविकल्पीय क्विज़ और कोडिंग कार्यों पर भी उसी "निबंध स्कैनर" के तर्क को लागू करने की कोशिश कर रहे हैं।

यह समझने के लिए कि यह एक मृत अंत क्यों हो सकता है, हमें दो सरल विचारों को देखने की आवश्यकता है। पहले, "सूचना" (information) को एक संदेश में मौजूद अनूठे विवरण की मात्रा के रूप में सोचें। एक लंबा निबंध एक अव्यवset, अनूठे फिंगरप्रिंट की तरह है; इसमें बहुत सारे सूक्ष्म विवरण होते हैं जो बता सकते हैं कि इसे किसने बनाया। एक गणित का उत्तर, जैसे संख्या "42", एक आदर्श, चिकने संगमरमर की तरह है। यदि दो लोग एक ही समस्या को सही ढंग से हल करते हैं, तो वे दोनों बिल्कुल एक जैसा "42" उत्पन्न करते हैं। इसमें कोई अव्यवस्था नहीं है, कोई अनूठा फिंगरप्रिंट नहीं है, और निरीक्षण के लिए कोई अतिरिक्त विवरण नहीं है। दूसरा, "लेखक निर्धारण" (authorship attribution) को उन अनूठे विवरणों का उपयोग करके यह साबित करने के कार्य के रूप में सोचें कि काम किसने किया। यदि शुरुआत में ही कोई अनूठे विवरण मौजूद नहीं हैं, तो कोई भी उन्नत तकनीक उन्हें जादुई रूप से पैदा नहीं कर सकती। यह शोध पत्र एक साहसिक प्रश्न पूछता है: क्या होता है जब हम एक चिकने संगमरमर पर फिंगरप्रिंट स्कैनर लगाने की कोशिश करते हैं?

शोध पत्र की बड़ी खोज: "चिकना संगमरमर" की समस्या

यह शोध लेख, जिसका शीर्षक "Convergent assessment cannot be policed" है, यह तर्क देता है कि स्कूल एक मौलिक गलती कर रहे हैं। वे गणित, विज्ञान और बहुविकल्पीय परीक्षणों को नियंत्रित करने के लिए निबंध-आधारित नियमों का उपयोग करने की कोशिश कर रहे हैं, लेकिन लेखक का कहना है कि यह असंभव है। ऐसा नहीं है कि AI डिटेक्टर खराब हैं या उपकरणों को सुधारने की आवश्यकता है; बल्कि यह है कि कार्य का प्रकार ही इतना पर्याप्त जानकारी नहीं रखता कि लेखक की पहचान की जा सके।

लेखक एक अवधारणा पेश करते हैं जिसे "अवशिष्ट एंट्रॉपी" (residual entropy) कहा जाता है। कल्पना कीजिए कि आप कुकीज़ बना रहे हैं। यदि आप किसी छात्र से कहें कि "एक कुकी के बारे में एक कहानी लिखें," तो वे एक कविता, एक डरावनी कहानी या एक रेसिपी लिख सकते हैं। इसे करने के लाखों तरीके हैं, और प्रत्येक संस्करण का लेखक की शैली का एक अनूठा "फिंगरप्रिंट" होता है। यह उच्च एंट्रॉपी है। लेकिन यदि आप किसी छात्र से कहें कि "X के लिए हल करें" और उत्तर "5" है, तो उस उत्तर को लिखने का केवल एक ही सही तरीका है। चाहे वह एक प्रतिभाशाली मानव हो, एक संघर्ष करता हुआ छात्र हो, या एक सुपर-इंटेलिजेंट रोबोट, परिणाम बिल्कुल एक जैसा "5" ही होगा। लेखक इसे शून्य अवशिष्ट एंट्रॉपी कहते हैं। एक बार जब उत्तर सही हो जाता है, तो विश्लेषण के लिए शून्य भिन्नता शेष रह जाती है।

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि आप वास्तव में वहां मौजूद जानकारी से अधिक जानकारी नहीं निकाल सकते। यदि उत्तर केवल एक अक्षर या संख्या है, तो वहां कोई "सिग्नल" खोजने के लिए नहीं है। इन प्रारूपों पर AI डिटेक्टरों का उपयोग करना एक पूरी तरह से चिकने, खाली कांच के टुकड़े पर फिंगरप्रिंट खोजने की कोशिश करने जैसा है। चाहे आपका सूक्ष्मदर्शी कितना भी शक्तिशाली क्यों न हो, आपको प्रिंट नहीं मिलेगा क्योंकि कांच में कोई प्रिंट है ही नहीं।

जोखिम के तीन क्षेत्र

लेखक ने 13 विषयों में 19 विभिन्न अध्ययनों के डेटा का उपयोग करके यह मानचित्रित किया कि विभिन्न स्कूली कार्य कहाँ आते हैं। उन्होंने तीन अलग-अलग "क्षेत्रों" या व्यवस्थाओं की खोज की:

1. एक्सपोज़्ड ज़ोन (खतरे का क्षेत्र): इसमें बहुविकल्पीय प्रश्न, छोटे संख्यात्मक उत्तर और मानक समस्या सेट शामिल हैं। इस क्षेत्र में, AI अविश्वसनीय रूप से अच्छा है (अक्सर बहुविकल्पीय प्रश्नों पर 96% से अधिक स्कोर करता है), लेकिन इन उत्तरों में शून्य लेखक सिग्नल होता है। पेपर का तर्क है कि इस क्षेत्र में, आप वास्तव में यह नहीं बता सकते कि काम एक इंसान ने किया है या एक रोबोट ने। यह "बताने में कठिन" होने का मामला नहीं है; बल्कि यह है कि प्रश्न "यह किसने किया?" का कोई उत्तर ही नहीं है।
2. लेटेंट ज़ोन (प्रतीक्षा कक्ष): इसमें छोटे संख्यात्मक प्रश्न शामिल हैं जहाँ AI वर्तमान में आसानी से पास होने के लिए पर्याप्त कुशल नहीं है। ये इसलिए "सुरक्षित" हैं क्योंकि AI अभी तक इतना स्मार्ट नहीं हुआ है। लेकिन लेखक चेतावनी देते हैं कि यह एक टिक-टिक करती घड़ी है। एक बार जब AI इन कार्यों में बेहतर हो जाएगा, तो "सुरक्षा" तुरंत गायब हो जाएगी क्योंकि फिर से लेखक का सिग्नल ढूँढने के लिए कुछ भी शेष नहीं बचेगा।
3. डिटेक्टेबल ज़ोन (सुरक्षित क्षेत्र): इसमें लंबे निबंध, चिंतनशील लेखन और जटिल कोडिंग प्रोजेक्ट शामिल हैं। यहाँ, उत्तर इतने विविध और अनूठे होते हैं कि AI डिटेक्टर काम कर सकते हैं। पेपर नोट करता है कि कोड में AI का पता लगाने का शोध वास्तव में सफल है क्योंकि कोड में पर्याप्त "फिंगरप्रिंट" विवरण होते हैं, एक साधारण गणितीय उत्तर के विपरीत।

चौंकाने वाले आंकड़े

जब लेखक ने एक विशिष्ट विज्ञान और इंजीनियरिंग विश्वविद्यालय कार्यक्रम पर इस तर्क को लागू किया, तो परिणाम चौंकाने वाले थे। उन्होंने पाया कि इन कार्यक्रमों में 38% अंतिम ग्रेड "एक्सपोज़्ड ज़ोन" (जैसे बहुविकल्पीय और समस्या सेट) से आते हैं। इसके विपरीत, केवल 5% मानविकी (humanities) कार्यक्रम इस जाल में फंसते हैं।

यदि आप प्रमाण के मानक को एक आपराधिक अदालती मामले (एक बहुत ऊंचे स्तर) तक बढ़ा देते हैं, तो विज्ञान और इंजीनियरिंग के छात्रों के लिए एक्सपोज्ड कार्यों की संख्या बढ़कर 52% हो जाती है। इसका अर्थ यह है कि एक विज्ञान छात्र के अंतिम ग्रेड के आधे से अधिक हिस्से के लिए, स्कूल के पास यह साबित करने का कोई तरीका नहीं है कि वास्तव में काम किसने किया, और ऐसा कोई उपकरण मौजूद नहीं है जो कभी भी ऐसा कर सके।

स्कूलों के लिए इसका क्या अर्थ है

यह शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि हम इसे ठीक करने के लिए बस बेहतर सॉफ़्टवेयर खरीद सकते हैं। लेखक स्पष्ट रूप से कहता है कि बहुविकल्पीय या गणित के प्रश्नों के लिए डिटेक्शन तकनीक में सुधार करके इस समस्या को हल नहीं किया जा सकता क्योंकि आवश्यक जानकारी वहां मौजूद ही नहीं है। "AI डिटेक्शन" के आधार पर किसी छात्र पर अनधिकृत AI का उपयोग करने का आरोप लगाना न केवल अप्रभावी है; लेखक का तर्क है कि यह साबित करना गणितीय रूप से असंभव है।

इसके बजाय, पेपर सुझाव देता है कि स्कूलों को अपनी रणनीति पूरी तरह से बदलने की आवश्यकता है:

• जिसे नियंत्रित नहीं किया जा सकता उसे नियंत्रित करने की कोशिश छोड़ दें: बहुविकल्पीय या लघु-उत्तर वाले गणित पर लेखक डिटेक्टरों का उपयोग न करें। यह समय की बर्बादी है और गलत आरोपों की ओर ले जाता है।
• खेल बदलें: यदि आप जानना चाहते हैं कि काम किसने किया, तो आपको कार्य को बदलना होगा। पर्यवेक्षित परीक्षा (supervised exams) आयोजित करें, जहाँ एक शिक्षक आपको देख रहा हो, छात्रों से व्यक्तिगत रूप से अपने विचारों को समझाने के लिए कहें, या ऐसे प्रश्न तैयार करें जो स्थानीय कक्षा के लिए विशिष्ट हों ताकि AI केवल उत्तर खोज न सके।
• सीमाओं को स्वीकार करें: "एक्सपोज़्ड ज़ोन" के लिए, एकमात्र वास्तविक सुरक्षा AI के उपयोग को रोकने में है (जैसे कि एक बंद कमरे में), न कि बाद में उसे पकड़ने की कोशिश करने में।

संक्षेप में, पेपर निष्कर्ष निकालता है कि अकादमिक अखंडता के प्रति वर्तमान "एक ही आकार के सभी के लिए उपयुक्त" (one-size-fits-all) दृष्टिकोण टूटा हुआ है। आप निबंधों के लिए बने उपकरण का उपयोग गणित की समस्याओं को नियंत्रित करने के लिए नहीं कर सकते। विज्ञान और इंजीनियरिंग शिक्षा के एक बड़े हिस्से के लिए, सवाल यह नहीं है कि "हम नकल करने वालों को कैसे पकड़ें?" बल्कि यह है कि "हम अपने परीक्षणों को इस तरह कैसे डिज़ाइन करें कि अनधिकृत AI उपयोग का प्रश्न ही अर्थहीन हो जाए?"