Policies Permitting LLM Use for Polishing Peer Reviews Are Currently Not Enforceable
यह शोध पत्र यह प्रदर्शित करता है कि वर्तमान एआई-टेक्स्ट डिटेक्टर (AI-text detectors) पीयर रिव्यू में एलएलएम (LLM) के उपयोग की पहचान करने के लिए लागू करने योग्य नहीं हैं क्योंकि वे अक्सर एआई द्वारा पॉलिश किए गए मानव-लिखित समीक्षाओं को पूरी तरह से एआई-जनरेटेड के रूप में गलत वर्गीकृत करते हैं, जिससे अकादमिक कदाचार के झूठे आरोपों और नीति उल्लंघन के अविश्वसनीय अनुमानों की स्थिति उत्पन्न होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि पीयर रिव्यू (Peer Review) का एक उच्च-दांव वाला खेल एक विशाल, वैश्विक स्वाद-परीक्षण प्रतियोगिता (Taste-Testing Competition) के रूप में चल रहा है, जहाँ वैज्ञानिक शोध पत्रों (papers) का परीक्षण किया जाता है।
इस प्रतियोगिता में, विशेषज्ञ जज (समीक्षक) एक नई रेसिपी (पेपर) को पढ़ते हैं और एक आलोचना लिखते हैं: "यह व्यंजन स्वादिष्ट है," या "यह सॉस बहुत नमकीन है।" हाल ही में, रसोई में एक नया उपकरण आया है: AI शेफ्स (लार्ज लैंग्वेज मॉडल्स)।
कुछ प्रतियोगिता आयोजक (कॉन्फ्रेंस और जर्नल्स) ने एक नया नियम बनाया है:
"आप AI शेफ का उपयोग केवल अपनी व्याकरण (grammar) को ठीक करने, अपने वाक्यों को सुचारू बनाने और अपने लेखन के प्रवाह को बेहतर बनाने के लिए कर सकते हैं। लेकिन आपको वास्तविक राय और तर्क स्वयं लिखने होंगे।"
यह "केवल पॉलिशिंग" नीति (Polishing-Only Policy) है। यह ऐसा ही है जैसे कहना कि, "आप प्याज काटने के लिए फूड प्रोसेसर का उपयोग कर सकते हैं, लेकिन आप रोबोट को पूरा भोजन पकाने के लिए नहीं छोड़ सकते।"
बड़ा सवाल जो यह पेपर पूछता है, वह है: "क्या हम वास्तव में उन लोगों को पकड़ सकते हैं जो इस नियम को तोड़ते हैं?"
लेखकों ने यह परीक्षण करने के लिए एक विशाल डिटेक्टिव लैब (Detective Lab) बनाई कि क्या वर्तमान AI डिटेक्टरों से यह अंतर किया जा सकता है कि:
- मानव शेफ (The Human Chef): जिसने पूरी समीक्षा खुद लिखी।
- AI शेफ (The AI Chef): जिसने पूरी समीक्षा लिखी (एक स्पष्ट उल्लंघन)।
- हाइब्रिड शेफ (The Hybrid Chef): जिसने समीक्षा लिखी, लेकिन व्याकरण को पॉलिश करने के लिए AI का उपयोग किया (अनुमत)।
यहाँ उन्होंने कुछ सरल उपमाओं (analogies) का उपयोग करते हुए पाया:
1. "फॉल्स अलार्म" की समस्या (टोस्ट के लिए बजने वाला फायर अलार्म)
शोधकर्ताओं ने पांच अलग-अलग "AI डिटेक्टरों" (जैसे उन्नत स्मोक अलार्म) का परीक्षण किया।
- अच्छी खबर: यदि किसी समीक्षक ने AI को पूरी समीक्षा लिखने दी, तो डिटेक्टर इसे पकड़ने में बेहतरीन थे। वे लगभग हर बार "आग!" चिल्लाते थे।
- बुरी खबर: जब किसी समीक्षक ने समीक्षा स्वयं लिखी और केवल AI से "व्याकरण ठीक करने" के लिए कहा (अनुमत पॉलिशिंग), तब भी डिटेक्टरों ने लगभग 3% से 6% बार "आग!" चिल्लाकर गलत अलार्म दिया।
उपमा: कल्पना कीजिए कि एक कॉन्सर्ट में एक सुरक्षा गार्ड है। यदि कोई पूरा बैंड (AI-जनरेटेड समीक्षा) अंदर ले आता है, तो गार्ड उसे पकड़ लेता है। लेकिन अगर कोई प्रशंसक एक छोटा, अनुमत गिटार पिक (AI-पॉलिश की हुई समीक्षा) लेकर आता है, तो गार्ड कभी-कभी उसे पूरा बैंड समझ लेता है और उसे बाहर निकाल देता है।
- परिणाम: यदि कॉन्फ्रेंस इन डिटेक्टरों का उपयोग करके इस नियम को लागू करतीं, तो वे निर्दोष समीक्षकों पर धोखाधड़ी का गलत आरोप लगातीं। 75,000 समीक्षाओं वाले एक बड़े कॉन्फ्रेंस में, एक छोटी सी त्रुटि दर का मतलब है कि हजारों लोगों को गलत तरीके से कदाचार (misconduct) का दोषी ठहराया जा सकता है।
2. "गिरगिट" प्रभाव (The Chameleon Effect)
पेपर में "ह्यूमानाइज्ड" (Humanized) समीक्षाओं के बारे में भी चर्चा की गई है। यह तब होता है जब कोई व्यक्ति अपने AI-लिखित रिव्यू को एक "ह्यूमानाइजर" टूल के माध्यम से चलाकर डिटेक्टर को धोखा देने की कोशिश करता है (जैसे कि AI पर भेष बदलना)।
- परिणाम: डिटेक्टर भ्रमित हो गए। वे खराब AI समीक्षाओं को पकड़ना बंद कर दिए, लेकिन साथ ही उन्होंने अधिक निर्दोष, पॉलिश की गई समीक्षाओं को भी नकली बताकर फ्लैग करना शुरू कर दिया। यह एक बड़ी गड़बड़ी थी।
3. "कॉन्टेक्स्ट" (संदर्भ) के साथ सिस्टम को धोखा देने की कोशिश करना
लेखकों ने सोचा, "रुको! हमारे पास एक फायदा है! हमारे पास मूल पेपर है जिसके बारे में समीक्षा की जा रही है। शायद हम इसका उपयोग AI को पकड़ने के लिए कर सकते हैं।"
- विचार: यदि AI ने समीक्षा लिखी है, तो यह पेपर की शैली के बहुत समान लग सकती है, या यह उस सूक्ष्म बारीकी (nuance) को मिस कर सकती है जिसे एक मानव पकड़ लेता।
- वास्तविकता: उन्होंने डिटेक्टरों की मदद करने के लिए पेपर के टेक्स्ट का उपयोग करने की कोशिश की। इससे थोड़ी सी मदद मिली, लेकिन इतना नहीं कि डिटेक्टर विश्वसनीय रूप से "मानव + पॉलिश" समीक्षा और "पूर्ण AI" समीक्षा के बीच अंतर कर सकें। यह कभी-कभी संगीत के नोट्स को देखकर यह बताने जैसा है कि गाना इंसान ने लिखा है या रोबोट ने; कभी-कभी वे बिल्कुल एक जैसे दिखते हैं।
4. "मैजिक 21%" का दावा
पेपर में एक हालिया समाचार का उल्लेख है जहाँ एक कंपनी ने दावा किया कि एक प्रमुख कॉन्फ्रेंस की 21% समीक्षाएं पूरी तरह से AI द्वारा लिखी गई थीं।
- पेपर का दृष्टिकोण: लेखक कहते हैं, "एक मिनट रुकिए।" क्योंकि डिटेक्टर "पूर्ण AI" और "AI-पॉलिश की हुई मानव समीक्षा" के बीच अंतर करने में इतने खराब हैं, इसलिए वह 21% का आंकड़ा संभवतः गलत है। इसमें कई ऐसे समीक्षक शामिल हो सकते हैं जिन्होंने केवल अपने व्याकरण को ठीक करने के लिए AI का उपयोग किया था। "AI आक्रमण" रिपोर्ट किए गए आंकड़े से बहुत कम हो सकता है, या डिटेक्टर बहुत अधिक शोर (noisy) पैदा कर रहे हैं।
बड़ा निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हम वर्तमान में "पॉलिशिंग-ओनली" नीति को लागू नहीं कर सकते।
यह एक नियम लागू करने की कोशिश करने जैसा है कि "आप जोड़ (addition) के लिए कैलकुलेटर का उपयोग कर सकते हैं, लेकिन गुणा (multiplication) के लिए नहीं," लेकिन आपका कैलकुलेटर इतना खराब है कि वह कभी-कभी जोड़ को ही गुणा समझ लेता है।
- यदि आप AI को पूरी तरह से प्रतिबंधित करते हैं: तो आप उन लोगों को मिस कर सकते हैं जिन्होंने इसे पूरा लिखने के लिए उपयोग किया (क्योंकि डिटेक्टर परफेक्ट नहीं हैं)।
- यदि आप पॉलिशिंग की अनुमति देते हैं: तो आप उन लोगों को नहीं पकड़ पाएंगे जो वास्तव में धोखाधड़ी कर रहे हैं, क्योंकि डिटेक्टर उन निर्दोष लोगों को भी पकड़ लेंगे जिन्होंने केवल अपने काम को पॉलिश किया है।
सभी के लिए मुख्य बात (Takeaway):
जब तक हम बहुत अधिक स्मार्ट "डिटेक्टिव टूल्स" नहीं बना लेते, हमें AI डिटेक्टरों के आधार पर लोगों पर धोखाधड़ी का आरोप लगाने में बहुत सावधान रहना होगा। अकादमिक पीयर रिव्यू के न्यायालय के लिए यह तकनीक अभी तैयार नहीं है। समीक्षकों के लिए सबसे अच्छी सलाह क्या है? यदि आप अपने काम को पॉलिश करने के लिए AI का उपयोग करते हैं, तो AI को स्पष्ट निर्देश दें ("नए विचार न जोड़ें, केवल व्याकरण ठीक करें") और परिणाम की स्वयं जांच करें!
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।