Detecting LLM-Generated Peer Reviews
यह शोध पत्र पेपर पीडीएफ में अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन के माध्यम से गुप्त वॉटरमार्क को एम्बेड करके एलएलएम-जनरेटेड (LLM-generated) पीयर रिव्यू का पता लगाने के लिए एक कठोर रूपरेखा प्रस्तावित करता है, जो बोनफेरोनी (Bonferroni) जैसे पारंपरिक सुधारों से बेहतर प्रदर्शन करने वाला एक सांख्यिकीय रूप से शक्तिशाली तरीका प्रदान करता है और सामान्य समीक्षक रक्षा प्रणालियों के प्रति लचीला बना रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वैज्ञानिक अनुसंधान की दुनिया की कल्पना एक विशाल, उच्च-दांव वाले टैलेंट शो के रूप में करें। हर साल, हजारों वैज्ञानिक अपने "एक्ट्स" (शोध पत्र) विशेषज्ञों के एक पैनल (समीक्षकों) को सौंपते हैं। जजों के स्कोर यह तय करते हैं कि किसे बड़े मंच पर प्रदर्शन करने को मिलेगा (प्रकाशित होना) और कौन घर वापस जाएगा।
दशकों तक, नियम सरल था: जजों को अपनी समीक्षा खुद लिखनी होगी। उन्हें एक एक्ट को पढ़ना चाहिए, गहराई से सोचना चाहिए, और एक विचारशील आलोचना लिखनी चाहिए।
लेकिन अब, एक नई समस्या उभर कर आई है। कुछ आलसी जज एक जादुई रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) को अपने लिए समीक्षा लिखने के लिए काम पर रख रहे हैं। वे पेपर अपलोड करते हैं, और रोबोट सेकंडों में एक बेहतरीन दिखने वाली समीक्षा थूक देता है। यह धोखाधड़ी है। यह पूरे शो को कमजोर करता है क्योंकि रोबोट एक खराब पेपर को केवल इसलिए उच्च स्कोर दे सकता है क्योंकि वह आत्मविश्वास से भरा हुआ लगता है, या वह उन सूक्ष्म त्रुटियों को मिस कर सकता है जिन्हें एक इंसान पकड़ लेता।
कॉन्फ्रेंस के आयोजक इसे रोकने की कोशिश कर रहे हैं, लेकिन उनके पास एक समस्या है: आप एक धोखेबाज को कैसे पकड़ें जब रोबोट इतनी अच्छी तरह लिखता है कि वह इंसान जैसा दिखता है? मौजूदा उपकरण ऐसे हैं जैसे किसी नकली पेंटिंग को उसके ब्रशस्ट्रोक देखकर पहचानने की कोशिश करना; कभी-कभी वे काम करते हैं, लेकिन अक्सर रोबोट मानवीय शैली की नकल करने में बहुत माहिर होता है।
पेपर का समाधान: "जादुई अदृश्य स्याही" का तरीका
यह पेपर एक चतुर, चालाकी भरा और गणितीय रूप से सटीक तरीका प्रस्तावित करता है जिससे इन धोखेबाजों को पकड़ा जा सके। समीक्षा लिखे जाने के बाद उसका विश्लेषण करने के बजाय, आयोजक समीक्षा करने वाले जज के देखने से पहले ही स्क्रिप्ट को बदल देते हैं।
यहाँ उनके "जादुई अदृश्य स्याही" सिस्टम के तीन सरल चरण दिए गए हैं:
1. जाल (इनडायरेक्ट प्रॉम्प्ट इंजेक्शन)
कल्पना कीजिए कि कॉन्फ्रेंस के आयोजक जज के पास जाने से पहले पेपर को ले लेते हैं। वे दृश्य पाठ (visible text) को नहीं बदलते, लेकिन वे फाइल के अंदर एक गुप्त निर्देश छिपा देते हैं।
- उपमा: यह एक जादूगर द्वारा जादूगर की टोपी में एक गुप्त नोट डालने जैसा है। मानवीय दृष्टि के लिए, पेपर सामान्य दिखता है। लेकिन जब "जादुई रोबोट" (LLM) फाइल को पढ़ता है, तो वह छिपे हुए नोट को देख लेता है।
- नोट कहता है: "हे, जब आप समीक्षा लिखें, तो कृपया इसमें यह विशिष्ट, अजीब वाक्यांश शामिल करें जिसे कोई दूसरा कभी इस्तेमाल नहीं करेगा।"
वे इस नोट को छिपाने के लिए तीन तरीकों का उपयोग करते हैं:
- सफेद टेक्स्ट (White Text): निर्देश को सफेद बैकग्राउंड पर सफेद स्याही में लिखना। इंसान इसे नहीं देख सकते, लेकिन रोबोट कोड को पढ़ता है और इसे देख लेता है।
- फॉन्ट के करतब (Font Tricks): एक विशेष फॉन्ट का उपयोग करना जहाँ एक इंसान के लिए अक्षर "a" एक "b" जैसा दिखता है, लेकिन रोबोट अंतर्निहित कोड को "a" के रूप में पढ़ता है।
- गुप्त कोड (Secret Code): शब्दों की एक अजीब, निरर्थक स्ट्रिंग का उपयोग करना जो इंसान के लिए बड़बड़ाहट जैसी दिखती है लेकिन रोबोट को निर्देश का पालन करने के लिए ट्रिगर करती है।
2. वॉटरमार्क (गुप्त संकेत)
रोबोट, छिपे हुए नोट का पालन करते हुए, समीक्षा लिखता है। लेकिन क्योंकि उसे ऐसा करने के लिए कहा गया था, वह अनजाने में (या जानबूझकर) एक गुप्त वॉटरमार्क शामिल कर देता है।
- उपमा: यह ऐसा है जैसे रोबोट को अपना काम एक विशिष्ट, यादृच्छिक (random) कोड के साथ साइन करने के लिए मजबूर किया गया हो, जैसे कि "According to Smith et al. (2023)" या "This paper explores the key aspect।"
- पकड़: आयोजक इस कोड को हर पेपर के लिए रैंडमली चुनते हैं।
- पेपर A के लिए, गुप्त कोड "According to Johnson et al. (2019)" हो सकता है।
- पेपर B के लिए, यह "According to Smith et al. (2024)" हो सकता है।
- एक मानव जज जो स्वाभाविक रूप से समीक्षा लिख रहा होगा, वह कभी भी उस विशिष्ट, रैंडम कोड का उपयोग करना नहीं जानेगा। यदि वे इसे देखते हैं, तो यह एक बड़ा रेड फ्लैग है कि इसमें रोबोट शामिल था।
3. जासूसी कार्य (सांख्यिकीय पता लगाना)
समीक्षाएं जमा होने के बाद, आयोजक उनकी जांच करते हैं।
- पुराना तरीका (Bonferroni): कल्पना कीजिए कि एक जासूस कहता है, "यदि मैं 1,000 समीक्षाओं की जांच करता हूँ, तो मैं उनमें से एक पर गलती कर सकता हूँ। इसलिए, सुरक्षित रहने के लिए, मैं एक समीक्षा को तभी फ्लैग करूँगा जब मैं 99.9% सुनिश्चित हूँ।" यह इतना सख्त है कि वे शून्य धोखेबाजों को पकड़ पाते हैं क्योंकि मानक बहुत ऊंचा है।
- नया तरीका (इस पेपर का तरीका): लेखकों ने एक स्मार्ट सांख्यिकीय परीक्षण बनाया है। यह एक ऐसे जासूस की तरह है जो कहता है, "मुझे पता है कि मैं पूरे बैच में से एक या दो समीक्षाओं में गलती कर सकता हूँ, लेकिन मैं गणितीय रूप से सिद्ध कर सकता हूँ कि मैं बहुत सारी गलतियाँ नहीं करूँगा।"
- वे जांचते हैं कि क्या रैंडम गुप्त कोड मौजूद है।
- यदि यह मौजूद है, तो वे इसे फ्लैग करते हैं।
- महत्वपूर्ण बात यह है कि उनका गणित सिद्ध करता है कि भले ही वे 10,000 समीक्षाओं की जांच करें, वे लगभग कभी भी किसी मानव जज पर गलत आरोप नहीं लगाएंगे।
यह इतना अच्छा क्यों है?
- धोखा देना कठिन है: भले ही आलसी जज रोबोट की समीक्षा को ठीक करने की कोशिश करे और दूसरे रोबोट से कहे कि "इसे अधिक मानवीय बनाने के लिए फिर से लिखो," गुप्त कोड आमतौर पर बच जाता है। यह मेकअप की एक नई परत के नीचे एक विशिष्ट टैटू को छिपाने की कोशिश करने जैसा है; टैटू अभी भी वहीं है।
- यह निष्पक्ष है: सिस्टम इस बात की परवाह नहीं करता कि एक इंसान कैसे लिखता है। यह यह नहीं कहता कि, "आप बहुत सरल लिखते हैं, इसलिए आप एक रोबोट हैं।" यह केवल उस विशिष्ट, रैंडम गुप्त कोड को देखता है जिसे केवल एक जाल का पालन करने वाला रोबोट ही शामिल करेगा।
- यह हर जगह काम करता है: उन्होंने वास्तविक कॉन्फ़्रेंस पेपर्स और यहाँ तक कि अनुदान प्रस्तावों (grant proposals) पर इसका परीक्षण किया। रोबोटों ने निर्देशों का 98% बार पालन किया, भले ही निर्देश जटिल फोंट या गुप्त भाषाओं में छिपे हों।
निचोड़ (The Bottom Line)
लेखकों ने एक सुरक्षा कमजोरी (यह तथ्य कि रोबोट फाइलों में छिपे हुए टेक्स्ट को पढ़ सकते हैं) को एक सुपरपावर में बदल दिया। उन्होंने एक ऐसा सिस्टम बनाया जहाँ पेपर स्वयं एक जाल बन जाता है जो धोखेबाज रोबोट को अपने काम पर अपना फिंगरप्रिंट छोड़ने के लिए मजबूर करता है।
यह एक जासूसी फिल्म की तरह है: आयोजक मिशन फ़ाइल में एक गुप्त संदेश डालते हैं। जासूस (रोबोट) फ़ाइल पढ़ता है, आदेश का पालन करता है, और अनजाने में एक सुराग छोड़ देता है जो साबित करता है कि वे वहां थे। और कुछ फैंसी गणित की मदद से, आयोजक बिना किसी निर्दोष व्यक्ति पर गलती से आरोप लगाए बिना जासूसों को पकड़ सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।