📊 statistics

A Distribution-Free Framework for Rewrite-Based Human-text Detection via Knockoff Filtering

यह शोध पत्र एक वितरण-मुक्त (distribution-free) ढांचे को प्रस्तुत करता है जो 'नॉकऑफ फ़िल्टरिंग' का लाभ उठाकर किसी भी रीराइट-आधारित डिटेक्टरों को बिना मॉडल पुन: प्रशिक्षित किए, LLM-जनित टेक्स्ट की पहचान करने के लिए परिमित-नमूना फॉल्स डिस्कवरी रेट (finite-sample false discovery rate) गारंटी वाले उपकरणों में परिवर्तित करता है।

मूल लेखक: Yi Liu

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yi Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो यह पता लगाने की कोशिश कर रहे हैं कि ढेर में से कौन से निबंध छात्रों द्वारा लिखे गए थे और कौन से गुप्त रूप से AI द्वारा लिखे गए थे। आपके पास एक टूल है जो किसी भी निबंध को "फिर से लिखने" (rewrite) में सक्षम है। यदि यह टूल किसी AI निबंध को फिर से लिखता है, तो वह मूल के बहुत समान दिखता है। लेकिन यदि यह टूल किसी मानव निबंध को फिर से लिखता है, तो वह नया संस्करण काफी अलग दिखता है क्योंकि AI मानव शैली को अपने स्वयं के रोबोटिक पैटर्न में ढालने की कोशिश करता है।

यह शोध पत्र इस बात का प्रस्ताव देता है कि कैसे उस रीराइटिंग टूल का उपयोग करके AI टेक्स्ट को पकड़ने का एक नया, चतुर तरीका अपनाया जा सकता है, जिसमें बिना किसी नए, जटिल AI डिटेक्टर को शुरू से प्रशिक्षित किए काम चलाया जा सके। यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) के माध्यम से बताया गया है:

1. समस्या: "अनुमान लगाने का खेल" जोखिम भरा है

वर्तमान में, कई डिटेक्टर आपको एक स्कोर देते हैं (जैसे कि एक "संदेह मीटर")। यदि स्कोर अधिक है, तो आप टेक्स्ट को AI के रूप में चिह्नित करते हैं। लेकिन एक बड़ी समस्या है: यदि आपके पास 1,000 निबंध हैं, और आप अपने "संदेह मीटर" को बहुत कम पर सेट करते हैं, तो आप 100 निर्दोष छात्रों पर धोखाधड़ी का आरोप लगा सकते हैं। आप केवल धोखेबाजों को पकड़ना ही नहीं चाहते; आप यह भी सुनिश्चित करना चाहते हैं कि आप बहुत अधिक अच्छे छात्रों पर गलत आरोप न लगाएं।

2. समाधान: "नकल" (Knockoff) की ट्रिक

लेखकों ने महसूस किया कि टेक्स्ट को फिर से लिखने की क्रिया Knockoff Filtering नामक एक सांख्यिकीय ट्रिक (statistical trick) के लिए एक आदर्श सेटअप बनाती है।

इसे एक जादुई दर्पण की तरह समझें:

मूल टेक्स्ट: आपके पास एक निबंध है (मान लीजिए "एलिस")।
नकल (The Knockoff): आप AI से "एलिस" को फिर से लिखने के लिए कहते हैं। यह पुनर्गठित लेख "नकल" है।

जादुई नियम:

यदि "एलिस" वास्तव में AI द्वारा लिखी गई थी, तो मूल और उसका पुनर्गठित संस्करण जुड़वा बच्चों की तरह होते हैं। वे इतने समान हैं कि आप पहचान नहीं सकते कि कौन सा कौन सा है। वे "विनिमेय" (exchangeable) हैं।
यदि "एलिस" किसी मानव द्वारा लिखी गई थी, तो पुनर्गठित संस्करण एक खराब नकलची की तरह है। AI मानव की नकल करने की कोशिश करता है, लेकिन परिणाम अजीब या अलग दिखता है। मूल और पुनर्गठित संस्करण जुड़वा नहीं हैं; वे अलग-अलग हैं।

3. यह फ्रेमवर्क कैसे काम करता है (तीन चरण)

शोध पत्र एक सरल तीन-चरणीय प्रक्रिया का सुझाव देता है जिसे किसी भी मौजूदा रीराइटिंग डिटेक्टर में जोड़ा जा सकता है:

दर्पण बनाना: प्रत्येक टेक्स्ट जिसे आप जांचना चाहते हैं, उसके लिए एक पुनर्गठित संस्करण (नकल) तैयार करें।
जुड़वाओं की तुलना करना: यह मापें कि मूल और पुनर्गठित संस्करण में कितना अंतर है।
- यदि वे बहुत अलग हैं, तो इसकी संभावना है कि यह मानव है (क्योंकि AI उन्हें नकल करने में संघर्ष कर रहा था)।
- यदि वे बहुत समान हैं, तो इसकी संभावना है कि यह AI है (क्योंकि AI ने अपने ही काम को फिर से लिखा है)।
"निष्पक्षता" फ़िल्टर: यह इस शोध पत्र का सबसे बड़ा नवाचार है। केवल एक रैंडम "कटऑफ लाइन" चुनने के बजाय कि कौन दोषी है, यह सिस्टम पूरे समूह को एक साथ देखता है। यह पूछता है: "यदि मैं इन लोगों को AI के रूप में चिह्नित करता हूँ, तो कितने निर्दोष लोग (मानव) गलती से पकड़े जाएंगे?"

सिस्टम स्वचालित रूप से "कटऑफ लाइन" को समायोजित करता है ताकि यह गारंटी दी जा सके कि, उदाहरण के लिए, 20% से अधिक निर्दोष लोग दोषी नहीं ठहराए जाएंगे। इसे फॉल्स डिस्कवरी रेट (FDR) कंट्रोल कहा जाता है।

4. यह एक बड़ी बात क्यों है

कोई नया प्रशिक्षण आवश्यक नहीं: आपको कोई नया, महंगा AI मॉडल बनाने की आवश्यकता नहीं है। आप किसी भी मौजूदा टूल का उपयोग कर सकते हैं जो टेक्स्ट को फिर से लिखता है और उसे निष्पक्ष और विश्वसनीय बनाने के लिए इस सांख्यिकीय ढांचे को उसमें "प्लग इन" कर सकते हैं।
हर जगह काम करता है: लेखकों ने 19 अलग-अलग विषयों (खेल से लेकर धार्मिक ग्रंथों तक) और चार अलग-अलग AI मॉडलों पर इसका परीक्षण किया। यह लगातार प्रभावी रहा।
"समरूपता" (Symmetry) की जाँच: इसके पीछे का गणित "समरूपता" के नियम पर आधारित है। इसका मतलब है: "यदि टेक्स्ट AI है, तो मूल और पुनर्गठित संस्करण के बीच का अंतर सकारात्मक या नकारात्मक होने की समान संभावना होनी चाहिए।" शोध पत्र दिखाता है कि हालांकि वास्तविक दुनिया का AI पूर्ण नहीं है, फिर भी यह इतना करीब है कि यह ट्रिक विश्वसनीय रूप से काम करती है, विशेष रूप से यदि आप मामूली पूर्वाग्रहों को ठीक करने के लिए एक छोटा "कैलिब्रेशन" कदम उठाते हैं।

5. कमी (सीमाएं)

शोध पत्र अपनी सीमाओं के बारे में ईमानदार है:

यह एक कैलिब्रेशन लेयर है, डिटेक्टर नहीं: यह फ्रेमवर्क अपने आप AI टेक्स्ट को नहीं ढूंढता; यह केवल यह सुनिश्चित करता है कि आपका मौजूदा डिटेक्टर बहुत अधिक गलतियाँ न करे।
कचरा अंदर, कचरा बाहर (Garbage In, Garbage Out): यदि आपका अंतर्निहित रीराइटिंग टूल बहुत खराब है और मानव एवं AI टेक्स्ट के बीच अंतर नहीं कर सकता है, तो यह फ्रेमवर्क जादू से उसे ठीक नहीं कर सकता। यह केवल गलतियों की दर को नियंत्रित कर सकता है, शून्य से शक्ति पैदा नहीं कर सकता।
अपूर्ण समरूपता: वास्तविक दुनिया में, AI पूरी तरह से सममित (symmetrical) नहीं है। लेखकों को गणित को पूरी तरह से काम करने योग्य बनाने के लिए एक "मीन-करेक्शन" (mean-correction) चरण जोड़ना पड़ा (जैसे एक डगमगाती मेज को सीधा करना)। यदि वे ऐसा नहीं करते हैं, तो सिस्टम या तो बहुत सख्त या बहुत उदार हो सकता है।

सारांश

इस शोध पत्र को AI डिटेक्टरों के लिए एक गुणवत्ता नियंत्रण निरीक्षक के रूप में समझें। यह एक ऐसे डिटेक्टर को लेता है जो "लापरवाह" हो सकता है (बहुत अधिक लोगों पर आरोप लगाना) और उस पर एक सुरक्षा कवच लगा देता है। यह सुनिश्चित करता है कि जब आप कहते हैं, "यह टेक्स्ट AI है," तो आप गणितीय रूप से आश्वस्त हो सकते हैं कि आप बहुत अधिक मनुष्यों पर गलत आरोप नहीं लगा रहे हैं, और यह सब बिना डिटेक्टर को फिर से प्रशिक्षित किए या उसके काम करने के तरीके को बदले किया जा सकता है।

तकनीकी सारांश: नॉकऑफ फ़िल्टरिंग के माध्यम से रीराइट-आधारित मानव-पाठ पहचान के लिए एक डिस्ट्रीब्यूशन-फ्री फ्रेमवर्क

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM)-जनित पाठ का पता लगाना एक महत्वपूर्ण चुनौती है, विशेष रूप से पृथक दस्तावेजों को वर्गीकृत करने के बजाय बड़े संग्रहों (जैसे, शैक्षणिक असाइनमेंट, समीक्षाएं, वेब पेज) की स्क्रीनिंग करते समय। मौजूदा दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं: लॉजिट-आधारित विधियाँ (टोकन संभाव्यता का विश्लेषण करना) और रीराइट-आधारित विधियाँ (मूल पाठ की तुलना LLM-जनित रीराइट के साथ करना)।

वर्तमान परिनियोजन (deployment) की एक महत्वपूर्ण सीमा 'फॉल्स डिस्कवरी रेट' (FDR) के संबंध में कठोर सांख्यिकीय गारंटी का अभाव है। एक उच्च AUROC वाला डिटेक्टर भी बड़े पैमाने पर लागू होने पर अत्यधिक संख्या में गलत आरोपों को उत्पन्न कर सकता है। इसके अलावा, कई मौजूदा विधियों के लिए मूल रीराइट मॉडल के बदलने पर पुन: प्रशिक्षण (retraining) की आवश्यकता होती है, जिससे वे भंगुर और महंगी हो जाती हैं। एक ऐसे फ्रेमवर्क की आवश्यकता है जो बेस डिटेक्टर को पुन: प्रशिक्षित किए बिना परिमित-नमूना (finite-sample) FDR गारंटी प्रदान कर सके।

कार्यप्रणाली

लेखक एक डिस्ट्रीब्यूशन-फ्री सांख्यिकीय फ्रेमवर्क प्रस्तावित करते हैं जो रीराइट-आधारित पहचान को नॉकऑफ फ़िल्टर (Candès et al., 2018; Barber and Candès, 2015) का उपयोग करके मल्टीपल हाइपोथीसिस टेस्टिंग समस्या के रूप में पुनर्गठित करता है। मुख्य अंतर्दृष्टि यह है कि रीराइट-आधारित पहचान आंतरिक रूप से "नॉकऑफ" नमूने निर्मित करती है, जिससे बिना नया क्लासिफायर प्रशिक्षित किए नॉकऑफ फ़िल्टरिंग सिद्धांत को लागू करना संभव हो जाता है।

यह फ्रेमवर्क तीन चरणों में कार्य करता है:

नॉकऑफ उत्पन्न करना: $T_1, \dots, T_n$ ग्रंथों के एक संग्रह के लिए, एक LLM प्रत्येक पाठ के लिए एक संगत रीराइट $R_i$ उत्पन्न करता है।
सांख्यिकी की गणना करना: एक तुलना सांख्यिकी $s_i = f(T_i, R_i)$ की गणना की जाती है। यह सांख्यिकी मूल पाठ और उसके रीराइट के बीच की दूरी या विषमता (asymmetry) को मापती है। फ्रेमवर्क के लिए सांख्यिकी का प्रति-सममित (antisymmetric) होना आवश्यक है (अर्थात, $f(T_i, R_i) = -f(R_i, T_i)$ )।
थ्रेशोल्डिंग और चयन: फ्रेमवर्क मानव-लिखित के रूप में वर्गीकृत किए जाने वाले ग्रंथों का चयन करने के लिए एक उपयोगकर्ता-निर्दिष्ट स्तर $q$ पर नॉकऑफ फ़िल्टरिंग नियम लागू करता है। थ्रेशोल्ड $\tau$ द्वारा निर्धारित किया जाता है:
$\tau = \min \left\{ c \in \mathbb{R}^+ : \frac{\#\{s_i \leq -c\} + 1}{\max\{\#\{s_j \geq c\}, 1\}} \leq q \right\}$
जिनका $s_i > \tau$ है, उन्हें मानव-लिखित के रूप में वर्गीकृत किया जाता है।

सैद्धांतिक आधार

फ्रेमवर्क की वैधता धारणा 1 (नॉकऑफ सममिति/Symmetry) पर निर्भर करती है: शून्य परिकल्पना (AI-जनित पाठ) के तहत, सांख्यिकी का शून्य के चारों ओर सममित होना चाहिए। विशेष रूप से, $P(f(T_i, R_i) < -a | H_i=0) = P(f(T_i, R_i) > a | H_i=0)$ ।

लेखक स्थापित करते हैं कि यह सममिति तब बनी रहती है जब रीराइट जनरेशन प्रक्रिया एक विशिष्ट विनिमय क्षमता (exchangeability) की स्थिति को संतुष्ट करती है: $P_{LLM}(T_i)K(R_i | T_i) = P_{LLM}(R_i)K(T_i | R_i)$ । हालांकि वास्तविक दुनिया के रीराइटर इस स्थिति को सटीक रूप से संतुष्ट नहीं कर सकते हैं, फ्रेमवर्क सममिति की निगरानी के लिए एक अनुभवजन्य डायग्नोस्टिक (frac+ मीट्रिक और KS-टेस्ट) शामिल करता है। जब सममिति अनुमानित (approximate) होती है, तो थ्रेशोल्डिंग से पहले शून्य वितरण को स्थानांतरित करने के लिए एक मीन-करेक्शन (mean-correction) चरण लागू किया जाता है।

मुख्य योगदान

निहित नॉकऑफ निर्माण (Implicit Knockoff Construction): लेखक प्रदर्शित करते हैं कि रीराइट-आधारित पहचान स्वाभाविक रूप से एक नॉकऑफ संरचना प्रेरित करती है, जिससे पहचान को मल्टीपल हाइपोथीसिस टेस्टिंग समस्या के रूप में पुनर्गठित करना संभव होता है।
डिस्ट्रीब्यूशन-फ्री प्रक्रिया: वे एक कैलिब्रेशन प्रक्रिया पेश करते है जो मनमाने रीराइट-आधारित सांख्यिकी को नॉकऑफ सममिति शर्त के तहत प्रमाणित परिमित-नमूना FDR नियंत्रण वाले डिटेक्टरों में परिवर्तित करती है, जिसमें बेस डिटेक्टर को पुन: प्रशिक्षित करने की आवश्यकता नहीं होती है।
सैद्धांतिक और अनुभवजन्य सत्यापन: पेपर नॉकऑफ सममिति धारणा के तहत FDR नियंत्रण के लिए सैद्धांतिक प्रमाण और विविध डोमेन एवं मॉडलों में विश्वसनीय FDR नियंत्रण और सार्थक डिटेक्शन पावर दिखाने के लिए अनुभवजन्य साक्ष्य प्रदान करता है।

प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन 19 डोमेन और चार स्रोत मॉडलों (GPT-3.5T, GPT-4o, Gemini, Llama-70B) के लिए तीन डिटेक्शन सांख्यिकी (ImBD, L2D, और Likelihood) का उपयोग करके किया गया।

FDR नियंत्रण: प्रस्तावित विधि ने लक्षित स्तरों ( $q \in \{0.2, 0.3, 0.5\}$ $q \in {0.2, 0.3, 0.5}$ ) के करीब अनुभवजन्य FDR को सफलतापूर्वक नियंत्रित किया।
- L2D और IMBD: इन विधियों ने मजबूत प्रदर्शन दिखाया। $q=0.2$ पर, देखा गया FDR 0.16 से 0.28 के बीच रहा (कुछ जोड़ों के लिए नाममात्र से थोड़ा अधिक), जबकि डिटेक्शन पावर उच्च थी (उदाहरण के लिए, L2D ने 0.833–0.941 पावर प्राप्त की)।
- Likelihood: विशिष्ट प्रशिक्षण के बिना भी, लाइकलीहुड विधि न्यूनतम FDR मुद्रास्फीति (inflation) के साथ पर्याप्त शक्ति (0.220–0.529) प्राप्त करने में सफल रही।
सममिति सत्यापन: अनुभवजन्य डायग्नोस्टिक्स (frac+ 0.5 के करीब और उच्च KS-टेस्ट p-मान) ने पुष्टि की कि AI-जनित टेक्स्ट के लिए सममिति धारणा कई मामलों में, विशेष रूप से क्रॉस-डोमेन मीन करेक्शन के बाद, लगभग सत्य है।
क्रॉस-डोमेन ट्रांसफर: होल्ड-आउट सोर्स डोमेन से नल मीन (null mean) उधार लेने से डिटेक्शन पावर में काफी सुधार हुआ, हालांकि इसने कुछ मामलों में मामूली FDR मुद्रास्फीति भी पेश की, जो पावर और सख्त FDR नियंत्रण के बीच एक ट्रेड-ऑफ को उजागर करता है।

महत्व और दावे

पेपर का दावा है कि इसका प्राथमिक योगदान एक सांख्यिकीय कैलिब्रेशन लेयर है न कि एक नया डिटेक्टर। डिटेक्शन सांख्यिकी के डिज़ाइन को फॉल्स डिस्कवरी के नियंत्रण से अलग करके, यह फ्रेमवर्क मौजूदा रीराइट-आधारित डिटेक्टरों को परिमित-नमूना FDR गारंटी विरासत में लेने की अनुमति देता है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण:

परिनियोजन-योग्य (Deployment-ready) है: यह मानव-लिखित के रूप में वर्गीकृत किए गए ग्रंथों के बीच गलत आरोपों के अपेक्षित अंश पर गारंटी प्रदान करता है।
मजबूत (Robust) है: यह बिना पुन: प्रशिक्षण के विभिन्न डिटेक्टरों और मॉडलों के लिए प्रभावी ढंग से कार्य करता है।
सीमित दायरे का है: लेखक स्वीकार करते हैं कि उनकी विधि नॉकऑफ सममिति की अनुमानित वैधता पर निर्भर करती। यदि अंतर्निहित रीराइट सांख्यिकी सूचनाहीन है या सममिति गंभीर रूप से खंडित है, तो फ्रेमवर्क इसकी भरपाई नहीं कर सकता है। इसलिए, इस पद्धति को रीराइट-आधारित डिटेक्टरों के लिए एक कैलिब्रेशन टूल के रूप में प्रस्तुत किया गया है, न कि एक स्टैंडअलोन समाधान के रूप में जो उच्च-गुणवत्ता वाले बेस सांख्यिकी की आवश्यकता को प्रतिस्थापित करता है।