तकनीकी सारांश: AdaDetectGPT

समस्या विवरण

यह शोध पत्र मानव द्वारा लिखे गए टेक्स्ट और लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा जनरेट किए गए टेक्स्ट के बीच अंतर करने की महत्वपूर्ण चुनौती को संबोधित करता है। मौजूदा अत्याधुनिक (state-of-the-art) डिटेक्टरों में से कई देखे गए टेक्स्ट के लॉग-प्रोबेबिलिटीज़ (logits) से प्राप्त सांख्यिकी पर निर्भर करते हैं, जो स्रोत LLM के वितरण (distribution) के विरुद्ध मूल्यांकित होते हैं, लेकिन लेखक का तर्क है कि केवल कच्चे लॉग-प्रोबेबिलिटीज़ (raw log-probabilities) पर निर्भर रहना उप-इष्टतम (sub-optimal) है। वर्तमान विधियाँ अक्सर जटिल परिदृश्यों में, जिनमें विभिन्न डेटासेट और मॉडल आर्किटेक्चर शामिल हैं, मानव और मशीन-जनित वितरणों के बीच के सांख्यिकीय अंतरों का पूर्ण उपयोग करने में विफल रहती हैं।

कार्यप्रणाली: AdaDetectGPT

प्रस्तावित विधि, AdaDetectGPT, एक अनुकूलित (adaptive) क्लासिफायर है जिसे प्रशिक्षण डेटा से एक "विटनेस फंक्शन" (witness function) सीखकर मौजूदा लॉजिट्स-आधारित डिटेक्टरों (विशेष रूपकर Fast-DetectGPT) को बेहतर बनाने के लिए डिज़ाइन किया गया है।

1. सांख्यिकीय ढांचा (Statistical Framework)

यह विधि दो सेटिंग्स के तहत कार्य करती है:

• व्हाइट-बॉक्स (White-box): उपयोग किया जाने वाला स्रोत LLM, टेक्स्ट जनरेट करने वाले लक्षित (target) LLM के समान है।
• ब्लैक-बॉक्स (Black-box): स्रोत LLM, लक्षित क्लोज्ड-सोर्स मॉडल का एक ओपन-सोर्स सन्निकटन (approximation) है।

मुख्य सांख्यिकी $T_w(X)$ को रूपांतरित लॉग-प्रोबेबिलिटीज़ के सामान्यीकृत योग (normalized sum) के रूप में निर्मित किया जाता है:
$$T_w(X) := \frac{\sum_{t}[w(\log q_t(X_t|X_{<t})) - \mathbb{E}_{\tilde{X}_t \sim q_t} w(\log q_t(\tilde{X}_t|X_{<t}))]}{\sqrt{\sum_{t} \text{Var}_{\tilde{X}_t \sim q_t}(w(\log q_t(\tilde{X}_t|X_{<t})))}}$$
यहाँ, $w: \mathbb{R} \to \mathbb{R}$ एक एक-आयामी विटनेस फंक्शन है जिसे लॉग-प्रोबेबिलिटीज़ पर लागू किया जाता है। Fast-DetectGPT के विपरीत, जो आइडेंटिटी फंक्शन (कच्चे लॉजिट्स) का उपयोग करता है, AdaDetectGPT डिटेक्शन पावर को अधिकतम करने के लिए $w$ को सीखता है।

2. मार्टिंगेल थ्योरी के माध्यम से थ्रेशोल्ड चयन

एक प्रमुख सैद्धांतिक योगदान वर्गीकरण थ्रेशोल्ड (classification threshold) का व्युत्पन्न है। टोकन जनरेशन प्रक्रिया को एक टाइम सीरीज़ के रूप में मॉडल करके और मार्टिंगेल सेंट्रल लिमिट थ्योरम (MCLT) को लागू करके, लेखक स्थापित करते हैं कि शून्य परिकल्पना (null hypothesis) के तहत (टेक्स्ट LLM द्वारा जनरेट किया गया है), अनुक्रम की लंबाई $L \to \infty$ होने पर सांख्यिकी $T_w(X)$, मानक सामान्य वितरण (standard normal distribution) की ओर अभिसरित (converge) होती है।

• यह एक वांछित स्तर $\alpha$ पर फॉल्स नेगेटिव रेट (FNR) को सख्ती से नियंत्रित करने के लिए एक थ्रेशोल्ड $c = z_\alpha$ ($\alpha$-क्वांटाइल) के चयन की अनुमति देता है।

3. विटनेस फंक्शन को सीखना

प्राथमिक चुनौती यह है कि एक निश्चित FNR के लिए ट्रू नेगेटिव रेट (TNR) को अधिकतम करना आमतौर पर एक ऐसा विटनेस फंक्शन प्रदान करता है जो विशिष्ट FNR स्तर $\alpha$ पर निर्भर करता है। इससे निपटने के लिए, लेखक:

• एक लोअर बाउंड (lower bound) व्युत्पन्न करते हैं जो $\alpha$ और विटनेस फंक्शन $w$ के प्रभावों को अलग करता है।
• दिखाते हैं कि इस लोअर बाउंड को अधिकतम करना एक जनसंख्या-स्तरीय मात्रा $T^{(2)*}_w$ को अधिकतम करने के बराबर है, जो $\alpha$ से स्वतंत्र है।
• B-spline बेस फंक्शन्स पर एक लीनियर फंक्शन क्लास का उपयोग करके इस अनुकूलन (optimization) को लागू करते हैं। यह अनुकूलन एक रैखिक समीकरण प्रणाली ($\Sigma \beta = \psi$) को हल करने में बदल जाता है, जिससे प्रशिक्षण प्रक्रिया कम्प्यूटेशनल रूप से कुशल हो जाती है।

मुख्य योगदान

1. अनुकूली डिटेक्शन (Adaptive Detection): एक सीखने योग्य विटनेस फंक्शन का परिचय, जो कच्चे लॉजिट्स को रूपांतरित करता है, और अनुभवजन्य रूप से सिद्ध होता है कि यह कच्चे लॉजिट्स की तुलना में मानव और मशीन टेक्स्ट के बीच बेहतर अंतर करता है।
2. सांख्यिकीय गारंटी: शोध पत्र ट्रू पॉजिटिव रेट (TPR), फॉल्स पॉजिटिव रेट (FPR), ट्रू नेगेटिव रेट (TNR) और फॉल्स नेगेटिव रेट (FNR) के लिए परिमित-नमूना त्रुटि सीमाएं (finite-sample error bounds) प्रदान करता है। विशेष रूप से, यह सिद्ध करता है कि जैसे-जैसे प्रशिक्षण नमूना आकार $n$ और अनुक्रम लंबाई $L$ बढ़ता है, क्लासिफायर का प्रदर्शन एक ओरकल क्लासिफायर के प्रदर्शन की ओर अभिसरित होता है जिसके पास इष्टतम जनसंख्या विटनेस फंक्शन तक पहुंच होती है।
3. थ्रेशोल्डिंग के लिए सैद्धांतिक आधार: FNR नियंत्रण के लिए सामान्य सन्निकटन (normal approximation) के उपयोग को न्यायसंगत बनाने के लिए MCLT का अनुप्रयोग, जो पिछले सांख्यिकीय डिटेक्टरों में अक्सर अनुपस्थित होता है।
4. कुशल अनुकूलन: विटनेस फंक्शन लर्निंग को एक सरल लीनियर सिस्टम में कम करना, जिससे जटिल नॉन-कॉन्वेक्स ऑप्टिमाइजेशन से बचा जा सके।

प्रयोगात्मक परिणाम

लेखकों ने पांच डेटासेट (SQuAD, WritingPrompts, XSum, Yelp, Essay) और विभिन्न LLMs (GPT-2, OPT, GPT-Neo, GPT-J, GPT-NeoX, Qwen2.5, Mistral, LLaMA3) पर व्यापक संख्यात्मक अध्ययन किए।

• व्हाइट-बॉक्स प्रदर्शन: AdaDetectGPT ने लगातार आठ अत्याधुनिक बेसलाइनों (DetectGPT, Fast-DetectGPT और DNAGPT सहित) को पछाड़ दिया। इसने सर्वश्रेष्ठ बेसलाइन (Fast-DetectGPT) पर 12.5% से 37% तक AUC सुधार हासिल किया।
• ब्लैक-बॉक्स प्रदर्शन: उन्नत क्लोज्ड-सोर्स मॉडल्स (GPT-4o, Claude-3.5, Gemini-2.5-Flash) से टेक्स्ट का पता लगाने के लिए एक ओपन-सोर्स प्रॉक्सी का उपयोग करते समय, AdaDetectGPT ने श्रेष्ठ प्रदर्शन बनाए रखा, जिसमें Fast-DetectGPT पर 20% तक का सुधार देखा गया।
• मजबूती (Robustness): पद्धति ने प्रतिकूल हमलों (adversarial attacks), विशेष रूप से पैराफ्रेसिंग (paraphrasing) और डिकोहेरेंस (decoherence) के विरुद्ध लचीलापन प्रदर्शित किया, जो विशिष्ट ब्लैक-बॉक्स परिदृश्यों में बेसलाइनों से क्रमशः 10% और 85% तक बेहतर रहा।
• दक्षता: विटनेस फंक्शन को प्रशिक्षित करने के लिए एक मिनट से भी कम समय और 0.5 GB से कम मेमोरी की आवश्यकता थी।

महत्व और दावे

शोध पत्र का दावा है कि यह सांख्यिकीय विश्लेषण के व्यवस्थित दृष्टिकोण के संबंध में साहित्य के अंतराल को भरता है। जहाँ पिछले कार्यों ने अनुभवजन्य प्रदर्शन पर ध्यान केंद्रित किया, वहीं यह कार्य त्रुटि दरों पर कठोर सांख्यिकीय गारंटी प्रदान करता है।

लेखक AdaDetectGPT को सांख्यिकी-आधारित और मशीन लर्निंग-आधारित विधियों के संगम पर रखते हैं। यह सांख्यिकीय विधियों की व्याख्यात्मकता (interpretability) और डेटा-दक्षता (रॉ लॉग-प्रोबेबिलिटीज़ पर निर्भरता) को बनाए रखता है, जबकि बेहतर डिटेक्शन पावर प्राप्त करने के लिए मशीन लर्निंग (विटनेस फंक्शन सीखना) की अनुकूलन क्षमता का लाभ उठाता है। इस पद्धति को मॉडल-विशिष्ट वॉटरमार्क या ब्लैक-बॉक्स ट्रेनिंग डेटा पर निर्भर किए बिना, LLM-जनित सामग्री का पता लगाने की बढ़ती आवश्यकता के लिए एक मजबूत, सैद्धांतिक रूप से आधारित समाधान के रूप में प्रस्तुत किया गया है।