Learn-to-Distance: Distance Learning for Detecting LLM-Generated Text

यहाँ शोध पत्र "LEARN-TO-DISTANCE: DISTANCE LEARNING FOR DETECTING LLM-GENERATED TEXT" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

GPT, Claude और Gemini जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) की तीव्र प्रगति ने एक महत्वपूर्ण चुनौती पैदा कर दी है: मानव-लिखित पाठ और AI-जनित पाठ के बीच अंतर करना। मौजूदा डिटेक्शन विधियाँ महत्वपूर्ण सीमाओं का सामना करती हैं:

• जीरो-शॉट विधियाँ (जैसे DetectGPT) अक्सर तब विफल हो जाती हैं जब LLM अनदेखे प्रॉम्प्ट्स या वितरण बदलावों (distribution shifts) के तहत टेक्स्ट जनरेट करता है।
• मशीन लर्निंग (ML)-आधारित विधियाँ अक्सर रीराइट-आधारित दृष्टिकोणों में निश्चित, हाथ से बनाए गए दूरी मेट्रिक्स (जैसे N-gram distance, Levenshtein distance) पर निर्भर करती हैं। ये निश्चित मेट्रिक्स विभिन्न लक्षित LLMs या डेटासेट्स के विशिष्ट ज्यामितीय गुणों के अनुकूल नहीं होते हैं, जिससे उनकी सामान्यीकरण क्षमता सीमित हो जाती है।
• एडवर्सरियल रोबस्टनेस (Adversarial Robustness): कई डिटेक्टर काफी खराब प्रदर्शन करते हैं जब टेक्स्ट को पैराफ्रेज़ किया जाता है या डिकोहेरेंस हमलों (decoherence attacks) का सामना करना पड़ता है।

यह शोध पत्र एक ऐसे डिटेक्शन एल्गोरिदम की आवश्यकता को संबोधित करता है जो अनदेखे प्रॉम्प्ट्स के प्रति मजबूत हो, विभिन्न LLM आर्किटेक्चर के अनुकूल हो, और एडवर्सरियल हेरफेर के प्रति प्रतिरोधी हो।

2. कार्यप्रणाली: लर्न-टू-डिस्टेंस (Methodology: Learn-to-Distance - L2D)

लेखक L2D प्रस्तावित करते हैं, जो एक नवीन रीराइट-आधारित डिटेक्शन फ्रेमवर्क है जो निश्चित दूरी मेट्रिक्स से आगे बढ़कर मूल और पुनर्गठित (rewritten) टेक्स्ट के बीच दूरी फंक्शन को अनुकूल रूप से सीखने (adaptively learning) पर केंद्रित है।

A. सैद्धांतिक आधार (ज्यामितीय ढांचा - Geometric Framework)

यह शोध पत्र रीराइट-आधारित डिटेक्शन के लिए एक ज्यामितीय अंतर्ज्ञान स्थापित करता है:

• सबस्पेस प्रोजेक्शन (Subspace Projection): मानव टेक्स्ट ($H$) और LLM-जनित टेक्स्ट ($M$) को सबस्पेस के रूप में मॉडल किया गया है। LLM टेक्स्ट को मानव टेक्स्ट के एक प्रतिबंधित सबस्पेस $M$ पर प्रोजेक्शन के रूप में देखा जाता है।
• रिकंस्ट्रक्शन एरर (Reconstruction Error): जब एक LLM किसी टेक्स्ट को रीराइट करता है, तो "रिकंस्ट्रक्शन एरर" (मूल और पुनर्गठित टेक्स्ट के बीच की दूरी) सैद्धांतिक रूप से मानव टेक्स्ट की तुलना में LLM-जनित टेक्स्ट के लिए कम होती है। ऐसा इसलिए है क्योंकि मानव टेक्स्ट, LLM के जेनरेशन सबस्पेस से दूर स्थित होता है।
• इष्टतम दूरी (Optimal Distance): लेखक सिद्ध करते हैं कि इष्टतम दूरी फंक्शन को LLM-जनित टेक्स्ट के जोड़ों के लिए निकट-शून्य दूरी और मानव टेक्स्ट वाले जोड़ों के लिए अधिकतम दूरी असाइन करना चाहिए। महत्वपूर्ण रूप से, यह इष्टतम फंक्शन विशिष्ट लक्षित LLM पर निर्भर करता है, जो सीखने (learning) के बजाय एक निश्चित मेट्रिक के उपयोग की आवश्यकता को न्यायोचित ठहराता है।

B. L2D एल्गोरिदम

मुख्य नवाचार एक निश्चित मेट्रिक के स्थान पर एक सीखने योग्य दूरी फंक्शन $d_\phi$ का उपयोग करना है।

1. डेटा संग्रह: सिस्टम लक्षित मॉडल से एक मानव कॉर्पस ($D_h$) और एक LLM-जनित कॉर्पस ($D_m$) एकत्र करता है।
2. रीराइटिंग (Rewriting): प्रत्येक टेक्स्ट $X$ के लिए, सिस्टम एक रीराइट मॉडल का उपयोग करके $K$ रिकंस्ट्रक्शंस $\hat{X}_1, \dots, \hat{X}_K$ उत्पन्न करता है।
3. डिस्टेंस फंक्शन: दूरी को एक लैंग्वेज मॉडल $p_\phi$ द्वारा पैरामीटराइज किया जाता है:
   $$d_\phi(X_1, X_2) = \left| \frac{\log p_\phi(X_1)}{\text{len}(X_1)} - \frac{\log p_\phi(X_2)}{\text{len}(X_2)} \right|$$
   यह फॉर्मूलेशन नॉर्मलाइज्ड लॉग-प्रोबेबिलिटीज के बीच विसंगति को मापता है।
4. ऑप्टिमाइजेशन (Optimization): पैरामीटर्स $\phi$ को मानव टेक्स्ट और LLM टेक्स्ट के औसत रिकंस्ट्रक्शन एरर के बीच के अंतर को अधिकतम करने के लिए (LoRA का उपयोग करके) फाइन-ट्यून किया जाता है:
   $$\max_\phi \left( \mathbb{E}_{X \sim D_h}[d_\phi(X, R(X))] - \mathbb{E}_{X \sim D_m}[d_\phi(X, R(X))] \right)$$
5. इन्फरेंस (Inference): एक नए टेक्स्ट को LLM-जनित के रूप में वर्गीकृत किया जाता है यदि उसका औसत रिकंस्ट्रक्शन एरर सीखे गए थ्रेशोल्ड से नीचे गिर जाता है।

3. मुख्य योगदान (Key Contributions)

• कार्यप्रणाली संबंधी: रीराइट-आधारित डिटेक्शन के लिए एक अनुकूलित दूरी सीखने वाले फ्रेमवर्क की शुरुआत, जो स्थिर मेट्रिक्स को एक सीखने योग्य, मॉडल-विशिष्ट फंक्शन से बदल देता है।
• सैद्धांतिक:
  • एक औपचारिक प्रमाण (Proposition 1) कि एक ज्यामितीय प्रोजेक्शन मॉडल के तहत मानव टेक्स्ट में अपेक्षित रिकंस्ट्रक्शन एरर, LLM टेक्स्ट की तुलना में अधिक होता है।
  • अनदेखे प्रॉम्प्ट्स के प्रति मजबूती का प्रमाण (Proposition 2)।
  • इष्टतम दूरी फंक्शन का लक्षण वर्णन (Proposition 3), जो यह दर्शाता है कि निश्चित दूरियाँ क्यों उप-इष्टतम (suboptimal) हैं।
• अनुभवजन्य (Empirical): 24 डेटासेट्स, 7 लक्षित LLMs (GPT-4o, Claude-3.5, Gemini-2.5, Llama-3 सहित) और 3 प्रकार के अनदेखे प्रॉम्प्ट्स (rewrite, expand, polish) पर व्यापक मूल्यांकन।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 12 स्टेट-ऑफ-द-आर्ट बेसलाइन्स (जिसमें DetectGPT, Fast-DetectGPT, ImBD, और RAIDAR शामिल हैं) के विरुद्ध 100 से अधिक प्रयोगात्मक सेटिंग्स आयोजित कीं।

• प्रदर्शन (Performance): L2D ने अधिकांश परिदृश्यों में उच्चतम एरिया अंडर द कर्व (AUC) प्राप्त किया।
  • इसने अलग-अलग लक्षित LLMs में 54.3% से 75.4% तक के सापेक्ष सुधार के साथ सबसे मजबूत बेसलाइन (ImBD) को पछाड़ दिया।
  • औसतन, L2D ने बेसलाइन्स की तुलना में 41.5% से 75.4% का सापेक्ष सुधार दिखाया।
• सामान्यीकरण (Generalization): L2D उच्च प्रदर्शन बनाए रखता है भले ही ट्रेनिंग और टेस्टिंग डेटा में अलग-अलग मॉडल (जैसे, GPT-4 पर ट्रेनिंग, GPT-3.5 पर टेस्टिंग) या अलग-अलग डोमेन शामिल हों।
• एब्लेशन स्टडी (Ablation Study): L2D (सीखा हुआ दूरी फंक्शन) की तुलना एक भिन्न संस्करण से की गई जो एक निश्चित प्री-ट्रेंड मॉडल (FD) का उपयोग करता है, जिससे पता चला कि सीखे गए दूरी फंक्शन ने 96% का सापेक्ष सुधार प्रदान किया, जो अनुकूलन की आवश्यकता की पुष्टि करता है।
• एडवर्सरियल रोबस्टनेस: पैराफ्रेजिंग और डिकोहेरेंस हमलों के तहत, L2D मजबूत बना रहा, जबकि अन्य शीर्ष-प्रदर्शन करने वाली विधियों (जैसे RAIDAR और ImBD) के AUC में महत्वपूर्ण गिरावट देखी गई।
• दक्षता (Efficiency): L2D का रनटाइम मौजूदा रीराइट-आधारित विधियों (RAIDAR) के तुलनीय है, फाइन-ट्यूनिंग चरण के कारण केवल मामूली वृद्धि के साथ, जो इसे तैनाती के लिए व्यावहारिक बनाता है।

5. महत्व (Significance)

यह शोध पत्र LLM डिटेक्शन रणनीतियों में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है। स्थिर, हाथ से बनाए गए मेट्रिक्स से अनुकूलित, सीखे गए दूरी फंक्शन की ओर बढ़कर, लेखक विभिन्न LLMs और प्रॉम्प्ट्स के कारण होने वाले वितरण बदलाव (distribution shift) की मौलिक समस्या को हल करते हैं।

• सैद्धांतिक अंतर्दृष्टि: यह एक कठोर ज्यामितीय स्पष्टीकरण प्रदान करता है कि रीराइट-आधारित विधियाँ क्यों काम करती हैं और उन्हें कैसे अनुकूलित किया जाए।
• व्यावहारिक प्रभाव: यह विधि वास्तविक दुनिया के परिदृश्यों में AI सामग्री का पता लगाने के लिए एक मजबूत समाधान प्रदान करती है जहाँ जेनरेशन प्रॉम्प्ट और मॉडल अज्ञात या बार-बार बदलते रहते हैं।
• ओपन सोर्स: लेखकों ने एक पायथन कार्यान्वयन जारी किया है, जो पुनरुत्पादकता (reproducibility) और इस क्षेत्र में आगे के अनुसंधान को सुगम बनाता है।

निष्कर्षतः, Learn-to-Distance (L2D) पैसिव LLM डिटेक्शन के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है, जो यह प्रदर्शित करता है कि टेक्स्ट रिकंस्ट्रक्शन एरर की ज्यामिति को अनुकूल रूप से सीखना, निश्चित सांख्यिकीय मापों पर निर्भर रहने की तुलना में श्रेष्ठ है।