💬 NLP

SrDetection: A Self-Referential Framework for Data Leakage Detection in Code Large Language Models

यह शोध पत्र SrDetection को प्रस्तुत करता है, जो एक स्व-संदर्भित ढांचा (self-referential framework) है जो मूल बेंचमार्क नमूनों के विरुद्ध उनके अर्थपूर्ण रूप से समकक्ष वेरिएंट्स पर मॉडल के प्रदर्शन की तुलना करके कोड लार्ज लैंग्वेज मॉडल्स में डेटा लीकेज की पहचान करता है, और बाहरी थ्रेशोल्ड या मालिकाना प्रशिक्षण डेटा पर निर्भर किए बिना ग्रे-बॉक्स और ब्लैक-बॉक्स दोनों सेटिंग्स में मौजूदा विधियों की तुलना में काफी अधिक पहचान सटीकता प्राप्त करता है।

मूल लेखक: Shuaimin Li, Liyang Fan, Zeyang Li, Zhuoyue Wan, Yufang Lin, Shiwen Ni, Feiteng Fang, Hamid Alinejad-Rokny, Yuanfeng Song, Kun Jing, Chen Jason Zhang, Min Yang

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuaimin Li, Liyang Fan, Zeyang Li, Zhuoyue Wan, Yufang Lin, Shiwen Ni, Feiteng Fang, Hamid Alinejad-Rokny, Yuanfeng Song, Kun Jing, Chen Jason Zhang, Min Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र की अंतिम परीक्षा का मूल्यांकन करने की कोशिश कर रहे हैं। आप यह जानना चाहते हैं कि क्या छात्र वास्तव में विषय को समझता है या उसने केवल उस चीट शीट (नकल के नोट्स) को रट लिया है जो उसे पहले मिली थी। आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से Code Large Language Models (Code LLMs) में, इस "चीट शीट" को डेटा लीकेज (data leakage) कहा जाता है। यह तब होता है जब एक मॉडल अनजाने में प्रशिक्षण चरण (training phase) के दौरान सटीक प्रश्नों को "पढ़" लेता है, जिससे वह वास्तव में जितना होशियार है, उससे कहीं अधिक स्मार्ट दिखने लगता है।

यह शोध पत्र एक नया टूल पेश करता है जिसे SrDetection कहा जाता है ताकि इस धोखाधड़ी को पकड़ा जा सके। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

समस्या: टूटी हुई स्टॉपवॉच और गायब कुंजी (Missing Answer Key)

वर्तमान में, एक चीटिंग करने वाले AI को पकड़ने की कोशिश करना एक ऐसे पहेली को सुलझाने जैसा है जिसके टुकड़े गायब हैं।

"गायब उत्तर कुंजी" की समस्या (The "Missing Answer Key" Problem): यह जांचने के लिए कि क्या मॉडल ने किसी प्रश्न को रटा है, आपको आमतौर पर मॉडल की गुप्त 'ट्रेनिंग डायरी' (वह डेटा जिससे उसने सीखा है) देखने की आवश्यकता होती है। लेकिन कंपनियाँ इन डायरियों को निजी रखती हैं। हम इसके अंदर नहीं देख सकते।
"टूटी हुई स्टॉपवॉच" की समस्या (The "Broken Stopwatch" Problem): कुछ लोग कोड लिखे जाने की तारीख की जांच करके यह अनुमान लगाने की कोशिश करते हैं कि क्या मॉडल ने किसी प्रश्न को देखा था। यदि कोड मॉडल के प्रशिक्षित होने के बाद लिखा गया था, तो वे मान लेते हैं कि मॉडल उसे नहीं देख सकता था। लेकिन यह अविश्वसनीय है क्योंकि कोड को अक्सर पुराने प्रोजेक्ट्स से कॉपी, पेस्ट और पुन: उपयोग किया जाता है, जिससे तारीखें भ्रमित करने वाली हो जाती हैं।
"मनमानी रेखा" की समस्या (The "Arbitrary Line" Problem): अन्य विधियाँ एक निश्चित नियम सेट करने की कोशिश करती हैं (जैसे "यदि मॉडल 90% सुनिश्चित है, तो यह धोखाधड़ी है")। लेकिन कोड जटिल होता है; जो एक प्रकार के कोड के लिए उच्च स्कोर दिखता है, वह दूसरे के लिए सामान्य हो सकता है। हर चीज़ के लिए एक ही नियम सेट करना अक्सर विफल रहता है।

समाधान: "स्व-संदर्भित" दर्पण (The "Self-Referential" Mirror)

लेखकों ने SrDetection बनाया है, जो एक चतुर जासूस की तरह काम करता है जिसे न तो गुप्त डायरी की आवश्यकता है और न ही स्टॉपवॉच की। इसके बजाय, यह एक दर्पण का उपयोग करता है।

यहाँ उपमा दी गई है:
कल्पive कि आपके पास कागज के एक टुकड़े पर लिखा एक विशिष्ट वाक्य है: "The quick brown fox jumps over the lazy dog."

पुराना तरीका: आप AI से पूछते हैं, "क्या तुम यह वाक्य जानते हो?" यदि वह बहुत आत्मविश्वास के साथ "हाँ" कहता है, तो आपको संदेह होता है कि उसने इसे रट लिया है। लेकिन हो सकता है कि यह केवल एक बहुत ही सामान्य वाक्य हो, इसलिए आत्मविश्वास पूर्ण प्रमाण नहीं है।
SrDetection का तरीका: जासूस उस मूल वाक्य को लेता है और उसके 10 थोड़े अलग संस्करण बनाता है जो बिल्कुल वही अर्थ रखते हैं लेकिन सतह पर अलग दिखते हैं।
- मूल: "The quick brown fox jumps..."
- वेरिएंट 1: "The speedy brown fox leaps..."
- वेरिएंट 2: "A fast brown fox hops..."
  (तर्क समान है, लेकिन शब्द बदल दिए गए हैं।)

फिर, जासूस AI को उन सभी को प्रोसेस करने के लिए कहता है।

"अहा!" क्षण (The "Aha!" Moment):
यदि AI ने मूल वाक्य को रट (memorized) लिया है, तो वह मूल संस्करण को बहुत आसानी से पूरा कर लेगा (क्योंकि उसने इसे पहले देखा है) लेकिन वेरिएंट्स (अलग संस्करणों) पर वह लड़खड़ा सकता है या हिचकिचा सकता है (क्योंकि उसने उन विशिष्ट शब्द संयोजनों को नहीं देखा है)।

धोखाधड़ी (The Cheat): मूल संस्करण अपने भाई-बहनों की तुलना में बहुत आसान है।
ईमानदार छात्र (The Honest Student): मूल और वेरिएंट सभी लगभग एक ही कठिनाई के होते हैं क्योंकि AI केवल तर्क को समझ रहा है, न कि एक स्क्रिप्ट को दोहरा रहा है।

यह दो मोड में कैसे काम करता है

शोध पत्र दिखाता है कि यह दो अलग-अलग परिदृश्यों में कैसे काम करता है:

ग्रे-बॉक्स (The "Inside Look"): आप AI के आंतरिक आत्मविश्वास स्कोर देख सकते हैं (जैसे उसकी धड़कन देखना)। SrDetection यह जांचता है कि क्या मूल कोड AI की "धड़कन" को शांत और स्थिर बनाता है, जबकि वेरिएंट उसे घबरा देते हैं।
ब्लैक-बॉक्स (The "Outside Look"): आप केवल AI द्वारा दिया गया अंतिम उत्तर देख सकते हैं। SrDetection यह जांचता है कि क्या मूल कोड के लिए AI का उत्तर एक सटीक, हूबहू मिलान है, जबकि इसके वेरिएंट के उत्तर थोड़े कम सटीक या कम व्यवस्थित हो सकते हैं।

परिणाम: एक बेहतर जासूस

लेखकों ने एक विशेष "प्रशिक्षण मैदान" (testbed) बनाया जहाँ वे ठीक से नियंत्रित कर सकते थे कि AI ने कौन सा कोड देखा और कौन सा नहीं, ताकि केवल इस नए टूल का परीक्षण किया जा सके।

स्कोर: अन्य विधियों की तुलना में, SrDetection नेв चेaters (धोखेबाजों) को पकड़ने में बहुत बेहतर प्रदर्शन किया। इसने "इंसाइड लुक" परिदृश्य में सटीकता (F1 स्कोर) में लगभग 21 अंक और "आउटसाइड लुक" परिदृश्य में 14 अंक का सुधार किया।
कोई निश्चित नियम नहीं: अन्य उपकरणों के विपरीत, इसे किसी पूर्व-निर्धारित "पास/फेल" रेखा की आवश्यकता नहीं है। यह बस मूल की तुलना उसके अपने भाई-बहनों से करता है। यदि मूल संस्करण संदिग्ध रूप से आसान खड़ा होता है, तो यह उसे फ्लैग (चिह्नित) कर देता है।

उन्होंने वास्तविक दुनिया में क्या पाया

शोधकर्ताओं ने 15 लोकप्रिय कोड AI मॉडल का चार प्रसिद्ध कोडिंग बेंचमार्क पर परीक्षण किया। उन्होंने पाया कि:

कुछ मॉडलों में विशिष्ट परीक्षणों (जैसे APPS और BigCodeBench डेटासेट) पर "धोखाधड़ी" का उच्च स्तर था।
धोखाधड़ी की मात्रा विशिष्ट परीक्षण के आधार पर बहुत भिन्न होती है, जो यह साबित करती है कि डेटा लीकेज के लिए एक ही धारणा (one-size-fits-all assumption) गलत है।

सारांश

SrDetection एक नया तरीका है जिससे उन AI मॉडलों को पकड़ा जा सकता है जिन्होंने परीक्षा के प्रश्नों को रट लिया है। गुप्त डेटा या तारीखों का अनुमान लगाने के बजाय, यह कोड के "जुड़वां" बनाता है ताकि यह देखा जा सके कि क्या मॉडल मूल के साथ अपने जुड़वाओं के साथ अलग व्यवहार करता है। यदि मॉडल मूल के साथ बहुत अधिक सहज है, तो इसकी संभावना है कि वह धोखाधड़ी कर रहा है। यह हमारे AI मूल्यांकन को बहुत अधिक निष्पक्ष और विश्वसनीय बनाता है।

तकनीकी सारांश: SrDetection

समस्या विवरण (Problem Statement)

कोड लार्ज लैंग्वेज मॉडल्स (Code LLMs) का मूल्यांकन तेजी से डेटा लीकेज (data leakage) से समझौतापूर्ण होता जा रहा है, जहाँ बेंचमार्क सैंपल्स अनजाने में मॉडल के प्री-ट्रेनिंग कॉर्पस (pre-training corpus) में शामिल हो जाते हैं। जब मॉडल इन सैंपल्स को याद (memorize) कर लेते हैं, तो उनके प्रदर्शन मेट्रिक्स कृत्रिम रूप से बढ़ जाते हैं, जो वास्तविक सामान्यीकरण (generalization) के बजाय केवल याद रखने (memorization) को दर्शाते हैं। यह मॉडल तुलना की निष्पक्षता को कमजोर करता है और वास्तविक नवाचार के आकलन को जटिल बनाता है।

मौजूदा पहचान विधियाँ तीन प्राथमिक सीमाओं से ग्रस्त हैं:

प्रोपराइटरी डेटा पर निर्भरता: ओवरलैप-आधारित विधियाँ (जैसे, n-gram मिलान) के लिए मॉडल के प्रशिक्षण कॉर्पस तक पहुँच की आवश्यकता होती है, जो आमतौर पर प्रोपराइटरी (मालिकाना) होते हैं और जिनका खुलासा नहीं किया जाता है।
भंगुर ह्यूरिस्टिक्स (Brittle Heuristics): टाइमस्टैम्प-आधारित फ़िल्टरिंग यह मान लेती है कि मॉडल के ट्रेनिंग कटऑफ के बाद जारी किया गया कोड कॉर्पस में नहीं हो सकता। यह अभ्यास में विफल रहता है क्योंकि कोड का पुन: उपयोग (reuse), इनहेरिटेंस (inheritance) और फोर्किंग (forking) होता रहता है।
थ्रेशोल्ड अस्थिरता (Threshold Instability): कॉन्फिडेंस-आधारित दृष्टिकोण (जैसे, Perplexity) निर्णय थ्रेशोल्ड को कैलिब्रेट करने के लिए बाहरी संदर्भ सेटों पर निर्भर करते हैं। ये थ्रेशोल्ड अक्सर प्राकृतिक भाषा डेटा पर ट्यून किए जाते हैं और कोड की संरचनात्मक नियमितताओं (structural regularities) के साथ अच्छी तरह से सामान्यीकृत नहीं होते, या वे उन्हीं त्रुटिपूर्ण अस्थायी ह्यूरिस्टिक्स पर निर्भर करते हैं।

कार्यप्रणाली: SrDetection

लेखक SrDetection का प्रस्ताव करते हैं, जो ग्रे-बॉक्स (लॉगिट्स तक पहुँच) और ब्लैक-बॉक्स (केवल मॉडल आउटपुट तक पहुँच) दोनों सेटिंग्स में डेटा लीकेज का पता लगाने के लिए एक एकीकृत, स्व-संदर्भित (self-referential) फ्रेमवर्क है। मुख्य परिकल्पना यह है कि यदि किसी मॉडल ने एक विशिष्ट कोड सैंपल को याद कर लिया है, तो वह मूल सतह रूप (original surface form) पर अर्थपूर्ण रूप से समान वेरिएंट्स की तुलना में काफी अधिक अनुमानित व्यवहार (कम पर्प्लेक्सिटी या उच्च जनरेशन समानता) प्रदर्शित करेगा।

यह फ्रेमवर्क दो मुख्य चरणों में कार्य करता है:

1. कोड ट्रांसफॉर्मेशन मॉड्यूल (Code Transformation Module)

यह मॉड्यूल एक सहायक LLM का उपयोग करके एक मूल बेंचमार्क सैंपल ( $x_0$ ) से $n$ अर्थपूर्ण रूप से समान वेरिएंट्स ( $V = \{x_1, ..., x_n\}$ ) उत्पन्न करता है। रूपांतरण न्यूनतम और स्थानीयकृत हैं ताकि निष्पादन व्यवहार (execution behavior) को सुरक्षित रखते हुए लेक्सिकल और सिंटैक्टिक रूपों को बदला जा सके:

फंक्शन नेम रीनेमिंग ( $\tau_f$ ): फंक्शन के नामों और कॉल साइट्स को अर्थपूर्ण रूप से समान विकल्पों से बदलता है (जैसे, solve $\to$ compute)।
वेरिएबल नेम रीनेमिंग ( $\tau_v$ ): व्यवस्थित रूप से वेरिएबल आइडेंटिफायर और पैरामीटर्स को बदलता है (जैसे, nums $\to$ arr)।
टेस्ट केस ट्रांसफॉर्मेशन ( $\tau_t$ ): मूल के अर्थपूर्ण रूप से समान नए टेस्ट इनपुट्स उत्पन्न करता है, उन्हें निष्पादन के माध्यम से सत्यापित करता है, और मूल टेस्ट केसेस को बदल देता है।

2. लीकेज निर्णय मॉड्यूल (Leakage Decision Module)

फ्रेमवर्क बाहरी थ्रेशोल्ड पर निर्भर हुए बिना मूल सैंपल ( $x_0$ ) और उसके वेरिएंट्स ( $V$ ) पर मॉडल के व्यवहार की तुलना करता है।

ग्रे-बॉक्स सेटिंग (Perplexity-आधारित):
डिटेक्शन स्कोर $S_M(x)$ सैंपल का पर्प्लेक्सिटी (PPL) है। यदि मॉडल ने $x_0$ को याद कर लिया है, तो इसकी PPL किसी भी वेरिएंट की तुलना में कम होगी।
$\text{Leakage}_{gray}(x_0) = \mathbb{I}[S_M(x_0) < \min_{x_i \in V} S_M(x_i)]$
जहाँ $\mathbb{I}$ एक इंडिकेटर फंक्शन है।
ब्लैक-बॉक्स सेटिंग (Generation Similarity-आधारित):
डिटेक्शन स्कोर $S_M(x)$ एक प्रिफिक्स के साथ प्रॉम्प्ट किए जाने पर मॉडल के जनरेटेड सफिक्स और ग्राउंड-ट्रुथ सफिक्स के बीच N-gram ओवरलैप (NGO) है। यदि मेमोरीकृत (memorized) है, तो मॉडल मूल रूप के लिए ग्राउंड ट्रुथ के अधिक करीब का सफिक्स जनरेट करेगा, बजाय वेरिएंट्स के।
$\text{Leakage}_{black}(x_0) = \mathbb{I}[S_M(x_0) > \max_{x_i \in V} S_M(x_i)]$

नियंत्रित टेस्टबेड निर्माण (Controlled Testbed Construction)

इन विधियों का कठोर मूल्यांकन करने के लिए, लेखकों ने एक नियंत्रित लीकेज टेस्टबेड बनाया:

डेटासेट की तैयारी: एक सार्वजनिक कोड बेंचमार्क को उन सैंपल्स को हटाकर फिल्टर किया गया जो पहले से ही लीकेज के संकेत दिखा रहे थे (जहाँ मूल रूप पहले से ही वेरिएंट्स में सबसे आसान था)।
सिम्युलेटेड लीकेज: मॉडल्स को डेटा के एक उपसमुच्चय (subset) पर कंटीन्यूड प्री-ट्रेनिंग (जिसे "ट्रेनिंग" स्प्लिट कहा जाता है) के अधीन रखा गया, जिसे एक सामान्य वेब कॉर्पस के साथ मिलाया गया था, जबकि शेष डेटा "होल्ड-आउट" टेस्ट सेट के रूप में कार्य करता था। यह एक ऐसा ग्राउंड ट्रुथ बनाता है जहाँ लीकेज स्पष्ट रूप से नियंत्रित और ज्ञात है।

मुख्य योगदान (Key Contributions)

स्व-संदर्भित फ्रेमवर्क: SrDetection एक कोड स्निपेट और उसके अर्थ-संरक्षण वेरिएंट्स के बीच इन-सैंपल कंट्रास्ट का उपयोग करके बाहरी संदर्भ डेटा या मैन्युअल रूप से परिभाषित थ्रेशोल्ड की आवश्यकता को समाप्त करता है।
ऑटोमैटिक ऑग्मेंटेशन: कोड वेरिएंट्स उत्पन्न करने के लिए एक विशेष विधि जो सामान्य संपादन (नाम बदलना, रिफैक्टरिंग) के तहत मेमोरीज़ेशन को उजागर करती है जबकि अर्थपूर्ण कार्यक्षमता को बनाए रखती है।
नियंत्रित मूल्यांकन: एक ट्रेनिंग-आधारित टेस्टबेड का परिचय जो विभिन्न मॉडल्स और ट्रेनिंग स्टेज केAcross लीकेज डिटेक्शन प्रदर्शन का सटीक माप करने की अनुमति देता है, जिससे टेम्पोरल ह्यूरिस्टिक्स की अविश्वसनीयता से बचा जा सकता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने कंटिन्यूड प्री-ट्रेन्ड Qwen2.5 और LLaMA3.1 पर SrDetection का मजबूत बेसलाइन्स (जैसे, PPL, Min-K% Prob, Zlib, VeilProbe, DPDLLM) के विरुद्ध मूल्यांकन किया।

प्रदर्शन लाभ: SrDetection ने बेसलाइन्स को महत्वपूर्ण रूप से पीछे छोड़ दिया।
- ग्रे-बॉक्स: मजबूत बेसलाइन्स पर औसत F1 में 21.52 पॉइंट्स का सुधार।
- ब्लैक-बॉक्स: औसत F1 में 14.46 पॉइंट्स का सुधार।
मजबूती (Robustness): उन बेसलाइन्स के विपरीत जो अस्थिर प्रदर्शन दिखाते थे या विशिष्ट इपोक (epochs) पर निर्भर थे, SrDetection विभिन्न मॉडल्स और ट्रेनिंग स्टेज के across सुसंगत रहा।
संवेदनशीलता (Sensitivity): वेरिएंट्स की उच्च संख्या ( $n$ ) के साथ प्रदर्शन में सुधार हुआ, और विधि प्री-ट्रेनिंग कॉर्पस में विभिन्न कोड-टू-टेक्स्ट मिक्सिंग रेश्यो के across स्थिर रही।
वास्तविक दुनिया का अनुप्रयोग: चार बेंचमार्क्स (APPS, HumanEval, MBPP, BigCodeBench) पर 15 व्यापक रूप से उपयोग किए जाने वाले Code LLMs के अध्ययन ने बेंचमार्क-विशिष्ट लीकेज पैटर्न का खुलासा किया। विशेष रूप से, BigCodeBench ने ग्रे-बॉक्स सेटिंग में उच्च लीकेज दर दिखाई, जो बताता है कि व्यवहार-आधारित डिटेक्शन उन कंटैमिनेशन को पहचान सकता है जिन्हें सख्त ओवरलैप विश्लेषण द्वारा मिस कर दिया जाता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि SrDetection एक थ्रेशोल्ड-स्वतंत्र और कॉर्पस-स्वतंत्र डिटेक्शन मैकेनिज्म प्रदान करके Code LLM मूल्यांकन में एक महत्वपूर्ण अंतर को संबोधित करता है। लीकेज डिटेक्शन को एक स्व-संदर्भित समस्या के रूप में बदलकर, यह विधि टेम्पोरल धारणाओं की भंगुरता और ट्रेनिंग डेटा की अप्राप्यता से बचती है।

लेखक दावा करते हैं कि उनके निष्कर्षों से पता चलता है कि लीकेज केवल एक मामूली आर्टिफैक्ट नहीं है बल्कि वर्तमान मूल्यांकन प्रथाओं में एक व्यवस्थित कन्फाउंडर (systematic confounder) है। बाहरी संदर्भों के बिना लीकेज का पता लगाने की क्षमता यह सुझाव देती है कि बेंचमार्क-विशिष्ट कंटैमिनेशन पैटर्न केवल ओवरलैप-आधारित विश्लेषणों के माध्यम से समझे जाने वाले पैटर्न की तुलना में अधिक व्यापक और जटिल हैं। यह कार्य Code LLM मूल्यांकनों की विश्वसनीयता सुनिश्चित करने के लिए लीकेज-अवेयर बेंचमार्क डिज़ाइन और रिपोर्टिंग की आवश्यकता पर जोर देता है।