💬 NLP

Gap-K%: Measuring Top-1 Prediction Gap for Detecting Pretraining Data

यह शोध पत्र Gap-K% का प्रस्ताव करता है, जो एक नवीन विधि है बड़े भाषा मॉडलों (Large Language Models) में प्रीट्रेनिंग डेटा का पता लगाने के लिए, जो बेंचमार्क डेटासेट पर अत्याधुनिक प्रदर्शन प्राप्त करने के लिए टॉप-1 प्रेडिक्शन और टारगेट टोकन के बीच लॉग प्रोबेबिलिटी गैप को एक स्लाइडिंग विंडो रणनीति के साथ जोड़ता है।

मूल लेखक: Minseo Kwak, Jaehyung Kim

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minseo Kwak, Jaehyung Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि एक विशिष्ट वाक्य किसी ऐसे छात्र द्वारा लिखा गया था जिसने पाठ्यपुस्तक रट ली है, या क्या वह वाक्य उन्होंने अभी मौके पर ही बनाया था। यह "Gap-K%" नामक शोध पत्र का मूल विषय है, लेकिन छात्रों और पाठ्यपुस्तकों के बजाय, यह आर्टिफिशियल इंटेलिजेंस (LLMs) और उनके प्रशिक्षण के लिए उपयोग किए गए विशाल डेटासेट्स के बारे में है।

यहाँ इस शोध पत्र के विचारों का रोजमर्रा के उदाहरणों का उपयोग करते हुए एक सरल विवरण दिया गया है।

समस्या: "ब्लैक बॉक्स" लाइब्रेरी

लार्ज लैंग्वेज मॉडल्स (LLMs) उन छात्रों की तरह हैं जिन्होंने लगभग पूरा इंटरनेट पढ़ लिया है। हालाँकि, हमें यह नहीं पता कि उन्होंने वास्तव में कौन सी किताबें पढ़ी हैं। यह एक समस्या है क्योंकि:

गोपनीयता (Privacy): उन्होंने इंटरनेट से निजी जानकारी (जैसे आपका घर का पता) याद कर ली होगी।
कॉपीराइट (Copyright): उन्होंने कॉपीराइट वाली कहानियाँ या लेख याद कर लिए होंगे।
नकल (Cheating): यदि कोई परीक्षा का प्रश्न उनके ट्रेनिंग डेटा में था, तो वे वास्तव में "सोचने" के बजाय केवल उत्तर रटकर सुना सकते हैं।

शोधकर्ता एक ऐसा तरीका चाहते हैं जिससे वे टेक्स्ट के एक टुकड़े को देखकर कह सकें, "हाँ, इस AI ने निश्चित रूप से पहले यह सटीक टेक्स्ट देखा है," या "नहीं, यह इसके लिए नया है।"

पुराना तरीका: "फुसफुसाहट" सुनना

पिछले तरीकों ने ट्रेनिंग डेटा का पता लगाने के लिए यह सुनने की कोशिश की कि कुछ शब्दों को लेकर AI कितना "हैरान" (surprised) होता है।

उदाहरण: कल्पना कीजिए कि AI एक वाक्य पढ़ रहा है। यदि वह एक ऐसा शब्द देखता है जिसे वह अच्छी तरह जानता है (अपने प्रशिक्षण से), तो वह उसे पूरे आत्मविश्वास के साथ कहता है। यदि वह कोई अजीब शब्द देखता है, तो वह हकलाने लगता है (कम संभावना/low probability)।
खामी: पुराने तरीकों (जैसे Min-K%) ने केवल "हकलाने" को देखा। उन्होंने माना कि यदि AI बहुत अधिक हकलाता है, तो टेक्स्ट नया है। लेकिन यह केवल टाइपिंग की गलतियों (typos) को देखकर किसी किताब का न्याय करने जैसा है। यह इस बात को नजरअंदाज कर देता है कि AI पूरे वाक्य के बारे में कैसे "सोचता" है।

नया विचार: "Top-1 Gap"

लेखकों ने महसूस किया कि एक बेहतर सुराग मौजूद है: वह अंतर (Gap) जो AI ने यह सोचा था कि आगे क्या होगा और वास्तव में क्या हुआ, उसके बीच है।

उदाहरण: एक क्विज़ शो की कल्पना करें।
- परिदृश्य A (ट्रेनिंग डेटा): AI ने प्रश्न और उत्तर को रट लिया है। जब होस्ट वाक्य का पहला आधा हिस्सा बोलता है, तो AI को तुरंत उत्तर पता चल जाता है। यह केवल आत्मविश्वासी नहीं है; यह एकमात्र चीज़ है जो उसके दिमाग में है। इसके "टॉप चॉइस" (Top Choice) और "वास्तविक उत्तर" (Actual Answer) के बीच का अंतर शून्य है।
- परिदृश्य B (नया डेटा): AI ने यह वाक्य पहले कभी नहीं देखा है। उसे व्याकरण और तर्क के आधार पर अनुमान लगाना पड़ता है। वह एक ऐसा शब्द चुन सकता है जो व्याकरण की दृष्टि से सही हो (उसका "टॉप चॉइस"), लेकिन वाक्य का वास्तविक अगला शब्द कुछ थोड़ा अलग हो सकता है।
- अंतर्दृष्टि (Insight): जब AI नए डेटा पर अनुमान लगा रहा होता है, तो उसके "टॉप चॉइस" और "वास्तविक शब्द" के बीच एक ध्यान देने योग्य गैप (अंतर) होता है। जब वह रटे हुए डेटा को दोहरा रहा होता है, तो वह गैप गायब हो जाता है।

शोध पत्र इसे "Gap-K%" कहते हैं। यह मापता है कि AI के सबसे अच्छे अनुमान और वास्तविक शब्द के बीच का गैप कितना बड़ा है। एक बड़ा गैप बताता है कि टेक्स्ट नया है; एक बहुत छोटा गैप बताता है कि AI इसे पहले देख चुका है।

गुप्त मंत्र: "स्लाइडिंग विंडो" स्मूथिंग (Sliding Window Smoothing)

लेखकों ने गौर किया कि AI केवल एकल शब्दों पर गलतियाँ नहीं करता; वह वाक्यांशों (phrases) पर भी गलतियाँ करता है।

उदाहरण: एक शोर वाले रेडियो सिग्नल की कल्पना करें। यदि आप केवल एक सेकंड सुनते हैं, तो यह शोर भरा (fluctuating) लग सकता है। लेकिन यदि आप 5 सेकंड का क्लिप सुनते हैं, तो आप धुन को स्पष्ट रूप से सुन सकते हैं।
विधि: शोध पत्र एक "स्लाइडिंग विंडो" का उपयोग करता है। AI का शब्द-दर-शब्द निर्णय लेने के बजाय, यह शब्दों के छोटे समूहों को देखता है (जैसे एक वाक्य के माध्यम से चलती हुई स्लाइडिंग विंडो) और "गैप" स्कोर का औसत निकालता है।
यह क्यों काम करता है: यह शोर (noise) को कम करता है। यह डिटेक्टर को टेक्स्ट के एक पूरे सेक्शन को पहचानने में मदद करता है जहाँ AI अपने अनुमानों को वास्तविकता के साथ मिलाने में संघर्ष कर रहा है, बजाय इसके कि वह एक अजीब शब्द से विचलित हो जाए।

उन्होंने क्या पाया (परिणाम)

शोधकर्ताओं ने अपने नए "Gap-K%" तरीके का परीक्षण दो प्रमुख बेंचमार्क (WikiMIA और MIMIR) पर पुराने तरीकों के मुकाबले किया।

परिणाम: Gap-K% लगभग हर बार जीता। यह रटे हुए टेक्स्ट को पहचानने में बेहतर था, भले ही टेक्स्ट को थोड़ा बदला गया हो (paraphrased) या विभिन्न आकार के AI मॉडल का उपयोग किया गया हो।
निष्कर्ष: AI के "टॉप गेस" (top guess) और वास्तविकता के बीच के "गैप" पर ध्यान केंद्रित करके, और वाक्यों के छोटे समूहों पर अपने परिणामों को स्मूथ करके, उन्होंने यह पता लगाने के लिए एक बहुत ही सटीक उपकरण बनाया है कि AI ने उस टेक्स्ट को पहले देखा है या नहीं।

सारांश

पुराने तरीकों को घास के ढेर में सुई खोजने के लिए उसकी सबसे नुकीली नोक को खोजने के समान समझें। नया तरीका (Gap-K%) पूरे घास के ढेर के आकार को देखता है। यह महसूस करता है कि जब एक AI वह चीज़ दोहरा रहा होता है जिसे उसने रटा है, तो उसका "टॉप गेस" और "वास्तविक उत्तर" पूरी तरह से संरेखित (aligned) होते हैं, जिससे कोई गैप नहीं बचता। जब वह नई चीजों पर अनुमान लगा रहा होता है, तो वह गैप खुल जाता है। उस गैप को मापकर और वाक्यों के ऊपर उसे स्मूथ करके, वे उच्च सटीकता के साथ बता सकते हैं कि क्या AI ने उस टेक्स्ट को पहले देखा है।

तकनीकी सारांश: Gap-K% - प्रीट्रेनिंग डेटा का पता लगाने के लिए टॉप-1 प्रेडिक्शन गैप को मापना

समस्या की परिभाषा

लार्ज लैंग्वेज मॉडल्स (LLMs) में विशाल प्रीट्रेनिंग कॉर्पोरा (corpora) की अपारदर्शिता गोपनीयता और कॉपीराइट संबंधी महत्वपूर्ण जोखिम पैदा करती है, जिसमें व्यक्तिगत पहचान योग्य जानकारी (PII) और कॉपीराइट सामग्री के रिसाव की संभावना शामिल है। इसके अलावा, प्रीट्रेनिंग डेटा में बेंचमार्क डेटासेट का अनजाने में शामिल होना मॉडल के प्रदर्शन को कृत्रिम रूप से बढ़ा सकता है, जिससे अनुचित तुलनाएँ हो सकती हैं। यहाँ संबोधित मुख्य चुनौती प्रीट्रेनिंग डेटा डिटेक्शन है, जो मेंबरशिप इन्फरेंस अटैक्स (MIA) का एक विशिष्ट उदाहरण है, जिसका उद्देश्य यह निर्धारित करना है कि क्या कोई दिया गया टेक्स्ट सीक्वेंस मॉडल के ट्रेनिंग डेटासेट का हिस्सा था।

मौजूदा अत्याधुनिक तरीके (जैसे, Min-K%, Min-K%++) मुख्य रूप से टोकन-लेवल लाइकलीहुड्स (likelihoods) पर निर्भर करते हैं, जो टोकन को स्वतंत्र रूप से देखते हैं। ये दृष्टिकोण अक्सर दो महत्वपूर्ण पहलुओं की अनदेखी करते हैं:

मॉडल के टॉप-1 प्रेडिक्शन और टारगेट टोकन के बीच का अंतर (gap)।
एक सीक्वेंस के भीतर आस-पास के टोकनों के बीच लोकल कोरिलेशन (स्थानीय सहसंबंध)।

कार्यप्रणाली: Gap-K%

लेखक एक डिटेक्शन विधि प्रस्तावित करते हैं जो ऑटोरिग्रेसिव (autoregressive) LLM प्रीट्रेनिंग की ऑप्टिमाइज़ेशन डायनेमिक्स पर आधारित है।

सैद्धांतिक अंतर्दृष्टि (Theoretical Insight)

यह विधि नेक्स्ट-टोकन प्रेडिक्शन ऑब्जेक्टिव के व्यवहार से प्रेरित है। ट्रेनिंग के दौरान, क्रॉस-एन्ट्रॉपी लॉस स्पष्ट रूप से उन मामलों को दंडित करता है जहाँ मॉडल का टॉप-1 प्रेडिक्शन ( $v_{max}$ ), ग्राउंड ट्रुथ टारगेट टोकन ( $y_t$ ) से मेल नहीं खाता है।

ट्रेनिंग डेटा: मॉडल टारगेट टोकन के लॉग प्रोबेबिलिटी और टॉप-1 प्रेडिक्शन के बीच के गैप को कम करने के लिए सीखता है। फलस्वरूप, ट्रेनिंग सैंपल्स के लिए, टारगेट टोकन अक्सर टॉप-1 प्रेडिक्शन होता है, जिसके परिणामस्वरूप न्यूनतम गैप होता है।
नॉन-ट्रेनिंग डेटा: अनदेखे डेटा के लिए, मॉडल याद रखने (memorization) के बजाय सीखे गए सिंटैक्टिक और सिमेंटिक कोरिलेशन पर निर्भर करता है। इससे अक्सर "कॉन्फिडेंट मिसप्रेडिक्शंस" (confident mispredictions) होते हैं, जहाँ मॉडल एक गलत टोकन को उच्च संभाव्यता देता है जो टारगेट से भिन्न होता है। इसके परिणामस्वरूप टारगेट और टॉप-1 प्रेडिक्शन के बीच एक बड़ा लॉग-प्रोबेबिलिटी गैप बनता है।

एल्गोरिद्मिक घटक (Algorithmic Components)

Gap-K% इस घटना को तीन चरणों के माध्यम से परिमाणित करता है:

टॉप-1 गैप स्कोरिंग:
प्रत्येक टोकन $x_t$ के लिए, विधि एक नॉर्मलाइज्ड गैप स्कोर $g_t$ की गणना करती है:
$g_t = \frac{\log p(x_t | x_{<t}) - \max_{v \in V} \log p(v | x_{<t})}{\sigma_t}$
जहाँ $\sigma_t$ , लॉग प्रोबेबिलिटी का स्टैंडर्ड डेविएशन है। Min-K%++ के विपरीत, जो डिस्ट्रीब्यूशन के मीन (mean) के सापेक्ष नॉर्मलाइज करता है, Gap-K% मोड (टॉप-1 प्रेडिक्शन) के सापेक्ष नॉर्मलाइज करता है। यह मेट्रिक को अनसर्टेन प्रेडिक्शंस (फ्लैट डिस्ट्रीब्यूशन) और कॉन्फिडेंट मिसप्रेडिक्शंस (एक गलत टोकन पर पीक्ड डिस्ट्रीब्यूशन) के बीच अंतर करने की अनुमति देता है।
सीक्वेंशियल स्मूथिंग (Sequential Smoothing):
लोकल कोरिलेशन को कैप्चर करने और टोकन-लेवल उतार-चढ़ाव को कम करने के लिए, आकार $w$ वाली एक स्लाइडिंग विंडो को गैप स्कोर पर लागू किया जाता है:
$\bar{g}^{(w)}_t = \frac{1}{w} \sum_{i=0}^{w-1} g_{t+i}$
यह चरण निरंतर खंडों (contiguous segments) पर सिग्नल को एकत्रित करता है, जो इस अवलोकन को दर्शाता है कि मेंबरशिप सिग्नल अक्सर अलग-थलग टोकनों के बजाय वाक्यांशों (phrases) में फैले होते हैं।
Gap-K% मेट्रिक:
अंतिम डिटेक्शन स्कोर सीक्वेंस में सबसे निचले $k\%$ स्मूथ किए गए गैप स्कोर का औसत है। 0 के करीब का स्कोर एक छोटा गैप इंगित करता है (जो मेंबरशिप का सुझाव देता है), जबकि एक बड़ा नकारात्मक स्कोर एक महत्वपूर्ण गैप को दर्शाता है (जो नॉन-मेंबरशिप का सुझाव देता है)।

प्रमुख योगदान

एक नए सिग्नल की पहचान: लेखकों ने टॉप-1 प्रेडिक्शंस और टारगेट टोकन्स के बीच के अंतर को एक प्रभावी डिटेक्शन सिग्नल के रूप में पहचाना है, जो नेक्स्ट-टोकन प्रेडिक्शन की ग्रेडिएंट डायनेमिक्स पर आधारित है।
नवीन विधि (Gap-K%): वे एक ऐसी विधि प्रस्तावित करते हैं जो इन टॉप-1 प्रेडिक्शन गैप्स का लाभ उठाती है और लोकल कोरिलेशन को कैप्चर करने के लिए सीक्वेंशियल स्मूथिंग के माध्यम से टोकन-लेवल सिग्नल्स को एकत्रित करती है, जो स्वतंत्र टोकन विश्लेषण की सीमाओं को संबोधित करती है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह विधि विभिन्न मॉडल साइज और इनपुट लेंथ के लिए मानक बेंचमार्क पर बेहतर प्रदर्शन करती है।

प्रयोगात्मक परिणाम

लेखकों ने दो बेंचमार्क पर Gap-K% का मूल्यांकन किया: WikiMIA (विकिपीडिया-आधारित) और MIMIR (पाइल-आधारित, जो न्यूनतम वितरण संबंधी अंतरों के साथ अधिक चुनौतीपूर्ण है)।

WikiMIA प्रदर्शन:
- पांच मॉडल्स (Mamba-1.4B, Pythia-6.9B/12B, LLaMA-13B/65B) और इनपुट लेंथ (32, 64, 128) में, Gap-K% ने मौजूदा बेसलाइन्स (जिसमें Loss, Zlib, Neighbor, Min-K%, और Min-K%++ शामिल हैं) को लगातार पछाड़ा।
- ओरिजिनल सेटिंग में, Gap-K% ने मौजूदा बेसलाइन्स के औसत पर 9.7% और सबसे मजबूत बेसलाइन (Min-K%++) पर 2.4% का एब्सोल्यूट AUROC सुधार हासिल किया।
- पैराफ्रेज्ड (paraphrased) सेटिंग में, इसने बेसलाइन औसत पर 5.7% और Min-K%++ पर 1.7% की बढ़त हासिल की।
- विधि ने हाल के मॉडल्स (LLaMA 3.1, Gemma2) और उनके इंस्ट्रक्शन-ट्यून्ड वेरिएंट्स पर भी मजबूती प्रदर्शित की।
MIMIR प्रदर्शन:
- अधिक चुनौतीपूर्ण MIMIR बेंचमार्क पर, Gap-K% ने Pythia मॉडल्स (1.4B से 12B पैरामीटर्स तक) में उच्चतम औसत प्रदर्शन प्राप्त किया, जिसने सभी मूल्यांकित साइज़ों में Min-K%++ को पीछे छोड़ दिया।
एब्लेशन स्टडीज (Ablation Studies):
- सीक्वेंशियल लोकैलिटी (Sequential Locality): स्मूथिंग ने केवल तभी प्रदर्शन में सुधार किया जब इसे मूल टोकन ऑर्डर पर लागू किया गया, जो पुष्टि करता है कि मेंबरशिप सिग्नल सीक्वेंशियल लोकैलिटी प्रदर्शित करते हैं।
- कंपोनेंट एनालिसिस: मीन-आधारित नॉर्मलाइजेशन को केवल टॉप-1 गैप से बदलने पर मामूली लाभ हुआ, और केवल स्मूथिंग ने मध्यम सुधार किया। दोनों का संयोजन (पूर्ण Gap-K% विधि) सबसे बड़ा प्रदर्शन लाभ प्रदान करता है, जो दर्शाता है कि टॉप-1 गैप एक डिस्क्रिमिनेटिव सिग्नल प्रदान करता है जिसे सीक्वेंशियल स्मूथिंग द्वारा स्थिर और बढ़ाया जाता है।
- मजबूती (Robustness): Gap-K% ने मजबूत एडवरसेरियल पैराफ्रेजिंग (DIPPER का उपयोग करके) के तहत भी प्रभावशीलता बनाए रखी, और सभी बेसलाइन्स को पछाड़ा।

महत्व और सीमाएं

महत्व:
पेपर यह तर्क देता है कि LLMs की ऑप्टिमाइज़ेशन डायनेमिक्स को समझना—विशेष रूप से कैसे ट्रेनिंग टॉप-1 प्रेडिक्शंस और ग्राउंड ट्रुथ के बीच संरेखण (alignment) को मजबूर करती है—प्रीट्रेनिंग डेटा का पता लगाने के लिए एक मजबूत तंत्र प्रदान करता है। केवल टोकन लाइकलीहुड्स से आगे बढ़कर, टॉप-1 प्रेडिक्शन व्यवहार और 'गलत प्रेडिक्शन के आत्मविश्वास' और उनके लोकल कॉन्टेक्स्ट का विश्लेषण करके, Gap-K% एक अधिक सूक्ष्म और प्रभावी डिटेक्शन टूल प्रदान करता है। यह दृष्टिकोण मेमोराइजेशन और प्राइवेसी जोखिमों को समझने में टॉप-1 प्रेडिक्शन व्यवहार और सीक्वेंशियल कोरिलेशन के महत्व को रेखांकित करता है।

सीमाएं:

ग्रे-बॉक्स धारणा (Gray-Box Assumption): इस विधि के लिए टोकन-लेवल प्रोबेबिलिटी आउटपुट्स (logits) तक पहुंच की आवश्यकता होती है, जो इसकी एप्लिकेशन को उन मॉडल्स या APIs तक सीमित करती है जो यह जानकारी उजागर करते हैं। यह वर्तमान में पूरी तरह से ब्लैक-बॉक्स सेटिंग में कार्य नहीं करता है।
मॉडल स्कोप: हालांकि इसका परीक्षण हाल के परिवारों (LLaMA 3.1, Gemma2) पर किया गया है, मूल्यांकन दस अरबों पैरामीटर्स तक के मॉडल्स तक सीमित है; सैकड़ों अरबों के स्केल पर व्यवहार अभी अनवेरिफाइड है।
एडवरसेरियल रोबस्टनेस: हालांकि यह मानक पैराफ्रेजिंग के प्रति मजबूत है, लेकिन इसका परीक्षण उन एडैप्टिव एडवर्सरीज के खिलाफ नहीं किया गया है जो विशेष रूप से टोकन-लेवल स्टैटिस्टिक्स को मैनिपुलेट करके डिटेक्शन से बचने के लिए अनुकूलित (optimized) हैं।

लेखक इस बात पर जोर देते हैं कि उनका कार्य गैर-व्यावसायिक, शैक्षणिक अनुसंधान के लिए है ताकि LLMs में पारदर्शिता और गोपनीयता की समझ में सुधार किया जा सके।