💬 NLP

Detecting RLVR Training Data via Structural Convergence of Reasoning

यह शोध पत्र Min- $k$ NN डिस्टेंस को प्रस्तुत करता है, जो एक ब्लैक-बॉक्स डिटेक्शन विधि है जो देखे गए प्रॉम्प्ट्स पर मॉडल जनरेशन के संरचनात्मक अभिसरण (structural convergence) और कम हुई विविधता को मापकर RLVR प्रशिक्षण डेटा की पहचान करती है, जो प्रभावी रूप से मॉडल के आंतरिक विवरणों तक पहुँच की आवश्यकता के बिना मौजूदा बेसलाइन से बेहतर प्रदर्शन करता है।

मूल लेखक: Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang

प्रकाशित 2026-02-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र है जिसे गणित की समस्याओं को हल करने और कोड लिखने के लिए प्रशिक्षित किया जा रहा है। शुरुआत में, यह छात्र एक जिज्ञासु खोजकर्ता की तरह है: जब उससे कोई प्रश्न पूछा जाता है, तो वह उसे हल करने के लिए पाँच या छह अलग-अलग तरीके आज़मा सकता है, कभी टेढ़ा-मेढ़ा रास्ता अपनाता है, कभी शॉर्टकट लेता है, और कभी उत्तर खोजने से पहले भटक भी जाता है।

फिर, वह छात्र एक विशेष प्रशिक्षण शिविर में प्रवेश करता है जिसे RLVR (वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग) कहा जाता है। इस शिविर में, शिक्षक केवल यह नहीं कहता कि "अच्छा काम किया" या "बुरा काम किया।" इसके बजाय, शिक्षक केवल तभी स्वर्ण पदक (गोल्ड स्टार) देता है जब छात्र बिल्कुल सही उत्तर देता है।

समस्या: "अति-अभ्यास" किया हुआ छात्र

समय के साथ, कुछ अजीब होता है। छात्र अन्वेषण करना बंद कर देता है। उसे एहसास होता है कि यदि वह किसी एक विशिष्ट, कठोर तरीके पर टिका रहता है, तो उसे हर बार स्वर्ण पदक मिलते हैं। इसलिए, वह उस एक सटीक मार्ग को याद कर लेता है।

अब, यदि आप उससे वह प्रश्न पूछते हैं जो उसने पहले देखा है, तो वह आपको केवल एक उत्तर नहीं देता; वह हर बार शब्द-दर-शब्द वही सटीक उत्तर देता है। यह बिल्कुल वैसा ही है जैसे कोई रोबोट एक स्क्रिप्ट रट रहा हो।

लेकिन यहाँ एक पेच है: जिन लोगों ने इस छात्र का "अंतिम रिपोर्ट कार्ड" (मॉडल) जारी किया, उन्होंने हमें यह नहीं बताया कि उन्होंने किस समस्या का अभ्यास किया था। उन्होंने बस इतना कहा, "देखो यह छात्र कितना बुद्धिमान है!"

इससे एक बड़ी चिंता पैदा होती है: क्या छात्र ने वास्तव में सोचना सीखा है, या उसने केवल परीक्षा के प्रश्नों को रट लिया है? यदि उसने केवल प्रश्नों को रट लिया है, तो उसके उच्च स्कोर नकली हैं, और वह नई, कठिन समस्याओं पर विफल हो सकता है।

समाधान: "इको चैंबर" डिटेक्टर

लेखकों ने इस धोखाधड़ी को पकड़ने के लिए एक चतुर और सरल तरीका निकाला है, जिसके लिए उन्हें छात्र के निजी अभ्यास नोट्स देखने की आवश्यकता नहीं है। वे अपने इस तरीके को Min-kNN Distance कहते हैं।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

"पूछो और दोहराओ" खेल
कल्पित कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि क्या छात्र ने पहले कभी यह विशिष्ट प्रश्न देखा है। आप छात्र से एक ही प्रश्न को लगातार 32 बार पूछते हैं।

यदि छात्र ने यह प्रश्न कभी नहीं देखा है (Unseen):
वह गहराई से सोचेगा और विभिन्न दृष्टिकोणों को आज़माएगा।
- उत्तर 1: "पहले बीजगणित (algebra) आजमाते हैं।"
- उत्तर 2: "शायद मुझे एक ग्राफ बनाना चाहिए।"
- उत्तर 3: "मैं अनुमान लगाकर और जांच करके देखूँगा।"
- परिणाम: सभी उत्तर एक-दूसरे से भिन्न हैं। वे विविध और अव्यवस्थित हैं।
यदि छात्र ने यह प्रश्न पहले देखा है (Seen/RLVR Trained):
उसने "परफेक्ट" मार्ग को याद कर लिया है।
- उत्तर 1: "मान लीजिए x बराबर 5 है। फिर..."
- उत्तर 2: "मान लीजिए x बराबर 5 है। फिर..."
- उत्तर 3: "मान लीजिए x बराबर 5 है। फिर..."
- परिणाम: उत्तर लगभग एक जैसे हैं। वे कठोर और दोहराव वाले हैं।

मापन (The Measurement)
जासूस (एल्गोरिदम) उन सभी 32 उत्तरों को लेता है और उनकी समानता की तुलना करता है।

उच्च समानता (कम दूरी/Low Distance): उत्तर एक-दूसरे की क्लोन (प्रतिलिपि) हैं। फैसला: "इस छात्र ने निश्चित रूप से यह प्रश्न पहले देखा है!"
कम समानता (अधिक दूरी/High Distance): सभी उत्तर बिखरे हुए हैं। फैसला: "यह उसके लिए एक नया प्रश्न है।"

यह क्यों एक बड़ी बात है

यह एक "ब्लैक बॉक्स" ट्रिक है: आपको छात्र के मस्तिष्क (मॉडल के कोड) के अंदर जाने की आवश्यकता नहीं है। आपको बस उनसे प्रश्न पूछने और उनके उत्तर सुनने की आवश्यकता है।
यह "धोखेबाजों" को पकड़ता है: यह तब भी काम करता है जब छात्र शब्दों को थोड़ा बदलकर (पैराफ्रेसिंग करके) छिपने की कोशिश करता है। उनके सोचने का ढांचा अभी भी कठोर होता है।
यह गणित और कोड पर काम करता है: चाहे छात्र बीजगणित हल कर रहा हो या पायथन (Python) कोड लिख रहा हो, यदि उसे विशिष्ट समस्याओं पर अत्यधिक प्रशिक्षित किया गया है, तो वह अपनी रचनात्मकता और लचीलापन खो देता है।

निष्कर्ष (The Takeaway)

यह शोध पत्र हमें AI प्रशिक्षण के अंधेरे कमरे में रोशनी डालने के लिए एक टॉर्च देता है। यह हमें इस महत्वपूर्ण प्रश्न का उत्तर देने में मदद करता है: "क्या यह AI वास्तव में स्मार्ट है, या यह केवल एक तोता है जिसने चुपके से रटी हुई टेस्ट स्क्रिप्ट को दोहराया है?"

AI के उत्तरों के बहुत अधिक कठोर और दोहराव वाले होने का पता लगाकर, हम पहचान सकते हैं कि कब एक मॉडल "दूषित" (contaminated) हो गया है क्योंकि उसने पहले ही टेस्ट के प्रश्नों को देख लिया था। यह सुनिश्चित करता है कि जब हम वास्तविक दुनिया की समस्याओं को हल करने के लिए किसी AI पर भरोसा करते हैं, तो वह वास्तव में अपने दिमाग का उपयोग कर रहा होता है, न कि केवल उस स्क्रिप्ट को दोहरा रहा होता है जिसे उसने गुप्त रूप से रटा है।

यहाँ शोध पत्र "Detecting RLVR Training Data via Structural Convergence of Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

यह शोध पत्र आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) में बेंचमार्क संदूषण (benchmark contamination) के गंभीर मुद्दे को संबोधित करता है, जिन्हें Reinforcement Learning with Verifiable Rewards (RLVR) के माध्यम से प्रशिक्षित किया गया है।

संदर्भ: तर्क क्षमता (जैसे गणित और कोडिंग) में सुधार के लिए RLVR एक प्रमुख पोस्ट-ट्रेनिंग तकनीक है, जो मॉडल को स्वयं द्वारा उत्पन्न रीजनिंग ट्राजेक्टरीज (reasoning trajectories) से प्राप्त रिवॉर्ड फीडबैक के आधार पर अनुकूलित करती है।
चुनौती: प्रीट्रेनिंग या सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के विपरीत, जहाँ डेटा एक्सपोजर का पता टोकन-स्तरीय संभावनाओं (likelihoods) या परप्लेक्सिटी (perplexity) के माध्यम से लगाया जा सकता है, RLVR विशिष्ट टोकन संभावनाओं के बजाय रीजनिंग पाथ्स (reasoning paths) के वितरण (distribution) को अनुकूलित करता है। फलस्वरूप, पारंपरिक संभावना-आधारित डिटेक्शन विधियाँ (जैसे Min-K% Prob, Perplexity) यह पता लगाने में विफल रहती हैं कि क्या कोई विशिष्ट प्रॉम्प्ट RLVR प्रशिक्षण सेट का हिस्सा था।
लक्ष्य: एक ऐसा ब्लैक-बॉक्स डिटेक्टर (black-box detector) विकसित करना जो यह निर्धारित कर सके कि क्या कोई दिया गया क्वेरी $x$ RLVR प्रशिक्षण डेटासेट $D_{RL}$ से संबंधित है, बिना मॉडल के इंटरनल एक्सेस, टोकन संभावनाओं या रेफरेंस मॉडल्स के।

2. मुख्य अवलोकन और कार्यप्रणाली

लेखक प्रस्तावित करते हैं कि RLVR रीजनिंग ट्राजेक्टरीज में एक अद्वितीय संरचनात्मक अभिसरण (structural convergence) उत्पन्न करता है, जो एक पता लगाने योग्य सिग्नेचर के रूप में कार्य करता है।

A. मुख्य घटना: संरचनात्मक अभिसरण (Structural Convergence)

RLVR ट्रेनिंग डायनेमिक्स (DAPO और GRPO एल्गोरिदम का उपयोग करके) के व्यापक विश्लेषण के माध्यम से, लेखकों ने देखा:

देखे गए प्रॉम्प्ट्स में कठोरता (Rigidity in Seen Prompts): उन प्रॉम्प्ट्स के लिए जिनका सामना RLVR प्रशिक्षण के दौरान किया गया था, मॉडल द्वारा उत्पन्न रीजनिंग पाथ्स चुनिचुों कठोर, आवर्ती संरचनात्मक मोड (recurring structural modes) में सिमट जाते हैं। आउटपुट की विविधता (लेक्सिकल, लॉजिकल और सिमेंटिक) काफी कम हो जाती है।
अनदेखे प्रॉम्प्ट्स में विविधता (Diversity in Unseen Prompts): अनदेखे प्रॉम्प्ट्स के लिए, मॉडल उच्च परिवर्तनशीलता बनाए रखता है और उसी तरह के घने क्लस्टर्स में अभिसरित नहीं होता है।
प्रतीकात्मक संपीड़न (Symbolic Compression): यह अभिसरण प्रतीकात्मक और बीजगणितीय तर्क घटकों (जैसे मानकीकृत गणितीय रूपांतरण, फंक्शन डेफिनिशन) में सबसे अधिक स्पष्ट है, जो अत्यधिक मानकीकृत हो जाते हैं।

B. प्रस्तावित विधि: Min-kNN डिस्टेंस

संरचनात्मक पतन (structural collapse) के अवलोकन के आधार पर, लेखक एक सरल ब्लैक-बॉक्स मेट्रिक, Min-kNN डिस्टेंस पेश करते हैं।

प्रक्रिया:
1. एक प्रॉम्प्ट $x$ दिया गया है, RLVR-ट्यून्ड मॉडल से $m$ कंपलीशन सैंपल करें ( $O(x) = \{o_1, ..., o_m\}$ )।
2. सभी जनरेटेड कंपलीशन के बीच पेयरवाइज (pairwise) नॉर्मलाइज्ड लेवेनश्टीन एडिट डिस्टेंस ( $D_{ij}$ ) की गणना करें।
3. प्रत्येक कंपलीशन $o_i$ के लिए, इसके निकटतम पड़ोसी (nearest-neighbor) की दूरी ( $NN_i$ ) ज्ञात करें।
4. इन दूरियों को सॉर्ट करें और $k$ सबसे छोटी वैल्यूज चुनें।
5. इन $k$ सबसे छोटी दूरियों के औसत के रूप में Min-kNN डिस्टेंस की गणना करें:
  $\text{Min-kNN}(x) = \frac{1}{k} \sum_{t=1}^{k} NN_{(t)}(x)$
निर्णय नियम (Decision Rule):
- देखे गए प्रॉम्प्ट्स (Training Data): कम Min-kNN डिस्टेंस (उच्च संरचनात्मक समानता/पतन) प्रदर्शित करते हैं।
- अनदेखे प्रॉम्प्ट्स (Unseen Prompts): उच्च Min-kNN डिस्टेंस (उच्च संरचनात्मक विविधता) प्रदर्शित करते हैं।
लाभ: इसके लिए केवल सैंपलिंग एक्सेस (ब्लैक-बॉक्स) की आवश्यकता होती है, टोकन संभावनाओं की नहीं, और न ही किसी रेफरेंस मॉडल की।

3. मुख्य योगदान

RLVR व्यवहार का व्यवस्थित विश्लेषण: यह शोध पत्र पहली बार व्यवस्थित रूप से मात्रात्मक विश्लेषण प्रदान करता है कि कैसे RLVR रीजनिंग व्यवहार को नया आकार देता है, जिससे रीजनिंग ट्राजेक्टरीज के स्ट्रक्चरल स्पेस में अभिसरण प्रकट होता है, विशेष रूप से प्रतीकात्मक घटकों में।
नया डिटेक्शन मेथड: संरचनात्मक पतन का लाभ उठाने वाला एक मजबूत, ब्लैक-बॉक्स डिटेक्टर, Min-kNN डिस्टेंस का परिचय।
व्यापक मूल्यांकन: विभिन्न मॉडल्स (Qwen, DeepSeek, SimpleRL), RL एल्गोरिदम (DAPO, GRPO, PPO) और डेटा प्रकारों (Math, Code) में व्यापक प्रयोग यह प्रदर्शित करते हैं कि यह विधि बेसलाइन्स की तुलना में श्रेष्ठ है।

4. प्रयोगात्मक परिणाम

लेखकों ने कई सेटिंग्स में कई बेसलाइन्स (PPL, Min-K% Prob, CDD, Self-Critique) के विरुद्ध Min-kNN डिस्टेंस का मूल्यांकन किया:

कुल प्रदर्शन: Min-kNN डिस्टेंस ने औसतन 0.70 का AUC प्राप्त किया, जो सबसे मजबूत बेसलाइन से 17% सापेक्ष सुधार दर्शाता है। इसने विभिन्न मॉडल स्केल्स (1.5B से 32B पैरामीटर्स) में सभी अन्य विधियों को लगातार पछाड़ दिया।
पैराफ्रेसिंग के प्रति मजबूती (Robustness to Paraphrasing): जब ट्रेनिंग प्रॉम्प्ट्स को पैराफ्रेस किया गया, तब भी यह विधि प्रभावी रही (AUC 0.71), जो दर्शाता है कि यह सतह-स्तर के स्ट्रिंग मिलान के बजाय स्ट्रक्चरल कोलैप्स का पता लगाती है।
डिस्टिलेशन डिटेक्शन: विधि ने मॉडल डिस्टिलेशन में उपयोग किए गए प्रॉम्प्ट्स का सफलतापूर्वक पता लगाया (AUC 0.76), जो सुझाव देता है कि स्ट्रक्चरल कोलैप्स सिग्नल टीचर से स्टूडेंट मॉडल्स में स्थानांतरित होता है।
क्रॉस-डोमेन प्रदर्शन:
- Math: AUC 0.80 (स्ट्रक्चर्ड रीजनिंग के कारण उच्च प्रदर्शन)।
- Code: AUC 0.69 (थोड़ा कम लेकिन फिर भी बेसलाइन्स से बेहतर, संभवतः कोडिंग कार्यों में उच्च लचीलेपन के कारण)।
दोहरी-चरणीय संदूषण (Dual-Stage Contamination): विधि कम प्रीट्रेनिंग संदूषण वाले डेटा में RL-फेज संदूषण का पता लगाने में अधिक प्रभावी सिद्ध हुई, जो इसकी RL ट्रेनिंग फेज के प्रति विशिष्टता को प्रमाणित करती है।

5. महत्व और प्रभाव

AI में पारदर्शिता: यह कार्य यह सत्यापित करने के लिए एक महत्वपूर्ण उपकरण प्रदान करता है कि क्या ओपन-सोर्स रीजनिंग मॉडल्स को विशिष्ट बेंचमार्क समस्याओं के लिए "ओवरफिट" किया गया है, जो बढ़ी हुई जनरलाइजेशन दावों की बढ़ती चिंता को संबोधित करता है।
संभावनाओं (Likelihoods) से परे: यह डेटा एक्सपोजर डिटेक्शन के प्रतिमान को टोकन-स्तरीय संभावना विश्लेषण (जो RL के लिए विफल रहता है) से बदलकर रीजनिंग विविधता के संरचनात्मक विश्लेषण की ओर ले जाता है।
व्यावहारिक उपयोगिता: एक पूर्णतः ब्लैक-बॉक्स विधि के रूप में, इसे ऑडिटर्स और शोधकर्ताओं द्वारा किसी भी सार्वजनिक रूप से जारी RLVR-ट्यून्ड मॉडल पर लागू किया जा सकता है, जिसके लिए मालिकाना ट्रेनिंग डेटा या मॉडल वेट्स तक पहुंच की आवश्यकता नहीं है।

निष्कर्षतः, यह शोध पत्र प्रदर्शित करता है कि RLVR ट्रेनिंग रीजनिंग ट्राजेक्टरीज में संरचनात्मक कठोरता का एक विशिष्ट "फिंगरप्रिंट" छोड़ता है। Min-kNN डिस्टेंस के माध्यम से इस पतन को मात्रात्मक बनाकर, लेखक रीजनिंग मॉडल्स के युग में ट्रेनिंग डेटा एक्सपोजर का पता लगाने के लिए एक विश्वसनीय समाधान प्रदान करते हैं।