🤖 AI

Auditing Data Membership in Reinforcement Learning With Verifiable Rewards

यह शोध पत्र डाइवर्जेंस-इन-बिहेवियर ऑडिटिंग (DIBA) को प्रस्तुत करता है, जो एक व्हाइट-बॉक्स फ्रेमवर्क है जो प्री- और पोस्ट-RLVR मॉडल चेकपॉइंट्स के बीच व्यवहार संबंधी और रिवॉर्ड-साइड वितरण बदलावों का विश्लेषण करके, वेरिफिएबल रिवार्ड्स के साथ रिइन्फोर्समेंट लर्निंग (RLVR) में अनधिकृत डेटा एक्सपोज़र का प्रभावी ढंग से पता लगाता है, और मौजूदा मेंबरशिप इन्फरेंस बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Yule Liu, Heyi Zhang, Jinyi Zheng, Zhen Sun, Zifan Peng, Jiaheng Wei, Tianshuo Cong, Yilong Yang, Xinlei He

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yule Liu, Heyi Zhang, Jinyi Zheng, Zhen Sun, Zifan Peng, Jiaheng Wei, Tianshuo Cong, Yilong Yang, Xinlei He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Auditing Data Membership in Reinforcement Learning With Verifiable Rewards" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: "गुप्त रेसिपी" की समस्या

कल्पना कीजिए कि एक प्रसिद्ध शेफ (एक लार्ज लैंग्वेज मॉडल) है जो हज़ारों रेसिपी चखकर खाना बनाना सीखता है। हाल ही में, RLVR (वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग) नामक एक नई कुकिंग विधि लोकप्रिय हुई है। केवल एक विशिष्ट रेसिपी कार्ड को याद करने के बजाय, शेफ एक ही व्यंजन को कई बार बनाने की कोशिश करता है। यदि व्यंजन स्वादिष्ट है (एक सख्त टेस्ट पास करता है), तो शेफ को इनाम मिलता है और वह उस प्रयास को याद रखता है। यदि वह खराब है, तो वे फिर से कोशिश करते हैं।

समस्या यह है कि ये "टेस्ट" अक्सर गुप्त, उच्च-मूल्य वाली रेसिपीज़ (जैसे मालिकाना गणित के सवाल या निजी कोड) का उपयोग करते हैं जिन्हें शेफ के मालिक सार्वजनिक रूप से नहीं बताना चाहते थे।

प्रश्न: यदि आप शेफ का अंतिम मेनू देखते हैं, तो क्या आप बता सकते हैं कि क्या उन्होंने गुप्त रूप से आपकी विशिष्ट गुप्त रेसिपी पर अभ्यास किया था?

पुराना तरीका बनाम नया तरीका

पुराना तरीका ("फिक्स्ड टारगेट" हमला):
अतीत में, ऑडिटर शेफ को पकड़ने के लिए यह जाँचते थे कि क्या उन्होंने एक विशिष्ट वाक्य को याद किया है। यह पूछने जैसा था, "क्या आपने इस विशिष्ट पृष्ठ के सटीक शब्दों को याद किया है?" यदि शेफ उस पृष्ठ को पूरी तरह से सुना सकता था, तो वे पकड़े जाते थे।

यह यहाँ क्यों विफल होता है: RLVR में, शेफ एक विशिष्ट वाक्य को याद नहीं कर रहा है। वे चलते-फिरते (on the fly) नए समाधान उत्पन्न कर रहे हैं। यहाँ तुलना करने के लिए कोई एक "सही उत्तर" नहीं है, इसलिए पुराना तरीका काम नहीं करता है।

नया तरीका (DIBA - "व्यवहार संबंधी फिंगरप्रिंट"):
लेखक DIBA (डाइवर्जेंस-इन-बिहेवियर ऑडिटिंग) नामक एक नया तरीका प्रस्तावित करते हैं। एक याद किए गए वाक्य को खोजने के बजाय, वे शेफ की खाना बनाने की शैली में बदलाव को देखते हैं।

वे शेफ के वर्तमान मेनू की तुलना शेफ की "पहले" की फोटो से करते हैं (RLVR प्रशिक्षण शुरू होने से पहले का मॉडल)। वे दो विशिष्ट सुरागों की तलाश करते हैं:

रिवॉर्ड सुराग (क्या वे बेहतर हुए?):
- उपमा: क्या शेफ अचानक उस विशिष्ट प्रकार की पहेली को हल करने में बहुत बेहतर हो गया जिसे वे पहले हल करने में संघर्ष कर रहे थे?
- यदि शेफ पहले "ज्यामिति की पहेलियों" (Geometry Puzzles) में बुरा था, लेकिन प्रशिक्षण के बाद वे उन्हें पूरी तरह से हल कर लेते हैं, तो यह एक मजबूत संकेत है कि उन्होंने उन पहेलियों पर अभ्यास किया है।
स्टाइल सुराग (क्या उनका व्यक्तित्व बदल गया?):
- उपमा: भले ही शेफ पहेली को हल कर ले, क्या उन्होंने उसे करते समय बात करने का तरीका बदल दिया? शायद उन्होंने उस विशिष्ट पहेली को हल करते समय छोटे वाक्यों का उपयोग करना शुरू कर दिया या उनकी आवाज़ का लहजा बदल गया।
- यह "व्यवहार संबंधी विचलन" (behavioral drift) है। भले ही उत्तर सही हो, लेकिन जिस रास्ते से वे वहां पहुंचे, वह प्रशिक्षण से पहले की तुलना में अलग दिख सकता है।

DIBA कैसे काम करता है (जासूस का टूलकिट)

ऑडिटर एक जासूस की तरह दो उपकरणों के साथ कार्य करता है:

स्कोरबोर्ड: वे जाँचते हैं कि प्रशिक्षण के बाद एक विशिष्ट प्रश्न पर मॉडल की सफलता दर बढ़ी या नहीं।
वॉयस रिकॉर्डर: वे मॉडल की "सोच प्रक्रिया" (प्रत्येक शब्द चुनने की संभावना) को सुनते हैं ताकि यह देख सकें कि क्या यह "पहले" वाले संस्करण से अलग सुनाई देता है।

इन दोनों को मिलाकर, DIBA एक "फिंगरप्रिंट" बनाता है जो कहता है, "इस मॉडल ने निश्चित रूप से इस विशिष्ट प्रॉम्प्ट पर अभ्यास किया है।"

पेपर में क्या पाया गया

शोधकर्ताओं ने गणित की समस्याओं (गुप्त रेसिपी) पर इसका परीक्षण किया और कुछ दिलचस्प नियम पाए:

यह "लर्निंग" प्रॉम्प्ट्स पर सबसे अच्छा काम करता है: DIBA उन प्रॉम्प्ट्स को पकड़ने में माहिर है जहाँ मॉडल ने वास्तव में कुछ नया सीखा है। यदि मॉडल प्रशिक्षण से पहले ही किसी समस्या में मास्टर था, तो DIBA यह नहीं बता सकता कि उसने उस पर अभ्यास किया या नहीं (क्योंकि व्यवहार में कोई बदलाव नहीं हुआ)।
यह एक "व्हाइट-बॉक्स" टूल है: इसे उपयोग करने के लिए, ऑडिटर को मॉडल के आंतरिक "लॉगिट्स" (वे कच्चे नंबर जिनका उपयोग मॉडल अगले शब्द को तय करने के लिए करता है) को देखने की आवश्यकता होती है। यह शेफ की निजी नोटबुक देखने जैसा है, न कि केवल अंतिम व्यंजन देखने जैसा।
"आसान" प्रॉम्प्ट्स के साथ यह कठिन है: यदि कोई प्रॉम्प्ट इतना आसान है कि मॉडल पहले से ही उसमें परफेक्ट था, तो प्रशिक्षण के दौरान मॉडल अपने व्यवहार में अधिक बदलाव नहीं करता है। बिना बदलाव के, खोजने के लिए कोई फिंगरप्रिंट नहीं होता।
यह विभिन्न आकारों पर काम करता है: यह तरीका काम करता है चाहे शेफ एक छोटा प्रशिक्षु (3B मॉडल) हो या एक मास्टर शेफ (7B मॉडल), जब तक कि वे एक ही प्रशिक्षण रेसिपी का उपयोग करते हैं।
यह छवियों (images) पर भी काम करता है: उन्होंने इसे विजन-लैंग्वेज मॉडल (मॉडल जो चित्र देखते हैं और गणित हल करते हैं) पर भी टेस्ट किया। यह अभी भी काम करता था, हालांकि इसे डिटेक्ट करना थोड़ा कठिन था क्योंकि "विजुअल नॉइज़" ने फिंगरप्रिंट को थोड़ा धुंधला कर दिया था।

क्या आप अपने निशान छिपा सकते हैं?

पेपर ने यह भी पूछा: "क्या शेफ इसे छिपा सकता है?"

कठोर प्रशिक्षण (Training Harder): मॉडल को अधिक "सावधानी से" प्रशिक्षित करना (रेगुलराइजेशन का उपयोग करना) वास्तव में निशानों को नहीं छिपा सका। व्यवहार संबंधी परिवर्तन अभी भी दिखाई दे रहे थे।
उत्तर को फिर से लिखना: यदि शेफ अपने अंतिम उत्तर को जनरेट करने के बाद उसे अलग शब्दों में फिर से लिखता है (पैराफ्रेसिंग), तो यह पता लगाना कठिन बना देता है। यह शेफ द्वारा अलग लिखावट में रेसिपी लिखने जैसा है। हालाँकि, यह केवल टेक्स्ट को छिपाता है; यदि कोई अभी भी शेफ के आंतरिक "विचारों" (logits) को देख सकता है, तो रहस्य उजागर है।

मुख्य निष्कर्ष

यह पेपर दिखाता है कि भले ही AI मॉडल उत्तरों को याद न करें, फिर भी वे जिस डेटा पर प्रशिक्षित होते हैं उस पर व्यवहार संबंधी निशान (behavioral scars) छोड़ देते हैं। यदि आपके पास एक गुप्त प्रॉम्प्ट (जैसे निजी गणित की समस्या) है, और एक AI मॉडल इसमें काफी बेहतर हो जाता है या इसके बारे में सोचने का तरीका बदल देता है, तो एक स्मार्ट ऑडिटर संभवतः यह साबित कर सकता है कि मॉडल ने आपके गुप्त डेटा पर प्रशिक्षण लिया है।

DIBA इन निशानों को खोजने वाला नया उपकरण है जो केवल याद किए गए टेक्स्ट की जाँच करने के बजाय मॉडल के "पहले" और "बाद" के व्यवहार की तुलना करता है।

तकनीकी सारांश: वर्िफिएबल रिवॉर्ड्स के साथ रिइन्फोर्समेंट लर्निंग में डेटा मेंबरशिप का ऑडिटिंग

1. समस्या की परिभाषा और प्रेरणा

वर्िफिएबल रिवॉर्ड्स के साथ रिइन्फोर्समेंट लर्निंग (RLVR) लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एक महत्वपूर्ण प्रशिक्षण चरण के रूप में उभरा है, विशेष रूप से DeepSeek-R1 और Kimi-k2.5 जैसे मॉडल्स की रीजनिंग क्षमताओं को बढ़ाने के लिए। पारंपरिक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) या प्रेफरेंस-आधारित अलाइनमेंट (RLHF) के विपरीत, RLVR मॉडल से स्वयं कैंडिडेट रिस्पॉन्स जेनरेट करता है और उन रिस्पॉन्स को सुदृढ़ करता है जो रूल-बेस्ड वेरिफायर (जैसे सही गणितीय उत्तर या कोड निष्पादन) को संतुष्ट करते हैं।

यह प्रतिमान डेटा एक्सपोजर ऑडिटिंग के लिए एक अनूठी चुनौती पैदा करता है। मौजूदा मेंबरशिप इन्फेरेंस अटैक्स (MIAs) आमतौर पर एक फिक्स्ड टारगेट स्ट्रिंग (जैसे SFT में एक विशिष्ट उत्तर या RLHF में एक पसंदीदा रिस्पॉन्स) के प्रति मॉडल के ओवरफिटिंग का पता लगाने पर निर्भर करते हैं। हालाँकि, RLVR किसी पूर्व निर्धारित रिस्पॉन्स के प्रति अनुकूलन (optimize) नहीं करता है; इसके बजाय, यह पॉलिसी को किसी भी ऐसे रिस्पेंस की संभावना को अधिकतम करने के लिए ऑप्टिमाइज़ करता है जो एक वेरिफायर को पास कर सके। फलस्वरूप, मानक लाइकलीहुड-आधारित MIAs विफल हो जाते हैं क्योंकि स्कोर करने के लिए कोई फिक्स्ड टारगेट स्ट्रिंग मौजूद नहीं होती है।

यह शोध इस बात के ऑडिट की आवश्यकता को संबोधित करता है कि क्या फिक्स्ड टारगेट रिस्पॉन्स की अनुपस्थिति में भी, विशिष्ट प्रॉम्प्ट्स (जो अक्सर प्रोप्रायटरी बेंचमार्क्स या निजी पाइपलाइन्स होते हैं) का उपयोग पोस्ट-ट्रेनिंग RLVR में किया गया था।

2. कार्यप्रणाली: डाइवर्जेंस-इन-बिहेवियर ऑडिटिंग (DIBA)

लेखक DIBA (Divergence-in-Behavior Auditing) प्रस्तावित करते हैं, जो एक व्हाइट-बॉक्स, क्वेरी-लेवल ऑडिटिंग फ्रेमवर्क है। DIBA रिलीज़ किए गए RLVR-फाइन-ट्यून किए गए मॉडल ( $\pi_{ft}$ ) की तुलना उसके प्री-RLVR रेफरेंस चेकपॉइंट ( $\pi_{ref}$ ) से करके कार्य करता है।

मुख्य अंतर्दृष्टि (Core Insight)

लेखक देखते हैं कि जबकि RLVR एक फिक्स्ड स्ट्रिंग को फिट नहीं करता है, यह दो आयामों पर अवलोकन योग्य व्यवहार संबंधी निशान (behavioral traces) छोड़ता है:

रिवॉर्ड-साइड साक्ष्य (Reward-side Evidence): RLVR इस आवृत्ति (frequency) को बदल देता है जिसके साथ मॉडल एक प्रॉम्प्ट पर सत्यापन योग्य सफलता प्राप्त करता है।
पॉलिसी-साइड साक्ष्य (Policy-side Evidence): RLRL, रेफरेंस पॉलिसी के सापेक्ष जेनरेट की गई ट्रेजेक्टरीज के प्रोबेबिलिटी डिस्ट्रीब्यूशन में व्यवहारिक विचलन (behavioral drift) उत्पन्न करता है।

DIBA फ्रेमवर्क

DIBA एक दिए गए क्वेरी $q$ के लिए कई स्टोकेस्टिक रोलआउट्स ( $N$ सैंपल्स) से सिग्नल को एकत्रित करता है ताकि एक स्थिर ऑडिटिंग सिग्नल बनाया जा सके। यह दो अक्षों (axes) पर फीचर्स का निर्माण करता है:

रिवॉर्ड-साइड सिग्नल (एडवांटेज):
- एक रूल-बेस्ड वेरिफायर $R$ का उपयोग करके फाइन-ट्यून किए गए मॉडल के लिए अपेक्षित रिवॉर्ड ( $FT_{score}$ ) और बेस मॉडल के लिए ( $Base_{score}$ ) की गणना करता है।
- $s_{Adv} = [ \frac{1}{N}\sum R(o^{ft}_i), \frac{1}{N}\sum R(o^{ref}_i) ]$ ।
- यह कैप्चर करता है कि क्या RLVR ने कार्य को हल करने की मॉडल की क्षमता में सुधार किया।
पॉलिसी-साइड सिग्नल (डाइवर्जेंस):
- K3 डाइवर्जेंस: एक अनबायस्ड KL-डाइवर्जेंस एस्टीमेटर का उपयोग करके फाइन-ट्यून किए गए मॉडल के अपने ही रोलआउट्स पर $\pi_{ft}$ और $\pi_{ref}$ के बीच टोकन-लेवल डाइवर्जेंस को मापता है।
- कॉन्फिडेंस शिफ्ट: मॉडल कॉन्फिडेंस और रेडंडेंसी को कैप्चर करने के लिए लॉग-लाइकलीहुड रेशियो ( $\log \pi_{ft} - \log \pi_{ref}$ ) और एक Zlib-नॉर्मलाइज्ड वेरिएंट की गणना करता है।
- महत्वपूर्ण रूप से, रेफरेंस मॉडल एक एक्टिव बेसलाइन के रूप में कार्य करता है, न कि केवल एक फिक्स्ड टारगेट के कैलिब्रेटर के रूप में।

ये फीचर्स को कॉन्कैटिनेट किया जाता है और एक स्टैकिंग प्रेडिक्टर (रैंडम फॉरेस्ट + लॉजिस्टिक रिग्रेशन) में फीड किया जाता है ताकि प्रॉम्प्ट-लेवल मेंबरशिप स्कोर आउटपुट किया जा सके।

3. प्रमुख योगदान

RLVR ऑडिटिंग का व्यवस्थित अध्ययन: यह पेपर स्थापित करता है कि RLVR में एक्सपोजर रिस्क "फिक्स्ड-टारगेट फिटिंग" के बजाय प्रॉम्प्ट-कंडीशन्ड बिहेवियरल ट्रेसेस से बेहतर जुड़ा हुआ है।
DIBA का प्रस्ताव: एक तुलनात्मक ऑडिटिंग फ्रेमवर्क जो रिवॉर्ड-साइड बदलावों और रेफरेंस मॉडल के सापेक्ष पॉलिसी-साइड बिहेवियरल डाइवर्जेंस का विश्लेषण करके एक्सपोजर सिग्नल का अनुमान लगाता है।
व्यापक मूल्यांकन: लेखक RLVR ऑडिटिंग की सीमाओं को स्पष्ट करते हैं, यह पहचानते हैं कि यह कब सफल होता है (एक्टिव लर्निंग ट्रेसेस) और कब विफल होता है (पहले से मास्टर किए गए प्रॉम्प्ट्स या सैचुरेटेड रिवॉर्ड्स)। वे इसका विस्तार विजन-लैंग्वेज मॉडल्स (VLMs) और विभिन्न ट्रांसफर सेटिंग्स तक भी करते हैं।

4. प्रयोगात्मक परिणाम

प्रदर्शन (Performance)

व्हाइट-बॉक्स सेटिंग: DIBA लगातार मजबूत ट्रांसफर्ड बेसलाइन्स (जिसमें LOSS, Zlib, Min-K% के कैलिब्रेटेड और सेल्फ-जेनरेटेड वेरिएंट शामिल हैं) से बेहतर प्रदर्शन करता है।
- AUC: विभिन्न मॉडल्स (Qwen-3B/7B) और एल्गोरिदम (GRPO, DAPO) में लगभग 0.8 प्राप्त करता है।
- हाई-प्रिसिजन रिजीम: यह बेसलाइन्स (जैसे DAPO-3B के लिए 0.154 बनाम बेसलाइन्स के लिए ~0.01) की तुलना में एक ऑर्डर ऑफ मैग्नीट्यूड अधिक TPR@0.1%FPR प्राप्त करता है।
फीचर विश्लेषण:
- FT Score (रिवॉर्ड) मजबूत समग्र रैंकिंग (उच्च AUC) प्रदान करता है लेकिन लो-FPR रिजीम में विफल रहता है।
- डाइवर्जेंस हाई-प्रिसिजन डिटेक्शन (लो FPR) के लिए सबसे प्रभावी फीचर है, जो पॉलिसी ड्रिफ्ट के महत्व को रेखांकित करता है।
- रिवॉर्ड और पॉलिसी सिग्नल्स का संयोजन सहक्रियात्मक (synergistic) सुधार प्रदान करता है।

ऑडिटिंग रिजीम और सीमाएं

एक्टिवली-लर्न्ड प्रॉम्प्ट्स: DIBA यहाँ सबसे प्रभावी है, जहाँ RLVR गैर-मामूली (non-trivial) व्यवहारिक परिवर्तन प्रेरित करता है।
पहले से मास्टर किए गए प्रॉम्प्ट्स: डिटेक्शन यहाँ सबसे कमजोर है। यदि बेस मॉडल पहले से ही प्रॉम्प्ट को पूरी तरह से हल करता है, तो RLVR न्यूनतम अतिरिक्त अपडेट करता है, जिससे कोई पता लगाने योग्य निशान नहीं बचता।
कभी न सीखे गए प्रॉम्प्ट्स: यदि मॉडल कार्य को सीखने में पूरी तरह विफल रहता है, तो डिटेक्शन भी कमजोर होता है।
ट्रेनिंग डायनेमिक्स: ऑडिटिंग सिग्नल स्ट्रेंथ ट्रेनिंग और टेस्ट रिवॉर्ड्स के बीच बढ़ते अंतर के साथ सह-संबंधित है; यह जैसे-जैसे प्रशिक्षण आगे बढ़ता है, प्रगतिशील रूप से उभरता है।

ट्रांसफर क्षमता और सामान्यीकरण (Transferability and Generalization)

मॉडल साइज: एक ही RLVR एल्गोरिदम के भीतर मॉडल साइज (3B बनाम 7B) के बीच ट्रांसफर मजबूत है।
एल्गोरिदम मिसमैच: विभिन्न RLVR एल्गोरिदम (जैसे GRPO से DAPO) के बीच ट्रांसफर कम स्थिर है, विशेष रूप से हाई-प्रिसिजन रिजीम में।
ग्रे-बॉक्स सेटिंग: सावधानीपूर्वक चुने गए शैडो डेटा के साथ, सटीक डिस्ट्रीब्यूशन मैचिंग के बिना भी DIBA उपयोगी रहता है (AUC > 0.7)।
मल्टीमॉडल (VLMs): DIBA विजन-लैंग्वेज मॉडल्स तक विस्तारित है (AUC ~0.7), हालांकि विजुअल एनकोडर से शोर के कारण हाई-प्रिसिजन डिटेक्शन (TPR@0.1%FPR) कठिन है।
टास्क ट्रांसफर: सिग्नल इंस्ट्रक्शन-फॉलोइंग और टूल-यूज़िंग डेटासेट्स में बने रहते हैं।

शमन (Mitigations)

रेगुलराइजेशन: KL रेगुलराइजेशन ( $\beta$ ) को बढ़ाने से सीमित सुरक्षा मिलती है; यह अक्सर वास्तविक गोपनीयता संरक्षण के बजाय अंडरफिटिंग की ओर ले जाता है।
पोस्ट-हॉक ऑब्फस्केशन: आउटपुट को पैराफ्रेस करना टेक्स्ट-लेवल ऑडिटेबिलिटी (AUC/TPR को कम करना) को कम कर सकता है, लेकिन यदि ऑडिटर के पास मॉडल वेट या लॉजिट्स तक पहुंच है, तो यह एक्सपोजर को समाप्त नहीं करता है।

5. महत्व और दावे

यह पेपर DIBA को व्हाइट-बॉक्स RLVR कंप्लायंस सेटिंग्स के लिए एक व्यावहारिक ऑडिटर के रूप में स्थापित करता है। इसका प्राथमिक महत्व मेंबरशिप इन्फरेंस के प्रतिमान को "एक फिक्स्ड टारगेट को फिट करने" से बदलकर "व्यवहारगत विचलन का पता लगाने" की ओर ले जाने में निहित है।

लेखक दावा करते हैं कि:

एक्सपोजर पता लगाने योग्य है: RLVR ट्रेनिंग द्वारा प्रॉम्प्ट-विशिष्ट निशान छोड़े जाते हैं जिन्हें लक्षित ऑडिटिंग के माध्यम से उजागर किया जा सकता है, भले ही फिक्स्ड टारगेट स्ट्रिंग्स मौजूद न हों।
संदर्भ मायने रखता है: डेटा एक्सपोजर की ऑडिटेबिलिटी समान नहीं है; यह तब सबसे मजबूत होती है जब ट्रेनिंग दृश्य रिवॉर्ड परिवर्तन और व्यवहारिक बदलाव प्रेरित करती है, और तब सबसे कमजोर होती है जब बेस मॉडल के पास पहले से ही क्षमता मौजूद होती है।
सीमाएं: यह विधि कॉन्फ़िगरेशन-सेंसिटिव है (RL एल्गोरिदम और मॉडल फैमिली पर निर्भर) और उन प्रॉम्प्ट्स के उपयोग का पता नहीं लगा सकती है जो बेस मॉडल द्वारा पहले से ही पूरी तरह से हल किए जा चुके थे ("प्री-एक्जिस्टिंग नॉलेज" की सीमा)।

यह कार्य उभरते हुए RLVR प्रतिमान में एक महत्वपूर्ण गोपनीयता जोखिम को उजागर करता है, जो यह सुझाव देता है कि रीजनिंग एन्हांसमेंट के लिए उपयोग किए जाने वाले प्रोप्रायटरी प्रॉम्प्ट सूट्स एक्सपोजर ऑडिटिंग के प्रति संवेदनशील हैं, जिसके लिए RLVR ट्रेनिंग के लिए नई गोपनीयता-संरक्षण रणनीतियों की आवश्यकता है।