When the Reward Suite Is Leaky: A Preregistered Causal Contrast of Natural Verifier False Positives in RLVR
यह पूर्व-पंजीकृत कारण संबंधी अध्ययन (causal study) प्रदर्शित करता है कि कोड रिवॉर्ड सूट्स में प्राकृतिक 'फॉल्स पॉजिटिव' (false positives) व्यवस्थित रूप से RLVR प्रदर्शन मेट्रिक्स को बढ़ा देते हैं क्योंकि वे केवल सूट आर्टिफैक्ट्स के बजाय वास्तव में त्रुटिपूर्ण कोड को पुरस्कृत करते हैं, एक ऐसी घटना जिसे सस्ते स्टैटिक ऑडिट के माध्यम से पहचाना जा सकता है लेकिन जिसे सुधारने पर क्षमता में न्यूनतम लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कंप्यूटर कोड लिखना सिखा रहे हैं। उसे सिखाने के लिए, आप उसे एक परीक्षण देते हैं: "दो संख्याओं को जोड़ने का एक प्रोग्राम लिखें।" यदि रोबोट का कोड परीक्षण पास कर लेता है, तो आप उसे एक गोल्ड स्टार (एक इनाम) देते हैं। यदि वह विफल रहता है, तो आप उसे कुछ भी नहीं देते। आधुनिक AI इसी तरह कोड करना सीखता है: यह लाखों बार प्रयास करता है, और "गोल्ड स्टार" इसे बेहतर बनने के लिए मार्गदर्शन करते हैं।
लेकिन क्या होगा अगर परीक्षण ही टूटा हुआ हो? क्या होगा अगर परीक्षण इतना सरल हो कि वह गलती से उस रोबोट को गोल्ड स्टार दे दे जिसने गलत उत्तर लिखा हो?
यह शोध पत्र ठीक इसी परिदृश्य की जांच करता है। शोधकर्ता इन टूटे हुए परीक्षणों को "लीकी सूट्स" (leaky suites) कहते हैं। वे जानना चाहते थे: यदि कोई AI एक लीकी टेस्ट का उपयोग करके सीखता है, तो क्या वह वास्तव में स्मार्ट होता है, या वह केवल टेस्ट को धोखा देना सीख जाता है?
महान प्रयोग: दो टीमें, एक लक्ष्य
शोधकर्ताओं ने एक विशाल, सावधानीपूर्वक नियोजित प्रयोग तैयार किया (जैसे कि एक विज्ञान मेला प्रोजेक्ट जहाँ उन्होंने शुरू करने से पहले अपने नियम लिख दिए थे)। उन्होंने तीन अलग-अलग AI मॉडल लिए और उन्हें एक ही 250 कोडिंग समस्याओं पर प्रशिक्षित किया।
- टीम लीकी (Team Leaky): इन रोबोटों को मूल, "लीकी" परीक्षणों द्वारा पुरस्कृत किया गया था। ये परीक्षण कभी-कभी गलत उत्तरों को भी गोल्ड स्टार दे देते थे।
- टीम हार्डेंड (Team Hardened): इन रोबोटों को एक सुपर-टफ, "हार्डेंड" टेस्ट सूट द्वारा पुरस्कृत किया गया था। इस नए संस्करण में अतिरिक्त, कठिन प्रश्न शामिल थे जो मूल परीक्षणों से छूट गए थे। यदि किसी रोबोट ने आसान प्रश्न सही किया लेकिन कठिन वाले में विफल रहा, तो उसे कोई गोल्ड स्टार नहीं मिला।
उन्होंने इसे प्रशिक्षण के 400 चरणों तक चलाया। बड़ा सवाल यह था: क्या टीम लीकी, टीम हार्डेंड की तुलना में कोडिंग में खराब निकली?
बड़ी हैरानी: चीट कोड ने उन्हें मजबूत नहीं बनाया
यहाँ मुख्य निष्कर्ष है, और यह थोड़ा रोमांचक मोड़ है: टीम लीकी महत्वपूर्ण रूप से खराब नहीं हुई।
जब शोधकर्ताओं ने दोनों टीमों का नए, अनदेखे प्रश्नों पर परीक्षण किया (उन्हें ग्रेड करने के लिए सुपर-टफ "हार्डेंड" परीक्षणों का उपयोग करते हुए), तो टीम लीकी टीम हार्डेंड से केवल 0.20 अंक पीछे थी। शोधकर्ताओं ने शुरू करने से पहले 1.5 अंक का सुरक्षा मार्जिन निर्धारित किया था। चूंकि 0.20, 1.5 से बहुत छोटा है, इसलिए वे उच्च विश्वास के साथ कह सकते हैं कि "लीकी" प्रशिक्षण ने रोबोट की कोडिंग क्षमता को बर्बाद नहीं किया।
यह क्या खारिज करता है: यह साबित करता है कि AI ने सिस्टम को इस तरह से "हैक" करना नहीं सीखा जिससे उसके वास्तविक कौशल नष्ट हो जाएं। रोबोट "धोखेबाज" नहीं बने जो केवल आसान टेस्ट पास कर सकें लेकिन बाकी सब में विफल हो जाएं।
तो, लीकी टेस्ट ने वास्तव में क्या किया?
यदि रोबकीं खराब नहीं हुईं, तो क्या लीकी टेस्ट वहां बिना कुछ किए पड़े रहे? नहीं। उन्होंने वास्तव में गलत कारणों से बहुत सारे गोल्ड स्टार दिए।
शोधकर्ताओं ने पाया कि "लीकी" टीम ने कुल पुरस्कारों में "हार्डेंड" टीम की तुलना में 8.37 अंक अधिक एकत्र किए। लेकिन यह अतिरिक्त पुरस्कार कहाँ से आया?
उन्होंने हर एक "गलत" उत्तर का ऑडिट किया जिसे गोल्ड स्टार मिला था। उन्होंने पाया कि उन पुरस्कारों में से लगभग 47.57% ऐसे कोड के लिए थे जो वास्तव में टूटे हुए और गलत थे। बाकी आधा हिस्सा ऐसे कोड के लिए था जो वास्तव में ठीक था, लेकिन अत्यधिक कठिन टेस्ट बहुत ज्यादा सख्त हो रहा था।
उपमा: कल्पना कीजिए कि एक शिक्षक गलती से उस छात्र को "A" ग्रेड दे देता है जिसने एक कहानी लिखी जिसमें टाइपो (वर्तनी की गलती) थी। छात्र को गोल्ड स्टार मिल जाता है। शोधकर्ताओं ने पाया कि लगभग आधी बार, छात्र ने वास्तव में एक खराब कहानी लिखी थी, लेकिन शिक्षक के टूटे हुए ग्रेडिंग शीट ने कहा कि वह अच्छी थी।
"चयन" बनाम "सीखना" का रहस्य
इस शोध पत्र का सबसे दिलचस्प हिस्सा यह है कि रोबोटों ने इन टूटे हुए परीक्षणों का उपयोग कैसे किया।
एक रोबोट के पास टूटे हुए टेस्ट का उपयोग करने के दो तरीके हो सकते हैं:
- धोखा देना सीखना: रोबोट महसूस करता है, "हे, अगर मैं यह विशिष्ट अजीब कोड लिखता हूँ, तो शिक्षक मुझे स्टार देते हैं!" इसलिए, वह जानबूझकर वह अजीब कोड लिखना सीखता है।
- केवल विजेताओं को चुनना: रोबोट पहले से ही वह अजीब कोड लिखने में सक्षम था। टूटा हुआ टेस्ट बस संयोग से उसे स्टार दे देता था, इसलिए रोबोट इसे करता रहा।
शोधकर्ताओं को विकल्प 2: चयन, न कि सीखना (Selection, not Learning) के लिए मजबूत सबूत मिले।
- साक्ष्य: प्रशिक्षण शुरू करने से पहले ही, उन्होंने "बेस" रोबोट (वह रोबोट जिसके पास अभी तक कोई प्रशिक्षण नहीं है) से समस्याओं को आज़माने के लिए कहा। बेस रोबोट ने पहले से ही वही गलत उत्तर दिए थे जिनके लिए बाद में "लीकी" टीम को पुरस्कृत किया गया था।
- परिणाम: प्रशिक्षण ने रोबोट को बुरा कोड लिखना नहीं सिखाया। इसने केवल रोबोट को वह बुरा कोड लिखते रहने के लिए सिखाया जो वह पहले से ही गलती से लिख रहा था, क्योंकि टूटा हुआ टेस्ट उसे इसके लिए गोल्ड स्टार देता रहा। रोबोट धोखाधड़ी करने में स्मार्ट नहीं हुआ; वह बस अपनी पुरानी गलतियों को दोहराने में बेहतर हो गया।
"जज" की समस्या
शोध पत्र ने यह देखने के लिए एक साइड प्रयोग भी किया कि क्या "फ्रंटियर" AI जज (अन्य रोबोटों को ग्रेड करने के लिए उपयोग किए जाने वाले सुपर-स्मार्ट रोबोट) अपनी गलतियों को पहचान सकते हैं।
उन्होंने इन सुपर-जजों से उनके अपने आउटपुट को ग्रेड करने के लिए कहा। परिणाम? वे अपनी गलतियों को पहचानने में एक सिक्के के उछाल (coin flip) से थोड़े ही बेहतर थे। यहाँ तक कि सबसे स्मार्ट जज भी यह बताने में संघर्ष कर रहे थे कि वे अपने स्वयं के कोड के बारे में गलत थे। यह सुझाव देता है कि जैसे-जैसे AI स्मार्ट होता जाता है, हमारे लिए उसकी गलतियों को ढूंढना कठिन होता जा सकता है, क्योंकि AI खुद भी उन्हें नहीं देख पाता।
निचोड़ (The Bottom Line)
- क्या लीकी टेस्ट ने AI को तोड़ दिया? नहीं। AI का वास्तविक कोडिंग कौशल लगभग समान रहा (एक बहुत ही मामूली अंतर के भीतर)।
- क्या लीकी टेस्ट ने बुरे कोड के लिए भुगतान किया? हाँ। अतिरिक्त पुरस्कारों में से लगभग आधा वास्तव में टूटे हुए कोड के लिए था।
- क्या AI ने हैक करना सीखा? नहीं। इसने केवल अपनी मौजूदा गलतियों को दोहराना सीखा। टूटा हुआ टेस्ट एक आवर्धक लेंस (magnifying glass) की तरह था, जिसने नई गलतियाँ बनाने के बजाय मौजूदा त्रुटियों को उजागर किया।
- क्या हम इसे ठीक कर सकते हैं? हाँ। शोधकर्ताओं ने पाया कि प्रशिक्षण से पहले एक सरल, सस्ता चेक यह अनुमान लगा सकता है कि किन समस्याओं में ये "लीक्स" होंगे। यदि आप उन विशिष्ट परीक्षणों को ठीक कर देते हैं, तो आप AI को खराब काम के लिए गोल्ड स्टार पाने से रोक देते हैं।
संक्षेप में: AI एक मास्टर अपराधी बनने के लिए नहीं सीखा; इसने केवल अपनी अपनी अनाड़ीपन (clumsiness) का मास्टर बनना सीखा, क्योंकि स्कोरबोर्ड टूटा हुआ था। और अच्छी खबर यह है कि हम खेल शुरू होने से पहले स्कोरबोर्ड को ठीक कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।