Beyond pass@k: Redundancy-Aware RLVR for Multi-Sample Code Generation
यह शोध पत्र यह पहचान करता है कि सत्यापनकर्ताओं के साथ मानक शुद्धता-केंद्रित सुदृढीकरण शिक्षण (RLVR) से कोड जनरेशन में पुनरुक्ति (redundancy) होती है, और JPlag-आधारित एंटी-रिडंडेंसी रिवार्ड्स का उपयोग करने वाला एक रिडंडेंसी-अवेयर RLVR दृष्टिकोण प्रस्तावित करता है जो विविध कैंडिडेट समाधानों को बनाए रखकर सीमित-बजट वाले कोड जनरेशन प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कठिन कोडिंग पहेली को हल करने के लिए प्रोग्रामरों की एक टीम को काम पर रख रहे हैं। आपके पास एक सीमित बजट है: आप केवल 10 समाधानों के लिए कह सकते हैं (यह आपका "सैंपलिंग बजट" है)। आपका लक्ष्य सरल है: आपको बस उन 10 में से एक समाधान की आवश्यकता है जो पूरी तरह से सही हो।
AI की दुनिया में, इसे Pass@k (पास एट k) कहा जाता है। यदि आप AI से 10 बार कोड लिखने के लिए कहते हैं, और उन 10 प्रयासों में से कम से कम एक काम कर जाता है, तो आप जीत जाते हैं।
समस्या: "कॉपीकैट" (नकलची) टीम
यह शोध पत्र बताता है कि कैसे वर्तमान AI मॉडल को इस खेल को जीतने के लिए प्रशिक्षित करने के तरीके में एक छिपा हुआ दोष है।
जब शोधकर्ता AI को कोडिंग में बेहतर होने के लिए प्रशिक्षित करते हैं, तो वे आमतौर पर इसे केवल सही उत्तर देने के लिए पुरस्कृत करते हैं। AI जल्दी ही एक शॉर्टकट सीख जाता है: "यदि मैं एक ही सही कोड को 10 बार लिखता हूँ, तो मुझे हर बार इनाम मिलेगा।"
तो, AI एक कॉपीकैट बन जाता है। समस्या को हल करने के लिए 10 अलग-अलग तरीके आज़माने के बजाय (जैसे हथौड़ा, पेचकश या रिंच का उपयोग करना), यह एक सफल विधि चुनता है और बस उसे 10 बार कॉपी करता है।
- परिणाम: यदि उस एक विधि में एक छोटी सी भी त्रुटि (bug) है, तो सभी 10 प्रतियां विफल हो जाएंगी। आपने अपने बजट को डुप्लिकेट्स पर बर्बाद कर दिया।
- शोध पत्र का टूल: इसे पहचानने के लिए, लेखकों ने JPlag नामक एक टूल का उपयोग किया है। JPlag को एक "साहित्यिक चोरी का पता लगाने वाले" (plagiarism detector) उपकरण के रूप में समझें। इसे टेक्स्ट के रंग को बदलने या वेरिएबल का नाम बदलने से कोई फर्क नहीं पड़ता; यह कोड की संरचना को देखता है। यदि दो प्रोग्राम एक ही तरह से बनाए गए हैं, तो JPlag कहता है, "ये लगभग समान (near-duplicates) हैं।"
समाधान: "एंटी-रिडंडेंसी" (गैर-दोहराव) कोच
लेखकों ने एक सरल प्रश्न पूछा: क्या होगा यदि हम AI को न केवल सही होने के लिए, बल्कि अपने पिछले प्रयासों से अलग होने के लिए भी प्रशिक्षित करें?
उन्होंने एक नई प्रशिक्षण पद्धति पेश की जिसे Redundancy-Aware RLVR कहा जाता है।
- उपमा: कल्पना कीजिए कि एक कोच 10 धावकों की एक टीम को निर्देश दे रहा है: "आप सभी को दौड़ पूरी करनी है। लेकिन यहाँ एक नियम है: यदि आप में से दो लोग बिल्कुल एक ही रास्ते पर दौड़ते हैं, तो आप दोनों को दंडित किया जाएगा। आपको फिनिश लाइन तक पहुँचने के लिए अद्वितीय (unique) रास्ते खोजने होंगे।"
- यह कैसे काम करता है: AI को अभी भी सही कोड लिखने के लिए पुरस्कृत किया जाता है। लेकिन अब, इसे तब भी "दंड" (या नकारात्मक पुरस्कार) मिलता है जब यह कोई ऐसा कोड बनाता है जो उसके द्वारा अभी लिखे गए किसी अन्य कोड के बहुत समान दिखता है।
परिणाम: बेहतर टीम वर्क
जब उन्होंने इस नए "एंटी-रिडंडेंसी कोच" का पुराने "कॉपीकैट कोच" के मुकाबले परीक्षण किया, तो परिणाम स्पष्ट थे:
- कम बर्बादी: नए AI ने एक ही समाधान को बार-बार दोहराना बंद कर दिया। इसने सही कोड की बहुत अधिक विविधता उत्पन्न की।
- उच्च सफलता दर: क्योंकि टीम अलग-अलग दृष्टिकोणों को आज़मा रही थी, इसलिए 10 प्रयासों के सीमित बजट के भीतर एक काम करने वाला समाधान खोजने की उनकी संभावना बहुत अधिक थी।
- विशेषज्ञों को पछाड़ना: इस सरल तकनीक—"खुद की नकल मत करो"—ने उन जटिल, विशिष्ट तरीकों के बराबर या उनसे भी बेहतर प्रदर्शन किया जिन्हें शोधकर्ताओं ने पहले विशेष रूप से इस समस्या को संभालने के लिए डिज़ाइन किया था।
मुख्य निष्कर्ष
यह शोध पत्र तर्क देता है कि जब हम AI को किसी समस्या को हल करने के लिए कई बार प्रयास करने के लिए कहते हैं, तो हमें केवल इस बात की परवाह नहीं करनी चाहिए कि वह कितनी बार सही उत्तर देता है। हमें इस बात की भी परवाह करनी चाहिए कि वह वहां तक पहुँचने के लिए कितने अलग-अलग तरीकों का प्रयास करता है।
AI को एक नकलची बनने से रोककर, हम उसके सीमित प्रयासों को बहुत अधिक मूल्यवान बना देते हैं। यह एक दोस्त से पासवर्ड के 10 अनुमान लगाने के लिए कहने के बीच का अंतर है जहाँ वे सभी "123456" अनुमान लगाते हैं, बनाम उनसे 10 पूरी तरह से अलग नंबरों का अनुमान लगाने के लिए कहना। दूसरा दृष्टिकोण सफल होने की बहुत अधिक संभावना रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।