Uniform-Correct Policy Optimization: Breaking RLVR's Indifference to Diversity
यह शोध पत्र यह पहचान करता है कि सत्यापन योग्य पुरस्कारों (RLVR) वाले मानक सुदृढीकरण अधिगम (reinforcement learning) उद्देश्य सही समाधानों के बीच संभाव्यता द्रव्यमान (probability mass) के वितरण के प्रति उदासीन होकर विविधता पतन (diversity collapse) की ओर ले जाते हैं, और वैध आउटपुट पर एक समान वितरण लागू करने के लिए यूनिफॉर्म-करेक्ट पॉलिसी ऑप्टिमाइज़ेशन (UCPO) का प्रस्ताव करता है, जिससे एकल-प्रयास सटीकता को बनाए रखते हुए मल्टी-सैंपल विविधता और कवरेज में पर्याप्त सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
"यूनिफॉर्म-करेक्ट पॉलिसी ऑप्टिमाइज़ेशन" (Uniform-Correct Policy Optimization) पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण।
बड़ी समस्या: "एक ही सांचे में ढलने" (One-Size-Fits-All) वाले दृष्टिकोण का जाल
कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र को गणित के सवाल हल करने के लिए प्रशिक्षित कर रहे हैं। आप उसे बताते हैं: "तुम्हारा लक्ष्य सही उत्तर खोजना है।"
AI की दुनिया में, इसे RLVR (वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग) कहा जाता है। AI एक समस्या को हल करने की कोशिश करता है, और यदि उत्तर सही है, तो उसे एक "गोल्ड स्टार" (पुरस्कार) मिलता है।
समस्या:
यह पेपर तर्क देता है कि मानक प्रशिक्षण विधियाँ (जैसे GRPO) इस बात पर बहुत अधिक ध्यान केंद्रित करती हैं कि गोल्ड स्टार कैसे प्राप्त किया जाए, और इस बात की परवाह नहीं करतीं कि वह गोल्ड स्टार कैसे प्राप्त हुआ।
कल्पना कीजिए कि एक गणित का सवाल है जिसे तीन अलग-अलग वैध तरीकों से हल किया जा सकता है (तरीका A, तरीका B, और तरीका C)।
- पुराना तरीका (GRPO): AI तीनों को आज़माता है। संयोगवश, वह तरीका A का उपयोग करके एक समस्या हल कर लेता है। उसे एक गोल्ड स्टार मिलता है। चूंकि उसे स्टार मिला, AI सोचता है: "तरीका A सबसे अच्छा है! अगली बार मैं यही करूँगा।" वह तरीके B और C को आज़माना बंद कर देता है।
- परिणाम: AI तरीका A का उस्ताद बन जाता है। जब वह एक बार प्रयास करता है (Pass@1), तो वह लगभग हर बार सही उत्तर देता है। लेकिन यदि आप उसे यह देखने के लिए 64 बार प्रयास करने को कहें कि क्या वह कोई भी समाधान खोज सकता है, तो वह विफल हो जाता है। क्यों? क्योंकि वह तरीके B और C को भूल चुका है। वह एक एकल, संकीर्ण आदत में सिमट गया है।
पेपर इसे "डाइवर्सिटी कोलैप्स" (विविधता का पतन) कहता है। AI एक ही हुनर वाला "वन-ट्रिक पोनी" बनकर रह जाता है।
निदान: ऐसा क्यों होता है?
लेखकों ने पाया कि इसके दो मुख्य कारण हैं:
- लक्ष्य बहुत अस्पष्ट है: प्रशिक्षण का नियम कहता है: "सही उत्तरों को अधिकतम करो।" यह नहीं कहता कि: "सही उत्तरों को अधिकतम करो और हर संभव तरीके का उपयोग करने का प्रयास भी करो।" इसलिए, AI उदासीन है। उसे यह नहीं पता कि उसे विविध (diverse) होना चाहिए।
- "अमीर और अमीर होता जाता है" (Rich Get Richer) का चक्र:
- कल्पना कीजिए कि संयोग से AI थोड़ा अधिक तरीका A चुनने की ओर झुका हुआ है।
- चूंकि वह तरीका A को अधिक बार चुनता है, इसलिए उसे इसके साथ अधिक अभ्यास मिलता है।
- प्रशिक्षण अपडेट तरीका A को और भी मजबूत बनाते हैं।
- अब वह तरीका A को और भी अधिक बार चुनता है।
- अंततः, तरीके B और C को कभी चुना ही नहीं जाता, इसलिए AI को उन्हें फिर से सीखने का मौका ही नहीं मिलता। वे समाप्त हो जाते हैं।
समाधान: "यूनिफॉर्म-करेक्ट" पॉलिसी (Uniform-Correct Policy)
लेखकों ने पूछा: "जब कई सही उत्तर हों, तो एक AI के लिए कार्य करने का परफेक्ट तरीका क्या है?"
उन्होंने निष्कर्ष निकाला कि AI को यूनिफॉर्म-करेक्ट (Uniform-Correct) होना चाहिए।
- यूनिफॉर्म (समान): उसे हर वैध समाधान (तरीका A, B और C) के साथ बिल्कुल समान व्यवहार करना चाहिए। उसे प्रत्येक को समान अवसर (प्रत्येक को 33%) देना चाहिए।
- करेक्ट (सही): उसे गलत उत्तरों पर समय बर्बाद नहीं करना चाहिए।
इसे एक ऐसे शेफ (रसोइए) की तरह समझें जो परफेक्ट ऑमलेट बनाने के तीन अलग-अलग तरीके जानता है। "यूनिफॉर्म-करेक्ट" शेफ उस एक तरीके पर नहीं टिकता जो उसने सबसे पहले बनाया था; वह सभी तीन तरीकों के माध्यम से समान रूप से घूमता है ताकि वह दूसरों को बनाना कभी न भूले।
नया टूल: UCPO
"एक ही सांचे में ढलने" के जाल को ठीक करने के लिए, लेखकों ने UCPO (यूनिफॉर्म-करेक्ट पॉलिसी ऑप्टिमाइज़ेशन) नामक एक नई प्रशिक्षण विधि विकसित की।
यह कैसे काम करता है (उपमा):
कल्पना कीजिए कि AI छात्रों (विभिन्न समाधानों) की कक्षा को ग्रेड देने वाला एक शिक्षक है।
- पुरानी विधि (GRPO): शिक्षक केवल उस छात्र की प्रशंसा करता है जिसने सबसे पहले हाथ उठाया। अन्य छात्र शांत रहते हैं और अंततः हाथ उठाना बंद कर देते हैं।
- नई विधि (UCPO): शिक्षक पूरी कक्षा को देखता है। यदि छात्र A ने अक्सर हाथ उठाया है, तो शिक्षक कहता है: "बहुत बढ़िया, लेकिन हम छात्र B और छात्र C को विशेष बोनस देंगे, जिन्होंने उतनी बार हाथ नहीं उठाया है।"
UCPO प्रशिक्षण में एक "पेनल्टी" (दंड) जोड़ता है। यदि AI एक समाधान को बहुत अधिक महत्व देने लगता है, तो प्रशिक्षण वापस दबाव डालता है और कहता है: "नहीं, आपको अपना ध्यान सभी सही उत्तरों पर अधिक समान रूप से वितरित करना होगा।"
परिणाम: क्या हुआ?
टीम ने तीन अलग-अलग AI मॉडल (छोटे से बड़े तक) पर कठिन गणितीय बेंचमार्क (जैसे AIME गणित प्रतियोगिता) का उपयोग करके परीक्षण किया।
- सटीकता (Accuracy) ऊँची बनी रही: AI अभी भी पहले प्रयास में सही उत्तर खोजने में (Pass@1) पुराने तरीकों जितना ही सक्षम था।
- विविधता (Diversity) में उछाल आया: जब उन्होंने AI को 64 अलग-अलग प्रयास उत्पन्न करने के लिए कहा, तो उसने कई अधिक अद्वितीय और सही समाधान खोजे।
- सबसे कठिन टेस्ट (AIME24) पर, नए तरीके ने 64 प्रयासों के भीतर किसी भी सही समाधान को खोजने की क्षमता में 10% का सुधार किया।
- उत्तरों में उपयोग किए गए गणितीय समीकरणों की विविधता में 45% की वृद्धि हुई।
सारांश
यह पेपर दिखाता है कि AI मॉडल का मानक प्रशिक्षण उन्हें बहुत कठोर बना देता है—वे सही होने का एक तरीका ढूंढ लेते हैं, उसी पर टिक जाते हैं, और अन्य सभी वैध तरीकों को भूल जाते हैं। नया तरीका, UCPO, AI को अपने सभी विकल्पों को खुला रखने और हर सही पथ को समान रूप से मूल्यवान मानने के लिए मजबूर करता है। यह AI को उसकी सटीकता से समझौता किए बिना अधिक मजबूत और रचनात्मक बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।