Verifier-Induced Support Reshaping in On-Policy Optimization
यह शोध पत्र प्रकट करता है कि सत्यापन योग्य पुरस्कारों (RLVR) के साथ ऑन-पॉलिसी सुदृढीकरण शिक्षण (reinforcement learning) तात्कालिक कार्य प्रदर्शन में सुधार कर सकता है, जबकि अनजाने में "सत्यापनकर्ता-प्रेरित समर्थन पुनर्गठन" (verifier-induced support reshaping) का कारण बनता है, जहाँ नीति अपने आउटपुट वितरण को इतना संकुचित कर देती है कि भविष्य के उद्देश्यों के लिए सफल प्रक्षेप पथ (trajectories) नमूना लेने के लिए बहुत दुर्लभ हो जाते हैं, जिससे दीर्घकालिक प्रशिक्षण क्षमता और संयुक्त क्षमता से समझौता होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को एक सहायक बनने के लिए सिखा रहे हैं। आप केवल यह नहीं चाहते कि वह तथ्य जानता हो; आप चाहते हैं कि वह नियमों का पालन करे, कठिन गणित की समस्याओं को हल करे और कोड लिखे। इसे करने के लिए, वैज्ञानिक "सुदृढीकरण शिक्षण" (reinforcement learning) नामक एक विधि का उपयोग करते हैं, जो एक खेल की तरह है जहाँ रोबोट अलग-अलग उत्तर देने की कोशिश करता है, एक "सत्यापनकर्ता" (एक सख्त जज) से स्कोर प्राप्त करता है, और उच्च स्कोर वाले कदमों को दोहराना सीखता है। बड़ी उम्मीद यह है कि हम रोबोट को एक के बाद एक कौशल सिखा सकें—पहले गणित, फिर लेखन, फिर कोडिंग—बिना पुराने ज्ञान को भूले या भ्रमित हुए। यह "निरंतर शिक्षण" (continual learning) का सपना है: एक ऐसा रोबोट बनाना जो कदम-दर-कदम सब कुछ में बेहतर होता जाए। लेकिन क्या होगा अगर एक चीज़ में परफेक्ट होने के लिए रोबोट को सिखाने की प्रक्रिया अनजाने में अगली चीज़ सीखने का दरवाज़ा बंद कर दे? क्या होगा अगर रोबोट निर्देशों का पालन करने में इतना अच्छा हो जाए कि वह चरण-दर-चरण सोचना भूल जाए, या इसके विपरीत?
यह शोध पत्र "वेरिफायर-इंड्यूस्ड सपोर्ट रीशेपिंग" (verifier-induced support reshaping) नामक एक गुप्त समस्या की जांच करता है। शोधकर्ताओं ने पाया कि जब आप एक सख्त जज का उपयोग करके एक विशिष्ट कार्य के लिए AI को प्रशिक्षित करते हैं, तो AI न केवल उस कार्य में बेहतर होता है; बल्कि वह वास्तव में अपने व्यक्तित्व को इस तरह बदल लेता है जिससे बाद में अन्य कार्यों को सीखना बहुत कठिन हो जाता है। यह एक कुत्ते को प्रशिक्षित करने जैसा है जिसे आपने केवल तब बैठने के लिए सिखाया जब आप "बैठो" कहें, और ऐसा करते समय, आपने अनजाने में उसे सिखा दिया कि "बैठो" ही एकमात्र शब्द है जो मायने रखता है। बाद में, जब आप उसे "रुको" सिखाने की कोशिश करते हैं, तो वह भ्रमित हो सकता है क्योंकि उसका मस्तिष्क अन्य चीजों को अनदेखा करने के लिए पुनर्गठित हो गया है। शोध पत्र दिखाता है कि यह केवल पुराने करतबों को भूलने (एक ज्ञात समस्या जिसे "कैटास्ट्रोफिक फॉरगेटिंग" कहा जाता है) के बारे में नहीं है; यह इस बारे में है कि AI सही तरह के उत्तरों को इतना दुर्लभ बना देता है कि प्रशिक्षण प्रक्रिया उन्हें फिर से खोज ही नहीं पाती। भले ही AI के पास गणित की समस्या को हल करने की क्षमता अभी भी हो, लेकिन वह सही तरीके से हल करने की कोशिश करना बंद कर सकता है क्योंकि उसे उत्तर देने के एक अलग अंदाज की आदत हो गई है।
शोधकर्ताओं ने इसे दो प्रकार के AI मॉडल को दो बहुत अलग कार्यों पर प्रशिक्षित करके परखा: गणित की समस्याओं को हल करना और सख्त लेखन निर्देशों का पालन करना (जैसे "ठीक 50 शब्द लिखें" या "बुलेट पॉइंट्स का उपयोग करें")। उन्होंने एक समूह को गणित का जादूगर बनने के लिए और दूसरे को निर्देश पालन में माहिर बनने के लिए प्रशिक्षित किया। फिर, उन्होंने यह देखने के लिए जजों (verifiers) को आपस में बदल दिया कि क्या होता है।
यहाँ उन्होंने क्या खोजा:
मैथ-टू-इंस्ट्रक्शन ट्रैप (गणित-से-निर्देश जाल)
जब उन्होंने AI को पहले गणित का जीनियस बनाने के लिए प्रशिक्षित किया, तो वह औसतन निर्देशों का पालन करने में बेहतर हुआ। हालाँकि, कुछ अजीब हुआ: AI बहुत "ध्रुवीकृत" (polarized) हो गया: या तो वह निर्देश को पूरी तरह से सही करता था या पूरी तरह से गलत, बीच का कोई रास्ता नहीं था। पहले, AI कई अलग-अलग तरीकों से उत्तर देने की कोशिश कर सकता था, जिनमें से कुछ सही के करीब होते थे। गणित के प्रशिक्षण के बाद, उसने उन मध्य मार्गों को आज़माना बंद कर दिया। इसका मतलब यह हुआ कि यदि आप कई उत्तरों को नमूने के रूपach (sample) के रूप में लेते हैं (जैसे AI से 32 बार प्रयास करने के लिए कहना), तो आप निर्देश कार्य के लिए किसी भी सफल उत्तर को खोजने की संभावना कम रखते थे। गणित के प्रशिक्षण ने AI के फोकस को इतना संकुचित कर दिया कि उसने नए निर्देश-पालन के करतब सीखने के लिए आवश्यक "सपोर्ट" (प्रयासों की विविधता) को तलाशना बंद कर दिया।
इंस्ट्रक्शन-टू-मैथ ट्रैप (निर्देश-से-गणित जाल)
इसका उल्टा और भी दिलचस्प था। जब उन्होंने AI को पहले एक निर्देश-अनुयायी के रूप में प्रशिक्षित किया, तो उसने गणित की समस्याओं को हल करने का तरीका बदलना शुरू कर दिया। अपना काम चरण-दर-चरण दिखाने के बजाय (जैसे "सबसे पहले, मैं 2 और 2 जोड़ता हूँ..."), AI सीधे उत्तर पर कूदने लगा ("उत्तर 4 है")। शोधकर्ता इसे "डेलिब्रेट रीजनिंग इनीशिएशन" (DRI) से "डायरेक्ट आंसर इनीशिएशन" (DAI) की ओर बदलाव कहते हैं।
यह बदलाव बहुत बड़ा था। जब AI चरणों को छोड़ना शुरू कर देता है, तो सही उत्तर खोजना बहुत कठिन हो जाता है, भले ही AI को गणित पता हो। वास्तव में, AI जितना अधिक सीधे उत्तरों की ओर कूदता है, कई प्रयासों को नमूने के रूप में लेने पर उसकी सफलता दर उतनी ही कम हो जाती है। गणित के सही उत्तर खोजने के लिए "सपोर्ट" सिकुड़ गया था।
"फर्स्ट टोकन" का रहस्य
शोधकर्ताओं ने गहराई से खोजा कि यह क्यों हो रहा था। उन्होंने पाया कि यह परिवर्तन इस बारे में नहीं था कि AI वाक्य के अंत में गणित भूल जाता है; यह परिवर्तन AI द्वारा टाइप किए जाने वाले पहले शब्द में हुआ था!
यह जानकर आश्चर्य होता है कि गणित का "जज" (verifier) AI को "Alright" या "Let's step through" जैसे शब्दों से शुरू करने के लिए प्रोत्साहित करता है, जबकि निर्देशों का जज "Answer" या "Here" से शुरू करने के लिए प्रोत्साहित करता है। एक बार जब AI "Answer" से शुरू करना सीख जाता है, तो वह एक ऐसे रास्ते में फंस जाता है जहाँ वह तर्क के चरणों को छोड़ देता है। शोधकर्ताओं ने यह सिद्ध किया कि जब उन्होंने निर्देश-अनुयायी के रूप में प्रशिक्षित AI को भी "मैथ" वाले शब्दों से शुरू करने के लिए मजबूर किया, तो AI की गणितीय समाधान खोजने की क्षमता जादुई रूप से सुधर गई। इससे पता चलता है कि AI ने अपना गणित का दिमाग नहीं खोया था; वह बस एक खराब "ओपनिंग मूव" की आदत में फंस गया था।
क्या हम इसे ठीक कर सकते हैं?
टीम ने इस समस्या को ठीक करने की कोशिश की। उन्होंने AI को हमेशा सही शब्दों से शुरू करने के लिए "प्री-ट्रेन" करने की कोशिश की (एक "DRI प्रायर"), लेकिन इसने केवल समस्या को टाल दिया; अंततः, AI अभी भी सीधे उत्तर देने वाली शैली में बदल गया। उन्होंने "ऑन-पॉलिसी डिस्टिलेशन" नामक एक तकनीक भी आजमाई, जहाँ एक छात्र AI एक शिक्षक AI की नकल करने की कोशिश करता है। लेकिन यह तभी काम करता था जब वे शिक्षक का बहुत सावधानी से चयन करते; यदि शिक्षक ने पहले से ही "बुरी" आदत सीख ली थी, तो छात्र भी उसे ही कॉपी करता था।
निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि केवल एक AI को एक कार्य में बेहतर बनाने से यह गारंटी नहीं मिलती कि वह अगले कार्य के लिए तैयार होगा। वास्तव में, एक क्षेत्र में सुधार कभी-कभी दूसरे क्षेत्र के लिए "सर्च स्पेस" को इतना छोटा कर देता है कि AI सही उत्तर नहीं खोज पाता। गणित या निर्देश पालन में लाभ हमेशा ऐसे उत्तरों में अनुवादित नहीं होते जो सही भी हों और नियमों का पालन भी करते हों। यह AI डेवलपर्स के लिए एक चेतावनी है: केवल इसलिए कि एक मॉडल आज एक टेस्ट में उच्च स्कोर करता है, इसका मतलब यह नहीं है कि उसने अपने भविष्य के सीखने के दरवाजे बंद नहीं कर दिए हैं। एक AI को लचीला बनाए रखने के लिए, हमें यह सुनिश्चित करने की आवश्यकता है कि वह केवल उन्हीं "ओपनिंग मूव्स" को उपलब्ध न रखे जो अभी उच्च स्कोर करते हैं, बल्कि विविध प्रकार के विकल्प भी रखे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।