Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning
यह शोध पत्र तर्क देता है कि सुदृढीकरण सीखना (reinforcement learning) नई क्षमताओं को सिखाकर नहीं, बल्कि उच्च-एन्ट्रॉपी निर्णय बिंदुओं पर विरल, पूर्वानुमेय सुधार करके LLM तर्क क्षमता में सुधार करता है, जिससे ReasonMaxxer का विकास होता है, जो एक अत्यधिक कुशल, RL-मुक्त विधि है जो न्यूनतम प्रशिक्षण लागत के साथ पूर्ण RL प्रदर्शन के बराबर है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "REASONMAXXER: Embarrassingly Cheap Post-Training" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है।
मुख्य विचार: मॉडल को उत्तर पहले से ही पता है
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र (Base Model) है जो गणित की परीक्षा दे रहा है। यह छात्र वास्तव में अधिकांश समय सही उत्तर जानता है, लेकिन वह थोड़ा अनिर्णायक है। जब वह किसी कठिन चरण पर पहुँचता है, तो वह हिचकिचा सकता है और दो या तीन संभावित रास्तों के बीच सिक्का उछालकर निर्णय लेने की स्थिति में होता है।
लंबे समय तक, शोधकर्ताओं ने सोचा कि Reinforcement Learning (RL) एक बहुत ही सख्त कोच की तरह है जो छात्र को समस्याओं को हल करने के नए तरीके सिखाता है, और शून्य से पूरी तरह से नई रणनीतियाँ बनाता है।
यह पेपर तर्क देता है कि यह गलत है।
लेखकों ने पाया कि "कोच" (RL) छात्र को नए करतब नहीं सिखा रहा है। इसके बजाय, कोच बस फुसफुसा रहा है, "हे, जब तुम चरण 5 पर हिचकिचा रहे थे, तो तुमने गलत रास्ता चुना था। बस उस दूसरे सबसे अच्छे विकल्प को चुनो जिसके बारे में तुम पहले से ही सोच रहे थे।"
छात्र को सही उत्तर पहले से ही पता था; उसे बस उस पर अडिग रहने के लिए एक छोटे से धक्के (nudge) की आवश्यकता थी।
खोज: यह सब "रास्ते के मोड़" (Fork in the Road) के बारे में है
शोधकर्ताओं ने देखा कि जब एक AI, RL से सीखता है, तो कंप्यूटर के अंदर वास्तव में क्या होता है। उन्होंने तीन आश्चर्यजनक चीजें पाईं:
- यह अविश्वसनीय रूप से दुर्लभ है: RL कोच छात्र के मन को केवल 1% से 3% चरणों में ही बदलता है। 97% परीक्षण के दौरान, छात्र वही करता है जो वह वैसे भी करना चाहता था।
- यह हमेशा एक "सुरक्षित" बदलाव है: कोच छात्र को कभी भी कोई पागल या अजीब उत्तर चुनने के लिए नहीं कहता जिसे उसने पहले कभी न सोचा हो। वह केवल उन्हें उस दूसरे या तीसरे सबसे अच्छे विकल्प को चुनने के लिए कहता है जिसके बारे में छात्र पहले से ही सोच रहा था।
- यह केवल "रास्ते के मोड़" वाले क्षणों में होता है: ये बदलाव केवल तभी होते हैं जब छात्र भ्रमित (high "entropy") होता है। यदि छात्र आश्वस्त है, तो कोच चुप रहता है। यदि छात्र अनिश्चित है, तो कोच सही मोड़ की ओर इशारा करता है।
उपमा (Analogy):
कल्पना कीजिए कि आप एक परिचित सड़क पर कार चला रहे हैं। आप मार्ग को पूरी तरह से जानते हैं।
- Base Model आप हैं जो कार चला रहे हैं।
- RL Coach एक GPS है।
- पुराना दृष्टिकोण: हमें लगा कि GPS आपको एक ऐसी कार चलाना सिखा रहा है जिसे आपने पहले कभी नहीं देखा।
- नया दृष्टिकोण: GPS बस कह रहा है, "आप एक भ्रमित करने वाले चौराहे पर हैं। आप बाईं ओर मुड़ने वाले थे, लेकिन आपको दाईं ओर मुड़ना चाहिए।" आप पहले से ही जानते थे कि दाईं ओर कैसे मुड़ना है; आपको बस इसकी याद दिलाने की आवश्यकता थी।
समस्या: कोच बहुत महंगा है
वर्तमान में, इन "कोचों" (RL) को प्रशिक्षित करना एक विशाल इंजीनियरों की टीम को किराए पर लेने जैसा है जो छात्र को परीक्षा देते हुए देखते हैं, लाखों परिदृश्यों का अनुकरण (simulate) करते हैं, और उस छोटे से धक्के (nudge) को समझने के लिए जटिल गणित की गणना करते हैं। इसमें हजारों डॉलर खर्च होते हैं और कंप्यूटर का हफ्तों का समय लगता है।
पेपर पूछता है: यदि कोच केवल हमारे पास मौजूद मानचित्र के कुछ विशिष्ट स्थानों की ओर इशारा कर रहा है, तो क्या हमें उस पूरे महंगे कोचिंग दल की आवश्यकता है?
समाधान: REASONMAXXER (एक "स्मार्ट धक्का/नज")
लेखकों ने एक नया, अत्यंत सस्ता तरीका बनाया है जिसे REASONMAXXER कहा जाता है। एक विशाल कोच के बजाय, यह एक छोटे, सस्ते उपकरण का उपयोग करता है।
यह कैसे काम करता है, चरण-दर-चरण:
- भ्रम को पहचानें: सिस्टम छात्र (Base Model) के अपने विचारों को देखता है। यह पूछता है, "तुम कहाँ भ्रमित हो रहे हो?" यह "रास्ते के मोड़" वाले क्षणों को खोजने के लिए Entropy नामक एक सरल गणितीय ट्रिक का उपयोग करता है जहाँ छात्र अनिश्चित होता है।
- विपरीत धक्का (The Contrastive Nudge): यह छात्र के सही उत्तर पाने के कुछ उदाहरण और गलत उत्तर पाने के कुछ उदाहरण लेता है। फिर यह कहता है: "इन भ्रमित क्षणों में, जब तुमने सही उत्तर प्राप्त किया, तो तुमने यह रास्ता चुना। जब तुमने गलत उत्तर प्राप्त किया, तो तुमने वह रास्ता चुना। इस पहले वाले को चुनने की याद रखें।"
- सूक्ष्म परिवर्तन: यह मॉडल के मस्तिष्क के एक सूक्ष्म हिस्से (इसके 1% से भी कम पैरामीटर्स) को इस नियम को याद रखने के लिए अपडेट करता है।
परिणाम: समान बुद्धिमत्ता, बहुत कम लागत
पेपर ने छह अलग-अलग गणितीय बेंचमार्क पर इस नए तरीके का परीक्षण महंगे, मानक RL कोचों के विरुद्ध किया।
- प्रदर्शन (Performance): REASONMAXXER महंगे RL मॉडलों के समान या उनसे भी बेहतर प्रदर्शन करता है।
- लागत (Cost): यह सबसे बड़ा झटका है।
- Standard RL: प्रशिक्षण के लिए 100,000 के बीच खर्च होता है।
- REASONMAXXER: प्रशिक्षण के लिए लगभग 25 खर्च होते हैं।
- समय: इसे एक सिंगल कंप्यूटर कार्ड पर मिनटों में लिया जा सकता है, जबकि RL में दिन या सप्ताह लग जाते हैं।
निष्कर्ष (The Takeaway)
पेपर यह निष्कर्ष निकालता है कि AI तर्क (reasoning) सिखाने के लिए विशाल, महंगे Reinforcement Learning का उपयोग करने का बड़ा उद्योग ट्रेंड अत्यधिक (overkill) हो सकता है।
"तर्क" (Reasoning) कोई नई महाशक्ति नहीं है जिसे हम अनलॉक कर रहे हैं; यह केवल AI को सही चुनाव के प्रति प्रतिबद्ध होने में मदद करने के बारे में है जब वह अनिश्चित हो।
हमें उस घर को बनाने के लिए एक विशाल निर्माण दल की आवश्यकता नहीं है जो पहले से ही लगभग बना हुआ है; हमें बस महत्वपूर्ण क्षणों में कुछ ढीले पेंच कसने के लिए एक मिस्त्री (handyman) की आवश्यकता है। REASONMAXXER वही मिस्त्री है, और यह अपना काम कुछ पैसों में कर देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।