LoRA Scaffolded Policy Optimization (LSPO): A Sampling-Time Low-Rank Scaffold for Recovering Reinforcement-Learning Gradient on Zero-Reward Cliff Prompts
यह शोध पत्र LoRA स्कैफोल्डेड पॉलिसी ऑप्टिमाइज़ेशन (LSPO) पेश करता है, जो एक सैंपलिंग-टाइम मैकेनिज्म है जो उन "क्लिफ" प्रॉम्प्ट्स पर सुदृढीकरण सीखने (reinforcement learning) के ग्रेडिएंट्स को रिकवर करता है जहाँ सभी सैंपलड रोलआउट विफल हो जाते हैं, इसके लिए सफल समाधान उत्पन्न करने हेतु अस्थायी रूप से एक लो-रैंक एडैप्टर को फिट किया जाता है, जिससे मानक बेसलाइन्स की तुलना में AIME और MATH जैसे बेंचमार्क्स पर गणितीय तर्क प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को गणित की समस्याएँ हल करना सिखाने की कोशिश कर रहे हैं। आप वहाँ बैठकर उसकी हर एक गलती को ठीक नहीं करते; इसके बजाय, आप रोबोट को एक समस्या हल करने देते हैं, यह देखते हैं कि उत्तर सही है या नहीं, और उसे "थम्स अप" (अंगूठा ऊपर) या "थम्स डाउन" (अंगूठा नीचे) देते हैं। इसे 'रीइन्फोर्समेंट लर्निंग' (Reinforcement Learning) कहा जाता है। सीखने की प्रक्रिया को और तेज़ बनाने के लिए, रोबोट एक ही समस्या को लगातार दस बार हल करने की कोशिश करता है। यदि वह कुछ सही और कुछ गलत करता है, तो रोबोट सीखता है: "हे, जिन प्रयासों को 'थम्स अप' मिला, वे औसत से बेहतर थे!" वह सुधार करने का तरीका जानने के लिए उसी अंतर का उपयोग करता है। यह इन प्रणालियों के सीखने का मानक तरीका है।
लेकिन एक पेचीदा स्थिति है जहाँ यह तरीका एक दीवार से टकरा जाता है। कल्पना कीजिए कि रोबोट एक समस्या को दस बार हल करने की कोशिश करता है, और वह हर बार विफल रहता है। सभी दस प्रयासों को "थम्स डाउन" मिलता है। क्योंकि प्रत्येक प्रयास समान रूप से खराब है, रोबोट यह नहीं बता सकता कि कौन सा प्रयास "कम बुरा" था या "उत्तर के करीब" था। गणित कहता है कि उनके बीच का अंतर शून्य है, इसलिए रोबोट को कोई निर्देश ही नहीं मिलता। यह बिल्कुल वैसा ही है जैसे किसी चट्टान के किनारे पर खड़ा होना जहाँ ज़मीन अचानक खत्म हो जाती है; रोबोट उन कठिन समस्याओं पर अटक जाता है जिन्हें वह अभी तक हल नहीं कर पा रहा है, और सामान्य सीखने का तरीका बस काम करना बंद कर देता है। यह "क्लिफ प्रॉब्लम" (चट्टान की समस्या) है, और यह सबसे बुद्धिमान, सबसे कठिन चुनौतियों को पूरी तरह से अछूता छोड़ देती है।
अब एक नया विचार आता है जिसे लोरा स्कैफोल्डेड पॉलिसी ऑप्टिमाइज़ेशन (LSPO) कहा जाता है। LSPO को एक चतुर सुरक्षा जाल (सेफ्टी नेट) के रूप में सोचें जो रोबोट को उस चट्टान से गिरने से ठीक पहले पकड़ लेता है। जब रोबोट एक कठिन समस्या को आज़माता है और हर बार विफल रहता है, तो सिस्टम सामान्य सीखने को रोक देता है और एक छोटा, अस्थायी "ट्रेनिंग व्हील" निकालता है जिसे 'लोरा एडॉप्टर' (LoRA adapter) कहा जाता है। यह रोबोट के मस्तिष्क में कोई स्थायी परिवर्तन नहीं है; यह एक छोटा, अलग किया जाने वाला गैजेट है।
यहाँ जादू का कमाल है: सिस्टम उस असंभव समस्या के सही उत्तर को लेता है (जो उसके डेटाबेस में मौजूद है) और तेज़ी से इस छोटे से गैजेट को उसे हल करना सिखाता है। यह ऐसा है जैसे रोबोट को इस एक क्षण के लिए एक 'चीट शीट' (नकल के लिए पर्चा) थमा दिया गया हो। फिर, रोबोट उस समस्या को फिर से हल करने की कोशिश करता है, लेकिन इस बार वह चीट शीट चिपकाकर। अचानक, वह समस्या हल कर लेता है! सिस्टम इस सफल प्रयास को दस प्रयासों के समूह में शामिल कर लेता है। अब, दस विफलताओं के बजाय, समूह में नौ विफलताएँ और एक सफलता होती है। गणित फिर से काम करने लगता है! रोबोट अंततः खराब प्रयासों और अच्छे प्रयास के बीच का अंतर देख पाता है, और वह बेहतर होना सीखता है।
सबसे अच्छी बात यह है कि जैसे ही रोबोट उस एक सफल प्रयास से सीखता है, सिस्टम तुरंत उस चीट शीट (लोरा एडॉप्टर) को हटा देता है और उसे फेंक देता है। रोबोट का स्थायी मस्तिष्क केवल अनुभव से सीखता है, लेकिन वह उस अस्थायी गैजेट को अपने पास नहीं रखता। यह सुनिश्चित करता है कि रोबोट "साफ" रहे और बाद में चीट शीट से भ्रमित न हो।
शोधकर्ताओं ने इसका परीक्षण 103,000 गणितीय समस्याओं पर प्रशिक्षित एक मॉडल पर किया। उन्होंने पाया कि यह विधि अविश्वसनीय रूप से अच्छी तरह काम करती है। 16 अलग-अलग परीक्षणों (विभिन्न गणित प्रतियोगिताओं और कठिनाई स्तरों का मिश्रण) पर, इस नई विधि ने 16 में से 15 मामलों में पुराने मानक को पछाड़ दिया, और एक मामला पूर्ण बराबरी का रहा। कुछ सबसे कठिन परीक्षणों में, इस नई विधि ने सफलता दर में 10.7 अंक तक का सुधार किया। उन्होंने यह भी मापा कि यह "सुरक्षा जाल" कितनी बार काम करता है: इसने सफलतापूर्वक लगभग 43% "फंसे हुए" विफल समूहों को ऐसे समूहों में बदल दिया जो वास्तव में सीख सकते थे।
यह शोध पत्र यह दावा नहीं करता कि इसने गणित की सभी समस्याओं को हल कर लिया है या हर स्थिति के लिए एक आदर्श समाधान खोज लिया है। यह सुझाव देता है कि इन विशिष्ट "क्लिफ" क्षणों को ठीक करने के लिए एक अस्थायी, लो-रैंक एडॉप्टर का उपयोग करके, हम उन सीखने के संकेतों को वापस पा सकते हैं जो पहले खो गए थे। परिणाम एक विशेष मॉडल और डेटासेट पर किए गए विशिष्ट प्रयोगों पर आधारित हैं, जो दिखाते हैं कि यह "स्प्लिस-एंड-डिस्कार्ड" (जोड़ो और फेंको) दृष्टिकोण एक आशाजनक तरीका है जिससे AI मॉडल उन सबसे कठिन समस्याओं से निपटने में सक्षम हो सकते हैं जिनका वे वर्तमान में सामना कर रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।