SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models
यह शोध पत्र स्टीयरिंग प्रोबेबिलिटी स्क्वीज़िंग (SPS) का प्रस्ताव देता है, जो एक नवीन प्रशिक्षण प्रतिमान (training paradigm) है जो संभाव्यता द्रव्यमान संकेंद्रण (probability mass concentration) का मुकाबला करने के लिए सुदृढीकरण शिक्षण (reinforcement learning) को प्रतिलोम सुदृढीकरण शिक्षण (inverse reinforcement learning) के साथ अंतर्निहित करता है, जिससे विविध प्रक्षेपवक्र अन्वेषण (trajectory exploration) को बढ़ावा मिलता है और तर्क-उन्मुख बड़े भाषा मॉडलों में Pass@k प्रदर्शन में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अत्यंत बुद्धिमान छात्र (AI) को एक बहुत कठिन गणितीय पहेली हल करना सिखा रहे हैं। आप चाहते हैं कि वह न केवल एक समाधान खोजे, बल्कि उसे हल करने के कई अलग-अलग तरीके खोजने में सक्षम हो, ताकि यदि उसका पहला तरीका विफल हो जाए, तो उसके पास विकल्प मौजूद हों।
यह शोध पत्र SPS (Steering Probability Squeezing) नामक एक नई प्रशिक्षण विधि पेश करता है, जो AI मॉडल को इस तरह की "रचनात्मक समस्या समाधान" (creative problem solving) में बेहतर बनाने में मदद करती है।
यहाँ समस्या और उसके समाधान की कहानी सरल शब्दों में दी गई है।
समस्या: "इको चैंबर" (Echo Chamber) प्रभाव
अतीत में, जब हम AI को समस्या हल करने के लिए प्रशिक्षित करते थे, तो हम रीइन्फोर्समेंट लर्निंग (RL) नामक एक विधि का उपयोग करते थे। इसे एक खेल की तरह समझें जहाँ AI एक प्रश्न का उत्तर देने का प्रयास करता है। यदि वह सही उत्तर देता है, तो उसे एक 'गोल्ड स्टार' मिलता है। यदि वह गलत होता है, तो उसे "फिर से प्रयास करें" कहा जाता है।
समय के साथ, AI गोल्ड स्टार पाने में माहिर हो जाता है। लेकिन यहाँ एक पेच है: वह एक ही समान गोल्ड स्टार पाने में बहुत अधिक कुशल हो जाता है।
कल्पना कीजिए कि एक शेफ (रसोइया) एक बेहतरीन केक बनाने की कोशिश कर रहा है।
- लक्ष्य: एक ऐसा केक बनाना जिसका स्वाद अच्छा हो।
- पुरानी विधि (RL): शेफ 100 अलग-अलग रेसिपी आज़माता है। केवल एक रेसिपी लाजवाब होती है। AI यह देखकर कहता है, "आहा! केक बनाने का यही एकमात्र तरीका है!"
- दबाव (The Squeeze): अगली बार, AI नए सामग्रियों को आज़माना बंद कर देता है। वह केवल वही एक विशिष्ट केक बार-बार बनाता है। वह एक "एकल-हुनर वाला खिलाड़ी" (one-trick pony) बन जाता है।
तकनीकी शब्दों में, AI का "संभाव्यता" (confidence) केवल एक या दो उत्तरों पर संकुचित (squeeze) हो जाता है। वह अन्य संभावनाओं को तलाशना बंद कर देता है। यह बुरा है क्योंकि यदि उसका वह एक उत्तर थोड़ा भी गलत निकला, तो AI के पास कोई बैकअप प्लान नहीं होता। वह उन विविध और रचनात्मक समाधानों को खोजने में विफल रहता है जिनका उपयोग मनुष्य करते हैं।
समाधान: "रिवर्स कोच" (SPS)
लेखकों ने महसूस किया कि AI एक ही ढर्रे में फंस गया था क्योंकि वह केवल "गोल्ड स्टार" फीडबैक पर ध्यान दे रहा था। उन्हें एक ऐसे तरीके की आवश्यकता थी जो AI को "लगभग सही" और "अजीब" उत्तरों की ओर भी देखने के लिए मजबूर करे।
उन्होंने SPS का आविष्कार किया, जो दो चरणों वाले नृत्य की तरह काम करता है:
चरण 1: स्प्रिंट (Standard RL)
सबसे पहले, AI एक मानक प्रशिक्षण सत्र चलाता है। वह पहेली को हल करने का प्रयास करता है और "सर्वश्रेष्ठ" उत्तर खोजता है। उसे गोल्ड स्टार मिलते हैं। यह फॉरवर्ड (Forward) भाग है।
चरण 2: रिवर्स कोच (Inverse RL)
यही असली जादू है। केवल यह बताने के बजाय कि AI को क्या नहीं करना चाहिए, सिस्टम उन उत्तरों को देखता है जो AI ने अभी-अभी उत्पन्न किए हैं (यहाँ तक कि अजीब उत्तर भी) और कहता है:
"हे, तुमने कई अलग-अलग रास्ते बनाए हैं। चलो मान लेते हैं कि ये सभी एक बुद्धिमान विचारक के वैध उदाहरण हैं। चलो तुम्हारे मस्तिष्क को उन सभी के प्रति अधिक खुला बनाने के लिए समायोजित करते हैं, न कि केवल उस एक के प्रति जिसे तुम पूर्ण मानते हो।"
इसे इनवर्स रीइन्फोर्समेंट लर्निंग (IRL) कहा जाता है।
- उपमा: कल्पना कीजिए कि एक संगीत शिक्षक है।
- Standard RL: शिक्षक कहता है, "इस नोट को पूरी तरह से बजाओ, अन्यथा तुम असफल हो जाओगे।" छात्र केवल वही एक नोट बजाता है।
- SPS (IRL): शिक्षक छात्र के पूरे अभ्यास सत्र को सुनता है (गलतियों और अजीब प्रयोगों सहित) और कहता है, "वास्तव में, उस अजीब से प्रयोग में एक अच्छा लय (rhythm) था। चलो उसका भी अभ्यास करते हैं।"
ऐसा करके, AI अपना सारा आत्मविश्वास एक ही उत्तर में संकुचित (squeeze) नहीं करता। वह अपने आत्मविश्वास को फैलाता है, जिससे वह विभिन्न प्रकार के रास्तों की खोज कर पाता है।
यह क्यों महत्वपूर्ण है: "Pass@k" स्कोर
शोध पत्र सफलता को दो तरीकों से मापता है:
- Pass@1: क्या AI पहली कोशिश में ही सही उत्तर दे सकता है? ("एकल-हुनर वाले खिलाड़ी" का स्कोर)।
- Pass@k: यदि आप AI को 128 अलग-अलग उत्तर उत्पन्न करने के लिए कहते हैं, तो क्या उनमें से कम से कम एक सही है? ("रचनात्मक खोजकर्ता" का स्कोर)।
परिणाम:
पुरानी विधियाँ Pass@1 (पहली कोशिश में सही होना) में तो अच्छी थीं, लेकिन Pass@k (विविध समाधान खोजना) में बहुत खराब थीं।
SPS ने AI को पहली कोशिश में भी अच्छा बनाए रखा, लेकिन Pass@k स्कोर में भारी सुधार किया। इसने AI को एक कठोर रोबोट से बदलकर एक लचीले खोजकर्ता में बदल दिया जो एक समस्या को हल करने के कई अलग-अलग तरीके खोज सकता है।
बड़ी तस्वीर (The Big Picture)
AI के मस्तिष्क को एक बगीचे के रूप में सोचें।
- पुरानी RL: माली केवल सबसे ऊंचे फूल को पानी देता है। अंततः, बगीचा केवल एक विशाल, अकेला फूल बन जाता है।
- SPS: माली ऊंचे फूल को पानी देता है, लेकिन कोने में उग रहे छोटे, अजीब पौधों को भी देखता है और कहता है, "तुम भी दिलचस्प हो सकते हो।" बगीचा समृद्ध, विविध और लचीला बन जाता है।
संक्षेप में: SPS, AI को उसके अपने सर्वश्रेष्ठ अनुमानों के लूप में फंसने से रोकता है। यह उसे अपने विकल्पों को खुला रखने के लिए मजबूर करता है, जिससे अधिक स्मार्ट, रचनात्मक और विश्वसनीय तर्क क्षमता विकसित होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।