Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning
यह शोधपत्र स्ट्रैटेजी-गाइडेड पॉलिसी ऑप्टिमाइज़ेशन (SGPO) प्रस्तुत करता है, जो एक नवीन ढांचा है जो टोकन-लेवल फॉरवर्ड-KL उद्देश्यों और एडेप्टिव वेटिंग के माध्यम से सशक्त मॉडलों से पुन: प्रयोज्य समस्या-समाधान रणनीतियों को डिस्टिल करके LLM तर्क क्षमता को बढ़ाता है, जिससे यह गणितीय बेंचमार्क पर पारंपरिक ट्राजेक्टरी इमिटेशन और अन्य बेसलाइनों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।
बड़ी समस्या: उत्तर की नकल करना बनाम खेल की योजना सीखना
कल्पना कीजिए कि आप एक छात्र को एक कठिन गणित का सवाल हल करना सिखाने की कोशिश कर रहे हैं।
पुराना तरीका (ट्रैजेक्टरी इमिटेशन - पथ अनुकरण):
वर्तमान में, अधिकांश तरीके एक सख्त नकलची की तरह काम करते हैं। आप छात्र को एक जीनियस द्वारा लिखा गया "परफेक्ट" समाधान दिखाते हैं। छात्र को बताया जाता है: "बिल्कुल वैसा ही लिखो जैसा जीनियस ने लिखा है, चरण-दर-चरण।"
- दोष: छात्र उस विशेष समस्या के लिए विशिष्ट चरणों को रट लेता है। यदि आप उन्हें थोड़ी अलग समस्या देते हैं, तो वे अटक जाते हैं क्योंकि उन्होंने "तर्क" सीखने के बजाय "स्क्रिप्ट" को रट लिया था। वे जानते हैं कि क्या लिखना है, लेकिन यह नहीं कि उन चरणों को क्यों चुना गया।
नया तरीका (SGPO):
यह पेपर एक नई विधि प्रस्तावित करता है जिसे SGPO (स्ट्रेटेजी-गाइडेड पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है। छात्र को सटीक स्क्रिप्ट कॉपी करने के लिए मजबूर करने के बजाय, शिक्षक एक "स्ट्रेटेजी गाइड" (रणनीति मार्गदर्शिका) निकालता है।
- स्ट्रेटेजी गाइड: यह एक उच्च-स्तरीय मानचित्र (map) है। यह कहता है, "यह एक भिन्न (fraction) वाला सवाल है। पहले, हर (common denominator) निकालें। फिर, दोनों पक्षों को गुणा करें। फिर, वेरिएबल को अलग करें।" यह आपको योजना बताता है लेकिन वास्तविक गणित नहीं करता या अंतिम उत्तर नहीं देता।
- लक्ष्य: छात्र इस "कैसे करें" वाली सोच को आत्मसात करना सीखता है ताकि वे बाद में बिना किसी मानचित्र के मदद के, अपने दम पर नई समस्याओं को हल कर सकें।
SGPO कैसे काम करता है: "कोच" और "खिलाड़ी"
शोधकर्ताओं ने एक प्रशिक्षण सत्र तैयार किया है जो एक खेल अभ्यास की तरह दिखता है, जिसमें प्रत्येक समस्या के लिए खिलाड़ियों के दो समूह हैं:
"ऑटोनॉमस" समूह (अकेले खिलाड़ी):
छात्र बिना किसी मदद के समस्या को हल करने की कोशिश करता है। कभी-कभी वह सही होता है; कभी-कभी विफल होता है। यह उनके स्वाभाविक समस्या-समाधान कौशल को तेज़ रखता है।"स्ट्रेटेजी-गाइडेड" समूह (कोच के साथ खिलाड़ी):
छात्र वही समस्या हल करने की कोशिश करता है, लेकिन इस बार उसके सामने "स्ट्रेटेजी गाइड" (मानचित्र) है। कोच योजना को धीरे से बताता है: "याद रखो, पहले हर (common denominator) निकालो!"
जादुई ट्रिक:
सिस्टम केवल छात्र को "गाइडेड" समूह का उत्तर कॉपी करने के लिए नहीं कहता। इसके बजाय, यह दोनों समूहों की तुलना करता है ताकि यह देखा जा सके कि कोच ने कहाँ अंतर पैदा किया।
- "फॉरवर्ड-KL" सिग्नल (स्पॉटलाइट):
कल्पना कीजिए कि छात्र एक अंधेरे जंगल में चल रहा है। "ऑटोनॉमस" समूह बेतरतीब ढंग से भटक रहा है। "गाइडेड" समूह मानचित्र की वजह से एक सीधे रास्ते पर चल रहा है।
सिस्टम उस पथ को देखता है और पूछता है: "मानचित्र ने छात्र की दिशा कहाँ बदली?" - यदि छात्र केवल "ठीक है, चलिए शुरू करते हैं..." (बोरिंग, रूटीन शब्द) कह रहा था, तो मानचित्र ने कुछ नहीं बदला। इसे अनदेखा करें।
- यदि छात्र एक संख्या का अनुमान लगाने ही वाला था, लेकिन मानचित्र ने कहा, "नहीं, यहाँ क्वाड्रेटिक फॉर्मूला का उपयोग करें," तो यह एक महत्वपूर्ण क्षण है।
सिस्टम इन महत्वपूर्ण क्षणों पर एक स्पॉटलाइट डालता है और छात्र को सिखाता है कि बाद में मानचित्र हटने के बाद भी वही स्मार्ट चुनाव कैसे किया जाए।
सुरक्षा जाल (प्रॉक्सिमल कंस्ट्रेंट्स)
एक छात्र को कोच की सलाह के आधार पर अपना विचार बदलने के लिए प्रेरित करना जोखिम भरा हो सकता है। यदि आप बहुत अधिक दबाव डालते हैं, तो वे पूरी तरह से अपने दम पर सोचना भूल सकते हैं (जिसे "एंट्रॉपी कोलैप्स" कहा जाता है)।
SGPO चीजों को स्थिर रखने के लिए तीन सुरक्षा जालों का उपयोग करता है:
- रीचेबल टारगेट्स (पहुंच योग्य लक्ष्य): यह छात्र को केवल वे रणनीतियाँ सिखाता है जो वास्तव में उनकी पहुँच में हैं। यदि कोच ऐसी चाल का सुझाव देता है जिसे सीखना छात्र के लिए बहुत कठिन है, तो सिस्टम उसे छोड़ देता है।
- क्लिपिंग (Clipping): यह अत्यधिक अंतरों को अनदेखा करता है। यदि कोच की सलाह छात्र की सहज प्रवृत्ति से बहुत अलग है, तो यह एक साथ बहुत बड़ा, भ्रमित करने वाला बदलाव करने के लिए मजबूर नहीं करता है।
- एडेप्टिव वेटिंग (एडजस्टेबल वॉल्यूम नॉब):
- प्रशिक्षण के दौरान: छात्र गणित में बुरा है। कोच की सलाह पर "वॉल्यूम" को बढ़ा दिया जाता है। छात्र को जितनी हो सके उतनी मदद की जरूरत है।
- प्रशिक्षण के अंत में: छात्र स्मार्ट हो जाता है। कोच पर "वॉल्यूम" को कम कर दिया जाता है। सिस्टम छात्र की बढ़ती क्षमता पर भरोसा करता है और सूक्ष्म प्रबंधन (micromanaging) करना बंद कर देता है।
परिणाम क्या दिखाते हैं
शोधकर्ताओं ने चार कठिन गणितीय बेंचमार्क (जैसे हाई स्कूल और कॉलेज स्तर की गणित प्रतियोगिताएं) पर विभिन्न AI मॉडल का परीक्षण किया।
- प्रतिस्पर्धा को पछाड़ना: SGPO ने लगातार पुराने "नकलची" तरीकों (सुपरवाइज्ड फाइन-ट्यूनिंग) और कॉपी करने के साथ सुदृढीकरण सीखने (reinforcement learning) को मिलाने वाले अन्य उन्नत तरीकों को पीछे छोड़ दिया।
- "स्मार्ट स्टूडेंट" प्रभाव: यह विधि उन मॉडलों पर सबसे अच्छा काम करती है जो पहले से ही कुछ हद तक स्मार्ट थे। यह एक कोच की तरह है: एक कोच प्रतिभाशाली एथलीट को चैंपियन बना सकता है, लेकिन केवल एक प्लेबुक देकर एक पूर्ण नौसिखिए को चैंपियन बनाना कठिन है। रणनीति को समझने के लिए छात्र के पास बुनियादी क्षमता होनी चाहिए।
- चयनात्मकता (Selectivity): सिस्टम ने स्वाभाविक रूप से समस्या के कठिन हिस्सों (रणनीति) पर ध्यान केंद्रित करना सीखा, न कि आसान हिस्सों (फिलर शब्द) पर, यही कारण है कि इसने उन तरीकों से बेहतर प्रदर्शन किया जो केवल हर शब्द को कॉपी करने की कोशिश करते थे।
सारांश उपमा
- पुराना तरीका: आप एक छात्र को एक पूरा निबंध देते हैं और कहते हैं, "इसे शब्द-दर-शब्द याद करो।" जब विषय बदलता है, तो वे असफल हो जाते हैं।
- SGPO तरीका: आप छात्र को एक अच्छा निबंध कैसे लिखें (प्रस्तावना -> तर्क -> साक्ष्य -> निष्कर्ष) इसका एक रूपरेखा (outline) देते हैं। आप उन्हें अपने दम पर लिखने का अभ्यास करने देते हैं, लेकिन बीच-बीच में उनकी संरचना (structure) को ठीक करने के लिए रूपरेखा दिखाते हैं। समय के साथ, वे रूपरेखा की आवश्यकता महसूस नहीं करते क्योंकि उन्होंने संरचना को आत्मसात कर लिया होता है। वे यह नहीं सीखते कि क्या कहना है, बल्कि यह सीखते हैं कि कैसे सोचना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।