Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models
यह शोध पत्र एक मिड-ट्रेनिंग फ्रेमवर्क का प्रस्ताव और सत्यापन करता है जो पोल्या (Polya) की विधियों द्वारा निर्देशित, स्वयं-निर्मित, विविध समस्या-समाधान वेरिएंट्स का उपयोग करके आगामी सुदृढीकरण शिक्षण (Reinforcement Learning) की प्रभावशीलता को बढ़ाता है, जिसके परिणामस्वरूप गणितीय तर्क, कोड जनरेशन और नैरेटिव कार्यों में बेहतर प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े कठोर छात्र को जटिल गणितीय पहेलियाँ हल करने के लिए प्रशिक्षित कर रहे हैं। आप चाहते हैं कि वह केवल सही उत्तर पाने का एक तरीका रटने वाला नहीं, बल्कि एक कुशल समस्या-समाधानकर्ता (problem-solver) बने।
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एक नई प्रशिक्षण विधि का वर्णन करता है—जो AI चैटबॉट्स के पीछे के "मस्तिष्क" हैं। शोधकर्ताओं ने पाया कि AI को पुरस्कारों से सीखना सिखाने (एक प्रक्रिया जिसे रीइन्फोर्समेंट लर्निंग कहा जाता है) से पहले, उसे एक ही समस्या को हल करने के कई अलग-अलग तरीके सिखाना चाहिए।
यहाँ उनके दृष्टिकोण का विवरण दिया गया है, जिसमें सरल उपमाओं (analogies) का उपयोग किया गया है:
1. समस्या: "एक ही ढर्रे की सोच" (The One-Track Mind)
आमतौर पर, जब हम किसी AI को प्रशिक्षित करते हैं, तो हम उसे एक प्रश्न और उसका एकमात्र "सही" उत्तर दिखाते हैं। यह एक छात्र को गणित का सवाल दिखाने और फिर केवल उसे हल करने का एक विशिष्ट तरीका दिखाने जैसा है।
- समस्या: जब AI बाद में पुरस्कारों से सीखना शुरू करता है (जहाँ उसे सही होने पर अंक मिलते हैं), तो वह अक्सर उसी एक विशिष्ट तरीके को बेहतर बनाने में लग जाता है जिसे वह पहले से जानता है। वह लचीला रूप से सोचना नहीं सीख पाता। यह एक ऐसे शेफ की तरह है जिसे केवल एक ही तरीके से पास्ता बनाना आता है; यदि सामग्री बदल जाए, तो वह अटक सकता है।
2. समाधान: "पोल्या बूटकैंप" (The Pólya Bootcamp)
शोधकर्ताओं ने मिड-ट्रेनिंग (Mid-Training) नामक एक मध्य चरण पेश किया। अंतिम रिवॉर्ड ट्रेनिंग से पहले, उन्होंने AI को एक विशेष बूटकैंप दिया।
- कोच: उन्होंने प्रसिद्ध गणितज्ञ जॉर्ज पोल्या के समस्या-समाधान के नियमों का उपयोग किया (जिन्होंने How to Solve It लिखी थी)। पोल्या को एक बुद्धिमान पुराने कोच के रूप में सोचें जो विभिन्न रणनीतियाँ सिखाते हैं: "पीछे की ओर काम करने की कोशिश करें," "एक चित्र बनाएं," "इसे छोटे टुकड़ों में तोड़ें," या "एक समान, आसान समस्या खोजें।"
- अभ्यास: प्रत्येक गणितीय प्रश्न के लिए, AI को कई अलग-अलग सही समाधान उत्पन्न करने के लिए कहा गया, जिनमें से प्रत्येक एक अलग पोल्या रणनीति का उपयोग करता है।
- उपमा: केवल छात्र को उत्तर दिखाने के बजाय, कोच कहता है, "ठीक है, इस समस्या को एक मानचित्र (map) का उपयोग करके हल करें। अब, एक दिशा-सूचक यंत्र (compass) का उपयोग करके इसे हल करें। अब, पीछे की ओर चलकर इसे हल करें।"
- स्व-जनित (Self-Generated): AI ने यह सब अपने आप किया। इसे किसी मानव शिक्षक या किसी अन्य सुपर-स्मार्ट AI द्वारा उत्तर दिखाने की आवश्यकता नहीं थी। इसने अपने स्वयं के विविध अभ्यास प्रश्न उत्पन्न किए।
3. जादुई कदम: रीइन्फोर्समेंट लर्निंग (RL)
इस बूटकैंप के बाद, उन्होंने AI को मानक रीइन्फोर्समेंट लर्निंग (जहाँ वह चीजें आज़माता है, सही होने पर अंक प्राप्त करता है, और जो काम करता है उसे दोहराना सीखता है) से गुजरने दिया।
- परिणाम: क्योंकि इस बूटकैंप के दौरान AI ने पहले ही कई अलग-अलग "चालें" (moves) का अभ्यास कर लिया था, इसलिए RL प्रशिक्षण अब इन चालों को मिला और मिलाप (mix and match) कर सकता था।
- उपमा: एक जैज़ संगीतकार की कल्पना करें। यदि वे केवल एक स्केल का अभ्यास करते हैं, तो वे केवल एक ही गाना बजा सकते हैं। लेकिन यदि वे स्केल्स, कॉर्ड्स और रिदम का अलग-अलग अभ्यास करते हैं (मिड-ट्रेनिंग), तो जब वे इम्प्रोवाइजेशन (RL) शुरू करते हैं, तो वे अचानक एक स्केल को रिदम के साथ मिलाकर कुछ नया और शानदार बना सकते हैं। AI ने विभिन्न समस्या-समाधान रणनीतियों को एक एकल, शक्तिशाली उत्तर में संयोजित करना सीख लिया।
4. उन्होंने क्या पाया
शोधकर्ताओं ने कठिन गणित प्रतियोगिताओं (जैसे AIME और ओलंपियाड) पर इसका परीक्षण किया।
- बेहतर स्कोर: वह AI जो "विविध बूटकैंप" से गुजरा था, उस AI की तुलना में काफी अधिक स्कोर करता है जिसने केवल एक तरीका सीखा या जो केवल एक मानक शिक्षक से सीखता है।
- "पास@के" (Pass@K) प्रभाव: AI के संदर्भ में, "Pass@K" का अर्थ है: "यदि हम AI को 64 बार प्रयास करने के लिए कहते हैं, तो वह कितनी बार सही होता है?" बूटकैंप वाला AI कई मौके दिए जाने पर बहुत बेहतर था। वह अधिक लचीला था और अटकने की संभावना कम थी।
- गणित से परे: हालांकि यह प्रशिक्षण गणित के नियमों पर आधारित था, लेकिन AI अन्य चीजों में भी बेहतर हो गया, जैसे कोड लिखना और कहानियों में तर्क संबंधी पहेलियों (logic puzzles) को हल करना। ऐसा लगता है कि लचीले ढंग से सोचने की आदत अन्य कार्यों में भी स्थानांतरित हो गई।
5. मुख्य निष्कर्ष
शोधकर्ता तर्क देते हैं कि विविधता ही असली सफलता का रहस्य (secret sauce) है।
- यदि आप एक AI को एक समस्या को 64 अलग-अलग तरीकों से हल करना सिखाते हैं, तो वह रणनीतियों का एक "लाइब्रेरी" सीख लेता है।
- जब वह बाद में पुरस्कारों से सीखने का प्रयास करता है, तो वह केवल एक रणनीति नहीं चुनता; वह उन्हें संयोजित (compose) करना सीखता है, जिससे वह विभिन्न रणनीतियों के सर्वोत्तम हिस्सों को चुनकर समस्या को हल कर सके।
- एक छात्र को 1,000 समस्याओं को 1 तरीके से हल करने के बजाय 100 समस्याओं को 10 तरीकों से सिखाना बेहतर है।
संक्षेप में: अंतिम परीक्षा से पहले AI को कई अलग-अलग "पथों" का अभ्यास करने के लिए मजबूर करके, AI एक अधिक स्मार्ट, अधिक अनुकूलन योग्य विचारक बन जाता है जो नए, कठिन समस्याओं को हल करने के लिए पुराने तरीकों को संयोजित कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।