Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling
यह शोध पत्र Prefix-RFT को प्रस्तुत करता है, जो एक हाइब्रिड फाइन-ट्यूनिंग विधि है जो प्रीफ़िक्स सैंपलिंग के माध्यम से सुपरवाइज्ड फाइन-ट्यूनिंग और रीइन्फोर्समेंट फाइन-ट्यूनिंग का तालमेल बिठाती है ताकि प्रत्येक व्यक्तिगत दृष्टिकोण की सीमाओं को दूर किया जा सके, जो गणितीय तर्क कार्यों पर बेहतर प्रदर्शन और मजबूती प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन छात्र को जटिल गणितीय पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं। आपके पास सिखाने के दो मुख्य तरीके हैं, लेकिन दोनों में अपनी एक बड़ी खामी है।
दो त्रुटिपूर्ण शिक्षण शैलियाँ
- "नकलची" विधि (सुपरवाइज्ड फाइन-ट्यूनिंग या SFT):
आप छात्र को एक आदर्श समाधानों वाली पाठ्यपुस्तक के साथ बिठाते हैं। आप कहते हैं, "इसे पढ़ो, इसे याद करो और इसे बिल्कुल वैसे ही लिखो जैसे यह है।"
- अच्छाई: छात्र प्रारूप और तथ्यों को बहुत तेज़ी से सीख जाता है।
- बुराई: छात्र एक रोबोट बन जाता है। यदि उसे थोड़ा अलग पहेली दिखाई देती है, तो वह जम जाता है क्योंकि वह केवल नकल करना जानता है, सोचना नहीं। वह किताब की नकल तो करता है लेकिन तर्क को वास्तव में नहीं समझता।
- "प्रयास-और-त्रुटि" विधि (रीइन्फोर्समेंट फाइन-ट्यूनिंग या RFT):
आप छात्र को सीधे मुश्किलों के बीच फेंक देते हैं। आप कहते हैं, "इन पहेलियों को हल करने की कोशिश करो। यदि तुम्हें सही उत्तर मिलता है, तो तुम्हें एक गोल्ड स्टार मिलेगा। यदि तुम गलत होते हो, तो तुम्हें कुछ नहीं मिलेगा।"
- अच्छाई: छात्र रचनात्मक रूप से सोचना और नए समाधान खोजना सीख जाता है। वे उन समस्याओं को हल करने में बहुत अच्छे हो जाते हैं जिन्हें उन्होंने पहले कभी नहीं देखा है।
- बुराई: बिना किसी मार्गदर्शक के, छात्र अजीब आदतें विकसित कर सकता है। वे शायद भाषाओं के मिश्रण में बोलने लगें या गोल्ड स्टार पाने के लिए अजीब और अक्षम रास्ते अपना लें। साथ ही, यदि वे किसी बुरी आदत के साथ शुरुआत करते हैं, तो उसे तोड़ना बहुत कठिन होता है।
नया समाधान: "प्रिफिक्स" कोच (Prefix-RFT)
लेखक एक नई विधि प्रस्तावित करते हैं जिसे Prefix-RFT कहा जाता है। इसे एक "स्टार्ट-हिंट" (शुरुआती संकेत) रणनीति के रूप में सोचें।
यह इस प्रकार काम करता है:
कल्पना कीजिए कि एक छात्र भूलभुलैया (maze) सुलझाने की कोशिश कर रहा है।
- पुराना तरीका (SFT): आप उसे पूरी भूलभुलैया का नक्शा देते हैं और उसे रास्ता याद करने के लिए कहते हैं।
- पुराना तरीका (RFT): आप उसकी आँखों पर पट्टी बाँध देते हैं और उसे तब तक चलने के लिए कहते हैं जब तक वह बाहर न निकल जाए।
- नया तरीका (Prefix-RFT): आप उसे एक नक्शा देते हैं, लेकिन केवल भूलभुलैया के पहले 20% हिस्से के लिए। आप कहते हैं, "ठीक वैसे ही शुरू करो जैसा यह नक्शा दिखाता है। एक बार जब तुम इस बिंदु तक पहुँच जाओ, तो यह नक्शा रख दो और बाकी की भूलभुलैया को अपने आप सुलझाओ।"
यह क्यों शानदार है?
- यह एक सुरक्षित शुरुआत देता है: छात्र को विशेषज्ञ के पथ का पालन करने के लिए मजबूर करके, आप उसे तुरंत किसी गलत रास्ते (dead end) में भटकने से रोकते हैं (जो RFT की समस्या है—"अजीब आदतें")।
- यह स्वतंत्र सोच के लिए मजबूर करता है: क्योंकि छात्र को बाकी हिस्सा खुद ही सुलझाना होगा, इसलिए वे केवल नकलची नहीं बनेंगे। उन्हें काम पूरा करने के लिए अपने दिमाग का उपयोग करना होगा (जो SFT की समस्या है—"सामान्यीकरण की कमी")।
- "गोल्ड स्टार" तर्क: यदि छात्र विशेषज्ञ की शुरुआत का पालन करता है और शेष भाग के लिए एक बेहतरीन समाधान खोज लेता है, तो उसे एक बड़ा इनाम मिलता है। यह मॉडल को सिखाता है कि विशेषज्ञ की शुरुआत एक अच्छा विचार था, लेकिन छात्र का अपना अंत भी मूल्यवान था।
"एन्ट्रॉपी" फ़िल्टर (एक सुरक्षा वाल्व)
लेख में एक पेचीदा तकनीकी विवरण का उल्लेख है जिसे "एन्ट्रॉपी-आधारित क्लिपिंग" (Entropy-based Clipping) कहा जाता है। इसका सरल संस्करण यहाँ है:
कभी-कभी, विशेषज्ञ का नक्शा छात्र के ज्ञान से इतना अलग होता है कि यदि छात्र उसकी नकल करने की कोशिश करता है, तो वह भ्रमित हो सकता है और उसका दिमाग खराब हो सकता है (गणितीय रूप से, उनके "ग्रेडिएंट्स" बहुत बड़े हो जाते हैं)।
इसे ठीक करने के लिए, कोच केवल छात्र को उन हिस्सों की नकल करने की अनुमति देता है जहाँ वे अनिश्चित होते हैं।
- यदि छात्र पहला कदम पहले से ही पूरी तरह से जानता है, तो कोच कहता है, "इसे छोड़ दो, तुम इसे जानते हो।"
- यदि छात्र किसी कदम को लेकर भ्रमित है, तो कोच कहता है, "विशेषज्ञ के इस कदम को देखो, यहाँ तुम्हें सीखने की ज़रूरत है।"
यह सुनिश्चित करता है कि छात्र विशेषज्ञ से केवल वहीं सीखे जहाँ वास्तव में उसे मदद की आवश्यकता है, बिना अभिभूत हुए।
परिणाम क्या दिखाते हैं
लेखकों ने गणितीय समस्याओं (जैसे AIME प्रतियोगिता) पर इसका परीक्षण किया।
- नकलची (SFT) ठीक था लेकिन कठिन नई समस्याओं को संभालने में सक्षम नहीं था।
- प्रयास-और-त्रुटि (RFT) अच्छा था लेकिन कभी-कभी फंस जाता था या बुरी आदतें विकसित कर लेता था।
- प्रिफिक्स कोच (Prefix-RFT) इन दोनों से बेहतर था। इसने विशेषज्ञ के पैटर्न को सीखा और नए समाधान खोजने की क्षमता भी बनाए रखी।
वास्तव में, जब उन्होंने मॉडल को एक कठिन समस्या को हल करने के लिए बहुत अधिक प्रयास (जैसे 2,048 प्रयास) दिए, तो प्रिफिक्स कोच ही एकमात्र तरीका था जिसने समाधान खोजने की संभावनाओं में महत्वपूर्ण सुधार किया। इसने साबित कर दिया कि यह विधि केवल मॉडल को नकल करने में बेहतर नहीं बनाती; यह वास्तव में उस सीमा को बढ़ा देती है जिसे मॉडल हासिल करने में सक्षम है।
संक्षेप में
Prefix-RFT एक यात्रा के पहले हिस्से के लिए "ट्रेनिंग व्हील्स" देने जैसा है, और फिर उन्हें हटा देना है ताकि वे बाकी रास्ता अपने दम पर चला सकें। यह एक मार्गदर्शक की सुरक्षा और अन्वेषण की स्वतंत्रता को जोड़ता है, जिसके परिणामस्वरूप एक ऐसा शिक्षार्थी प्राप्त होता है जो जानकार भी है और रचनात्मक भी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।