Post-Training is About States, Not Tokens: A State Distribution View of SFT, RL, and On-Policy Distillation
यह शोध पत्र LLM पोस्ट-ट्रेनिंग पर एक स्टेट-डिस्ट्रीब्यूशन परिप्रेक्ष्य प्रस्तावित करता है, जो नियंत्रित प्रयोगों के माध्यम से यह प्रदर्शित करता है कि प्रशिक्षण अवस्थाओं (training states) का स्रोत और स्थानीयता स्वयं सुपरविजन सिग्नल जितनी ही महत्वपूर्ण है, जैसा कि इस तथ्य से प्रमाणित होता है कि ऑन-पॉलिसी विधियाँ स्ट्रेस-ट्रेन्ड टीचर्स की तुलना में बेहतर प्रदर्शन करती हैं और मानक सुपरवाइज्ड फाइन-ट्यूनिंग की तुलना में रिटेंशन को बेहतर ढंग से संरक्षित करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन रोबोट को गणित की समस्याएँ हल करना सिखा रहे हैं। आप चाहते हैं कि वह गणित में बेहतर हो जाए बिना सच बोलना या सामान्य ज्ञान के प्रश्नों का उत्तर देना भूले।
लंबे समय तक, शोधकर्ताओं ने सोचा कि पाठ का प्रकार (गणित की समस्या) सबसे महत्वपूर्ण था। यह शोधपत्र तर्क देता है कि यह केवल आधी कहानी है। असली रहस्य यह है कि जब रोबोट को पाठ मिल रहा होता है, तो वह कहाँ खड़ा है।
वह इसे "स्टेट डिस्ट्रीब्यूशन" (State Distribution) दृष्टिकोण कहता है। यहाँ रोजमर्रा के उदाहरणों का उपयोग करके इसका सरल विवरण दिया गया है:
1. सिखाने के तीन तरीके ( "कहाँ" मायने रखता है)
रोबोट के "स्टेट" (State) को बातचीत के एक विशिष्ट क्षण के रूप में समझें। यह पूछा गया प्रश्न और अब तक रोबोट ने जो कुछ भी कहा है, उसका मिश्रण है।
तरीका A: "पाठ्यपुस्तक" वाला दृष्टिकोण (SFT)
- यह कैसे काम करता है: आप रोबोट को एक आदर्श पाठ्यपुस्तक दिखाते हैं जिसमें प्रश्न और आदर्श उत्तर होते हैं। आप उसे उन विशिष्ट प्रश्नों के लिए उत्तर रटने के लिए मजबूर करते हैं।
- चुनौती: रोबोट केवल तभी उत्तर देना सीखता है जब प्रश्न बिल्कुल पाठ्यपुस्तक जैसा दिखता है। यदि रोबोट बातचीत के बीच में एक छोटी सी गलती कर देता है, तो वह भ्रमित हो जाता है क्योंकि उसने कभी अपनी गलतियों से उबरने का अभ्यास नहीं किया था।
- शोधपत्र का निष्कर्ष: यदि आप कोमल हैं, तो रोबोट गणित अच्छी तरह सीखता है और बाकी सब कुछ याद रखता है। लेकिन यदि आप उसे बहुत अधिक मजबूर करते हैं (Stress SFT), तो वह पाठ्यपुस्तक पर इतना केंद्रित हो जाता है कि वह सामान्य रूप से बोलना भूल जाता है और वास्तव में गणित में और खराब हो जाता है क्योंकि वह वास्तविक दुनिया की गड़बड़ियों को संभाल नहीं पाता।
तरीका B: "प्रयास और त्रुटि" वाला दृष्टिकोण (RL)
- यह कैसे काम करता है: आप रोबोट को स्वतंत्र रूप रूप से बात करने देते हैं। जब वह गणित की समस्या को सही ढंग से हल करता है, तो आप उसे शाबाशी (Reward) देते हैं। जब वह विफल होता है, तो आप ऐसा नहीं करते।
- चुनौती: रोबोट को केवल उन विशिष्ट वाक्यों पर फीडबैक मिलता है जो उसने स्वयं लिखे हैं।
- शोधपत्र का निष्कर्ष: यह बहुत सुरक्षित है। रोबोट अपनी गलतियों को सुधारना सीख जाता है क्योंकि सबक उन्हीं रास्तों पर लागू किए जाते है जिन पर वह वास्तव में चल रहा है। वह सच बोलना भूले बिना गणित में बेहतर होता जाता है।
तरीका C: "काम के दौरान मेंटर" वाला दृष्टिकोण (OPD)
- यह कैसे काम करता: यह इस शोधपत्र की बड़ी खोज है। आप रोबोट को अपने स्वयं के वाक्य (अपना स्वयं का "स्टेट") बनाने देते हैं। फिर, आप एक "शिक्षक" (जो थोड़ा टूटा हुआ या भ्रमित रोबोट हो सकता है) से पूछते हैं कि अगला कदम क्या होना चाहिए।
- जादू: भले ही शिक्षक गणित में बुरा हो या चीजें भूल जाए, छात्र रोबोट अभी भी सीख सकता है। क्यों? क्योंकि छात्र अपने शिक्षक से पूछ रहा है, "मेरे वर्तमान वाक्य को देखते हुए, मुझे आगे क्या करना चाहिए?" छात्र शिक्षक की पूरी जीवन कहानी की नकल नहीं कर रहा है; वह केवल उस पथ पर स्थानीय सलाह मांग रहा है जिस पर छात्र वास्तव में चल रहा है।
- शोधपत्र का निष्कर्ष: इस तरह प्रशिक्षित एक छात्र रोबोट अपने शिक्षक से भी अधिक स्मार्ट बन सकता है, भले ही उसका शिक्षक संघर्ष कर रहा हो। छात्र अपने शिक्षक की बुरी आदतों से बच जाता है क्योंकि वह केवल उन रास्तों पर सलाह लेता है जो छात्र स्वयं ले रहा है।
2. बड़ी हैरानी: "ड्रिफ्ट" (Drift) पूरी कहानी नहीं है
आमतौर पर, वैज्ञानिक यह मापने के लिए कि एक रोबोट के व्यवहार में कितना बदलाव आया है, एक एकल संख्या देखते हैं: "रोबोट का नया व्यवहार पुराने व्यवहार से कितना अलग है?" (वे इसे "ड्रिफ्ट" कहते हैं)।
- पुराना विश्वास: यदि यह संख्या अधिक है, तो रोबोट चीजें भूल गया है।
- शोधपत्र की खोज: यह संख्या भ्रामक है।
- प्रयोगों में, एक "स्ट्रेस टेक्स्टबुक" (Stress Textbook) रोबोट और एक "मेंटर" (Mentor) रोबोट का "ड्रिफ्ट" लगभग एक समान था (वे मूल से समान रूप से भिन्न दिख रहे थे)।
- लेकिन: "स्ट्रेस टेक्स्टबुक" रोबोट सब कुछ भूल गया और गणित में खराब हो गया। "मेंटर" रोबोट ने अपनी याददाश्त बनाए रखी और गणित में बेहतर हुआ।
- क्यों? यह इस बारे में नहीं था कि वे कितना दूर गए, बल्कि इस बारे में था कि वे कहाँ गए। मेंटर रोबोट सुरक्षित, स्थानीय दिशाओं में चला जिसे वह नियंत्रित कर सकता था। टेक्स्टबुक रोबोट को ऐसी खतरनाक स्थिति में धकेल दिया गया जिसे वह नेविगेट नहीं कर सकता था।
3. मुख्य निष्कर्ष
शोधपत्र निष्कर्ष निकालता है कि जब हम AI को प्रशिक्षित करते हैं, तो हमें केवल पाठ (गणित की समस्या या इनाम) को नहीं देखना चाहिए। हमें संदर्भ (AI किस विशिष्ट स्टेट में है) को देखना चाहिए।
- SFT एक छात्र को उस स्क्रिप्ट को रटने के लिए मजबूर करने जैसा है जिसका वह वास्तविक जीवन में कभी उपयोग नहीं करेगा।
- RL एक कोच की तरह है जो खिलाड़ी को अपना खेल खेलते हुए देखता है और चलते-फिरते सुझाव देता है।
- OPD एक छात्र की तरह है जो एक थोड़े भ्रमित मेंटर से उन विशिष्ट चरणों पर सलाह मांगता है जो छात्र वर्तमान में ले रहा है।
सबसे महत्वपूर्ण सबक? प्रशिक्षण कहाँ लागू किया जाता है, यह उतना ही महत्वपूर्ण है जितना कि प्रशिक्षण स्वयं। एक छात्र एक दोषपूर्ण शिक्षक से सीख सकता है यदि वे केवल उन रास्तों पर मदद मांगते हैं जिन पर वे वास्तव में चल रहे हैं, बजाय इसके कि वे शिक्षक की पूरी यात्रा की नकल करने की कोशिश करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।