Base Models Know How to Reason, Thinking Models Learn When
यह शोध पत्र यह प्रकट करता है कि जहाँ बेस मॉडल्स में तर्क करने के लिए अंतर्निहित तंत्र पहले से ही मौजूद होते हैं, वहीं रिइन्फोर्समेंट लर्निंग (Reinforcement Learning) के माध्यम से प्रशिक्षित "थिंकिंग" मॉडल्स मुख्य रूप से इन पूर्व-विद्यमान क्षमताओं को व्यवस्थित करने के लिए ह्यूरिस्टिक्स (heuristics) सीखते हैं, जबकि SFT-डिस्टिलेशन (SFT-distillation) के माध्यम से प्रशिक्षित मॉडल पूरी तरह से नए तर्क तंत्र (reasoning mechanisms) प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Base Models Know How to Reason, Thinking Models Learn When" पेपर का सरल भाषा और उपमाओं (analogies) के साथ विवरण दिया गया है।
मुख्य प्रश्न
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान छात्र है (Base Model) जिसे बहुत सी बातें पता हैं और जो बुनियादी गणित कर सकता है। फिर, आप इस छात्र को एक "Thinking Model" बनने के लिए प्रशिक्षित करते हैं (जैसे कि नए AI मॉडल जो कठिन समस्याओं को हल करने के लिए अतिरिक्त समय लेते हैं)।
बड़ा रहस्य जिसे यह पेपर हल करने की कोशिश कर रहा है, वह यह है: उस छात्र ने उस प्रशिक्षण के दौरान वास्तव में क्या सीखा?
- क्या उन्होंने सोचने के नए तरीके सीखे जो उनके पास पहले नहीं थे?
- या उन्होंने बस यह सीखा कि अपने पास मौजूद स्मार्ट सोचने के कौशल का उपयोग कब करना है?
जासूसी कार्य: "कन्स्ट्रक्टिव मॉडल डिफिंग" (Constructive Model Diffing)
इस उत्तर को खोजने के लिए, शोधकर्ताओं ने एक विशेष "जासूसी उपकरण" बनाया जिसे Constructive Model Diffing कहा जाता है। इसे एक जटिल मशीन को खोलकर यह देखने जैसा समझें कि वह कैसे काम करती है, और फिर केवल दो विशिष्ट भागों का उपयोग करके उसे फिर से बनाने की कोशिश करें:
- "कैसे" (तर्क तंत्र/Reasoning Mechanisms): ये वास्तविक कौशल हैं, जैसे कि "लंबी भाग (long division) करना," "अपने काम की जाँच करना," या "गलती होने पर पीछे हटना (backtracking)।" शोधकर्ताओं ने इन्हें Base Model के मस्तिष्क को देखकर और विशिष्ट "स्विच" (वेक्टर्स) की पहचान करके खोजा जो इसे ये चीजें करने के लिए मजबूर कर सकते हैं।
- "कब" (तर्क ह्यूरिस्टिक्स/Reasoning Heuristics): यह निर्णय लेने वाला हिस्सा है। यह एक आंतरिक मैनेजर की तरह है जो कहता है, "ठीक है, समस्या कठिन है, अब अपने काम की जाँच करने का समय है," या "हम अटक गए हैं, अब पीछे हटने का समय है।"
शोधकर्ताओं ने Base Model (जिसके पास कौशल है) को Thinking Model के मैनेजर (जो जानता है कि कौशल का उपयोग कब करना है) के साथ जोड़कर "Thinking Model" को फिर से बनाने की कोशिश की।
दो प्रकार के प्रशिक्षण
पेपर ने इन Thinking Models को प्रशिक्षित करने के दो अलग-अलग तरीकों को देखा:
1. "रीइन्फोर्समेंट लर्निंग" (RL) समूह
इन मॉडल्स को एक खेल खेलकर प्रशिक्षित किया गया था जहाँ उन्हें सही उत्तर के लिए अंक मिलते थे और गलत उत्तर के लिए दंड (penalties) मिलता था। उन्हें खुद रणनीति बनानी थी।
- परिणाम: जब शोधकर्ताओं ने इस "Base Model + Manager" रेसिपी का उपयोग करके इन मॉडल्स को फिर से बनाया, तो यह अद्भुत रूप से सफल रहा। उन्होंने प्रदर्शन के अंतर का लगभग 76% हिस्सा वापस पा लिया।
- उपमा: एक प्रतिभाशाली पियानोवादक की कल्पना करें जो पहले से ही हर नोट को पूरी तरह से बजाना जानता है। RL प्रशिक्षण एक कंडक्टर को काम पर रखने जैसा था जिसने उन्हें सिखाया कि कब तेज़ बजाना है, कब धीमा होना है, और कब प्रभाव के लिए रुकना है। पियानोवादक को नए नोट्स सीखने की ज़रूरत नहीं थी; उन्हें बस समय (timing) सीखने की ज़रूरत थी।
- निष्कर्ष: RL मॉडल के पास पहले से मौजूद तर्क कौशल को orchestrate (व्यवस्थित) करने का तरीका सिखाता है।
2. "SFT-डिस्टिलेशन" (SFT-Distillation) समूह
इन मॉडल्स को एक "शिक्षक" मॉडल की नकल करने के लिए प्रशिक्षित किया गया था। उन्हें उदाहरण दिखाए गए कि एक स्मार्ट AI किसी समस्या को कैसे हल करता है और उन्हें उसकी नकल करने के लिए कहा गया।
- परिणाम: जब शोधकर्ताओं ने उसी "Base Model + Manager" रेसिपी का उपयोग करके इन मॉडल्स को फिर से बनाने की कोशिश की, तो यह विफल रहा। वे केवल लगभग 11% प्रदर्शन अंतर को ही वापस पा सके।
- उपमा: कल्पना कीजिए कि एक छात्र को एक शिक्षक की लिखावट की नकल करने के लिए सिखाया जाता है। लेकिन शिक्षक एक ऐसे पेन का उपयोग कर रहा है जिसे छात्र ने पहले कभी पकड़ा ही नहीं है। छात्र अक्षरों के आकार की नकल करना सीखता है, लेकिन उसने वास्तव में लिखने के लिए आवश्यक मांसपेशी स्मृति (muscle memory) या पेन पकड़ने का तरीका नहीं सीखा है। "मैनेजर" (समय) वहाँ है, लेकिन "Base Model" (छात्र का हाथ) वास्तव में उन विशिष्ट चालों को करने के लिए नहीं जानता जो शिक्षक कर रहा है।
- निष्कर्ष: SFT-डिस्टिलेशन मॉडल को नए तर्क तंत्र (reasoning mechanisms) (सोचने के नए तरीके) सीखने के लिए मजबूर करता है जो Base Model के पास नहीं थे। आप केवल उसे यह नहीं बता सकते कि उन्हें कब करना है; आपको पहले उसे यह सिखाना होगा कि उन्हें कैसे करना है।
"अहा!" क्षण (The "Aha!" Moment)
पेपर ने एक चौंकाने वाला अंतर पाया:
- RL मॉडल्स एक मास्टर शेफ की तरह हैं जो पहले से ही काटने, भूनने और बेक करने के तरीके जानते हैं। प्रशिक्षण ने बस उन्हें सिखाया कि एक परफेक्ट डिश बनाने के लिए किस तकनीक का उपयोग कब करना है।
- डिस्टिल्ड (Distilled) मॉडल्स उस शेफ की तरह हैं जिसे एक मास्टर शेफ द्वारा एक गुप्त मसाले का उपयोग करके डिश बनाने का वीडियो दिखाया गया है। छात्र ने मसाले के उपयोग की क्रियाओं की नकल करना सीखा, लेकिन उन्हें इस नए मसाले को शामिल करने के लिए अपनी खाना पकाने की शैली को मौलिक रूप से बदलना पड़ा।
यह क्यों मायने रखता है?
पेपर निष्कर्ष निकालता है कि Reinforcement Learning (RL) एक मॉडल से तर्क (reasoning) निकालने का एक बहुत ही कुशल तरीका है क्योंकि यह जो पहले से मौजूद है उसे अनलॉक करता है। यह मॉडल को अपने स्वयं के ऑर्केस्ट्रा का एक बेहतर कंडक्टर बनने के लिए सिखाता है।
इसके विपरीत, Distillation (एक शिक्षक की नकल करना) अक्सर मॉडल को पूरी तरह से नए कौशल सिखाने की कोशिश करता है। यदि शिक्षक एक ऐसी तर्क शैली का उपयोग करता है जो Base Model में स्वाभाविक रूप से नहीं है, तो Base Model उसे केवल देखकर सीखने में संघर्ष करता है, जिससे इसे मूल स्थिति में वापस "स्टीयर" (steer) करने की सफलता दर बहुत कम हो जाती है।
एक वाक्य में सारांश
Base मॉडल्स पहले से ही जानते हैं कि तर्क कैसे (how) करना है; Reinforcement Learning उन्हें उन कौशलों का उपयोग कब (when) करना है यह सिखाता है, जबकि Distillation उन्हें वे नए कौशल सिखाने की कोशिश करता है जो Base Model को पता ही नहीं था कि वह कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।