SkillFactory: Self-Distillation For Learning Cognitive Behaviors
SkillFactory एक सेल्फ-डिस्टिलेशन (self-distillation) विधि पेश करता है जो एक मॉडल के अपने ही अपूर्ण रीजनिंग ट्रेसेस (reasoning traces) को सुपरवाइज्ड फाइन-ट्यूनिंग डेटा में पुनर्व्यवस्थित करता है ताकि उसे बाद के सुदृढीकरण लर्निंग (reinforcement learning) के दौरान वेरिफिकेशन (verification) और बैकट्रैकिंग (backtracking) जैसे मजबूत संज्ञानात्मक कौशल प्राप्त करने के लिए तैयार किया जा सके, जो अंततः मानक दृष्टिकोणों की तुलना में सामान्यीकरण (generalization) और आउट-ऑफ-डोमेन मजबूती (out-of-domain robustness) में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन अनुभवहीन प्रशिक्षु (apprentice) को जटिल पहेलियाँ सुलझाना सिखा रहे हैं।
AI की दुनिया में, ये "प्रशिक्षु" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं। आमतौर पर, जब हम उन्हें बेहतर तर्क करने (जैसे गणित की समस्याओं या तर्क संबंधी पहेलियों को हल करने) के लिए चाहते हैं, तो हमारे पास दो मुख्य विकल्प होते हैं:
- "मास्टर प्रशिक्षु" विधि: एक जीनियस मास्टर (एक बहुत बड़ा, अधिक बुद्धिमान AI) खोजें और प्रशिक्षु को उनका होमवर्क कॉपी करने के लिए कहें। यह अच्छा काम करता है, लेकिन इसके लिए आपको एक जीनियस मास्टर तक पहुँच की आवश्यकता होती है, जो महंगा और कठिन है।
- "परीक्षण और त्रुटि" (Trial and Error) विधि: प्रशिक्षु को बार-बार पहेली सुलझाने दें और उन्हें केवल तभी पुरस्कृत करें जब वे सही उत्तर प्राप्त करते हैं। इसे रीइन्फोर्समेंट लर्निंग (RL) कहा जाता है। लेकिन यदि प्रशिक्षु को यह नहीं पता कि कैसे सोचना है, तो वे केवल रैंडम अनुमान लगा सकते हैं और कभी भी सही आदतें नहीं सीख पाएंगे।
SkillFactory एक चतुर तीसरा विकल्प है। यह एक स्व-कोचिंग कार्यशाला (self-coaching workshop) की तरह है जहाँ प्रशिक्षु अपने ही बिखरे हुए अभ्यास सत्रों को पुनर्गठित करके बेहतर सोचना सीखता है।
यहाँ बताया गया है कि यह कैसे काम करता है, जिसे सरल चरणों में विभाजित किया गया है:
1. समस्या: "एक-और-खत्म" (One-and-Done) की आदत
अधिकांश AI मॉडल उन छात्रों की तरह होते हैं जो परीक्षा में जल्दी-जल्दी भागते हैं। वे एक उत्तर लिखते हैं, और यदि वे गलत होते हैं, तो वे बस आगे बढ़ जाते हैं। वे स्वाभाविक रूप से अपने काम की जाँच नहीं करते, अपनी गलती स्वीकार नहीं करते, या दूसरा दृष्टिकोण आज़माने का प्रयास नहीं करते। उनमें सत्यापन (उत्तर की जाँच करना) और पुनः प्रयास (यदि विफल हो जाए तो फिर से प्रयास करना) जैसे "संज्ञानात्मक कौशल" (cognitive skills) की कमी होती है।
2. समाधान: "सिल्वर ट्रेस" (Silver Trace) कार्यशाला
SkillFactory टीम ने महसूस किया कि इन कौशलों को सिखाने के लिए उन्हें किसी जीनियस मास्टर की आवश्यकता नहीं है। वे प्रशिक्षु के अपने मस्तिष्क का उपयोग कर सकते हैं!
- चरण 1: बिखरे हुए ड्राफ्ट्स। वे मॉडल को एक समस्या को 64 बार हल करने के लिए कहते हैं। कुछ उत्तर सही होते हैं, लेकिन अधिकांश गलत होते हैं।
- चरण 2: आत्म-चिंतन (Self-Reflection)। वे मॉडल से अपने गलत उत्तरों को देखने और यह समझाने के लिए कहते हैं कि वे क्यों गलत थे। वे उससे अपने सही उत्तरों को देखने और पुष्टि करने के लिए भी कहते हैं कि वे सही हैं।
- चरण 3: "सिल्वर" कहानी। यही जादू वाला हिस्सा है। वे मॉडल के अपने गलत प्रयासों, उसके आत्म-आलोचना और उसके अंतिम सही उत्तर को एक साथ जोड़कर एक एकल, संरचित कहानी में बुनते हैं।
उपमा (Analogy):
कल्पना कीजिए कि मॉडल एक शेफ है जो रेसिपी सही होने से पहले कुछ सूप जला देता है।
- सामान्य प्रशिक्षण: आप बस शेफ को कहते हैं, "पिछले सूप के लिए अच्छा काम किया," और जले हुए सूपों को अनदेखा कर देते हैं।
- SkillFactory: आप शेफ के नोट्स लेते हैं कि पहला सूप क्यों जला ("मैंने बहुत अधिक नमक डाल दिया"), उसके दूसरे प्रयास के नोट्स ("मैं काली मिर्च डालना भूल गया"), और फिर उसका अंतिम परफेक्ट सूप। फिर आप इन नोट्स को एक "मास्टर रेसिपी बुक" में बांधते हैं जो कहती है: "पहले, मैंने X आज़माया और विफल रहा। मुझे समझ आया कि क्यों। फिर, मैंने Y आज़माया और विफल रहा। मुझे समझ आया कि क्यों। अंत में, मैंने Z आज़माया और यह सफल रहा!"
यह "मास्टर रेसिपी बुक" एक सिल्वर ट्रेस (Silver Trace) है। यह पूर्ण नहीं है (यह प्रशिक्षु द्वारा बनाया गया है, मास्टर द्वारा नहीं), लेकिन यह सोचने की अच्छी संरचना सिखाता है: प्रयास करो -> जाँच करो -> विफल हो -> चिंतन करो -> फिर से प्रयास करो -> सफल हो।
3. प्रशिक्षण: "नृत्य" सीखना
मॉडल को फिर इन "सिल्वर ट्रेसेस" पर प्रशिक्षित किया जाता है।
- लक्ष्य: मॉडल अभी पहेलियों के उत्तर सीखने की कोशिश नहीं कर रहा है। वह नृत्य के कदमों (dance steps) को सीख रहा है। वह सीखता है कि जब वह फंस जाता है, तो उसे रुकना चाहिए, चिंतन करना चाहिए और एक नया रास्ता अपनाना चाहिए।
- परिणाम: मॉडल "प्राइम" (तैयार) हो जाता है। अब उसमें अपने काम की जाँच करने की आदत आ जाती है।
4. अंतिम चरण: रीइन्फोर्समेंट लर्निंग (जिम)
एक बार जब मॉडल "सिल्वर ट्रेसेस" से संज्ञानात्मक कौशल (नृत्य के कदम) सीख लेता है, तो वे उसे जिम (रीइन्फोर्समेंट लर्निंग) में डालते हैं।
- क्योंकि मॉडल पहले से जानता है कि कैसे सोचना है (जाँच करना, पुनः प्रयास करना, सत्यापित करना), वह बहुत तेज़ी से सीखता है और शून्य से शुरू करने वाले मॉडलों की तुलना में कठिन समस्याओं को हल करने में बहुत बेहतर हो जाता है।
यह एक बड़ी बात क्यों है?
- जीनियस की आवश्यकता नहीं: आपको एक छोटे AI को सिखाने के लिए एक सुपर-स्मार्ट AI की आवश्यकता नहीं है। छोटा AI अपने ही गलतियों को पुनर्गठित करके खुद को सिखाता है।
- कठिन चीजों में बेहतर: पेपर दिखाता है कि इस तरह प्रशिक्षित मॉडल उन पहेलियों को हल करने में आश्चर्यजनक रूप से अच्छे होते हैं जिन्हें उन्होंने पहले कभी नहीं देखा है। वे केवल उत्तर याद नहीं करते; उन्होंने सोचना सीख लिया है।
- मजबूती (Robustness): यहाँ तक कि जब मॉडल गलती करता है, तो उसके हार मानने या भ्रमित होने की संभावना कम होती है। उसमें यह कहने की आदत होती है, "रुको, यह सही नहीं लग रहा है, मुझे फिर से कोशिश करने दो।"
संक्षेप में:
SkillFactory एक छात्र को दर्पण देने जैसा है। उन्हें केवल सही उत्तर बताने के बजाय, यह उन्हें एक वीडियो दिखाता है जिसमें वे असफल होते हैं, समझ पाते हैं कि वे क्यों असफल हुए, और फिर सफल होते हैं। अपनी ही क्षमता के इस वीडियो को देखकर, वे एक जीनियस की आदतों को सीखते हैं, भले ही वे अभी जीनियस न हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।