NebulaExp-8B: An Empirical Post-Training Pipeline via Full-Scale Ablation Research
यह शोध पत्र NebulaExp को प्रस्तुत करता है, जो 8B-स्केल के LLMs के लिए एक पूर्णतः पारदर्शी और पुनरुत्पादक (reproducible) पोस्ट-ट्रेनिंग पाइपलाइन है, जो डेटा क्यूरेशन और प्रशिक्षण रणनीतियों पर पूर्ण-स्तरीय एब्लेशन अध्ययनों का उपयोग करके अनुकूलित SFT, GRPO सुदृढीकरण शिक्षण (reinforcement learning), और शिक्षक-आधारित डिस्टिलेशन के माध्यम से सामान्य निर्देश-अनुपालन और विशिष्ट तर्क क्षमताओं दोनों को महत्वपूर्ण रूप से बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सुशिक्षित छात्र है (एक 8-बिलियन-पैरामीटर वाला AI मॉडल) जिसने अभी-अभी अपना "प्री-ट्रेनिंग" (पूरे इंटरनेट को पढ़ना) पूरा किया है। वह बहुत सारी बातें जानता है, लेकिन वह थोड़ा अव्यवस्थित है: वह हमेशा निर्देशों का पालन नहीं करता, उसे जटिल गणित की समस्याओं में कठिनाई होती है, और उसके उत्तर असंगत हो सकते हैं।
"NebulaExp-8B" नामक शोध पत्र एक विस्तृत रिपोर्ट है कि कैसे ZTE की एक टीम ने इस कच्चे छात्र को लेकर उसे एक कठोर, पारदर्शी "पोस्ट-ट्रेनिंग" बूट कैंप के माध्यम से एक शीर्ष प्रदर्शन करने वाले में बदल दिया। केवल अंतिम ग्रेड दिखाने के बजाय, उन्होंने दरवाजे खोल दिए ताकि यह दिखाया जा सके कि उन्होंने वास्तव में अपना पाठ्यक्रम कैसे बनाया, होमवर्क को कैसे फ़िल्टर किया और शिक्षकों को कैसे चुना।
यहाँ उनकी यात्रा की कहानी है, जिसे सरल उपमाओं (analogies) में विभाजित किया गया है:
1. समस्या: "शोर वाला" पुस्तकालय (The "Noisy" Library)
टीम ने होमवर्क असाइनमेंट (डेटा) का एक विशाल ढेर इकट्ठा किया जो विभिन्न सार्वजनिक स्रोतों से लिया गया था। लेकिन यह पुस्तकालय अस्त-व्यस्त था:
- असंगत शैलियाँ: कुछ उत्तर औपचारिक निबंध की तरह लिखे गए थे, तो कुछ टेक्स्ट मैसेज की तरह।
- गलत उत्तर: कुछ होमवर्क में गलत समाधान थे।
- मिश्रित कठिनाई: यह बिना किसी स्पष्ट ग्रेडिंग के "आसान" प्रश्नों और "असंभव" पहेलियों का एक मिश्रण था।
समाधान: उन्होंने एक डेटा प्रोसेसिंग पाइपलाइन बनाई। इसे एक हाई-टेक फैक्ट्री के रूप में सोचें जो छात्र के देखने से पहले ही होमवर्क को छाँटती है, साफ करती है और ग्रेड देती है।
- डिस्टिलेशन (Distillation): उन्होंने एक सुपर-स्मार्ट "मुख्य शिक्षक" (एक विशाल AI मॉडल) का उपयोग किया ताकि सभी उत्तरों को फिर से लिखा जा सके ताकि वे सुसंगत और तार्किक लगें।
- फ़िल्टरिंग (Filtering): उन्होंने किसी भी ऐसे होमवर्क को बाहर कर दिया जिसमें गलत उत्तर, निरर्थक बातें या विषाक्त (toxic) सामग्री थी।
- ग्रेडिंग (Grading): उन्होंने प्रश्नों को "आसान", "मध्यम" या "कठिन" के रूप में लेबल किया, इस आधार पर कि छात्र ने शुरू में उन्हें कितनी बार सही हल किया।
2. दो पथ: "जनरलिस्ट" बनाम "स्पेशलिस्ट"
टीम ने महसूस किया कि वे छात्र को एक साथ सब कुछ करने के लिए एकदम सही बनाने के लिए प्रशिक्षित नहीं कर सकते, अन्यथा वह भ्रमित हो जाएगा। इसलिए, उन्होंने प्रशिक्षण को दो अलग-अलग शाखाओं में विभाजित किया:
पथ A: "इंस्ट्रक्ट" मॉडल (The Polite Assistant - विनम्र सहायक)
यह शाखा नियमों का पालन करने और मददगार होने पर ध्यान केंद्रित करती है।
- खोज: उन्हें एक दिलचस्प ट्रेड-ऑफ (trade-off) मिला। गणित में बेहतर होने के लिए, छात्र को लंबे, जटिल और कठिन कहानियाँ पढ़ने की आवश्यकता थी। लेकिन कोडिंग में बेहतर होने के लिए, उसे छोटे, सटीक और आसानी से समझ आने वाले निर्देशों की आवश्यकता थी। यदि आप उन्हें केवल कठिन गणित की समस्याएं खिलाते हैं, तो वे कोडिंग में खराब हो जाते हैं। यदि आप उन्हें केवल कोडिंग कार्य खिलाते हैं, तो वे गणित में खराब हो जाते हैं।
- समाधान: उन्होंने एक "संतुलित आहार" बनाया। उन्होंने डेटा को सावधानी से मिलाया: थोड़ा कठिन गणित, थोड़ा सटीक कोड और बहुत सारा सामान्य लंबे-फॉर्म वाला टेक्स्ट।
- परिणाम: इन सामग्रियों को पूरी तरह से मिलाकर, उन्होंने छात्र के औसत टेस्ट स्कोर को काफी बढ़ा दिया। उन्होंने यह भी पाया कि रीइन्फोर्समेंट लर्निंग (RL)—जहाँ छात्र को सही उत्तर के लिए "पुरस्कार" मिलता है—ने उन्हें निर्देशों का पालन करने में और भी बेहतर बनाया, हालांकि इसके लिए सावधानीपूर्वक ट्यूनिंग की आवश्यकता थी ताकि वे केवल एक प्रकार की समस्या पर अत्यधिक ध्यान केंद्रित न करें।
पथ B: "रीज़निंग" मॉडल (The Logic Master - तर्क का उस्ताद)
यह शाखा कठिन पहेलियों, गणित और विज्ञान की समस्याओं को हल करने पर ध्यान केंद्रित करती है।
- रणनीति: छात्र पर अधिक डेटा थोपने के बजाय, उन्होंने एक पाठ्यक्रम (Curriculum) का उपयोग किया:
- चरण 1: छात्र को चरण-दर-चरण सोचना सिखाने के लिए छोटे, आसान रीजनिंग चेन के साथ शुरुआत करें।
- चरण 2: गहरी समस्या-समाधान क्षमता सिखाने के लिए लंबे, जटिल चेन की ओर बढ़ें।
- खोज: उन्होंने पाया कि गुणवत्ता > मात्रा (Quality > Quantity)। एक विशाल ढेर के बजाय, पूरी तरह से फ़िल्टर किए गए, उच्च-गुणवत्ता वाले होमवर्क का छोटा ढेर बेहतर था। उन्होंने यह भी पाया कि गणित, कोड और विज्ञान के डेटा को एक साथ मिलाने से छात्र ने केवल एक विषय पर ध्यान केंद्रित करने की तुलना में बेहतर सीखा।
3. गुप्त हथियार: "ऑन-पॉलिसी डिस्टिलेशन" (OPD)
आमतौर पर, छात्र को बेहतर बनाने के लिए, आपको एक "वेरिफायर" (एक सख्त ग्रेडर) की आवश्यकता होती है जो उनके काम की जांच करे और उन्हें स्कोर दे (Reward)। रचनात्मक लेखन या खुले अंत वाले प्रश्नों के लिए यह कठिन है क्योंकि वहां कोई एक "सही" उत्तर नहीं होता।
टीम ने OPD नामक एक नया तरीका आजमाया:
- उपमा: एक ग्रेडर द्वारा स्कोर देने के बजाय, कल्पना करें कि एक मास्टर शेफ (शिक्षक) छात्र के बगल में खड़ा है। छात्र एक व्यंजन बनाता है, और मास्टर शेफ केवल "अच्छा" या "बुरा" नहीं कहता। इसके बजाय, शेफ फुसफुसाता है, "आपको यहाँ चुटकी भर नमक और डालना चाहिए था," या "वहाँ आंच थोड़ी कम करें।"
- यह क्यों खास है: यह "फुसफुसाना" (शिक्षक की विचार प्रक्रिया की नकल करना) तब भी काम करता है जब सत्यापित करने के लिए कोई "सही उत्तर" नहीं होता।
- आश्चर्य:
- एकल शिक्षक (Single Teacher): केवल एक शिक्षक मॉडल का उपयोग करके, उन्होंने पारंपरिक "ग्रेडर" पद्धति की तुलना में छात्र की निर्देशों का पालन करने की क्षमता को 13 गुना कम डेटा का उपयोग करके बेहतर बनाया।
- बहु-शिक्षक (Multi-Teacher): उन्होंने चार विशेषज्ञ शिक्षकों को काम पर रखा (एक गणित, एक कोडिंग, एक विज्ञान और एक निर्देश के लिए)। उन्होंने उन्हें एक छात्र में समाहित किया।
- जादू: छात्र केवल शिक्षकों का औसत नहीं बना। गणित के परीक्षणों पर, छात्र ने सबसे अच्छे व्यक्तिगत शिक्षक को भी पीछे छोड़ दिया। यह ऐसा है जैसे एक छात्र गणित के जीनियस, कोडिंग के जादूगर और विज्ञान के विद्वान के साथ अध्ययन करता है, और फिर गणित की समस्या को उस गणित के जीनियस से भी बेहतर तरीके से हल करता है जो अकेले कर सकता था। संयोजन ने कुछ नया और अधिक शक्तिशाली बनाया।
4. मुख्य निष्कर्ष (The "Cheat Sheet")
- कचरा अंदर, कचरा बाहर (Garbage In, Garbage Out): डेटा को साफ करना (गलत उत्तरों और खराब शैलियों को हटाना) सबसे महत्वपूर्ण कदम है। यह फैंसी प्रशिक्षण एल्गोरिदम से अधिक मायने रखता है।
- एक आकार सबके लिए नहीं है: गणित और कोडिंग के लिए विपरीत प्रकार के प्रशिक्षण डेटा की आवश्यकता होती है। आपको उन्हें सावधानी से मिलाना होगा।
- आकार से अधिक शिक्षक मायने रखते हैं: जब आप "फुसफुसाने" की विधि (OPD) का उपयोग करते हैं, तो एक ऐसा शिक्षक होना बेहतर है जो उस विशिष्ट विषय में अच्छा हो, भले ही वह एक छोटा मॉडल हो, बजाय एक विशाल मॉडल के जो हर चीज़ में केवल "ठीक-ठाक" हो।
- कम ही अधिक है (Less is More): प्रदर्शन में बड़ी छलांग लगाने के लिए आपको लाखों उदाहरणों की आवश्यकता नहीं है। कभी-कभी, 10,000 उच्च-गुणवत्ता वाले, सावधानीपूर्वक चुने गए उदाहरण ही पर्याप्त होते हैं।
सारांश
यह शोध पत्र साबित करता है कि एक स्मार्ट AI बनाने के लिए आपको एक बड़ा, अधिक महंगा दिमाग बनाने की आवश्यकता नहीं है। इसके बजाय, आपको एक बेहतर प्रशिक्षण रेसिपी की आवश्यकता है: साफ डेटा, विषयों का संतुलित मिश्रण, और स्मार्ट शिक्षण विधियाँ जो छात्र को प्रत्येक प्रश्न के लिए एक सख्त ग्रेडर की आवश्यकता के बिना सर्वश्रेष्ठ विशेषज्ञों से सीखने में मदद करती हैं। उन्होंने पूरी रेसिपी दिखाई है ताकि कोई भी इसे कॉपी कर सके और अपना खुद का स्मार्ट AI बना सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।