Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline
यह शोध पत्र सेल्फ-वेरिफाइड डिस्टिलेशन (Self-Verified Distillation) का प्रस्ताव करता है, जो एक पोस्ट-ट्रेनिंग विधि है जो भाषा मॉडलों को एक कठोर तीन-चरणीय स्व-सत्यापन कैस्केड (three-stage self-verification cascade) के माध्यम से अपने स्वयं के संभावित समाधानों को उत्पन्न और फ़िल्टर करके गणित, विज्ञान और कोडिंग में अपनी तर्क क्षमताओं को स्वायत्त रूप से सुधारने में सक्षम बनाता है, जिससे बिना किसी बाहरी शिक्षक या ग्राउंड-ट्रुथ लेबल के कई मॉडल स्केल्स पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जो स्कूल खत्म कर चुका है और अब गणित, विज्ञान और कोडिंग में एक "पोस्ट-ग्रेजुएट" विशेषज्ञ है। आमतौर पर, और भी बेहतर होने के लिए, इस छात्र को एक नए शिक्षक, उत्तर कुंजी वाले एक पाठ्यपुस्तक, या होमवर्क ग्रेड करने वाले एक कोच की आवश्यकता होती है।
लेकिन क्या होगा अगर छात्र को केवल प्रश्नों के एक ढेर का उपयोग करके, बिना किसी उत्तर कुंजी और बिना किसी शिक्षक के, अपने आप को और अधिक बुद्धिमान बनना पड़े?
स्टैनफोर्ड के शोधकर्ताओं ने इसी बात की खोज की है। उन्होंने सेल्फ-वेरिफाइड डिस्टिलेशन (Self-Verified Distillation) नामक एक विधि बनाई। यह कैसे काम करता है, इसे एक सरल उपमा (analogy) का उपयोग करके समझते हैं।
समस्या: "हैलुसिनेशन" (भ्रम) का जाल
यदि आप एक बुद्धिमान छात्र से बिना उत्तर कुंजी के एक कठिन गणित का प्रश्न हल करने के लिए कहते हैं, तो वह अनुमान लगा सकता है। यदि वह गलत अनुमान लगाता है, लेकिन फिर भी उसे लगता है कि वह सही है, और आप उसे उस गलत उत्तर का अध्ययन करने के लिए मजबूर करते हैं, तो वह और भी खराब हो जाएगा। इसे "गलतियों को सुदृढ़ करना" (reinforcing mistakes) कहा जाता है।
अधिकांश पिछली विधियों के लिए एक "सुपर-टीचर" (एक बड़ा AI) या एक "जादुई उत्तर कुंजी" (ग्राउंड ट्रुथ) की आवश्यकता होती थी ताकि काम की जाँच की जा सके। यह पेपर पूछता है: क्या छात्र अपने काम को खुद इतना अच्छी तरह से जाँच सकता है कि वह उससे सीख सके?
समाधान: "तीन-चरणों वाला सुरक्षा चेक"
शोधकर्ताओं ने छात्र को एक नई रणनीति दी। केवल एक उत्तर लिखने और उम्मीद करने के बजाय, छात्र हर प्रश्न के लिए एक सख्त तीन-चरणीय प्रक्रिया का पालन करता है:
"कड़ी मेहनत" चरण (जेनरेशन):
प्रत्येक प्रश्न के लिए, छात्र केवल एक उत्तर नहीं लिखता। वह आठ अलग-अलग संभावित उत्तर लिखता है (जैसे ताले पर आठ अलग-अलग चाबियाँ आज़माना)।"स्व-जाँच" चरण (वेरिफिकेशन):
यही असली रहस्य है। छात्र अपने स्वयं के सख्त सुरक्षा गार्ड के रूप में कार्य करता है। वह उन आठों उत्तरों में से प्रत्येक को एक तीन-चरणीय सुरक्षा चेकपॉइंट से गुजारता है:- चरण 1: लूप चेक (साइकिल-कंसिस्टेंसी): छात्र पूछता है, "यदि मैं इस उत्तर को पढ़ता हूँ, तो क्या यह वास्तव में मूल प्रश्न के जवाब के रूप में तर्कसंगत है?" (उदाहरण के लिए, यदि प्रश्न एक संख्या मांगता है, और उत्तर एक कविता है, तो यह विफल हो जाता है)।
- चरण 2: तथ्य जाँच (Fact Check): छात्र स्पष्ट झूठ, खराब गणित या तार्किक त्रुटियों की जाँच करता है।
- चरण 3: अंतिम निर्णय: छात्र पूछता है, "क्या यह एक पूर्ण, सटीक समाधान है?"
महत्वपूर्ण नियम: पास होने के लिए, उत्तर को तीनों चरणों को पार करना होगा। इसके अलावा, छात्र अपने "आंतरिक न्यायाधीश" से इस पर पाँच बार वोट करने के लिए कहता है। यदि न्यायाधीश एक बार भी "हाँ" कहता है, तो उत्तर को खारिज कर दिया जाता है। इसे हर बार सर्वसम्मत "हाँ" मिलना चाहिए।
"अध्ययन" चरण (डिस्टिलेशन):
छात्र केवल उन्हीं उत्तरों को रखता है जो इस अत्यंत सख्त सुरक्षा जाँच में पास होते हैं। वह बाकी सबको फेंक देता है। फिर, वह केवल उन उच्च-गुणवत्ता वाले, स्व-सत्यापित उत्तरों का अध्ययन करता है ताकि अपने मस्तिष्क को पुन: प्रशिक्षित (retrain) कर सके।
परिणाम: बिना शिक्षक के स्मार्ट बनना
शोधकर्ताओं ने इसे विभिन्न आकारों (छोटे, मध्यम और बड़े) के AI मॉडल्स (जिन्हें Qwen3 कहा जाता है) पर गणित, विज्ञान और कोडिंग के तीन विषयों में परखा।
- "नो फिल्टर" की गलती: जब उन्होंने AI को बिना सुरक्षा जाँच के अपने रैंडम अनुमानों का अध्ययन करने दिया, तो AI वास्तव में खराब हो गया। उसने अपनी गलतियों से सीखा।
- "सुरक्षा जाँच" की सफलता: जब उन्होंने सख्त तीन-चरणीय जाँच का उपयोग किया, तो AI काफी बेहतर हो गया।
- गणित में, मध्यम आकार के मॉडल ने अपने स्कोर में लगभग 17 अंक की वृद्धि की।
- विज्ञान में, यह 11 अंक उछला।
- कोडिंग में, यह 8 अंक बढ़ा।
सबसे बड़ा आश्चर्य: ट्रेनिंग बनाम टेस्टिंग
आमतौर पर, बेहतर उत्तर पाने के लिए, आप AI से प्रश्न पूछते समय ही "ज़्यादा गहराई से सोचने" या 100 बार प्रयास करने के लिए कह सकते हैं (इसे "टेस्ट-टाइम कंप्यूट" कहा जाता है)। यह महंगा और धीमा है।
शोधकर्ताओं ने अपने तरीके (स्व-सत्यापित डेटा पर प्रशिक्षण) की तुलना केवल टेस्ट के समय अधिक प्रयास करने वाले AI से की।
- परिणाम: जिस AI ने अपने सत्यापित डेटा पर प्रशिक्षण (training) लिया था, उसने केवल टेस्ट के समय अधिक प्रयास करने वाले AI की तुलना में बेहतर प्रदर्शन किया।
- दक्षता (Efficiency): प्रशिक्षित AI को टेस्ट के दौरान सही उत्तर प्राप्त करने के लिए केवल एक त्वरित अनुमान की आवश्यकता थी, जबकि "अधिक प्रयास करने वाले" तरीके को उसी परिणाम के लिए दर्जनों उत्तर बनाने और जाँचने की आवश्यकता थी।
निष्कर्ष (The Bottom Line)
यह पेपर सिद्ध करता है कि एक स्मार्ट AI अपना स्वयं का शिक्षक बन सकता है, बशर्ते वह अपने बुरे विचारों को बाहर निकालने के लिए पर्याप्त सख्त हो। कई विकल्प उत्पन्न करके, बहु-चरणीय स्व-जाँच के साथ बेरहमी से उन्हें फ़िल्टर करके, और केवल विजेताओं का अध्ययन करके, AI बिना किसी बाहरी मानव शिक्षक या उत्तर कुंजी के खुद को बेहतर बना सकता है।
यह एक ऐसे छात्र की तरह है जो एक हज़ार अभ्यास निबंध लिखता है, 999 खराब निबंधों को जला देता है, और केवल उस एक आदर्श निबंध का अध्ययन करता है जो उसने स्वयं लिखा है। वह एक अकेला आदर्श निबंध उसे मास्टर बनाने के लिए पर्याप्त है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।