Consensus as Privileged Context for Label-Free Self-Distillation
यह शोध पत्र CANON को प्रस्तुत करता है, जो एक लेबल-मुक्त स्व-डिस्टिलेशन (self-distillation) विधि है जो सघन, टोकन-स्तरीय पर्यवेक्षण प्रदान करने के लिए कई मॉडल आउटपुट के बीच सर्वसम्मति का लाभ उठाती है, जिससे तर्क सटीकता में महत्वपूर्ण सुधार होता है और यह मौजूदा लेबल-मुक्त दृष्टिकोणों से बेहतर प्रदर्शन करते हुए गोल्ड-लेबल प्रशिक्षण के प्रदर्शन के करीब पहुँच जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े बिखरे हुए छात्र को जटिल पहेलियों को हल करना सिखाने की कोशिश कर रहे हैं। आपके पास उत्तर कुंजी (answer key) नहीं है, और आप उसे सीधे सही उत्तर भी नहीं बता सकते। इसके बजाय, आप उसे एक ही पहेली के दस अलग-अलग समाधान लिखने के लिए कहते हैं। यदि उन दस में से नौ समाधान अंतिम उत्तर पर सहमत होते हैं, तो आप जानते हैं कि वह उत्तर संभवतः सही है, भले ही आप यह न जानते हों कि वह क्यों सही है। यही "आम सहमति" (consensus) का जादू है: जब एक स्मार्ट सिस्टम खुद से सहमत होता है, तो वह आमतौर पर सही रास्ते पर होता है।
लंबे समय से, वैज्ञानिकों ने इस विचार का उपयोग 'लार्ज लैंग्वेज मॉडल्स' (LLMs) नामक कंप्यूटर प्रोग्रामों को अधिक स्मार्ट बनाने के लिए किया है। ये मॉडल विशाल डिजिटल मस्तिष्क की तरह हैं जो कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं और विज्ञान के सवालों के जवाब दे सकते हैं। लेकिन वे गलतियाँ करते हैं। बिना किसी शिक्षक के इसे ठीक करने का मानक तरीका यह है कि मॉडल को एक ही काम को कई बार करने के लिए कहा जाए और सबसे आम उत्तर को चुना जाए। यह काम करता है, लेकिन यह धीमा है क्योंकि हर बार उत्तर पाने के लिए आपको मॉडल को बार-बार फिर से प्रयास करने के लिए कहना पड़ता है। आर्टिफिशियल इंटेलिजेंस के क्षेत्र में बड़ा सवाल यह है: क्या हम मॉडल को एक ही बार में स्मार्ट बना सकते हैं, ताकि बाद में उसे इतनी बार प्रयास करने की आवश्यकता न पड़े? क्या हम उस "समूह सहमति" को एक स्थायी सबक में बदल सकते हैं?
यहीं पर CANON नामक एक नई विधि आती है। मॉडल को एक ऐसे छात्र के रूप में सोचें जो एक अभ्यास परीक्षा (practice test) दे रहा है। आमतौर पर, यदि छात्र एक प्रश्न गलत करता है, तो वह बस आगे बढ़ जाता है। लेकिन CANON के साथ, छात्र एक गहरी सांस लेता है, अपने द्वारा लिखे गए सभी उत्तरों को देखता है, और उस एक उत्तर को ढूंढता है जिस पर उसकी अधिकांश "आंतरिक आवाजों" ने सहमति जताई हो। फिर, उसका एक स्थिर, अत्यंत बुद्धिमान संस्करण (एक "शिक्षक") कहता है, "हे, देखो कि उस सहमत-ना-सहमत उत्तर तक पहुँचने के लिए तुमने किस विशिष्ट पथ का अनुसरण किया। सोचने का सही तरीका वही है।" फिर छात्र उस विशिष्ट पथ का बार-बार अभ्यास करता है, ताकि वह सहमति की तरह सोचना सीख सके।
शोधकर्ताओं ने पाया कि यह विधि गेम-चेंजर है। उन्होंने इसे कठिन गणित प्रतियोगिताओं और स्नातक स्तर के विज्ञान प्रश्नों पर परखा। परिणाम आश्चर्यजनक थे: CANON ने मॉडलों को समस्याओं को हल करने में काफी बेहतर बनाया, जिससे कठिन गणित परीक्षणों में उनकी सफलता दर में 12 अंकों तक का सुधार हुआ। इससे भी अधिक प्रभावशाली बात यह है कि इसने अन्य लोकप्रिय तरीकों की तुलना में बहुत कम कंप्यूटर शक्ति का उपयोग करके यह उपलब्धि हासिल की। जहाँ अन्य तकनीकों को समान परिणाम प्राप्त करने के लिए घंटों तक चलने की आवश्यकता थी, वहीं CANON ने अपना काम लगभग एक घंटे में कर दिया।
अध्ययन ने यह भी दिखाया कि यह सीखना केवल एक इत्तेफाक नहीं था। मॉडल केवल सही उत्तर का अनुमान लगाना ही नहीं सीख गए; उन्होंने वास्तव में उन समस्याओं को हल करना सीख लिया जिन्हें वे पहले कभी हल नहीं कर पाए थे, भले ही उन्होंने 32 बार प्रयास किया हो। यह ऐसा है जैसे छात्र ने केवल उत्तर कुंजी को रटा नहीं, बल्कि तर्क के माध्यम से सोचना सीख लिया हो। शोधकर्ता सुझाव देते हैं कि यह तब सबसे अच्छा काम करता है जब मॉडल पहले से ही अधिकांश समय सही उत्तर खोजने में काफी अच्छा होता है, लेकिन उसे बस उसमें विश्वास करने के लिए थोड़े से धक्के (nudge) की आवश्यकता होती है। हालाँकि, वे यह चेतावनी भी देते हैं कि यदि मॉडल आत्मविश्वास के साथ गलत है, तो यह विधि अनजाने में उसे और भी तेज़ी से गलत होने के लिए सिखा सकती है।
संक्षेप में, CANON मॉडल की अपनी "समूह सोच" (group think) को एक शक्तिशाली शिक्षक में बदलने का एक चतुर तरीका है, जिससे मॉडल को बिना किसी मानव द्वारा होमवर्क ग्रेड कराए, अपनी गलतियों और सहमतियों से सीखने की अनुमति मिलती है। यह सुझाव देता है कि कभी-कभी, कंप्यूटर का सबसे अच्छा शिक्षक उसका अपना ही सर्वश्रेष्ठ रूप होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।