WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training
यह शोधपत्र WDL-OPD को प्रस्तुत करता है, जो एक मिश्रण-प्रतिबंधित (mixture-constrained) सह-प्रशिक्षण विधि है जो एक एंकर रोलआउट पॉलिसी और एक सहायक मूल्यांकन पॉलिसी को रिवर्स KL डाइवर्जेंस के माध्यम से एक फ्रोजन टीचर के साथ संयुक्त रूप से प्रशिक्षित करके ऑन-पॉलिसी डिस्टिलेशन को स्थिर करती है, जिससे मौजूदा सिंगल-पॉलिसी दृष्टिकोणों की तुलना में गणितीय तर्क और कोड जनरेशन कार्यों में अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक युवा प्रशिक्षु को एक आदर्श केक बनाना सिखाने की कोशिश कर रहे हैं। पुराने दिनों में, आप उन्हें एक मास्टर शेफ द्वारा लिखी गई रेसिपी बुक थमा देते और उन्हें उसे याद करने के लिए कहते। लेकिन एक समस्या है: प्रशिक्षु केवल उन्हीं सामग्रियों के साथ अभ्यास करता है जो उसे अपने स्वयं के रसोईघर में मिल सकती हैं, जो शेफ के उच्च-स्तरीय भंडार से बहुत अलग हो सकती हैं। यह बेमेल स्थिति प्रशिक्षु को भ्रमित कर देती है जब वह अंततः वास्तविक दुनिया में बेकिंग करने की कोशिश करता है।
आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "डिस्टिलेशन" (distillation) कहा जाता है। हम एक छोटे, तेज़ AI (छात्र) को एक विशाल, अत्यंत बुद्धिमान AI (शिक्षक) से सीखने के लिए प्रशिक्षित करते हैं। आमतौर पर, छात्र शिक्षक के सटीक उत्तरों से सीखता है। लेकिन एक नया, स्मार्ट तरीका जिसे "ऑन-पॉलिसी डिस्टिलेशन" (On-Policy Distillation - OPD) कहा जाता है, खेल बदल देता है: छात्र अपने स्वयं के प्रयासों पर अभ्यास करके सीखता है, जबकि शिक्षक उन विशिष्ट प्रयासों को वास्तविक समय में सुधारता है। यह उस प्रशिक्षु की तरह है जो अपना खुद का बिखरा हुआ केक बना रहा है, और शेफ उन विशिष्ट केक्स को ठीक करने के लिए हस्तक्षेप करता है। समस्या यह है कि यह अस्थिर हो सकता है। हर बार जब छात्र थोड़ा सीखता है, तो वह अगली बार बेकिंग करने का तरीका बदल देता है, जिससे वह बदल जाता है जिसे शेफ को सुधारना होता है, जिससे एक डगमगाता हुआ फीडबैक लूप बन जाता है जो कभी-कभी छात्र को बेहतर बनाने के बजाय बदतर बना सकता है।
यह शोध पत्र इस डगमगाहट को ठीक करने के लिए WDL-OPD नामक एक नई विधि पेश करता है। केवल एक छात्र द्वारा शिक्षक से सीखने के बजाय, शोधकर्ता दो छात्रों की एक टीम स्थापित करते हैं जो मिलकर काम करते हैं। एक छात्र, "एंकर" (Anchor), सारा बेकिंग (अभ्यास संबंधी समस्याएं उत्पन्न करना) करता है। दूसरा छात्र, "ऑक्सिलरी" (Auxiliary), उसी बेकिंग प्रक्रिया को देखता है लेकिन काम नहीं करता है। वे दोनों शिक्षक के सुधारों को देखते हैं, लेकिन वे अपने विचारों को सर्वोत्तम तरीके से समझने के लिए उन्हें आपस में मिलाते हैं। इसे एक नृत्य जोड़ी की तरह समझें जहाँ एक व्यक्ति कदमों का नेतृत्व करता है, लेकिन दूसरा लय को संतुलित करने में मदद करता है। यदि नेता लड़खड़ाता है, तो साथी कुछ झटकों को सोख सकता है ताकि पूरा नृत्य विफल न हो जाए।
शोधकर्ताओं ने इस विचार का परीक्षण दो प्रकार के AI कार्यों पर किया: गणित की समस्याओं को हल करना और कंप्यूटर कोड लिखना। उन्होंने 1.7 बिलियन से 4 बिलियन "मस्तिष्क कोशिकाओं" (पैरामीटर्स) वाले मॉडल का उपयोग किया। परिणाम उत्साहजनक थे लेकिन जादुई नहीं। गणित के परीक्षणों में, इस नए दो-छात्रों वाली टीम ने अब तक का सबसे बुद्धिमान छात्र AI बनाया। उदाहरण के लिए, MATH500 नामक एक कठिन गणित परीक्षण पर, 4-बिलियन-पैरामीटर वाले छात्र ने 68.5% उत्तर सही दिए, जो पिछले सर्वश्रेष्ठ 63.0% से एक बड़ी छलांग थी। 1.7-बिलियन-पैरामीटर वाले संस्करण में, यह 52.1% से बढ़कर 58.5% हो गया।
हालाँकि, कहानी कोड-लेखन परीक्षणों के साथ अधिक दिलचस्प हो जाती है। इन प्रयोगों में, एकल-छात्र विधि (पुराना तरीका) पूरी तरह से विफल रही; AI खुद को दोहराने लगा या भ्रमित होने लगा, जिसे "एंट्रॉपी ग्रोथ" (entropy growth) नामक समस्या कहा जाता है। हालाँकि, दो-छात्रों वाली टीम स्थिर रहने में सफल रही और एक कार्यशील कोड-लेखने वाला AI तैयार किया जिसने एक मानक परीक्षण पर 0.637 का स्कोर किया, जबकि एकल-छात्र प्रयासों ने एक उपयोगी परिणाम देने में भी विफल रहा।
लेखक सावधानी बरतते हुए कहते हैं कि उन्होंने यह साबित नहीं किया है कि यह विधि काम करने का एकमात्र कारण है। वे एक परिकल्पना सुझाते हैं: शायद दूसरा छात्र एक "शॉक एब्जॉर्बर" (झटका सहने वाला) के रूप में कार्य करता है, जो सीखने का भारी काम अपने ऊपर ले लेता है ताकि मुख्य छात्र को अपने व्यवहार को बहुत तेज़ी से या बहुत अधिक बदलने की आवश्यकता न पड़े। यह सीखने की प्रक्रिया को स्थिर रखता है। लेकिन वे स्वीकार करते हैं कि वे अभी 100% निश्चित नहीं हो सकते क्योंकि उन्होंने एक पूरी तरह से निष्पक्ष आमने-सामने का परीक्षण नहीं किया जहाँ छात्रों की संख्या के अलावा सब कुछ समान था। वे यह भी नोट करते हैं कि इस विधि को चलाने के लिए अधिक कंप्यूटर शक्ति की आवश्यकता होती है क्योंकि इसमें एक साथ दो मॉडलों को प्रशिक्षित किया जा रहा है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि सीखने की प्रक्रिया में एक "सहायक" छात्र को जोड़ने से AI प्रशिक्षण अधिक स्थिर और प्रभावी हो जाता है, विशेष रूप से जब AI को कोडिंग या उन्नत गणित जैसे कठिन कार्यों को सीखने की आवश्यकता होती है। यह दावा नहीं करता है कि इसने AI प्रशिक्षण की सभी समस्याओं को हल कर दिया है, बल्कि यह एक नया, दिलचस्प उपकरण प्रदान करता है जो, कम से कम उन विशिष्ट परीक्षणों में जो उन्होंने किए, सीखने की प्रक्रिया को क्रैश होने से रोकता है। शोधकर्ताओं का मानना है कि अगला कदम अधिक नियंत्रित प्रयोग चलाना है ताकि यह साबित किया जा सके कि दो मस्तिष्क होने के लाभों को अन्य कारकों से अलग करके यह वास्तव में क्यों इतना अच्छा काम करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।