Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning
यह शोध पत्र स्टेप-लेवल ऑन-पॉलिसी डिस्टिलेशन (SOPD) का प्रस्ताव करता है, जो एक नवीन विधि है जो सुपरवाइज्ड फाइन-ट्यूनिंग और ऑन-पॉलिसी डिस्टिलेशन के बीच इंटरपोलेशन करती है ताकि छात्र-जनित प्रक्षेप पथों (trajectories) पर पूर्ण, स्टेप-लेवल सुधार प्रदान किया जा सके, जिससे यह तर्क (reasoning) और एजेंट कार्यों में दोनों पारंपरिक दृष्टिकोणों से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स (LLMs) की तुलना अक्सर उन छात्रों से की जाती है जिन्हें एक शिक्षक से सीखना होता है। वर्षों से, इन डिजिटल छात्रों को सिखाने का मानक तरीका विशेषज्ञों द्वारा लिखे गए सटीक उदाहरण उन्हें दिखाना और उनसे उस क्रम को याद करने के लिए कहना रहा है। यह विधि, जिसे 'सुपरवाइज्ड फाइन-ट्यूनिंग' कहा जाता है, प्रभावी तो है लेकिन कठोर भी है; यह मान लेती है कि छात्र हमेशा विशेषज्ञ के मार्ग का पूरी तरह से पालन करेगा, जिससे उन गलतियों की अनदेखी हो जाती है जो छात्र वास्तव में करने के योग्य होते हैं। एक नया दृष्टिकोण, जिसे 'ऑन-पॉलिसी डिस्टिलेशन' कहा जाता है, इसे ठीक करने की कोशिश करता है। यह छात्र को अपने स्वयं के उत्तर उत्पन्न करने देता है और फिर उसे टोकन-दर-टोकन सुधारता है। हालाँकि यह छात्र को अपनी गलतियों से सीखने की अनुमति देता है, लेकिन यह एक अलग समस्या पैदा करता है: सुधार इतने खंडित होते हैं कि छात्र कभी भी सही उत्तर तक पहुँचने वाला एक पूर्ण और सुसंगत मार्ग नहीं देख पाता। यह वैसा ही है जैसे कि पूरे मोड़ पर नेविगेट करने का तरीका सीखने के बजाय, हर बार जब आप स्टीयरिंग व्हील को छूते हैं, तो आपको केवल एक शब्द का निर्देश दिया जाए।
शोधकर्ताओं ने अब इस अंतर को पाटने के लिए एक नई प्रशिक्षण विधि विकसित की है, जो दोनों दुनियाओं की सर्वश्रेष्ठ विशेषताओं को जोड़ती है। 'स्टेप-लेवल ऑन-पॉलिसी डिस्टिलेशन' नामक तकनीक पेश करके, टीम ने छात्र को अपने आप में एक पूर्ण विचार या क्रिया अनुक्रम (action sequence) पूरा करने की अनुमति दी है, और फिर शिक्षक से उस यात्रा के प्रत्येक प्रमुख चरण के लिए एक एकल, सुसंगत सुधार प्रदान करने को कहा है। इस दृष्टिकोण का परीक्षण कठिन गणितीय समस्याओं को हल करने से लेकर आभासी घरेलू वातावरण में नेविगेट करने जैसे जटिल कार्यों पर किया गया। परिणाम दिखाते हैं कि यह विधि छात्र को पिछले तरीकों की तुलना में काफी तेजी से और अधिक सटीकता से सीखने में मदद करती है, और ऐसे सफलता दर प्राप्त करती है जो पहले इस आकार के मॉडल्स के लिए पहुंच से बाहर थीं। मुख्य खोज यह है कि सीखने की प्रक्रिया को व्यक्तिगत शब्दों या यादृच्छिक सुधारों के बजाय प्राकृतिक, सार्थक खंडों में तोड़कर, मॉडल न केवल यह समझ सकता है कि सही उत्तर क्या है, बल्कि यह भी कि अपनी विशिष्ट गलतियों से वहां तक कैसे पहुँचा जा सकता है।
इस नई विधि का मूल आधार यह है कि यह छात्र मॉडल और शिक्षक के बीच की बातचीत को कैसे संभालता है। पारंपरिक 'ऑन-पॉलिसी डिस्टिलेशन' के दृष्टिकोण में, शिक्षक छात्र के कार्य को देखता है और उसके द्वारा उत्पन्न प्रत्येक शब्द के लिए एक छोटा सा सुधार प्रस्तुत करता है। यदि छात्र शुरुआत में कोई गलती करता है, तो शिक्षक उसे शब्द-दर-शब्द ठीक करने की कोशिश करता है, लेकिन छात्र अभी भी एक भ्रमित अवस्था में फंसा रहता है, जो एक टूटे हुए पथ का अनुसरण करने की कोशिश कर रहा है। नई विधि, 'स्टेप-लेवल ऑन-पॉलिसी डिस्टिलेशन', इस बातचीत की लय को बदल देती है। सबसे पहले, छात्र को बिना किसी बाधा के एक पूर्ण प्रतिक्रिया या क्रियाओं का एक पूर्ण अनुक्रम उत्पन्न करने की अनुमति दी जाती है। एक बार जब छात्र समाप्त कर लेता है, तो सिस्टम उस प्रतिक्रिया को प्राकृतिक चरणों में विभाजित करता है, जैसे कि गणितीय प्रमाण में एक पूर्ण वाक्य या खेल में बातचीत का एक पूर्ण मोड़।
इस बिंदु पर, शिक्षक हस्तक्षेप करता है, लेकिन पूरी कहानी को फिर से लिखने के लिए नहीं। इसके बजाय, शिक्षक प्रत्येक विशिष्ट चरण के लिए छात्र के शुरुआती बिंदु को देखता है और उस चरण का एक एकल, सही संस्करण तैयार करता है। छात्र फिर अपने मूल संदर्भ को बनाए रखते हुए इस सही चरण से मेल खाना सीखता है। इसका अर्थ है कि छात्र अपने स्वयं के संदर्भ को पूरी तरह से छीने बिना अपने प्रक्षेपवक्र (trajectory) को सुधारना सीखता है। शिक्षक यात्रा के प्रत्येक भाग के लिए एक स्पष्ट, स्थानीय मार्गदर्शक प्रदान करता है, यह सुनिश्चित करते हुए कि छात्र ठीक उसी स्थान से आगे का एक पूर्ण और तार्किक पथ देख सके जहाँ वह गलत हुआ था। यह छात्र के गलतियाँ करने के अनुभव को सुरक्षित रखता है और उन्हें ठीक करने का एक संरचित तरीका भी प्रदान करता है।
शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण दो बहुत ही अलग वातावरणों में किया ताकि यह देखा जा सके कि यह दबाव में कैसा प्रदर्शन करता है। पहला परीक्षण एक सिम्युलेटेड घर में नेविगेट करने वाले एजेंट से संबंधित था, जिसे 'ALFWorld' के रूप में जाना जाता है। इस वातावरण में, मॉडल को एक टेक्स्ट-आधारित दुनिया के साथ बातचीत करके चाबी खोजने या कमरा साफ करने जैसे कार्यों को करने का तरीका खोजना था। टीम ने एक छोटे छात्र मॉडल को मार्गदर्शन देने के लिए एक शक्तिशाली शिक्षक मॉडल का उपयोग किया। जब उन्होंने नए तरीके की तुलना पुराने टोकन-दर-टोकन सुधार शैली से की, तो परिणाम आश्चर्यजनक थे। नए तरीके से प्रशिक्षित छात्र ने उन कार्यों पर जो उसने पहले देखे थे, सफलता दर में 18 प्रतिशत अंक से अधिक और उन कार्यों पर जो उसने पहले कभी नहीं देखे थे, 21 प्रतिशत अंक से अधिक सुधार किया। इसके अलावा, उसने इन कार्यों को कम प्रयासों में पूरा किया, जिससे पता चला कि वह केवल बेहतर अनुमान नहीं लगा रहा था, बल्कि समस्याओं को हल करने के अधिक कुशल तरीके सीख रहा था।
दूसरे परीक्षण में गणितीय तर्क (mathematical reasoning) पर ध्यान केंद्रित किया गया, जहाँ तार्किक निरंतरता सर्वोपरि है। यहाँ, मॉडल्स को प्रतियोगिता-स्तर की गणितीय समस्याओं को हल करने के लिए कहा गया था। शोधकर्ताओं ने पाया कि नई विधि ने छात्र को अपने विचारों को स्पष्ट, अधिक संरचित चरणों में व्यवस्थित करने में मदद की। जैसे-जैसे प्रशिक्षण आगे बढ़ा, छात्र ने अधिक स्पष्ट और संरचित तर्क चरणों को उत्पन्न करना शुरू कर दिया, और शिक्षक के सुधार अधिक समृद्ध और विस्तृत होते गए। चार अलग-अलग गणितीय बेंचमार्क पर, इस नई विधि से प्रशिक्षित छात्र ने पिछले सर्वोत्तम दृष्टिकोण को बड़े अंतर से पछाड़ दिया, और अपनी औसत सटीकता में लगभग 10 प्रतिशत अंक का सुधार किया। इसने प्रदर्शित किया कि यह विधि केवल सरल कार्यों के लिए एक तकनीक नहीं थी, बल्कि जटिल तर्क के लिए एक मजबूत तरीका थी।
इस नई तकनीक का सबसे व्यावहारिक लाभ यह है कि इसके लिए शिक्षक को अपनी आंतरिक गणनाओं को प्रकट करने की आवश्यकता नहीं होती है। कई पिछले तरीकों में, छात्र को प्रत्येक शब्द के लिए शिक्षक के कच्चे प्रोबेबिलिटी स्कोर (raw probability scores) तक पहुँच की आवश्यकता होती थी, जो अक्सर असंभव है यदि शिक्षक एक बंद, 'ब्लैक-बॉक्स' सिस्टम है। नई विधि को केवल शिक्षक द्वारा टेक्स्ट उत्पन्न करने की आवश्यकता होती है, जिससे इसे वास्तविक दुनिया के परिदृश्यों में लागू करना बहुत आसान हो जाता है जहाँ सर्वश्रेष्ठ मॉडल पूरी तरह से खुले नहीं होते हैं। इसके अतिरिक्त, क्योंकि शिक्षक छात्र के मौजूदा कार्य के आधार पर एक समय में केवल एक चरण उत्पन्न करता है, इसलिए यह प्रक्रिया तेज़ है और प्रत्येक चाल के प्रति वातावरण की प्रतिक्रिया का इंतजार करने से होने वाली देरी से बचती है।
अध्ययन इस बात की पुष्टि करता है कि सीखने के तरीके को हम कैसे संरचना देते हैं, यह शिक्षक की गुणवत्ता जितना ही महत्वपूर्ण है। खंडित, शब्द-दर-शब्द सुधारों से हटकर, सुसंगत, चरण-स्तरीय मार्गदर्शन की ओर बढ़ते हुए, शोधकर्ताओं ने एक ऐसा प्रशिक्षण गतिशील (dynamic) बनाया है जो छात्र के अपने पथ का सम्मान करता है और सुधार के लिए एक स्पष्ट मानचित्र भी प्रदान करता है। यह दृष्टिकोण अपनी गलतियों से सीखने के लचीलेपन और विशेषज्ञ मार्गदर्शन की स्पष्टता दोनों को सफलतापूर्वक जोड़ता है। निष्कर्ष बताते हैं कि आर्टिफिशियल इंटेलिजेंस को अधिक सक्षम और विश्वसनीय बनाने के लिए, विशेष रूप से जटिल, संवादात्मक कार्यों में, हमें ऐसे प्रशिक्षण विधियों को डिजाइन करना चाहिए जो मॉडल्स को उनकी त्रुटियों की पूरी तस्वीर देखने और उन्हें एक एकल, तार्किक गति में सुधार करने की अनुमति दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।