Self-Distillation Enables Continual Learning
यह शोध पत्र सेल्फ-डिस्टिलेशन फाइन-ट्यूनिंग (SDFT) को प्रस्तुत करता है, जो एक ऐसी विधि है जो विशेषज्ञ प्रदर्शनों (expert demonstrations) से ऑन-पॉलिसी प्रशिक्षण संकेतों को उत्पन्न करने के लिए इन-कॉन्टेक्स्ट लर्निंग का लाभ उठाती है, जिससे फाउंडेशन मॉडल पारंपरिक सुपरवाइज्ड फाइन-ट्यूनिंग की तुलना में कैटास्ट्रोफिक फॉरगेटिंग को काफी कम करते हुए निरंतर नए कौशल प्राप्त करने में सक्षम होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ आपका पसंदीदा वीडियो गेम पात्र हर बार आपके खेलने पर एक नया स्तर सीख सकता है, पुराने बाधाओं को पार करने की अपनी क्षमता को भूले बिना नई चीजों में बेहतर होता जा रहा है। यह आर्टिफिशियल इंटेलिजेंस में "कंटीन्यूअल लर्निंग" (निरंतर सीखने) का सपना है। अभी, अधिकांश AI मॉडल स्थिर मूर्तियों की तरह हैं; एक बार बनने और रिलीज होने के बाद, वे पुरानी चीजों को तोड़े बिना नई चीजें वास्तव में नहीं सीख सकते। यदि आप किसी मॉडल को नया कौशल सिखाने की कोशिश करते हैं, तो अक्सर वह "कैटास्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) का शिकार हो जाता है, जहाँ वह अचानक वह सब कुछ भूल जाता है जो वह पहले अच्छी तरह से कर रहा था। वैज्ञानिकों के लिए बड़ी चुनौती यह पता लगाना है कि इन डिजिटल दिमागों को कैसे बढ़ने और नए करतब सीखने दिया जाए, ठीक वैसे ही जैसे इंसान करते हैं, बिना अपनी मूल शख्सियत या क्षमताओं को खोए।
आप जो पेपर पढ़ने जा रहे हैं वह सेल्फ-डिस्टिलेशन फाइन-ट्यूनिंग (SDFT) नामक एक चतुर नई विधि पेश करके इस समस्या का समाधान करता है। इसे एक ऐसे तरीके के रूप में सोचें जिससे आप एक AI को उसके अपने ही एक "टीचर" संस्करण का उपयोग करके सिखाते हैं। केवल एक पाठ्यपुस्तक से उत्तर रटने के बजाय (जिससे अक्सर भूलने की समस्या होती है), AI एक कार्य को करने के उदाहरण को देखता है, खुद को एक विशेषज्ञ के रूप में कल्पना करता है जिसने अभी-अभी वह उदाहरण देखा है, और फिर अपने "स्टूडेंट" स्वरूप को इसे कैसे करना है, यह सिखाने की कोशिश करता है। यह प्रक्रिया, जिसे "ऑन-पॉलिसी लर्निंग" कहा जाता है, AI को अपने पुराने कौशल सुरक्षित रखते हुए नए कौशल सीखने की अनुमति देती है। शोधकर्ताओं ने पाया कि यह विधि मानक AI प्रशिक्षण की तुलना में बहुत बेहतर काम करती है, जिससे एक अकेला मॉडल बिना पिछड़ने के समय के साथ कई नए कौशल सीख सकता है।
समस्या: भूलने वाला छात्र
कल्पना कीजिए कि आप एक छात्र हैं जो गणित में बहुत अच्छे हैं। एक दिन, आपका शिक्षक आपको एक नए विषय, जैसे रसायन विज्ञान (केमिस्ट्री) के अभ्यास प्रश्नों का एक ढेर देता है। आप कड़ी मेहनत से अध्ययन करते हैं, लेकिन आपके अध्ययन करने का तरीका केवल किताब के पीछे दिए गए उत्तरों की नकल करना है बिना चरणों को वास्तव में समझे। जब आप केमिस्ट्री की परीक्षा देते हैं, तो आप ठीक-ठाक प्रदर्शन करते हैं। लेकिन जब आप अगले दिन गणित का एक सवाल हल करने की कोशिश करते हैं, तो आपको एहसास होता है कि आप बुनियादी बीजगणित (अलजेब्रा) करना भूल गए हैं! आज के अधिकांश AI मॉडल के साथ यही होता है।
AI को नई चीजें सिखाने का मानक तरीका सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) कहलाता है। यह एक छात्र की तरह है जो विशेषज्ञ प्रदर्शनों के डेटासेट से केवल "सही" उत्तरों की नकल कर रहा है। समस्या यह है कि यह तरीका "ऑफ-पॉलिसी" है, जिसका अर्थ है कि AI उस डेटा से सीख रहा है जिसे उसने स्वयं उत्पन्न नहीं किया है। यह उस शहर के मानचित्र का अध्ययन करने जैसा है जिसे आपने कभी देखा भी नहीं है। जब आप वास्तव में उन सड़कों पर चलने की कोशिश करते हैं (एक नया सवाल हल करते हैं), तो आप रास्ता भटक जाते हैं, और रास्ता भटकने की प्रक्रिया में, आप अपने खुद के पड़ोस में नेविगेट करना भी भूल जाते हैं। इसका परिणाम "कैटास्ट्रोफिक फॉरगेटिंग" है, जहाँ AI एक विशिष्ट नया कौशल सीखने के चक्कर में अपनी सामान्य बुद्धिमत्ता खो देता है।
समाधान: शिक्षक-छात्र का खेल
इस पेपर के लेखक, इदान शेनफेल्ड और उनकी टीम ने सेल्फ-डिस्टिलेशन फाइन-ट्यूनिंग (SDFT) नामक एक स्मार्ट तरीका विकसित किया है। केवल उत्तरों की नकल करने के बजाय, वे "शिक्षक और छात्र" के खेल का उपयोग करते हैं जहाँ दोनों भूमिकाएँ उसी AI मॉडल द्वारा निभाई जाती हैं।
यहाँ यह जादू कैसे काम करता है:
- सेटअप: आपके पास एक प्रॉम्प्ट (प्रश्न) और एक प्रदर्शन (एक अच्छा उत्तर) है।
- शिक्षक (The Teacher): AI मॉडल प्रश्न और उदाहरण दोनों को देखता है। क्योंकि यह एक स्मार्ट मॉडल है, यह अपनी "इन-कॉन्टेक्स्ट लर्निंग" क्षमता का उपयोग करके उदाहरण को समझता है और एक आदर्श, विशेषज्ञ-स्तरीय उत्तर उत्पन्न करता है। यह मॉडल का "टीचर" संस्करण है।
- छात्र (The Student): वही AI मॉडल केवल प्रश्न को देखता है (बिना उदाहरण के) और अपने आप एक उत्तर उत्पन्न करने की कोशिश करता है। यह "स्टूडेंट" है।
- सबक: छात्र, शिक्षक के उत्तर से मेल बिठाने की कोशिश करता है। लेकिन मुख्य अंतर यहाँ है: छात्र अपने स्वयं के प्रयासों से सीख रहा है, न कि केवल एक स्थिर सूची की नकल कर रहा है। वह अपना रास्ता खुद बनाता है, देखता है कि वह शिक्षक की तुलना में कहाँ गलत हुआ, और खुद को सुधारता है।
यह "ऑन-पॉलिसी" लर्निंग है। AI वास्तव में उस रास्ते से सीख रहा है जिस पर वह चलता है, ठीक वैसे ही जैसे एक इंसान साइकिल चलाना सीखते समय गिरकर फिर से उठने से सीखता है, न कि केवल एक मैनुअल पढ़कर।
उन्होंने क्या पाया: बिना खोए सीखना
शोधकर्ताओं ने इस विचार का परीक्षण दो मुख्य तरीकों से किया: AI को नए कौशल सिखाना (जैसे टूल्स का उपयोग करना या विज्ञान के सवालों के जवाब देना) और उसे नए तथ्य सिखाना (जैसे कि AI के मूल प्रशिक्षण के बाद हुई घटनाओं के बारे में समाचार)।
1. "मत भूलना" टेस्ट
एक कठिन प्रयोग में, उन्होंने एक ही मॉडल को तीन अलग-अलग कौशलों पर एक के बाद एक प्रशिक्षित किया: टूल्स का उपयोग करना, विज्ञान के सवालों के जवाब देना, और मेडिकल रीजनिंग (चिकित्सा तर्क)।
- पुराना तरीका (SFT): जैसे ही मॉडल ने दूसरा कौशल सीखना शुरू किया, पहले कौशल पर उसका प्रदर्शन गिर गया। जब तक उसने तीसरा कौशल सीखा, वह पहले दो को भूल चुका था। यह सीखने और भूलने का एक चक्र था।
- नया तरीका (SDFT): मॉडल ने दूसरा कौशल सीखा, फिर तीसरा सीखा, और पहले वाले में भी बेहतर होता गया। उसने केवल सीखा ही नहीं; उसने ज्ञान को संचित किया। पेपर दिखाता है कि SDFT एक अकेले मॉडल को प्रदर्शन में गिरावट के बिना समय के साथ कई कौशल जोड़ने की अनुमति देता है।
2. "वास्तविक समझ" टेस्ट
AI को नए तथ्य (जैसे कि उसके ट्रेनिंग डेटा कटऑफ के बाद हुए 2025 के भूकंप के विवरण) सिखाते समय, मानक तरीका (SFT) मॉडल को विशिष्ट उत्तरों को याद करने के लिए सिखाता है। यदि आप थोड़ा अलग प्रश्न पूछते हैं, तो वह भ्रमित हो जाता है।
SDFT, हालांकि, मॉडल को तथ्यों को वास्तव में समझने में मदद करता है। जब पेचीदा सवाल पूछे गए जो सीधे तौर पर उसके द्वारा याद किए गए टेक्स्ट से मेल नहीं खाते थे, तो SDFT ने लगभग 100% बार सही उत्तर दिए, जबकि मानक तरीका संघर्ष कर रहा था। यह सुझाव देता है कि SDFT AI को एक वास्तविक आंतरिक ज्ञान आधार बनाने में मदद करता है, न कि केवल एक संदर्भ मार्गदर्शिका।
3. "रीजनिंग" बचाव
सबसे दिलचस्प खोजों में से एक उन AI के बारे में थी जो "सोचने" (चरण-दर-चरण तर्क करने) में अच्छे हैं। कभी-कभी, जब आप इन मॉडलों को छोटे, सरल उत्तरों के साथ प्रशिक्षित करते हैं (क्योंकि डेटा में केवल वही उपलब्ध होते हैं), तो वे सोचना बंद कर देते हैं और केवल छोटे उत्तर देने लगते हैं। वे अपनी "चेन ऑफ थॉट" (विचार श्रृंखला) खो देते हैं।
शोधकर्ताओं ने पाया कि SDFT ने यहाँ भी काम किया। भले ही प्रशिक्षण डेटा में केवल छोटे उत्तर थे, SDFT ने मॉडल के तर्क कौशल को जीवित रखा। मॉडल लंबे, विचारशील स्पष्टीकरण देता रहा क्योंकि वह एक ऐसे "शिक्षक" से सीख रहा था जो उत्तर के शब्दों के बजाय उसके इरादे को समझता था।
आकार का महत्व
पेपर ने यह भी खोजा कि यह ट्रिक बड़े दिमागों के साथ सबसे अच्छा काम करती है। उन्होंने विभिन्न आकार के मॉडलों (3 बिलियन, 7 बिलियन, और 14 बिलियन पैरामीटर्स) का परीक्षण किया।
- छोटा मॉडल (3B) एक अच्छा शिक्षक बनने के लिए पर्याप्त स्मार्ट नहीं था; वह उदाहरणों को अच्छी तरह से नहीं समझ सका, इसलिए इस विधि से ज्यादा मदद नहीं मिली।
- मध्यम मॉडल (7B) में बड़ा सुधार देखा गया।
- बड़ा मॉडल (14B) सबसे बड़ी छलांग लेकर आया, जिसने मानक पद्धति को बड़े अंतर से पीछे छोड़ दिया।
यह सुझाव देता है कि जैसे-जैसे AI मॉडल बड़े और "इन-कॉन्टेक्स्ट लर्निंग" (मौके पर उदाहरणों को समझने) में बेहतर होते जाएंगे, यह स्व-शिक्षण विधि और भी शक्तिशाली होती जाएगी।
चुनौती और भविष्य
बेशक, इसके कुछ पहलू भी हैं। यह विधि मुफ्त नहीं है। क्योंकि AI को सीखने के लिए अपने उत्तर स्वयं उत्पन्न करने होते हैं, इसलिए इसे मानक विधि की तुलना में लगभग 2.5 गुना अधिक कंप्यूटर पावर और 4 गुना अधिक समय लगता है। हालांकि, लेखक तर्क देते हैं कि इससे लंबे समय में समय की बचत हो सकती है क्योंकि आपको भूलने की समस्या को ठीक करने के लिए प्रशिक्षण के कई दौर करने की आवश्यकता नहीं होगी।
साथ ही, यह विधि इस बात पर निर्भर करती है कि AI पहले से ही उदाहरणों को समझने के लिए पर्याप्त स्मार्ट हो। यदि मॉडल बहुत छोटा या कम बुद्धिमान है, तो "शिक्षक" बहुत अच्छा नहीं होगा, और सबक काम नहीं करेगा।
अंत में, यह पेपर एक आशाजनक मार्ग सुझाता है। AI को उनके अपने "बुद्धिमान" संस्करणों का मार्गदर्शन लेकर खुद को सिखाने की अनुमति देकर, हम अंततः ऐसे AI का निर्माण कर सकते हैं जो केवल एक बार नहीं सीखता, बल्कि अपने पूरे जीवन में सीखता, बढ़ता और बेहतर होता रहता है, ठीक वैसे ही जैसे हम करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।