Learning What to Predict: Downstream-Guided Task Design for Continued Pretraining
यह शोधपत्र V-pretraining को प्रस्तुत करता है, जो एक हल्के कार्य डिज़ाइनर (lightweight task designer) का लाभ उठाकर डाउनस्ट्रीम उदाहरणों के एक छोटे सेट द्वारा निर्देशित चरण-स्तरीय स्व-पर्यवेक्षित लक्ष्यों (step-level self-supervised targets) को उत्पन्न करता है, जिससे सामान्य-उद्देश्य वाले निरूपणों (general-purpose representations) को ध्वस्त किए बिना या डाउनस्ट्रीम लेबल के साथ शिक्षार्थी (learner) को सीधे अपडेट किए बिना विशिष्ट क्षमताओं के लिए निरंतर पूर्व-प्रशिक्षण (continued pretraining) को अनुकूलित किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन बहुत कम उम्र के छात्र (AI मॉडल) को दुनिया को पढ़ना और समझना सिखा रहे हैं। आपके पास बिना लेबल वाली किताबों का एक विशाल पुस्तकालय (अनलेबल डेटा) है जिसका अध्ययन करने की आवश्यकता छात्र को है।
आमतौर पर, हम इस छात्र को सिखाने के लिए एक निश्चित, दोहराव वाला अभ्यास देते हैं: "इस वाक्य को पढ़ो और अगले शब्द का अनुमान लगाओ।" हम इसे लाखों बार करते हैं। समस्या यह है कि छात्र अगला शब्द अनुमान लगाने में बहुत अच्छा हो सकता है, लेकिन वह उस विशिष्ट कौशल में बेहतर नहीं हो सकता है जिसकी आपको वास्तव में परवाह है, जैसे गणित की समस्याओं को हल करना या जटिल तर्क को समझना।
इसे ठीक करने के लिए, शिक्षकों को आमतौर पर कक्षा रोकनी पड़ती है, छात्र का टेस्ट लेना पड़ता है, यह देखना पड़ता है कि वह कहाँ विफल हुआ, और फिर उन्हें कहना पड़ता है, "ठीक है, चलिए अलग बुक लिस्ट के साथ पूरा सेमेस्टर फिर से शुरू करते हैं।" यह धीमा, महंगा है, और छात्र इस बात के प्रति "अंधा" है कि क्या उसका वर्तमान अध्ययन सत्र वास्तव में उसे अंतिम परीक्षा पास करने में मदद कर रहा है।
V-pretraining एक नया शिक्षण तरीका है जो नियमों को बदले बिना छात्र को नहीं बदलता है।
दो पात्र: छात्र और कोच
यह पेपर दो अलग-अलग भूमिकाओं वाले एक सिस्टम का परिचय देता है:
- सीखने वाला (छात्र): यह AI मॉडल है। इसे सीधे "उत्तर कुंजी" (टेस्ट के प्रश्न) देखने से सख्ती से रोका गया है। यह केवल ड्रिल्स (अगले शब्द का अनुमान लगाना या मास्क की गई छवि को पुनर्गठित करना) को हल करने की कोशिश करके सीखता है।
- टास्क डिज़ाइनर (कोच): यह एक छोटा, हल्का सहायक है। इसका एकमात्र काम यह देखना है कि छात्र अभी कौन सा "ड्रिल" करने वाला है और पूछना है: "यदि छात्र अभी यह विशिष्ट ड्रिल करता है, तो क्या यह उसे बाद में गणित का टेस्ट पास करने में मदद करेगा?"
यह कैसे काम करता है: "क्या होगा अगर" वाला क्रिस्टल बॉल
यहाँ जादू का नुस्खा है। कोच के पास वास्तविक गणित की समस्याओं का एक छोटा ढेर (फीडबैक सेट) है जिसे छात्र ने अभी तक नहीं देखा है।
- कोच टेक्स्ट के एक रैंडम पेज को देखता है जिसे छात्र पढ़ने वाला है।
- कोच पूछता है: "यदि मैं इस पेज को प्रस्तुत करने के तरीके को बदल दूँ—शायद किसी विशिष्ट शब्द को हाईलाइट करके या लक्ष्य उत्तर को थोड़ा बदलकर—तो क्या इस विशिष्ट परिवर्तन से छात्र का मस्तिष्क इस तरह अपडेट होगा कि वह गणित की समस्याओं को हल करने में मदद करे?"
- कोच इस विचार के लिए एक "वैल्यू स्कोर" की गणना करता है। यह एक क्रिस्टल बॉल की तरह भविष्यवाणी करता है: "इस विशिष्ट अध्ययन सत्र को करने से छात्र की भविष्य की गणित संबंधी त्रुटियां X मात्रा में कम हो जाएंगी।"
- यदि स्कोर अधिक है, तो कोच ड्रिल को (टास्क कंस्ट्रक्शन) और अधिक उपयोगी बनाने के लिए उसमें बदलाव करता है।
- महत्वपूर्ण रूप से: छात्र कभी भी गणित की समस्याओं को नहीं देखता। छात्र केवल कोच द्वारा बनाया गया संशोधित ड्रिल ही देखता है। गणित की समस्याओं का उपयोग केवल कोच को प्रशिक्षित करने के लिए किया जाता है, छात्र को नहीं।
उपमा: नेविगेशन सिस्टम
सोचिए कि AI मॉडल एक लंबे, अंधेरे हाईवे (प्रीट्रेनिंग) पर चलती एक कार है।
- मानक प्रशिक्षण (Standard Training): कार बस आगे बढ़ती है, लेन मार्किंग का पालन करती है (अगले शब्द का अनुमान लगाने के निश्चित नियम)। उसे यह नहीं पता कि वह मंजिल (गणित परीक्षण) की ओर बढ़ रही है या किसी डेड एंड की ओर।
- V-pretraining: एक जीपीएस नेविगेटर (कोच) बगल वाली सीट पर बैठा है। जीपीएस के पास मंजिल (गणित परीक्षण) का नक्शा है।
- जीपीएस कार नहीं चलाता।
- जीपीएस कार को सीधे "बाएं मुड़ने" के लिए नहीं कहता।
- इसके बजाय, जीपीएस उन सड़क संकेतों (Road Signs) को सूक्ष्म रूप से समायोजित करता है जिन्हें कार देखती है। यह एक संकेत को "सीधे जाओ" से बदलकर "सीधे जाओ लेकिन आगे के मोड़ पर ध्यान केंद्रित करो" कर सकता है।
- कार अभी भी अपने आप चलती है, लेकिन क्योंकि संकेतों को जीपीएस द्वारा मंजिल की ओर इशारा करने के लिए समायोजित किया गया था, इसलिए कार अंततः एक बेहतर स्थान पर पहुँच जाती है।
उन्होंने क्या पाया?
शोधकर्ताओं ने इसे दो प्रकार के AI पर परखा: लैंग्वेज मॉडल्स (जैसे वे जो टेक्स्ट लिखते हैं) और विज़न मॉडल्स (जैसे वे जो इमेज देखते हैं)।
- भाषा में: उन्होंने कोच को प्रशिक्षित करने के लिए गणित की समस्याओं का एक छोटा सा सेट (1,024 समस्याएं) इस्तेमाल किया। छात्र AI को ये समस्याएं सीधे कभी नहीं दिखाई गईं। फिर भी, प्रशिक्षण के बाद, AI गणित की समस्याओं को हल करने में 33% बेहतर हो गया (विशेष रूप से GSM8K बेंचमार्क पर) मानक पद्धति की तुलना में। इसने यह सब सामान्य रूप से बोलने या लिखने की अपनी क्षमता को खोए बिना किया।
- विज़न में: उन्होंने AI का उपयोग इमेज सीखने के लिए किया। कोच ने "सेगमेंटेशन" (वस्तुओं को काटने) और "डेप्थ" (चीजें कितनी दूर हैं) के लिए लेबल की गई छवियों के एक छोटे सेट का उपयोग किया। परिणाम? AI उन विशिष्ट कार्यों में बेहतर हो गया और साथ ही उसने सामान्य वस्तुओं (जैसे बिल्ली और कुत्ते) को पहचानने की अपनी क्षमता को भी पहले की तरह ही बनाए रखा।
यह क्यों महत्वपूर्ण है
यह पेपर दावा करता है कि यह एक "कोर्स फीडबैक लूप" (Coarse Feedback Loop) को हल करके एक बड़ी उपलब्धि है। प्रशिक्षण के अंत तक इंतजार करने के बजाय कि यह काम किया या नहीं, V-pretraining प्रशिक्षण के डिज़ाइन को चरण-दर-चरण फीडबैक देता है।
यह एक शेफ को बताने जैसा है: "सिर्फ भोजन पकाएं और फिर यह देखने के लिए चखें कि इसमें नमक की कमी है या नहीं, ऐसा न करें। इसके बजाय, एक टेस्ट-टेस्टर को शेफ के पास सब्जियां काटते समय फुसफुसाने दें, यह सुझाव देते हुए, 'इस विशिष्ट प्याज में चुटकी भर नमक डालें,' ताकि अंतिम व्यंजन एकदम सही बने, बिना शेफ को यह समझने के लिए पूरा भोजन खाने की आवश्यकता पड़े कि क्या कमी है।"
मुख्य निष्कर्ष: आप एक सामान्य-उद्देश्य वाले AI को एक विशिष्ट कौशल (जैसे गणित या मेडिकल इमेजिंग) में बहुत बेहतर बना सकते हैं, इसके लिए कि वह उस विशिष्ट डेटा को सीधे कैसे सीखता है, उसे गाइड करने के लिए उस विशिष्ट डेटा के एक बहुत छोटे हिस्से का उपयोग करके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।