Knowledge is Not Enough: Injecting RL Skills for Continual Adaptation
यह शोध पत्र पैरामीट्रिक स्किल ट्रांसफर (PaST) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो सुदृढीकरण लर्निंग (Reinforcement Learning) से प्राप्त डोमेन-अज्ञेय कौशल वैक्टरों (domain-agnostic skill vectors) को रैखिक रूप से इंजेक्ट करके लार्ज लैंग्वेज मॉडल्स को अनुकूलित करने में सुपरवाइज्ड फाइन-ट्यूनिंग की सीमाओं को संबोधित करता है, जिससे ज्ञान समावेश और एजेंटिक टूल उपयोग के लिए कुशल और प्रभावी निरंतर अनुकूलन सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Knowledge is Not Enough: Injecting RL Skills for Continual Adaptation" पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
बड़ी समस्या: "बुद्धिमान लेकिन अज्ञानी" छात्र
कल्पive कि आपके पास एक बहुत ही प्रतिभाशाली छात्र (एक लार्ज लैंग्वेज मॉडल, या LLM) है जिसने एक निश्चित तिथि तक पुस्तकालय की लगभग हर किताब पढ़ ली है। यह छात्र उन सवालों के जवाब देने में बहुत अच्छा है जो उसने पहले से जाने हुए तथ्यों पर आधारित हैं।
हालाँकि, दुनिया बदलती रहती है। हर दिन नए तथ्य सामने आते हैं (जैसे कल पारित हुआ कोई नया कानून या आज सुबह रिलीज़ हुआ कोई नया ऐप)।
- पुराना तरीका (SFT): इन नए तथ्यों को सिखाने के लिए, हम आमतौर पर उन्हें बस नया टेक्स्ट रटवा देते हैं। यह उन्हें परीक्षा से एक रात पहले नया टेक्स्टबुक रटने के लिए मजबूर करने जैसा है। वे तथ्यों को पूरी तरह से सुना सकते हैं, लेकिन यदि परीक्षा में उनसे उन तथ्यों को किसी पेचीदा स्थिति में इस्तेमाल करने के लिए कहा जाए, तो वे अक्सर ठिठक जाते हैं, गलत अनुमान लगाते हैं, या मनगढ़ंत बातें (hallucinate) बनाने लगते हैं। उनके पास ज्ञान (knowledge) तो है, लेकिन उस ज्ञान को लागू करने का कौशल (skill) नहीं है।
- महंगा तरीका (RL): उन्हें सोचना और समस्याओं को हल करना सिखाने के लिए, हम आमतौर पर 'रीइन्फोर्समेंट लर्निंग' (RL) का उपयोग करते हैं। यह एक व्यक्तिगत कोच को काम पर रखने जैसा है जो छात्र को बार-बार समस्याएँ हल करने का अभ्यास कराता है और सही होने पर उसे पुरस्कृत करता है। यह बहुत अच्छा काम करता है, लेकिन इसमें बहुत अधिक समय और पैसा लगता है। आप दुनिया में आने वाले हर एक नए तथ्य के लिए एक कोच नहीं रख सकते।
खोज: मस्तिष्क परिवर्तन के दो अलग प्रकार
पेकिंग यूनिवर्सिटी के शोधकर्ताओं ने यह पता लगाया कि इन दोनों प्रक्रियाओं के दौरान छात्र के मस्तिष्क में क्या बदलाव आते हैं।
उन्होंने पाया कि जब छात्र तथ्य याद करता है (SFT) और जब वह तर्क कौशल (reasoning skills) सीखता है (RL), तो ये बदलाव उनके मस्तिष्क के दो बिल्कुल अलग हिस्सों में होते हैं।
- उपमा: कल्पना कीजिए कि छात्र का मस्तिष्क एक विशाल पुस्तकालय है।
- SFT पुस्तकालय की अलमारियों में नई किताबें जोड़ने जैसा है। यह पुस्तकालय की सामग्री (content) को बदल देता है।
- RL लाइब्रेरियन को यह सिखाने जैसा है कि किताबों को कैसे ढूँढा जाए, उन्हें आपस में कैसे जोड़ा जाए, और उनका उपयोग करके पहेलियाँ कैसे सुलझाई जाएँ। यह पुस्तकालय के संगठन और तर्क (logic) को बदल देता है।
- मुख्य अंतर्दृष्टि: ये दोनों बदलाव एक-दूसरे के काम में बाधा नहीं डालते। वे "ऑर्थोगोनल" (orthogonal) हैं, जिसका अर्थ है कि वे अलग-अलग, गैर-अतिव्यापी स्थानों में होते हैं। आप किताबों को बिना लाइब्रेरी के तर्क को बिगाड़े जोड़ सकते हैं, और आप किताबों को बदले बिना लाइब्रेरियन को प्रशिक्षित कर सकते हैं।
समाधान: PaST (पैरामेट्रिक स्किल ट्रांसफर)
चूँकि ये दोनों बदलाव अलग-अलग हैं, इसलिए शोधकर्ताओं ने PaST नामक एक चतुर शॉर्टकट विकसित किया।
यह कैसे काम करता है:
- "स्किल वेक्टर" (Skill Vector) निकालना: हर नए विषय पर छात्र को फिर से प्रशिक्षित करने के बजाय, वे एक ऐसे मॉडल को लेते हैं जिसे पहले से ही एक विषय (जैसे फिल्में) पर "कोच" पद्धति (RL) का उपयोग करके प्रशिक्षित किया गया है। वे इस "स्मार्ट" मॉडल की तुलना एक "डम्ब" संस्करण से करते जिसने केवल तथ्यों को याद किया था। उनके बीच का अंतर एक "स्किल वेक्टर" है।
- उपमा: इस स्किल वेक्टर को एक सार्वभौमिक "कैसे करें" (How-To) मैनुअल या "मसल मेमोरी चिप" के रूप में सोचें। इसमें किसी विशिष्ट तथ्य से बंधे बिना, "समस्या को कैसे हल करें" का शुद्ध तर्क समाहित है।
- कौशल को इंजेक्ट करना: जब कोई नया विषय आता है (जैसे कोई नया कानूनी दस्तावेज़), तो वे पहले छात्र को नए तथ्य जल्दी से सिखाते हैं (लाइटवेट SFT)। फिर, वे बस उस "स्किल वेक्टर" को छात्र के मस्तिष्क में पेस्ट (paste) कर देते हैं।
- उपमा: यह छात्र को नई टेक्स्टबुक (तथ्य) देने और फिर तुरंत "समस्या-समाधान चिप" (कौशल) को प्लग करने जैसा है जो उन्होंने मूवी ट्रेनिंग से सीखा था। अब छात्र न केवल नए तथ्य जानता है, बल्कि यह भी जानता है कि उनका उपयोग कैसे करना है, और इसके लिए उसे नए कोच की आवश्यकता नहीं है।
यह एक बड़ी बात क्यों है
इस पेपर का परीक्षण तीन अलग-अलग चुनौतियों पर किया गया:
- पठन बोध (SQuAD): मॉडल को एक गद्यांश को याद करना था और बिना दोबारा देखे उस पर आधारित प्रश्नों के उत्तर देने थे। PaST ने मॉडल को केवल याद करने की तुलना में सही उत्तर खोजने में बहुत बेहतर बनाया।
- लंबे दस्तावेज़ (LooGLE): जब टेक्स्ट बहुत बड़ा था (जैसे 20,000 शब्दों का दस्तावेज़), तो मानक तरीके भटक जाते थे। PaST ने मॉडल को केंद्रित रहने और सही जानकारी खोजने में मदद की।
- टूल्स का उपयोग करना (ToolBench): मॉडल को API (जैसे इंस्टाग्राम पोस्ट डाउनलोड करना) का उपयोग करना था। जब इंस्टाग्राम अकाउंट प्राइवेट था, तो एक सामान्य मॉडल एक नया, नकली टूल इस्तेमाल करने का अनुमान लगा लेता। PaST मॉडल ने महसूस किया कि अकाउंट प्राइवेट है, उसने अनुमान लगाना बंद किया, और सही उत्तर दिया: "मैं यह नहीं कर सकता क्योंकि अकाउंट प्राइवेट है।"
निचोड़
यह पेपर साबित करता है कि ज्ञान और कौशल अलग-अलग चीजें हैं। आपको हर बार नई जानकारी देने पर मॉडल की "सोचने" की क्षमता को फिर से प्रशिक्षित करने के लिए भारी खर्च करने की आवश्यकता नहीं है। इसके बजाय, आप एक बार "सोचने" का कौशल सीख सकते हैं, उसे एक पोर्टेबल टूल के रूप में निकाल सकते हैं, और उसे किसी भी नई स्थिति में प्लग कर सकते हैं। यह AI को वास्तविक दुनिया के अनुकूल बनाने में बहुत तेज़, सस्ता और स्मार्ट बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।