Characterizing Model-Native Skills
यह शोध पत्र अनुक्रम-स्तरीय सक्रियणों (sequence-level activations) से सीधे एक व्याख्या योग्य ऑर्थोगोनल आधार (interpretable orthogonal basis) निकालकर भाषा मॉडल के कौशल को चित्रित करने के लिए एक "मॉडल-नेटिव" दृष्टिकोण का प्रस्ताव और सत्यापन करता है, जो यह प्रदर्शित करता है कि यह आंतरिक प्रतिनिधित्व पारंपरिक मानव-परिभाषित वर्गीकरणों की तुलना में तर्क (reasoning) और सुरक्षा कार्यों के लिए काफी अधिक प्रभावी डेटा चयन और इन्फरेंस-टाइम स्टीयरिंग को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Characterizing Model-Native Skills" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
मुख्य विचार: अनुमान लगाना बंद करें, सुनना शुरू करें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े रहस्यमयी रोबोट को गणित की समस्याएँ हल करना या सुरक्षित व्यवहार करना सिखाने की कोशिश कर रहे हैं।
पुराना तरीका (मानव-निर्धारित कौशल/Human-Defined Skills):
वर्तमान में, जब हम इन रोबोट्स को बेहतर बनाना चाहते हैं, तो इंसान एक सख्त लाइब्रेरियन की तरह काम करते हैं। हम "कौशलों" का एक विशाल, पहले से लिखा हुआ कैटलॉग बनाते हैं। हम कहते हैं, "ठीक है, रोबोट को Calculus, Geometry और Logic सीखने की ज़रूरत है।" फिर हम हज़ारों उदाहरणों को लेते हैं और उन्हें इन लेबल के साथ मैन्युअल रूप से टैग करते हैं।
- समस्या: यह एक कुत्ते को फ्रेंच शब्दकोश का उपयोग करके फ्रेंच बोलना सिखाने जैसा है। कुत्ता फ्रेंच शब्दों में नहीं सोचता; वह गंध, आवाज़ और भावनाओं में सोचता है। इसी तरह, रोबोट अपने मस्तिष्क को उस तरह से व्यवस्थित नहीं करता जैसे हम करते हैं। वह "Calculus" और "Logic" को एक साथ रख सकता है जैसा हमने कभी सोचा भी नहीं था, या वह "Geometry" और "Storytelling" को एक ही चीज़ मान सकता है। इन मानव लेबलों को रोबोट पर थोपकर, हम वास्तव में उसके मस्तिष्क के भीतर क्या हो रहा है, उसे समझने में चूक जाते हैं।
नया तरीका (मॉडल-नेटिव स्किल्स / AUTOSKILL):
यह पेपर एक अलग दृष्टिकोण प्रस्तावित करता है: रोबोट को हमें यह बताने दें कि वह कैसे सोचता है।
अपने स्वयं के लेबल थोपने के बजाय, शोधकर्ताओं ने AUTOSKILL नामक एक विधि विकसित की है। वे रोबोट द्वारा समस्या हल करते समय उसकी आंतरिक "बिजली" (इसके न्यूरल एक्टिवेशन) को सीधे देखते हैं। वे एक गणितीय उपकरण (PCA) का उपयोग करते हैं ताकि उन प्राकृतिक "अक्षों" (axes) या दिशाओं को खोजा जा सके जिनका उपयोग रोबोट जानकारी को व्यवस्थित करने के लिए करता है।
इसे इस तरह समझें:
- मानव दृष्टिकोण: हम पत्थरों के ढेर को देखते हैं और कहते हैं, "ये 'लाल पत्थर' हैं और वे 'चिकने पत्थर' हैं।"
- AUTOSKILL दृष्टिकोण: हम पत्थरों को एक विशेष स्कैनर में रखते हैं जो प्रकट करता है कि वे वास्तव में "वजन" और "तापमान" के आधार पर व्यवस्थित हैं। स्कैनर हमें दिखाता है कि रोबोट स्वाभाविक रूप से चीजों को वजन और तापमान के आधार पर समूहबद्ध करता है, न कि रंग या चिकनापन के आधार पर। फिर हम रोबोट को सिखाने के लिए उन प्राकृतिक समूहों का उपयोग करते हैं।
यह कैसे काम करता है: "संगीत वाद्ययंत्र" की उपमा
कल्पना कीजिए कि रोबोट का मस्तिष्क हज़ारों तारों वाला एक विशाल, जटिल संगीत वाद्ययंत्र है।
- पुराना तरीका: हम एक मानव संगीतकार द्वारा लिखे गए शीट संगीत के आधार पर यह अनुमान लगाकर गाने बजाने की कोशिश करते हैं कि कौन से तार छेड़े जाने चाहिए। हम अक्सर गलत सुर लगा देते हैं क्योंकि वाद्ययंत्र उस तरह से बनाया गया था जैसा शीट संगीत ने मान लिया था।
- नया तरीका (AUTOSKILL): हम वाद्ययंत्र को खुद बजते हुए सुनते हैं। हमें एहसास होता है कि कुछ तार एक विशिष्ट "ध्वनि" (एक कौशल) बनाने के लिए स्वाभाविक रूप से एक साथ कंपन करते हैं। हम इन प्राकृतिक कंपनों का मानचित्र तैयार करते हैं। अब, अनुमान लगाने के बजाय, हमें पता है कि वांछित ध्वनि प्राप्त करने के लिए किन तारों को छेड़ना है।
दो बड़ी जीतें
शोधकर्ताओं ने दो बहुत अलग कार्यों पर इसका परीक्षण किया: गणित तर्क (Math Reasoning) और सुरक्षा (Safety)।
1. गणित सिखाना ("ट्यूटर" की उपमा)
वे रोबोट को गणित प्रतियोगिताओं में बेहतर बनाना चाहते थे।
- प्रयोग: उन्होंने गणित की समस्याओं का एक बड़ा ढेर लिया।
- ग्रुप A (मानव विधि): उन्होंने मनुष्यों द्वारा "Calculus" या "Algebra" के रूप में लेबल किए गए सवाल चुने।
- ग्रुप B (मॉडल-नेटिव विधि): उन्होंने AUTOSKILL का उपयोग करके उन समस्याओं को चुना जो रोबोट के अपने आंतरिक "गणित दिशाओं" से मेल खाती थीं।
- परिणाम: मॉडल-नेटिव डेटा पर प्रशिक्षित रोबोट कठिन गणितीय समस्याओं को हल करने में काफी बेहतर (कुछ परीक्षणों पर 41% तक बेहतर) हो गया।
- क्यों? मानव लेबल बहुत कठोर थे। रोबोट का गणित को देखने का अपना अनूठा तरीका था। अपने स्वयं के आंतरिक मानचित्र से मेल खाने वाले डेटा को खिलाने से उसका सीखना बहुत अधिक कुशल हो गया। यह एक छात्र को उसकी मातृ बोली में लिखी गई पाठ्यपुस्तक देने जैसा है, बजाय उस विदेशी भाषा के जिसे अनुवाद करने के लिए वह संघर्ष कर रहा है।
तैयारी (सुरक्षा) सिखाना ("सुरक्षा गार्ड" की उपमा)
वे रोबोट को बुरा काम करने से रोकना चाहते थे (जैसे "जेलब्रेकिंग" या सुरक्षा नियमों को अनदेखा करना)।
- समस्या: रोबोट को असुरक्षित बनाने के लिए हज़ारों तरीके हैं। इंसान इन चालों को वर्गीकृत करने की कोशिश करते हैं (जैसे, "रोलप्ले हमले," "कोड हमले")। लेकिन रोबोट अपने मस्तिष्क में दो बहुत अलग "हमलों" को एक ही खतरा मान सकता है।
- प्रयोग: उनके पास रोबोट को प्रशिक्षित करने के लिए "बुरे उदाहरणों" का एक सीमित बजट था।
- मानव विधि: ऐसे उदाहरण चुनें जो सतह पर अलग दिखते हों (अलग शब्द, अलग प्रारूप)।
- मॉडल-नेटिव विधि: ऐसे उदाहरण चुनें जो रोबोट में अलग आंतरिक प्रतिक्रियाएं पैदा करते हैं, भले ही वे सतह पर समान दिखते हों।
- परिणाम: मॉडल-नेटिव विधि ने रोबोट को कम उदाहरणों के साथ बहुत अधिक सुरक्षित बना दिया।
- क्यों? इसने अनावश्यकता (redundancy) से बचाव किया। यदि रोबोट सोचता है कि दो अलग-अलग "जेलब्रेक" प्रॉम्प्ट एक ही चीज़ हैं, तो दोनों पर प्रशिक्षण देना समय की बर्बादी है। AUTOSKILL ने उन अद्वितीय "खतरे की दिशाओं" को खोज निकाला जिनकी वास्तव में रोबोट को परवाह है, जिससे प्रशिक्षण अत्यंत कुशल हो गया।
"स्टीयरिंग व्हील" बोनस
सबसे शानदार हिस्सा यहाँ है: क्योंकि उन्होंने रोबोट के मस्तिष्क के अंदर इन कौशलों को खोज लिया है, वे उन्हें स्टीयरिंग व्हील के रूप में उपयोग कर सकते हैं।
- पुराना तरीका: रोबोट को "ईमानदार" बनाने के लिए, आपको इसे शुरू से फिर से प्रशिक्षित करना होगा या उम्मीद करनी होगी कि इसने प्रशिक्षण के दौरान इसे सीख लिया होगा।
- नया तरीका: चूंकि वे जानते हैं कि रोबोट के मस्तिष्क में किस "दिशा" का संबंध एक कौशल (जैसे "सिंबोलिक मैथ" या "इनकार/refusal") से है, इसलिए वे रोबोट के बात करते समय उसके मस्तिष्क को उस दिशा में थोड़ा धकेल (nudge) सकते हैं।
- उपमा: कल्पना कीजिए कि आप कार चला रहे हैं। पुराना तरीका इंजन को तेज़ बनाने के लिए उसे फिर से बनाना है। नया तरीका यह है कि जब आप पहले से ही गाड़ी चला रहे हों, तो बस स्टीयरिंग व्हील को "फास्ट लेन" की ओर थोड़ा घुमा दें। रोबोट अपने आंतरिक "वोल्टेज" में एक मामूली बदलाव के साथ तुरंत गणित में बेहतर या अधिक सुरक्षित हो सकता है।
सारांश
पेपर का तर्क है:
AI पर मानव श्रेणियों को थोपना बंद करें। AI का अपना आंतरिक तर्क और संरचना होती है। यदि हम AI को सिखाना चाहते हैं, उसके व्यवहार को ठीक करना चाहते हैं, या उसे सुरक्षित बनाना चाहते हैं, तो हमें इस बात पर ध्यान देना चाहिए कि AI वास्तव में जानकारी को कैसे व्यवस्थित करता है और इसे ही हमारा मार्गदर्शक होना चाहिए।
निष्कर्ष:
- मानव कौशल: एक मछली को पेड़ पर चढ़ना सिखाने जैसा है क्योंकि "चढ़ना" स्तनधारियों के लिए एक उपयोगी कौशल है।
- मॉडल-नेटिव कौशल: मछली को यह समझकर तेज़ी से तैरना सिखाने जैसा है कि उसके पंख वास्तव में कैसे काम करते हैं।
- परिणाम: मछली तेज़ी से सीखती है, बेहतर तैरती है, और पेड़ से नहीं टकराती।
यह दृष्टिकोण बिना यह अनुमान लगाए कि "ब्लैक बॉक्स" के अंदर क्या चल रहा है, अधिक स्मार्ट, सुरक्षित और कुशल AI की ओर ले जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।