Shaping capabilities with token-level data filtering
यह शोध पत्र प्रदर्शित करता है कि प्रीट्रेनिंग डेटा को टोकन स्तर पर फ़िल्टर करना भाषा मॉडलों को प्रीट्रेनिंग के दौरान अवांछित क्षमताओं को हटाने के लिए आकार देने का एक स्केलेबल, सुदृढ़ और लागत प्रभावी तरीका है, जो डॉक्यूमेंट-स्तरीय फ़िल्टरिंग और पोस्ट हॉक अलाइनमेंट दृष्टिकोणों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अत्यंत बुद्धिमान छात्र (एक AI) को पढ़ा रहे हैं, जिसे काम शुरू करने से पहले किताबों की एक विशाल लाइब्रेरी पढ़ने के लिए दी जा रही है। लक्ष्य यह है कि वह बेहतरीन कहानियाँ लिखना और जीव विज्ञान (biology) पर शोध करना सीख सके, लेकिन वह खतरनाक जैविक हथियार बनाना या चिकित्सा संबंधी गलत जानकारी फैलाना न सीख ले।
आमतौर पर, यदि छात्र गलती से ये खतरनाक कौशल सीख लेता है, तो शिक्षक बाद में उन्हें "अनलर्न" (unlearn) करने की कोशिश करते हैं। वे छात्र को कह सकते हैं, "ऐसा मत कहो," या उनकी याददाश्त मिटाने की कोशिश कर सकते हैं। लेकिन यह पेपर तर्क देता है कि यह उस छात्र को दोबारा सिखाने की कोशिश करने जैसा है जिसने पहले ही एक किताब रट ली है; उसे आसानी से उन प्रतिबंधित चीजों को बोलने के लिए बहकाया जा सकता है।
इसके बजाय, यह पेपर एक अलग रणनीति प्रस्तावित करता है: पहले से ही इस बात पर ध्यान दें कि लाइब्रेरी में कौन सी किताबें रखी जा रही हैं।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का एक सरल विवरण दिया गया है:
1. "कैंची" बनाम "रेज़र" (टोकन बनाम डॉक्यूमेंट फ़िल्टरिंग)
कल्पना कीजिए कि आपके पास जीव विज्ञान की एक किताब है। उसके बीच में कहीं एक पैराग्राफ है जो वायरस बनाने के बारे में है।
- पुराना तरीका (डॉक्यूमेंट फ़िल्टरिंग): यदि आपको वह पैराग्राफ मिल जाता है, तो पुराना तरीका कहता है, "यह पूरी किताब खतरनाक है!" इसलिए, आप पूरी किताब फेंक देते हैं। आप उस एक बुरे पैराग्राफ को हटाने के चक्कर में सारी अच्छी जीव विज्ञान की जानकारी खो देते हैं।
- नया तरीका (टोकन फ़िल्टरिंग): शोधकर्ताओं ने पाया कि वे "कैंची" के बजाय एक "रेज़र" (razor) का उपयोग करके बेहतर काम कर सकते हैं। वे वायरस के बारे में विशिष्ट शब्दों (tokens) की पहचान कर सकते हैं और केवल उन शब्दों को हटा सकते हैं, जिससे बाकी की किताब सुरक्षित रहती है।
- परिणाम: यह नया तरीका बहुत बेहतर है। यह खतरनाक ज्ञान को हटा देता है जबकि उपयोगी ज्ञान को लगभग पूरा बनाए रखता है। यह पूरे पन्ने को जलाने के बजाय एक वाक्य को संपादित करने जैसा है।
2. जितना बड़ा दिमाग, उतना बेहतर फ़िल्टर
आप सोच सकते हैं, "यदि मैं शब्द हटा दूँ, तो छात्र कम सीखेगा।" लेकिन शोधकर्ताओं ने एक आश्चर्यजनक मोड़ पाया: छात्र का दिमाग जितना बड़ा होगा, यह फ़िल्टरिंग उतनी ही प्रभावी होती जाएगी।
- छोटे दिमाग: यदि आप एक छोटे छात्र के लिए किताबों को फ़िल्टर करते हैं, तो वे अभी भी थोड़ा बहुत खतरनाक हिस्सा सीख सकते हैं क्योंकि वे बचे हुए किसी भी हिस्से से सीखने के लिए बहुत उत्सुक होते हैं।
- बड़े दिमाग: विशाल, अत्यंत बुद्धिमान छात्रों (परीक्षण किए गए सबसे बड़े मॉडल्स) के लिए, खतरनाक शब्दों को हटाना अविश्वसनीय रूप से प्रभावी रहा। यह ऐसा था जैसे छात्र को अनफ़िल्टर्ड किताबों की तुलना में खतरनाक कौशल सीखने के लिए 7,000 गुना अधिक प्रयास करने की आवश्यकता थी। मॉडल जितना बड़ा होता है, उसका फ़िल्टर उतना ही "मजबूत" (robust) होता जाता है।
3. "जेलब्रेक" टेस्ट
शोधकर्ताओं ने यह परीक्षण किया कि क्या कोई बुरा व्यक्ति (bad actor) फ़िल्टर्ड छात्र को फिर से खतरनाक कौशल सीखने के लिए बहका सकता है (एक "जेलब्रेक")।
- पुराने तरीके: यदि आप छात्र ने पहले ही कुछ सीख लिया है, तो उसके बाद किसी कौशल को "अनलर्न" करने की कोशिश करते हैं, तो एक बुरा व्यक्ति उसे कुछ ही मिनटों में फिर से सिखा सकता है।
- नया तरीका: फ़िल्टर्ड लाइब्रेरी के साथ, एक बुरे व्यक्ति को फ़िल्टर्ड छात्र को वह खतरनाक कौशल फिर से सिखाने में अनफ़िल्टर्ड छात्र की तुलना में 10 गुना अधिक प्रयास करना पड़ा। फ़िल्टर को आधार (foundation) में ही बना लेना इसे तोड़ना बहुत कठिन बना देता है।
4. क्या वे "ना" कह पाएंगे?
एक आम चिंता यह है: "यदि हम खतरनाक ज्ञान हटा देते हैं, तो क्या छात्र को पता होगा कि उसे क्या मना करना है?" (उदाहरण के लिए, "मैं आपको बम कैसे बनाया जाता है यह नहीं बता सकता" कहने के लिए यह जानना आवश्यक है कि बम क्या है)।
- आश्चर्य: पेपर ने पाया कि इस फ़िल्टर्ड विधि से प्रशिक्षित छात्र अनफ़िल्टर्ड वाले छात्रों की तुलना में खतरनाक सवालों को मना करने में वास्तव में बेहतर थे। उन्हें खतरनाक विवरणों को याद रखने की आवश्यकता नहीं थी कि उन्हें किस बारे में बात नहीं करनी चाहिए। उन्होंने सवाल के "आकार" को पहचानना सीखा और जवाब देने के बजाय कहना सीखा, "मुझे इसके बारे में नहीं पता।"
5. उन्होंने यह कैसे किया (द "लेबलिंग" ट्रिक)
सही शब्दों को हटाने के लिए, आपको जानना होगा कि कौन से शब्द खतरनाक हैं। लाइब्रेरी के हर एक शब्द को लेबल करना महंगा और धीमा है।
- जुगाड़ (Hack): शोधकर्ताओं ने एक विशेष उपकरण (जिसे "स्पार्स ऑटोएनकोडर" कहा जाता है) का उपयोग किया जो एक जासूस की तरह काम करता है। यह AI के दिमाग में पैटर्न को देखता है और अनुमान लगाता है कि कौन से शब्द चिकित्सा से संबंधित हैं।
- परिणाम: भले ही यह जासूस पूर्ण नहीं था (इसने कुछ गलतियाँ कीं), फिर भी यह सिस्टम इतना मजबूत था कि यह अविश्वसनीय रूप से अच्छा काम करता रहा। उन्होंने यह भी पाया कि आप लेबलिंग करने के लिए एक छोटा, सस्ता "जज" (judge) प्रशिक्षित कर सकते हैं, और यह एक विशाल, महंगे जज के समान ही अच्छा काम करता है।
निचोड़ (The Bottom Line)
पेपर का दावा है कि AI को खतरनाक कौशल सीखने से रोकने का सबसे अच्छा तरीका यह है कि AI के सीखने शुरू करने से पहले ही शब्द स्तर पर उसके प्रशिक्षण डेटा को बहुत सावधानी से तैयार (curate) किया जाए। यह अनफ़िल्टर्ड डेटा के बाद AI को ठीक करने की कोशिश करने की तुलना में सस्ता, अधिक प्रभावी और भेदना कठिन है। यह बाद में लीक होती छत को पैच करने के बजाय एक सुरक्षित आधार बनाने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।