Unforgettable Generalization in Language Models
यह शोध पत्र इस बात की जांच करता है कि जब भाषा मॉडल रैंडमाइज्ड (यादृच्छिक) लेबल्स पर फाइन-ट्यूनिंग के माध्यम से कौशल "अनलर्न" (विस्मृत) करते हैं तो वे कैसा व्यवहार करते हैं, जो यह प्रकट करता है कि विस्मरण का सामान्यीकरण अत्यधिक अप्रत्याशित और कार्य-निर्भर है, जो अक्सर विशिष्ट प्रशिक्षण उदाहरणों से आगे विस्तार करने में विफल रहता है भले ही आउटपुट सतही तौर पर रैंडम हों, जबकि अंतर्निहित कार्य क्षमताएं सफल लीनियर प्रोबिंग द्वारा प्रमाणित होती हैं कि बरकरार रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वह कविताएँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और आपको बता सकता है कि आकाश नीला क्यों है। लेकिन कभी-कभी, यह रोबोट ऐसी चीजें सीख लेता है जो आप उसे नहीं बताना चाहते, या यह किसी विशिष्ट ट्रिक में इतना माहिर हो जाता है जिसे आप उससे वापस छीनना (un-teach) चाहते हैं। यह "मशीन अनलर्निंग" (machine unlearning) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस अनुसंधान की एक पेचीदा शाखा है और एक कठिन सवाल पूछती है: क्या हम एक रोबोट को वास्तव में भूलने के काबिल बना सकते हैं?
प्रयोग को समझने के लिए, आपको दो बातें जाननी होंगी। पहला, इन रोबटों (जिन्हें लार्ज लैंग्वेज मॉडल्स कहा जाता है) को बहुत सारे टेक्स्ट पढ़कर प्रशिक्षित किया जाता है और फिर उन्हें किसी विशेष काम में बेहतर बनाने के लिए विशिष्ट उदाहरणों पर "फाइन-ट्यून" (fine-tuned) किया जाता है, जैसे कि विज्ञान के सवालों के जवाब देना। दूसरा, उन्हें भुलाने की एक सामान्य विधि यह है कि उन्हें वही प्रश्न फिर से दिखाए जाते हैं लेकिन उनके उत्तर पूरी तरह से अस्त-व्यस्त या मनगढ़ंत होते हैं। विचार यह है कि यदि आप रोबोट को गलत उत्तरों के साथ इतना भ्रमित कर देते हैं, तो शायद वह उस विषय को पूरी तरह से छोड़ दे। बड़ा रहस्य जिसका शोधकर्ता पीछा कर रहे हैं, वह यह है: क्या यह भ्रम फैलता है? यदि आप रोबोट को एक विशिष्ट प्रश्न के बारे में भ्रमित करते हैं, तो क्या वह सभी समान प्रश्नों के उत्तर देने की क्षमता भूल जाएगा, या वह केवल उस एक विशिष्ट उदाहरण के बारे में भ्रमित हो जाएगा?
द ग्रेट "अन-ट्रेनिंग" एक्सपेरिमेंट (The Great "Un-Training" Experiment)
इस शोध पत्र में, MIT के शोधकर्ता एरिक झांग, लेशेम चोशेन और जैकब एंड्रियास ने Llama2 नामक एक विशाल भाषा मॉडल के साथ "अन-लर्निंग" का खेल खेलने का निर्णय लिया। उन्होंने मॉडल के साथ एक ऐसे छात्र की तरह व्यवहार किया जिसने अभी-अभी एक परीक्षा में उत्कृष्ट प्रदर्शन किया है, और फिर उन्होंने उसे रैंडम, निरर्थक उत्तरों के साथ पुन: प्रशिक्षित करके उस सामग्री को भुलाने की कोशिश की। वे यह देखना चाहते थे कि क्या छात्र पूरा विषय भूल जाएगा या केवल वे विशिष्ट अभ्यास प्रश्न जिन्हें उसे दिखाया गया था।
बड़ा आश्चर्य: यह विषय पर निर्भर करता है
शोधकर्ताओं ने इसका परीक्षण 21 अलग-अलग प्रकार के कार्यों पर किया, जो "फिजिकल कॉमनसेंस" (जैसे यह पता लगाना कि कौन सी वस्तु भारी है) से लेकर "एंटेलमेंट" (यह तय करना कि क्या एक वाक्य तार्किक रूप से दूसरे का अनुसरण करता है) तक फैले हुए थे। परिणाम चौंकाने वाले और अप्रत्याशित थे।
कभी-कभी, भूलना पूरी तरह से काम करता था। यदि उन्होंने मॉडल को एंटेलमेंट क्लासिफिकेशन (वाक्यों के बारे में एक तर्क पहेली) को भूलने के लिए प्रेरित किया, तो मॉडल खाली हो गया। यह नए प्रश्नों के लिए, जिन्हें उसने पहले कभी नहीं देखा था, रैंडम और बेकार उत्तर देने लगा। ऐसा लग रहा था जैसे रोबोट ने उस विशिष्ट प्रकार के तर्क को करने की क्षमता ही खो दी हो।
लेकिन अन्य बार, भूलना पूरी तरह से विफल रहा। जब उन्होंने मॉडल को फिजिकल कॉमनसेंस (जैसे गुरुत्वाकर्षण कैसे काम करता है) या विज्ञान के प्रश्नों को भूलने के लिए प्रेरित किया, तो मॉडल जिद्दी रहा। रैंडम, गलत उत्तरों पर प्रशिक्षण के बाद भी, वह अभी भी नए विज्ञान के प्रश्नों के सही उत्तर दे रहा था! यह एक ऐसे छात्र की तरह था जिसे एक विशिष्ट अभ्यास परीक्षण के लिए गलत उत्तर याद करने के लिए मजबूर किया गया था, लेकिन जब वास्तविक परीक्षा आई, तो उसे सही उत्तर अभी भी पता थे। मॉडल ने विशिष्ट उदाहरणों को तो भुला दिया था, लेकिन अपने सामान्य ज्ञान को बरकरार रखा था।
यह टेस्ट की कठिनाई के बारे में नहीं है
आप सोच सकते हैं कि मॉडल केवल आसान चीजें भूलता है और कठिन चीजें याद रखता है। शोधकर्ताओं ने इसकी जाँच की, और यह पता चला कि यह सच नहीं है। उन्होंने पाया कि कार्य की कठिनाई ने यह भविष्यवाणी नहीं की कि मॉडल क्या भूलेगा। उदाहरण के लिए, मॉडल "ARC इजी" (ARC Easy) के मुकाबले "ARC चैलेंज" (ARC Challenge) के कठिन सवालों के जवाबों को याद रखने में वास्तव में बेहतर था, भले ही दोनों विज्ञान के सवाल थे। सवाल की कठिनाई मायने नहीं रखती थी; सवाल का प्रकार मायने रखता था।
गुप्त सुराग: आत्मविश्वास और "दिमाग" की परिवर्तनशीलता
तो, कौन सा कौशल भूलना आसान या कठिन बनाता है? शोधकर्ताओं को मॉडल के "दिमाग" (इसके आंतरिक डेटा प्रतिनिधित्व) के भीतर दो सुराग मिले:
- आत्मविश्वास (Confidence): यदि भूलने के प्रयोग को शुरू करने से पहले मॉडल उत्तर के बारे में पहले से ही बहुत अनिश्चित था, तो उसे भुलाना आसान था। यदि मॉडल आत्मविश्वासी था, तो उसने जानकारी को मजबूती से थामे रखा।
- दिमाग की परिवर्तनशीलता (Brain Variability): यह इस बात को देखने जैसा है कि मॉडल के विचार कितने हिलते-डुलते हैं। यदि मॉडल के आंतरिक "विचार" (प्रतिनिधित्व) इधर-उधर बिखरे हुए थे (उच्च परिवर्तनशीलता), तो उन्हें मिटाना कठिन था। यदि विचार बहुत सुसंगत और समान थे (कम परिवर्तनशीलता), तो मॉडल को "अन-ट्रेन" करना आसान था।
"उथला" भूलना (The "Shallow" Forget)
यहाँ सबसे अधिक दिमाग घुमा देने वाला हिस्सा है। भले ही मॉडल ऐसा लग रहा था कि उसने सफलतापूर्वक एक कौशल को भुला दिया है—सभी के लिए रैंडम उत्तर देते हुए—शोधकर्ताओं ने पाया कि जानकारी वास्तव में गई नहीं थी। उन्होंने एक सरल उपकरण बनाया जिसे "लीनियर प्रोब" (linear probe) कहा जाता है (इसे एक छोटे, विशिष्ट डिटेक्टर के रूप में सोचें) और उन्होंने मॉडल की आंतरिक मस्तिष्क तरंगों को देखा।
आश्चर्यजनक रूप से, यह डिटेक्टर अभी भी सही उत्तरों को पूरी तरह से पढ़ सकता था, भले ही मॉडल खुद ऐसा व्यवहार कर रहा था जैसे उसे कुछ भी नहीं पता। यह एक ऐसे छात्र की तरह है जो कक्षा में भ्रमित होने का नाटक करता है और रैंडम उत्तर देता है, लेकिन यदि आप उनके नोट्स देखें, तो सही उत्तर अभी भी सुंदर लिखावट में वहां मौजूद हैं। "भूलना" केवल एक सतही क्रिया थी; गहरा ज्ञान अभी भी वहीं था, खोजे जाने की प्रतीक्षा में।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि केवल रैंडम उत्तरों पर पुन: प्रशिक्षण देकर AI को विशिष्ट कौशल भुलाने की कोशिश करना एक जुआ है। यह कुछ कार्यों (जैसे तर्क पहेलियों) के लिए काम करता है लेकिन अन्य (जैसे विज्ञान और सामान्य ज्ञान) के लिए विफल रहता है। इसके अलावा, भले ही यह काम करता हुआ प्रतीत हो, जानकारी वास्तव में डिलीट नहीं होती है; यह केवल भ्रम की एक परत के पीछे छिपी होती है। शोधकर्ता सुझाव देते हैं कि हमें यह समझने के लिए कि ये मॉडल कैसे सीखते हैं और जानकारी कैसे संग्रहीत करते हैं, बहुत अधिक जानने की आवश्यकता है, इससे पहले कि हम भरोसेमंद तरीके से उन्हें वह भुला सकें जो हम नहीं चाहते कि वे जानें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।