Can Fine-Tuning Erase Your Edits? On the Fragile Coexistence of Knowledge Editing and Adaptation
यह शोध पत्र प्रदर्शित करता है कि आगामी फाइन-ट्यूनिंग आम तौर पर ज्ञान संवर्द्धन (knowledge edits) में पर्याप्त क्षय का कारण बनती है, जो यह प्रकट करता है कि केवल संपादित परतों (edited layers) को फाइन-ट्यून करना डाउनस्ट्रीम प्रदर्शन को बनाए रखते हुए ऐसे संवर्द्धनों को हटाने का एक प्रभावी तरीका है, जिससे मॉडल अनुकूलन पाइपलाइनों के व्यापक संदर्भ के भीतर ज्ञान संवर्द्धन के मूल्यांकन की महत्वपूर्ण आवश्यकता रेखांकित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ा सवाल: क्या आप सुधार के ऊपर फिर से पेंट कर सकते हैं?
कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान विश्वकोश (एक लार्ज लैंग्वेज मॉडल, या LLM) है जिसे विशेषज्ञों की एक टीम द्वारा लिखा गया है। कभी-कभी उस विश्वकोश में गलतियाँ होती हैं। शायद वह कहता है कि फ्रांस की राजधानी बर्लिन है।
नॉलेज एडिटिंग (KE) एक विशेषज्ञ को उस विशिष्ट गलती को ठीक करने के लिए भेजने जैसा है। वे अंदर जाते हैं, वह पन्ना ढूंढते हैं, और "बर्लिन" को बदलकर "पेरिस" कर देते हैं। वे ऐसा पूरी किताब को दोबारा लिखे बिना करते हैं। यह तेज़, सस्ता और सटीक है।
फाइन-ट्यूनिंग (FT) उस विश्वकोश को एक नए विषय, जैसे कि "आधुनिक कला" पर प्रशिक्षित करने जैसा है। आप इसे पेंटिंग और मूर्तिकला के बारे में सीखने में मदद करने के लिए हजारों नए लेख खिलाते हैं। इन मॉडलों को विशिष्ट कार्यों के लिए उपयोगी बनाने का यह मानक तरीका है।
समस्या: शोधकर्ताओं ने एक सरल प्रश्न पूछा: यदि आप एक गलती को ठीक करते हैं (KE) और फिर उस मॉडल को नए विषयों पर प्रशिक्षित करते हैं (FT), तो क्या वह सुधार जीवित रहता है? या क्या नया प्रशिक्षण अनजाने में उस सुधार को धो देता है, जिससे "बर्लिन" वापस आ जाता है?
मुख्य खोज: सुधार नाजुक है
इस शोध का मुख्य निष्कर्ष यह है कि फाइन-ट्यूनिंग अक्सर संपादन (edits) को मिटा देती है।
मॉडल के ज्ञान को मिट्टी से बनी एक नाजुक मूर्ति की तरह समझें।
- नॉलेज एडिटिंग मिट्टी पर एक छोटा, विशिष्ट विवरण जोड़ने (जैसे, मिट्टी पर एक फूल पेंट करना) जैसा है।
- फाइन-ट्यूनिंग उस पूरी मूर्ति को एक नए उद्देश्य के लिए आकार देने हेतु जोर-जोर से हिलाने जैसा है।
अध्ययन में पाया गया कि जब आप मूर्ति को हिलाते हैं (फाइन-ट्यून करते हैं), तो मिट्टी पर बना वह छोटा सा फूल अक्सर गिर जाता है या धुंधला हो जाता है। कई मामलों में, मॉडल अपने मूल, गलत उत्तर पर वापस चला जाता है, या इससे भी बुरा, यह एक पूरी तरह से नया, गलत उत्तर देने लगता है जो पहले वहां नहीं था।
प्रयोग: एक विशाल स्ट्रेस टेस्ट
शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने एक विशाल प्रयोग चलाया।
- उन्होंने 5 अलग-अलग मॉडल (विश्वकोश) लिए।
- उन्होंने 3 अलग-अलग एडिटिंग टूल्स (पेंटर) का उपयोग किया।
- उन्होंने एडिटिंग और ट्रेनिंग के 254 अलग-अलग संयोजन लागू किए।
परिणाम:
- ज्यादातर समय, संपादन मर गए। फाइन-ट्यूनिंग के बाद, सफल सुधारों का एक बड़ा हिस्सा विफलताओं में बदल गया।
- "नल स्पेस" (Null Space) की भेद्यता: एक विशिष्ट एडिटिंग विधि (AlphaEdit) सबसे नाजुक थी। यह मॉडल के मस्तिष्क के एक "शैडो ज़ोन" (छाया क्षेत्र) में संपादन को छिपाने की कोशिश करती है जो आमतौर पर किसी भी चीज़ को प्रभावित नहीं करता है। लेकिन फाइन-ट्यूनिंग इतनी शक्तिशाली है कि वह उस शैडो ज़ोन को नई जानकारी से भर देती है, जिससे संपादन पूरी तरह से मिट जाता है।
- मॉडल का आकार मायने रखता है: बड़े मॉडल (जैसे GPT-J) थोड़े अधिक मजबूत थे, उन्होंने छोटे मॉडलों की तुलना में अपने संपादन को बेहतर तरीके से थामे रखा, लेकिन वे भी इस समस्या से ग्रस्त थे।
"फ्लिप" (Flip) घटना
शोधकर्ताओं ने गौर किया कि फाइन-ट्यूनिंग के बाद तीन अजीब चीजें होती हैं:
- स्थिर संपादन (Stable Edits): सुधार बना रहता है। (दुर्लभ)।
- मिटाए गए संपादन (Erased Edits): सुधार गायब हो जाता है, और मॉडल अपने मूल गलत उत्तर पर वापस चला जाता है। (सामान्य)।
- असंभव संपादन (Impossible Edits): मॉडल भ्रमित हो जाता है और एक तीसरा गलत उत्तर देता है जो न तो मूल था और न ही इच्छित सुधार। (उदाहरण के लिए, यदि आपने "पेरिस" को "लंदन" में बदलने की कोशिश की, तो प्रशिक्षण के बाद मॉडल "बर्लिन" कहना शुरू कर सकता है)।
आश्चर्यजनक मोड़: जानबूझकर संपादन को कैसे हटाएं?
शोधपत्र ने यह भी देखा कि बुरे संपादन (जैसे हैकर्स द्वारा बोए गए दुर्भावनापूर्ण संपादन) को कैसे हटाया जाए या अच्छे संपादन को कैसे सुरक्षित रखा जाए। उन्होंने एक चतुर रणनीति का परीक्षण किया: पूरे मॉडल को प्रशिक्षित न करें; केवल विशिष्ट हिस्सों को प्रशिक्षित करें।
- परिकल्पना 1: यदि आप केवल उन्हीं लेयर्स (परतों) को प्रशिक्षित करते हैं जहाँ संपादन किया गया था, तो आपको संपादन मिटा देना चाहिए।
- परिणाम: सत्य। संपादन को हटाने का यह सबसे प्रभावी तरीका था। यह ठीक वैसा ही है जैसे जहाँ बुरा पेंट लगाया गया था, उस विशिष्ट स्थान को सैंडपेपर से घिस देना।
- परिकल्पना 2: यदि आप केवल उन लेयर्स को प्रशिक्षित करते हैं जो संपादन में शामिल नहीं हैं, तो आपको संपादन को सुरक्षित रखना चाहिए।
- परिणाम: असत्य। आश्चर्यजनक रूप से, "सुरक्षित" लेयर्स को प्रशिक्षित करने ने पूरे मॉडल को प्रशिक्षित करने की तुलना में संपादन को अधिक नष्ट कर दिया। यह मूर्ति के आधार को इतनी जोर से हिलाने जैसा है कि ऊपर का विवरण गिर जाता है, भले ही आपने ऊपर को छुआ भी न हो।
सीख: यदि आपको एक बुरा संपादन हटाना है, तो सबसे कुशल तरीका यह है कि आप केवल उन विशिष्ट लेयर्स को फाइन-ट्यून करें जहाँ वह संपादन मौजूद है। यह एक सटीक सर्जिकल स्ट्राइक है जो बाकी मॉडल के प्रदर्शन को लगभग बरकरार रखते हुए बुरे डेटा को हटा देती है।
यह क्यों होता है? (ब्रेन स्कैन)
शोधकर्ताओं ने मॉडल के "मस्तिष्क" (इसके एक्टिवेशन स्पेस) के अंदर झाँका कि वास्तव में क्या हो रहा है।
- एडिटिंग एक तालाब में एक छोटी, स्थानीय लहर की तरह है। यह एक विशिष्ट स्थान में पानी को बदलती है।
- फाइन-ट्यूनिंग पूरे तालाब में टकराने वाली एक विशाल लहर की तरह है।
अध्ययन में पाया गया कि फाइन-ट्यूनिंग की "लहर" बहुत शक्तिशाली होती है और एडिटिंग की "लहर" की तुलना में बहुत अलग दिशा में चलती है। जब लहर आती है, तो वह एडिटिंग की लहर को पूरी तरह से ओवरराइट (मिटा) देती है। मॉडल का आंतरिक प्रतिनिधित्व इतना नाटकीय रूप से बदल जाता है कि छोटा सा सुधार जीवित नहीं रह पाता।
आम पाठक के लिए सारांश
- संपादन अस्थायी हैं: यदि आप एक AI में किसी तथ्य को ठीक करते हैं और फिर उसे नए डेटा पर प्रशिक्षित करते हैं, तो आपका सुधार संभवतः गायब हो जाएगा।
- यह आपकी गलती नहीं है: मॉडल की संरचना एक साथ बहुत सारी नई चीजें सीखते हुए एक छोटे बदलाव को बनाए रखना बहुत कठिन बना देती है।
- आप संपादन को आसानी से मिटा सकते हैं: यदि आपको किसी बुरे संपादन को हटाना है, तो आपको पूरे AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप बस उन विशिष्ट हिस्सों को ट्यून कर सकते हैं जहाँ वह बुरा संपादन रहता है, और वह गायब हो जाएगा।
- सुरक्षा चेतावनी: यदि बुरे तत्व किसी AI में दुर्भावनापूर्ण झूठ (नॉलेज एडिटिंग) बो देते हैं, और फिर कंपनियाँ उस AI को नए कार्यों के लिए फाइन-ट्यून करती हैं, तो वे झूठ जीवित रह सकते हैं और फैल सकते हैं, या AI भ्रमित होकर नए झूठ गढ़ना शुरू कर सकता है।
शोधपत्र निष्कर्ष निकालता है कि हमें "तथ्यों को ठीक करने" और "नए कार्यों के लिए प्रशिक्षण देने" को अलग-अलग चरणों के रूप में मानना बंद करना होगा। हमें ऐसे AI सिस्टम बनाने की आवश्यकता है जहाँ ये दोनों प्रक्रियाएं एक-दूसरे को नष्ट किए बिना सह-अस्तित्व में रह सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।