Bounding Retraining Equivalence and the Deletion Floor in Materials Machine Unlearning
यह शोध पत्र रिट्रेनिंग इक्विवेलेंस (पुनः प्रशिक्षण समतुल्यता) के आधार पर एक "डिलीशन फ्लोर" को परिभाषित करके, उन सैद्धांतिक सीमाओं को स्थापित करके जो कम डिलीशन फ्लोर को रिटेंड डेटा रिडंडेंसी (बचे हुए डेटा की अतिरेकता) से जोड़ती हैं, और अनुभवजन्य रूप से यह प्रदर्शित करके कि प्रभावी अनलर्निंग और केवल डेटा सप्रेशन (डेटा दमन) के बीच अंतर करने के लिए रिक्वेस्ट-लेवल अनलर्निंग मूल्यांकन में रेफरेंस लॉस, प्रेडिक्शन चेंज और रिटेन्ड यूटिलिटी को संयुक्त रूप से रिपोर्ट किया जाना चाहिए, मटेरियल्स मशीन लर्निंग में पोस्ट-डिलीशन सटीकता की अस्पष्टता को संबोधित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सामग्री विज्ञान (materials science) की दुनिया में, शोधकर्ता प्रयोगशाला में बनाए जाने से पहले ही नए पदार्थों के गुणों की भविष्यवाणी करने के लिए शक्तिशाली कंप्यूटर मॉडल का उपयोग करते हैं। ये मॉडल ज्ञात रासायनिक संरचनाओं के विशाल डेटाबेस से सीखते हैं, जो परमाणुओं की व्यवस्था को ऊर्जा भंडारण या स्थिरता जैसे परिणामों से जोड़ते हैं। क्योंकि भौतिकी के नियम सुसंगत हैं, कई अलग-अलग रासायनिक सूत्र लगभग समान क्रिस्टल संरचनाएं उत्पन्न कर सकते हैं। यह डेटा में एक स्वाभाविक अतिरेक (redundancy) पैदा करता है: यदि प्रशिक्षण सेट (training set) से किसी विशिष्ट क्रिस्टल का एक रिकॉर्ड हटा दिया जाता है, तो मॉडल अक्सर उसके गुणों की सटीक भविष्यवाणी कर सकता है क्योंकि उसने अन्य, बहुत समान रिकॉर्ड से वही भौतिक पैटर्न सीख लिया है। यह 'मशीन अनलर्निंग' (machine unlearning) नामक क्षेत्र के लिए एक अनूठी चुनौती पेश करता है, जिसका उद्देश्य कृत्रिम बुद्धिमत्ता प्रणालियों को विशिष्ट डेटा बिंदुओं को "भूलने" में सक्षम बनाना है, जो अक्सर गोपनीयता कानूनों के अनुपालन के लिए किया जाता है। यदि कोई सिस्टम किसी हटाए गए आइटम की सटीक भविष्यवाणी कर सकता है क्योंकि उसके पास समान पड़ोसी मौजूद हैं, तो क्या उसने वास्तव में उसे भुला दिया है, या वह केवल उसी उत्तर तक पहुँचने के लिए एक अलग रास्ते का उपयोग कर रहा है?
शोधकर्ताओं की एक टीम ने इस अस्पष्टता को दूर करने के लिए सामग्री विज्ञान में डेटा को सफलतापूर्वक भूलने के अर्थ को परिभाषित करते हुए एक नया मानक पेश किया। उन्होंने एक "डिलीशन फ्लोर" (deletion floor) की अवधारणा पेश की, जो उस न्यूनतम त्रुटि (error) को दर्शाता है जिसे एक मॉडल तब प्राप्त कर सकता है यदि उसे उस आइटम के बिना शून्य से फिर से प्रशिक्षित (retrain) किया जाए। उनका कार्य प्रकट करता है कि कई मामलों में, सर्वोत्तम संभव पुन: प्रशिक्षण अभी भी हटाए गए आइटम की उच्च सटीकता के साथ भविष्यवाणी करता है, क्योंकि शेष डेटा इतना समान है। उन्होंने पाया कि अनलर्निंग के प्रयास की सफलता का निर्णय केवल सटीकता से नहीं किया जा सकता है; इसके बजाय, इसे पुन: प्रशिक्षण द्वारा स्वाभाविक रूप से उत्पन्न होने वाले इस विशिष्ट आधार रेखा (baseline) के साथ तुलना करके मापा जाना चाहिए।
शोधकर्ताओं ने इन विचारों का परीक्षण करने के लिए 'मटेरियल्स प्रोजेक्ट' नामक एक सार्वजनिक डेटाबेस से 44,000 से अधिक क्रिस्टल संरचनाओं के विशाल संग्रह का उपयोग किया। उन्होंने निर्माण ऊर्जा (formation energy) की भविष्यवाणी करने पर ध्यान केंद्रित किया, जो एक माप है कि किसी क्रिस्टल को उसके तत्वों से बनाने के लिए कितनी ऊर्जा की आवश्यकता होती है। यह समझने के लिए कि अतिरेक (redundancy) भूलने की प्रक्रिया को कैसे प्रभावित करता है, उन्होंने पहले सिंथेटिक डेटा के साथ एक नियंत्रित प्रयोग किया। उन्होंने लगभग समान वस्तुओं के समूह बनाए, फिर प्रत्येक समूह से एक सदस्य को हटाया और मॉडल को पुन: प्रशिक्षित किया। जब उन्होंने एक ऐसा आइटम हटाया जिसका कोई करीबी संबंधी नहीं था, तो उस आइटम पर मॉडल की त्रुटि उस आइटम की तुलना में अधिक रही जिसे हटाने के बाद समान संबंधी शेष रह गए थे। वास्तव में, जब केवल एक समान रिकॉर्ड पीछे रह गया, तो मध्यिका त्रुटि (median error) लगभग आठ गुना कम हो गई। इसने प्रदर्शित किया कि मॉडल हटाए गए क्रिस्टल के भौतिक व्यवहार को वास्तव में "भूल" नहीं रहा था; वह केवल खाली स्थान को भरने के लिए जीवित रिश्तेदारों पर निर्भर कर रहा था।
यह देखने के लिए कि क्या यह वास्तविक दुनिया के परिदृश्यों में भी लागू होता है, टीम ने हजारों वास्तविक क्रिस्टल संरचनाओं पर अपनी विधियों को लागू किया। उन्होंने मॉडलों को प्रशिक्षित करने के दो अलग-अलग तरीकों की तुलना की: एक सरल सेटअप के साथ और दूसरा अधिक जटिल सेटअप के साथ जो क्रिस्टल का वर्णन करने के लिए बहुत अधिक विशेषताओं (features) का उपयोग करता है। उन्होंने एक आश्चर्यजनक ट्रेड-ऑफ (trade-off) की खोज की। जटिल मॉडल आम तौर पर समग्र रूप से अधिक सटीक था, लेकिन यह एक एकल रिकॉर्ड को हटाने के प्रति बहुत अधिक संवेदनशील भी था। जब एक रिकॉर्ड को हटा दिया गया, तो जटिल मॉडल का उस विशिष्ट आइटम के लिए अनुमान सरल मॉडल के अनुमान की तुलना में बहुत अधिक बदल गया। फिर भी, विरोधाभासी रूप से, जटिल मॉडल का पुन: प्रशिक्षण के बाद हटाए गए आइटम पर त्रुटि दर कम रही। इसका अर्थ यह है कि मॉडल अपने प्रशिक्षण डेटा में परिवर्तन के प्रति अत्यधिक संवेदनशील था, फिर भी वह हटाए गए आइटम के मान की लगभग पूर्णतः सटीक भविष्यवाणी करने में सक्षम रहा क्योंकि आसपास का डेटा बहुत सूचनात्मक था।
अध्ययन ने मॉडल को वास्तव में शून्य से पुन: प्रशिक्षित किए बिना अनलर्निंग प्रक्रिया का अनुमान लगाने के विभिन्न तरीकों की भी जांच की, क्योंकि यह एक गणनात्मक रूप से महंगा कार्य है। उन्होंने पाया कि कुछ विधियों ने विशिष्ट हटाए गए आइटम पर त्रुटि को सफलतापूर्वक बढ़ाया, लेकिन अक्सर अन्य असंबंधित वस्तुओं की भविष्यवाणी करने में मॉडल को खराब करने की कीमत पर। अन्य विधियों ने समग्र मॉडल प्रदर्शन को उच्च रखा लेकिन हटाए गए आइटम की भविष्यवाणी को महत्वपूर्ण रूप से बदलने में विफल रहे, जिससे उस रिकॉर्ड की "स्मृति" सुरक्षित रही। शोधकर्ताओं ने निष्कर्ष निकाला कि केवल यह जांचना कि क्या कोई मॉडल हटाए गए आइटम पर कम सटीक है, पर्याप्त नहीं है। एक सफल अनलर्निंग प्रक्रिया का मूल्यांकन तीन चीजों को एक साथ देखकर किया जाना चाहिए: हटाए गए आइटम के लिए भविष्यवाणी में कितना बदलाव आया, वह परिवर्तन पूर्ण पुन: प्रशिक्षण द्वारा उत्पन्न बेसलाइन से कैसे तुलना करता है, और क्या मॉडल की अन्य सामग्रियों की भविष्यवाणी करने की क्षमता संरक्षित रही।
इस "डिलीशन फ्लोर" को स्थापित करके, शोधकर्ताओं ने वैज्ञानिक समुदाय के लिए एक स्पष्ट संदर्भ बिंदु प्रदान किया। उन्होंने दिखाया कि सामग्री विज्ञान जैसे क्षेत्रों में, जहाँ भौतिक नियम विभिन्न डेटा बिंदुओं के बीच मजबूत संबंध बनाते हैं, एक मॉडल रिकॉर्ड को भूलने का आभास दे सकता है जबकि वह अभी भी सटीक भविष्यवाणी कर सकता है। यह अनलर्निंग प्रक्रिया की विफलता नहीं है, बल्कि अंतर्निहित भौतिकी का प्रतिबिंब है। शोध पत्र तर्क देता है कि भविष्य के मूल्यांकन को पोस्ट-डिलीशन सटीकता को एक साधारण पास या फेल मेट्रिक के रूप में मानना बंद कर देना चाहिए। इसके बजाय, उन्हें पुन: प्रशिक्षण द्वारा छोड़ी गई विशिष्ट आधार रेखा त्रुटि, मॉडल के अनुमान में वास्तविक बदलाव और मॉडल के समग्र स्वास्थ्य की रिपोर्ट करनी चाहिए। यह दृष्टिकोण सुनिश्चित करता है कि जब किसी प्रणाली को भूलने के लिए कहा जाता है, तो हमें पता होता है कि उसने वास्तव में क्या छोड़ा है और क्या रखा है, जो डेटा की वास्तविकता पर आधारित है न कि गोपनीयता की एक अस्पष्ट धारणा पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।