Understanding Machine Unlearning Through the Lens of Mode Connectivity
यह शोध पत्र मशीन अनलर्निंग के अनुकूलन ज्यामिति (optimization geometry) का विश्लेषण करने के लिए अनलर्निंग में मोड कनेक्टिविटी (mode connectivity in unlearning - MCU) की अवधारणा प्रस्तुत करता है, जो यह प्रकट करता है कि अनलर्न्ड मॉडल अक्सर रिट्रेनिंग से भिन्न विशिष्ट तंत्रों वाले जुड़े हुए लो-लॉस बेसिन (low-loss basins) में स्थित होते हैं, जबकि गोपनीयता मेट्रिक्स, गैर-रैखिक अनलर्निंग प्रगति और एन्सेंबलिंग के माध्यम से बेहतर मजबूती के बारे में अंतर्दृष्टि प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट डिजिटल मस्तिष्क है, एक मशीन लर्निंग मॉडल, जिसने पूरा इंटरनेट पढ़ लिया है। वह केक बनाने के तरीके से लेकर किसी प्रसिद्ध कुकी की गुप्त रेसिपी तक सब कुछ जानता है। लेकिन फिर, कोई उससे उस कुकी की रेसिपी भूलने के लिए कहता है क्योंकि वह कॉपीराइटेड है, या शायद वह पुरानी हो चुकी है। आप कोड की कुछ पंक्तियों को बस डिलीट नहीं कर सकते; मस्तिष्क ने उस ज्ञान को अपनी संरचना में बुन लिया है। यदि आप इसे बाहर निकालने की कोशिश करते हैं, तो आप अनजाने में उसकी केक बनाने की क्षमता या सरल प्रश्नों के उत्तर देने की क्षमता को भी बिगाड़ सकते हैं। यह मशीन अनलर्निंग (Machine Unlearning) की पेचीदा दुनिया है: यह एक AI को विशिष्ट चीजें भुलाने में मदद करने की कला है, बिना उसकी सामान्य बुद्धिमत्ता को नुकसान पहुँचाए।
यह समझने के लिए कि यह कैसे काम करता है, वैज्ञानिक "लॉस लैंडस्केप" (loss landscape) को देखते हैं। इस लैंडस्स्केप को एक विशाल, पहाड़ी इलाके के रूप में सोचें जहाँ ज़मीन की ऊँचाई इस बात का प्रतिनिधित्व करती है कि AI अपने काम में कितना बुरा है। AI एक गहरी घाटी (सबसे निचला बिंदु) ढूँढना चाहता है जहाँ वह सबसे कम गलतियाँ करता है। आमतौर पर, यदि आप दो अलग-अलग AI को शुरू से प्रशिक्षित करते हैं, तो वे अलग-अलग घाटियों में समाप्त हो सकते हैं। लेकिन एक शानदार खोज जिसे मोड कनेक्टिविटी (Mode Connectivity) कहा जाता है, ने दिखाया कि ये अलग-अलग घाटियाँ अक्सर चिकने, निचले रास्तों से जुड़ी होती हैं। आप एक AI के समाधान से दूसरे में बिना किसी खड़ी पहाड़ी पर चढ़े जा सकते हैं। यह शोध पत्र एक नया प्रश्न पूछता है: यदि हम एक AI को कुछ भूलने के लिए मजबूर करते हैं, तो क्या वह एक ऐसी घाटी में समाप्त होता है जो उसके अन्य "भुलक्कड़" संस्करणों से अभी भी जुड़ी हुई है? और क्या उनके बीच का रास्ता चिकना रहता है, या यह एक ऊबड़-खाबड़, टूटी हुई चट्टान बन जाता है?
शोधकर्ताओं, जियाली चेंग और हादी अमीरी ने इसे एक नए विचार, मोड कनेक्टिविटी इन अनलर्निंग (MCU) को पेश करके तलाशने का निर्णय लिया। उन्होंने भूलने की प्रक्रिया को एक मानचित्र पर यात्रा की तरह माना। केवल यह जाँचने के बजाय कि AI ने सही चीज़ भुला दी है, उन्होंने एक भूले हुए AI के दो अलग-अलग संस्करणों के बीच के "इलाके" (terrain) को देखा। उन्होंने पाया कि कई तरीकों के लिए, रास्ता वास्तव में चिकना है। आप एक "भूल चुके" मॉडल से दूसरे में बिना यह महसूस किए फिसल सकते हैं कि AI अचानक उस गुप्त कुकी को याद कर रहा है या केक बनाने की अपनी क्षमता खो रहा है। भूलने का परिदृश्य अक्सर अलग-थला गड्ढों के बजाय एक चौड़ी, सपाट घाटी होता है।
हालाँकि, यात्रा हमेशा एक जैसी नहीं होती है। शोध पत्र प्रकट करता है कि आप AI को कैसे भूलना सिखाते हैं, यह बहुत मायने रखता है। यदि आप अलग-अलग प्रशिक्षण युक्तियों का उपयोग करते हैं—जैसे कि पाठों का क्रम बदलना (करिकुलम लर्निंग) या अधिक जटिल गणितीय विधि (सेकंड-ऑर्डर ऑप्टिमाइज़ेशन) का उपयोग करना—तो आप पूरी तरह से अलग घाटियों में समाप्त हो सकते हैं जो आपस में जुड़ी नहीं हैं। यह एक ही गंतव्य तक जाने वाले दो अलग-अलग रास्तों की तरह है; एक चिकना हाईवे हो सकता है, जबकि दूसरा एक ऊबड़-खाबड़ कच्चा रास्ता है जो पूरी तरह से अलग पड़ोस की ओर ले जाता है।
सबसे आश्चर्यजनक खोजों में से एक यह है कि भले ही दो "भूल चुके" मॉडल कागज़ पर समान दिखते हों (वे एक ही चिकनी घाटी में हों), वे गुप्त रूप से बहुत अलग व्यवहार कर सकते हैं। शोधकर्ताओं ने पाया कि जबकि मॉडल मानक परीक्षणों पर समान प्रदर्शन करते थे, उनकी "गोपनीयता" (privacy) के स्तर बहुत अधिक उतार-चढ़ाव कर सकते थे। एक मॉडल हैकर्स से सुरक्षित हो सकता है जो उसे गुप्त बात याद दिलाने की कोशिश कर रहे हैं, जबकि उसी घाटी में उसका जुड़वां मॉडल खतरनाक रूप से जानकारी लीक करने वाला हो सकता है। यह सुझाव देता है कि केवल इसलिए कि एक AI ने कुछ भुला दिया है जैसा कि दिखता है, इसका मतलब यह नहीं है कि वह वास्तव में सुरक्षित है।
इस शोध पत्र ने यह भी उजागर किया कि भूलना कैसे होता है, इसमें एक अजीब पैटर्न है। यह एक साथ नहीं होता है। शुरुआत में, AI गुप्त शब्दों को ठीक से दोहराना बंद कर देता है (जैसे एक तोता किसी वाक्यांश को बोलना बंद कर देता है), लेकिन वह अभी भी अंतर्निहित विचार को थामे रहता है। केवल बाद में, जैसे-जैसे आप पथ पर आगे बढ़ते हैं, वह वास्तव में गहरे ज्ञान को खो देता है। यह ऐसा है जैसे AI पहले कहना बंद कर देता है "कुकी की रेसिपी है..." लेकिन वह अभी भी इसे बनाना जानता है, जब तक कि अंततः वह रेसिपी को पूरी तरह से भूल नहीं जाता।
अंत में, लेखक सुझाव देते हैं कि इस "चिकनाई" (smoothness) का पथ एक उपयोगी उपकरण है। यदि दो भूले हुए मॉडलों के बीच का रास्ता ऊबड़-खाबड़ और बाधाओं से भरा है, तो इसका मतलब है कि भूलने का काम बहुत कठिन था। यदि पथ चिकना है, तो काम आसान था। उन्होंने यह भी दिखाया कि इस चिकने पथ के विभिन्न बिंदुओं से मॉडलों को मिलाकर, आप एक सुपर-रोबस्ट AI बना सकते हैं जिसे धोखा देना और गुप्त बात को फिर से याद दिलाना कठिन हो।
संक्षेप में, यह शोध पत्र केवल यह नहीं बताता कि क्या एक AI भूल सकता है; यह हमें एक नक्शा देता है कि वह कैसे भूलता है। यह दिखाता है कि अनलर्निंग का परिदृश्य जटिल है, कभी चिकना तो कभी ऊबड़-खाबड़, और जिस तरह से हम इसमें नेविगेट करते हैं, वह हमारे भूले हुए AI के बारे में सुरक्षा और विश्वसनीयता के बारे में सब कुछ बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।