← नवीनतम पेपर
🤖 machine learning

When Unlearning Fails: Reliable Data Deletion under Post-Training in Agent Networks

यह शोध पत्र MUTE को प्रस्तुत करता है, जो स्व-सुधारित फेडरेटेड एजेंट नेटवर्क में विश्वसनीय डेटा विलोपन के लिए एक विधि है, जो डाउनस्ट्रीम प्रभाव का अनुमान लगाकर, उच्च-जोखिम वाले रिटेन्ड ट्रेजेक्टरीज को क्वारंटाइन करके और प्रभाव पुनरुत्पत्ति को रोकने के लिए व्यवहार का ऑडिट करके, कार्य उपयोगिता को संरक्षित करते हुए विस्मृत डेटा की निरंतर "इन्फ्लुएंस इको" को प्रभावी ढंग से कम करता है।

मूल लेखक: Zihao Ding, Jun Huang, Liang Dong

प्रकाशित 2026-08-03
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Zihao Ding, Jun Huang, Liang Dong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि छोटे, मददगार रोबोटों का एक झुंड मिलकर घर के काम करना सीख रहा है। यह एक विशाल क्लाउड ब्रेन के बजाय, प्रत्येक रोबोट अपने अनुभवों से सीखता है और जो कुछ भी उसने सीखा है उसे दूसरों के साथ साझा करता है। इसे फेडरेटेड लर्निंग (Federated Learning) कहा जाता है। यह दोस्तों के एक समूह के लिए परीक्षा की तैयारी करने जैसा है: वे में से प्रत्येक अलग-अलग किताबें पढ़ता है, अपने स्वयं के नोट्स लिखता है, और फिर समूह को स्मार्ट बनाने के लिए सारांशों का आदान-प्रदान करता है, बिना कभी अपने निजी, बिखरे हुए नोटबुक को शिक्षक को दिखाए।

अब, कल्पना कीजिए कि ये रोबोट "स्व-सुधारने वाले" (self-improving) हैं। वे केवल परीक्षा के बाद सीखना बंद नहीं करते; वे काम करते रहते हैं, क्या काम आया और क्या नहीं, इसके बारे में नए किस्से इकट्ठा करते हैं, और समूह को और भी बेहतर बनाने के लिए उन किस्सों को वापस फीड करते हैं। यह एक स्व-सुधारने वाला नेटवर्क (Self-Improving Network) है। लेकिन यहाँ पेचीदा हिस्सा यह है: क्या होगा अगर एक दोस्त कहता है, "हे, मैं भुला दिया जाना चाहता हूँ! कृपया मेरे सभी नोट्स मिटा दें और सुनिश्चित करें कि मैंने समूह के अंतिम उत्तर को कभी प्रभावित न किया हो"? एक सामान्य कक्षा में, आप बस पन्ने फाड़ देंगे। लेकिन इस रोबोट झुंड में, उस दोस्त के पुराने नोट्स ने पहले से ही अन्य रोबोटों के नए नोट्स एकत्र करने के तरीके को बदल दिया होगा। यदि आप उस दोस्त के नोट्स को हटा देते हैं लेकिन उनके द्वारा प्रेरित नए नोट्स को रखते हैं, तो उस दोस्त का "भूत" समूह के मस्तिष्क में अभी भी रह सकता है। यह शोध पत्र इस बारे में है कि कैसे पूरे सिस्टम को तोड़े बिना उस भूत को वास्तव में मिटाया जाए।


समस्या: वह "गूँज" जो मरती नहीं

शोधकर्ताओं ने इन स्मार्ट रोबोट नेटवर्क में डेटा को हटाने के साथ एक सूक्ष्म समस्या पाई। आमतौर पर, जब कोई भूल जाने के लिए कहता है, तो सिस्टम उस व्यक्ति के डेटा के बिना मॉडल को फिर से प्रशिक्षित (retraining) करके "अनलर्न" (unlearn) करने की कोशिश करता है। लेखक इसे "रिट्रेनिंग" दृष्टिकोण कहते हैं।

लेकिन एक स्व-सुधारने वाले नेटवर्क में, यह सरल समाधान विफल हो जाता है। यहाँ कारण दिया गया है: रोबोट का व्यवहार तालाब में लहर की तरह है। जब एक विशिष्ट रोबोट (मान लीजिए "रोवर") एक निश्चित तरीके से कार्य करता है, तो वह अन्य रोबोटों के देखने और सीखने के अगले तरीके को बदल देता है। यदि रोवर को उसके प्रभाव के बाद हटाया जाता है, तो अन्य रोबोटों ने रोवर के पुराने कार्यों के आधार पर पहले से ही नया डेटा एकत्र कर लिया होगा।

लेखक इसे "इन्फ्लुएंस इको" (Influence Echo - प्रभाव की गूँज) कहते हैं। भले ही आप रोवर के मूल डेटा को हटा दें, रोवर के व्यवहार की "गूँज" अन्य रोबोटों द्वारा एकत्र किए गए नए डेटा में जीवित रहती है। यदि आप केवल रोवर के डेटा को हटाकर मॉडल को शेष डेटा पर फिर से प्रशिक्षित करते हैं, तो मॉडल अनजाने में रोवर की गूँज से भी सीख लेता है। भुला दिया गया व्यवहार फिर से जीवित हो जाता है, जैसे कि कोई ज़ोंबी जो मर नहीं रहा हो। लेखकों ने सिमुलेशन के माध्यम से दिखाया है कि डिलीशन से पहले अन्य रोबोटों ने रोवर से जितना अधिक सीखा है, यह गूँज उतनी ही मजबूत होती जाती है, और "ज़ोंबी" व्यवहार के वापस आने की संभावना उतनी ही अधिक होती है।

समाधान: MUTE (म्यूटिंग अनलर्न्ड ट्रेजेक्टरीज' इकोज़)

इसे ठीक करने के लिए, टीम ने MUTE नामक एक नई विधि प्रस्तावित की। MUTE को एक साधारण इरेज़र के रूप में नहीं, बल्कि एक जासूस, एक क्वारंटाइनर (संगरोधकर्ता), और एक सुरक्षा गार्ड के रूप में सोचें।

1. जासूस (गूँज का पता लगाना):
सबसे पहले, MUTE को यह जानने की आवश्यकता है कि गूँज कहाँ छिपी है। चूंकि रोबोट अपना सारा निजी डेटा एक केंद्रीय सर्वर को नहीं भेज सकते (इससे गोपनीयता भंग होगी), सर्वर एक हल्का "लेजर" (ledger) रखता है—एक सरल लॉगबुक कि कौन सा रोबोट किस समय मस्तिष्क के किस संस्करण को चला रहा था। जब डिलीशन का अनुरोध आता है, तो सर्वर इस लॉगबुक को फिर से चलाकर (replay) हर उस डेटा के लिए एक "इन्फ्लुएंस स्कोर" (Influence Score) की गणना करता है जो अन्य रोबोटों ने एकत्र किया था। यह पूछने जैसा है कि, "यह नया नोट रोवर के पुराने नोट्स पर कितना निर्भर था?" यदि एक नया नोट रोवर से अत्यधिक प्रभावित था, तो उसे उच्च स्कोर मिलता है।

2. क्वारंटाइन (गूँज को शांत करना):
एक बार उच्च स्कोर वाले डेटा की पहचान हो जाने के बाद, MUTE उसे केवल डिलीट नहीं करता (जिससे रोबोटों की काम करने की क्षमता प्रभावित हो सकती है), बल्कि यह दो तरफा हमला करता है:

  • मॉडल क्लीनिंग (Model Cleaning): जिस रोबलेट का मूल डेटा था, वह अपने स्वयं के "एडैप्टर" (मस्तिष्क का एक छोटा, कुशल हिस्सा) को विशेष रूप से अवांछित व्यवहार को भूलने के लिए अपडेट करता है, जिसमें 'नेगेटिव प्रेफरेंस ऑप्टिमाइजेशन' नामक तकनीक का उपयोग किया जाता है। यह रोबोट को यह बताने जैसा है कि, "अब वह विशिष्ट चाल मत चलो।"
  • डेटा क्वारंटाइन (Data Quarantine): अन्य रोबोट अपने स्वयं के डेटा को देखते हैं। यदि उनके पास उच्च "इन्फ्लुएंस स्कोर" वाले नोट्स हैं (अर्थात, वे हटाए गए रोबोट द्वारा आकार दिए गए थे), तो MUTE उन नोट्स को क्वारंटाइन में डाल देता है। उन्हें हटाया नहीं जाता, लेकिन भविष्य के प्रशिक्षण के दौरान उन्हें अनदेखा किया जाता है। कुछ को कम भार (weight) दिया जाता है, जैसे शिक्षक को कहना, "इस नोट को पढ़ें, लेकिन इसे दूसरों की तुलना में उतना महत्व न दें।"

3. सुरक्षा गार्ड (ऑडिटिंग और शेड्यूलिंग):
काम एक सफाई के बाद समाप्त नहीं होता। नेटवर्क सीखता रहता है, इसलिए गूँज वापस आने की कोशिश कर सकती है। MUTE एक सुरक्षा गार्ड के रूप में कार्य करता है, जो लगातार सिस्टम का ऑडिट करता है। यह जाँचता है कि क्या "ज़ोंबी" व्यवहार वापस आ रहा है (जिसे इन्फ्लुएंस रिजनरेशन रेट कहा जाता है)। यदि गार्ड देखता है कि व्यवहार वापस आ रहा है, तो वह अधिक सफाई कार्यों को शेड्यूल करता है, लेकिन वह इसे सावधानी से करता है ताकि "कम्युनिकेशन बजट" के भीतर रहा जा सके—यह सुनिश्चित करते हुए कि रोबोट डेटा ट्रैफ़िक के बोझ से अभिभूत न हों।

उन्होंने क्या पाया

टीम ने MUTE का परीक्षण LIBERO नामक एक बेंचमार्क का उपयोग करके किया, जिसमें रोबर्स को भाषा के निर्देशों के आधार पर वस्तुओं को संचालित करना सिखाया जाता है। उन्होंने दो अलग-अलग रोबोट "मस्तिष्क" (MiniVLA और π0\pi_0) का उपयोग किया और तीन स्तरों पर डिलीशन का परीक्षण किया: एक एकल पथ (ट्रैजेक्टरी) को हटाना, एक पूरे रोबोट का डेटा (क्लाइंट) हटाना, या एक पूरे कार्य प्रकार (टास्क) को हटाना।

परिणाम उत्साहजनक थे। अपने सिमुलेशन और Jetson कंप्यूटरों (जो रोबोटों के लिए शक्तिशाली मिनी-कंप्यूटर की तरह हैं) के भौतिक टेस्टबेड का उपयोग करके, MUTE ने सफलतापूर्वक "ज़ोंबी" व्यवहार को वापस आने से रोका।

  • लो लीकेज (Low Leakage): हटाए गए डेटा को "याद रखने" की सिस्टम की क्षमता लगभग रैंडम स्तर (0.5 के करीब स्कोर) तक गिर गई, जिसका अर्थ है कि डेटा प्रभावी रूप से भुला दिया गया था।
  • कोई पुनर्जन्म नहीं (No Regeneration): मानक रिट्रेनिंग पद्धति के विपरीत, जहाँ भुला दिया गया व्यवहार वापस आ गया था, MUTE ने इन्फ्लुएंस रिजनरेशन रेट (IRR) को बहुत कम रखा। उदाहरण के लिए, MiniVLA मस्तिष्क के साथ एक परीक्षण में, मानक रिट्रेनिंग पद्धति के 0.178 की तुलना में MUTE के साथ पुनर्जन्म दर केवल 0.085 थी।
  • दक्षता (Efficiency): MUTE संचार के मामले में बहुत सस्ता था। जबकि मानक रिट्रेनिंग पद्धति के लिए भारी मात्रा में डेटा अपलोड करने की आवश्यकता थी (MiniVLA के लिए लगभग 234.6 यूनिट ट्रैफ़िक), MUTE को केवल लगभग 53.39 यूनिट की आवश्यकता थी। इसने यह हासिल किया क्योंकि इसने पूरे सिस्टम को शुरू से फिर से प्रशिक्षित करने के बजाय केवल छोटे, लक्षित अपडेट भेजे।

यह शोध पत्र सुझाव देता है कि जबकि साधारण रिट्रेनिंग इन स्व-सुधारने वाले नेटवर्क में विफल रहती है, MUTE डेटा को वास्तव में हटाने का एक विश्वसनीय तरीका प्रदान करता है। यह साबित करता है कि आप नेटवर्क की नई चीजें सीखने की क्षमता को तोड़े बिना, बहुत कम बैंडविड्थ का उपयोग करके, भुला दिए गए डेटा की "गूँज" को हटा सकते हैं। लेखक नोट करते हैं कि यह एक सिमुलेशन और फिजिकल टेस्टबेड परिणाम है, जो दिखाता है कि यह तरीका व्यवहार में काम करता है, लेकिन यह इन विशिष्ट प्रकार के स्व-सुधारने वाले रोबोट नेटवर्क के लिए एक विशेष समाधान बना हुआ है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →