🤖 machine learning

Random Erasing vs. Model Inversion: A Promising Defense or a False Hope?

यह शोधपत्र यह प्रदर्शित करता है कि रैंडम इरेज़िंग (Random Erasing), जो सामान्यीकरण (generalization) में सुधार के लिए पारंपरिक रूप से उपयोग की जाने वाली एक डेटा ऑगमेंटेशन तकनीक है, मॉडल इनवर्जन हमलों के विरुद्ध एक अत्यधिक प्रभावी और सरल रक्षा के रूप में कार्य करती है, क्योंकि यह एक फीचर स्पेस विसंगति (feature space discrepancy) उत्पन्न करती है जो मॉडल की उपयोगिता को बनाए रखते हुए पुनर्निर्माण की गुणवत्ता को कम कर देती है, जिससे अत्याधुनिक प्राइवेसी-यूटिलिटी ट्रेड-ऑफ प्राप्त होता है।

मूल लेखक: Viet-Hung Tran, Ngoc-Bao Nguyen, Son T. Mai, Hans Vandierendonck, Ira Assent, Alex Kot, Ngai-Man Cheung

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Viet-Hung Tran, Ngoc-Bao Nguyen, Son T. Mai, Hans Vandierendonck, Ira Assent, Alex Kot, Ngai-Man Cheung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "Random Erasing vs. Model Inversion: A Promising Defense or a False Hope?" का सरल भाषा और उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: "मेमोरी लीक" (The "Memory Leak")

कल्पना कीजिए कि आपने एक मास्टर शेफ (AI मॉडल) को एक गुप्त पारिवारिक रेसिपी (निजी डेटा) बनाना सीखने के लिए काम पर रखा है। आप शेफ को सामग्री और अंतिम व्यंजन की हजारों तस्वीरें देते हैं ताकि वे सही स्वाद सीख सकें।

एक बार जब शेफ प्रशिक्षित हो जाता है, तो आप चाहते हैं कि वह आपको बताए कि कोई नया व्यंजन "असली" है या "नकली"। हालाँकि, एक चालाक चोर (मॉडल इनवर्जन अटैक) है जो गुप्त रेसिपी चुराना चाहता है। चोर को मूल तस्वीरों को देखने की आवश्यकता नहीं है; उसे बस शेफ से ऐसे सवाल पूछने की ज़रूरत है जैसे, "एक आदर्श टमाटर कैसा दिखता है?" या "प्याज कितना बड़ा होना चाहिए?"

पर्याप्त सवाल पूछकर और शेफ के जवाबों का विश्लेषण करके, चोर धीरे-धीरे सामग्रियों की मूल तस्वीरों को फिर से बनाने (reconstruct करने) में सफल हो जाता है, भले ही उसने कभी उन्हें देखा न हो। यह एक मॉडल इनवर्जन (MI) अटैक है। यह एक गुप्त रेसिपी को केवल अंतिम व्यंजन चखकर उसे रिवर्स-इंजीनियर करने जैसा है।

पुराने समाधान: शेफ को "आंखों पर पट्टी बांधना" (The "Blindfolding" the Chef)

इस चोर को रोकने के पिछले प्रयासों में यह बदलाव करना शामिल था कि शेफ कैसे सीखता है या कैसे सवालों के जवाब देता है:

शोर जोड़ना (Adding Noise): शेफ को कभी-कभी बेतरतीब ढंग से अनुमान लगाने के लिए कहना (डिफरेंशियल प्राइवेसी)।
नियम बदलना (Changing the Rules): शेफ को विशिष्ट विवरण भूलने के लिए मजबूर करना (लॉस फंक्शन में बदलाव)।
दिमाग काटना (Cutting the Brain): शेफ की याददाश्त के हिस्सों को हटा देना (आर्किटेक्चर में बदलाव)।

इन पुराने तरीकों के साथ समस्या यह है कि वे अक्सर शेफ को उनके वास्तविक काम में कमजोर बना देते हैं। यदि आप चोर को रोकने के लिए शेफ की आंखों पर बहुत अधिक पट्टी बांध देते हैं, तो शेफ व्यंजन बनाना भी भूल सकता है। यह एक ट्रेड-ऑफ है: अधिक सुरक्षा का मतलब आमतौर पर कम कौशल होता है।

नया समाधान: "रैंडम इरेज़िंग" (Random Erasing - MIDRE)

इस शोध पत्र के लेखक एक आश्चर्यजनक रूप से सरल तकनीक प्रस्तावित करते हैं जिसे रैंडम इरेज़िंग (RE) कहा जाता है।

कल्पना कीजिए कि आप शेफ को सामग्रियों की तस्वीरों का उपयोग करके सिखा रहे हैं। लेकिन, शेफ को फोटो दिखाने से पहले, आप एक टेप लेते हैं और फोटो के एक चौकोर हिस्से को बेतरतीब ढंग से ढक देते हैं।

कभी आप नाक को ढक देते हैं।
कभी आप आंखों को ढक देते हैं।
कभी आप मुंह को ढक देते हैं।
महत्वपूर्ण बात: आप हर बार फोटो दिखाते समय एक अलग जगह को ढकते हैं।

इस तकनीक को MIDRE (Model Inversion Defense via Random Erasing) कहा जाता है, जो दो जादुई चीजें करती है:

1. चोर भ्रमित हो जाता है (प्राइवेसी बूस्ट)

चोर चेहरे को फिर से बनाने की कोशिश करता है और शेफ से पूछता है, "नाक कैसी दिखती है?"
चूंकि शेफ को उन तस्वीरों पर प्रशिक्षित किया गया था जहाँ नाक कभी ढकी हुई थी, इसलिए शेफ केवल नाक पर निर्भर रहना नहीं सीख सका। शेफ ने पूरे चित्र को देखकर व्यक्ति को पहचानना सीखा, लेकिन इस समझ के साथ कि कुछ हिस्से गायब हो सकते हैं।

जब चोर एक नकली चेहरा बनाने की कोशिश करता है, तो शेफ के जवाब "पैची" (धब्बेदार) प्रशिक्षण डेटा पर आधारित होते हैं। चोर एक ऐसा चेहरा बनाता है जो धुंधला और धब्बेदार दिखता है क्योंकि शेफ ने प्रशिक्षण के दौरान कभी भी एक पूर्ण, बिना मास्क वाला चेहरा नहीं देखा था। चोर एक स्पष्ट, निजी छवि को फिर से बनाने में विफल रहता है।

2. शेफ स्मार्ट हो जाता है (यूटिलिटी बूस्ट)

यहाँ आश्चर्य यह है: शेफ वास्तव में खाना बनाने में बेहतर हो जाता है!
क्योंकि शेफ को टेप के नीचे क्या है इसका अनुमान लगाना पड़ा, इसलिए उसने "शॉर्टकट" (जैसे गाल पर एक विशिष्ट तिल को याद रखना) पर निर्भर रहना छोड़ दिया। इसके बजाय, उसने चेहरे की अनिवार्य विशेषताओं को सीखा। यह शेफ को अधिक मजबूत और सटीक बनाता है, भले ही तस्वीरें एकदम सही हों।

दो गुप्त सामग्रियां

शोध पत्र दो विशिष्ट कारणों पर प्रकाश डालता है कि यह इतना अच्छा क्यों काम करता है:

आंशिक विलोपन (The "Missing Piece"): यदि आप शेफ को केवल 50% तस्वीरें दिखाते हैं लेकिन उन मामलों में पूरी फोटो छिपा देते हैं, तो चोर बाकी हिस्से का अनुमान लगा सकता है। लेकिन यदि आप शेф को 100% तस्वीरें दिखाते हैं, लेकिन प्रत्येक में एक अलग हिस्सा छिपा देते हैं, तो चोर कभी भी पूरी तस्वीर प्राप्त नहीं कर सकता। मॉडल को विशिष्ट पिक्सेल को याद रखने के बजाय "बड़ी तस्वीर" सीखने के लिए मजबूर किया जाता है।
रैंडम लोकेशन (The "Surprise"): यदि आप हमेशा बाईं आंख को छिपाते हैं, तो चोर बस बाईं आंख को अनदेखा करना सीख जाता है। लेकिन क्योंकि आप हर बार एक रैंडम स्थान को छिपाते हैं, इसलिए चोर कभी अनुमान नहीं लगा सकता कि कौन सा हिस्सा गायब है। यह मॉडल को डेटा की अधिक पूर्ण और सामान्य समझ विकसित करने के लिए मजबूर करता है।

परिणाम: जीत-जीत (A Win-Win)

लेखकों ने 37 अलग-अलग परिदृश्यों (विभिन्न प्रकार के AI, विभिन्न डेटासेट और विभिन्न चोर रणनीतियों) पर इसका परीक्षण किया।

चोर का स्कोर: नाटकीय रूप से गिर गया। कुछ मामलों में, चोर की सफलता दर लगभग 90% से गिरकर 20% से नीचे आ गई।
शेफ का स्कोर: समान रहा या थोड़ा बेहतर भी हुआ।

उपमा सारांश:
रसोई का दरवाजा बंद करने के बजाय (जो चोर को रोकता है लेकिन शेफ को काम करने से भी रोकता है), आप बस शेफ को हर बार एक रैंडम धब्बे वाली फोटो थमा देते हैं। चोर गुप्त रेसिपी का पता नहीं लगा सकता क्योंकि सुराग हमेशा बदलते रहते हैं, लेकिन शेफ इतना अच्छा खाना बनाना सीख जाता है कि उसे व्यंजन का स्वाद जानने के लिए पूरी फोटो देखने की भी ज़रूरत नहीं पड़ती।

निष्कर्ष

यह शोध पत्र दावा करता है कि रैंडम इरेज़िंग एक सरल, शक्तिशाली और मुफ्त रक्षा है। इसके लिए जटिल नए गणित या AI के मस्तिष्क की संरचना बदलने की आवश्यकता नहीं है। यह केवल "प्रशिक्षण आहार" (training diet) को थोड़ा बदल देता है। परिणाम एक ऐसा सिस्टम है जो हैक करना बहुत कठिन है, जबकि अपने इच्छित उद्देश्य के लिए उतना ही उपयोगी (या उससे भी अधिक उपयोगी) बना रहता है।

तकनीकी सारांश: रैंडम इरेज़िंग के माध्यम से मॉडल इनवर्जन डिफेंस (MIDRE)

समस्या विवरण
मॉडल इनवर्जन (MI) हमले मशीन लर्निंग में एक गंभीर गोपनीयता खतरे का प्रतिनिधित्व करते हैं, जहाँ हमलावर प्रशिक्षित मॉडलों तक पहुँच का उपयोग करके निजी प्रशिक्षण डेटा (जैसे, चेहरे की छवियां) को पुनर्गठित करने का प्रयास करते हैं। जबकि मौजूदा रक्षा प्रणालियाँ मुख्य रूप से मॉडल-केंद्रित रणनीतियों को अपनाती हैं—जैसे कि लॉस फंक्शन्स (जैसे, BiDO, NLS) को संशोधित करना, मॉडल आर्किटेक्चर (जैसे, TL-DMI, MI-RAD) को बदलना, या डिफरेंशियल प्राइवेसी लागू करना—इन दृष्टिकोणों में अक्सर एक महत्वपूर्ण समझौता होता है: वे गोपनीयता सुरक्षा प्राप्त करने के लिए मॉडल की स्वाभाविक उपयोगिता (सटीकता) को कम कर देते हैं। इसके अलावा, डेटा ऑग्मेंटेशन तकनीकों का MI मजबूती (robustness) पर प्रभाव अभी भी काफी हद तक अनछुआ है।

कार्यप्रणाली: MIDRE
लेखक मॉडल इनवर्जन डिफेंस वाया रैंडम इरेज़िंग (MIDRE) का प्रस्ताव करते हैं, जो एक डेटा-केंद्रित रक्षा तंत्र है जो रैंडम इरेज़िंग (RE) का लाभ उठाता है, जो पारंपरिक रूप से ऑक्लूजन (occlusion) के विरुद्ध मॉडल के सामान्यीकरण (generalization) को सुधारने के लिए उपयोग किया जाता है।

तंत्र (Mechanism): प्रशिक्षण चरण के दौरान, यह विधि निजी प्रशिक्षण नमूनों पर एक वर्गाकार क्षेत्र विलोपन (square region erasure) रणनीति लागू करती है। एक यादृच्छिक शुरुआती बिंदु $(x_e, y_e)$ चुना जाता है, और एक $\sqrt{s_{RE}} \times \sqrt{s_{RE}}$ आकार के वर्गाकार क्षेत्र को मास्क (ImageNet माध्य पिक्सेल मानों से भरा हुआ) किया जाता है। विलोपन अनुपात $a_e$ (छवि का वह भाग जिसे मिटाया गया है) को एक एकल हाइपरपैरामीटर द्वारा नियंत्रित किया जाता है।
प्रशिक्षण उद्देश्य (Training Objective): अन्य रक्षा प्रणालियों के विपरीत, MIDRE न तो प्रशिक्षण लॉस फंक्शन को बदलता है और न ही मॉडल के आर्किटेक्चर को। प्रशिक्षण उद्देश्य मानक (जैसे, क्रॉस-एन्ट्रॉपी) रहता है, लेकिन मॉडल को प्रस्तुत किया जाने वाला इनपुट डेटा प्रत्येक इटरेशन में आंशिक रूप से मास्क किया जाता है।
प्रमुख गुण: यह विधि RE के दो विशिष्ट गुणों पर निर्भर करती है:
1. आंशिक विलोपन (Partial Erasure): मॉडल को प्रशिक्षण के दौरान पूरे ऑब्जेक्ट को देखने से रोकता है, जिससे मॉडल के वेट्स (weights) में एनकोडेड निजी जानकारी की मात्रा कम हो जाती है।
2. यादृच्छिक स्थान (Random Location): यह सुनिश्चित करता है कि विलोपन क्षेत्र प्रत्येक इटरेशन में बदलता रहे, जिससे प्रशिक्षण डेटा की विविधता बनी रहती है और मॉडल को निश्चित ऑक्लूजन के आधार पर "शॉर्टकट" फीचर्स सीखने से रोका जा सके।

फीचर स्पेस विश्लेषण
पेपर रक्षा की प्रभावशीलता को समझाने के लिए एक नया फीचर स्पेस विश्लेषण प्रदान करता है:

विसंगति निर्माण (Discrepancy Creation): MIDRE के साथ प्रशिक्षित मॉडल RE-प्राइवेट इमेज (मास्क किया गया प्रशिक्षण डेटा) की ओर झुके हुए फीचर रिप्रेजेंटेशन सीखते हैं, न कि मूल निजी छवियों की ओर।
हमले का क्षरण (Attack Degradation): MI हमलों का लक्ष्य ऐसी छवियों का पुनर्निर्माण करना है जो लक्षित मॉडल के तहत संभावना (likelihood) को अधिकतम करती हैं। फलस्वरूप, पुनर्गठित छवियां ( $f_{recon}$ ) प्रशिक्षण डेटा ( $f_{RE}$ ) के फीचर्स के साथ निकटता से संरेखित होती हैं।
बेमेल (The Mismatch): चूंकि प्रशिक्षण डेटा ( $f_{RE}$ ) निजी डेटा ( $f_{priv}$ ) का एक मास्क किया गया संस्करण है, इसलिए पुनर्गठित छवियों और वास्तविक निजी छवियों के फीचर्स के बीच एक महत्वपूर्ण विसंगति होती है। यह बेमेल हमले को निजी डेटा के फीचर्स को सटीक रूप से दोहराने से रोकता है।
उपयोगिता संरक्षण (Utility Preservation): $f_{RE}$ और $f_{priv}$ के बीच विसंगति के बावजूद, निजी छवियां अन्य वर्गों से अलग और फीचर स्पेस में अच्छी तरह से विभाजित रहती हैं, जिससे मॉडल उच्च प्राकृतिक वर्गीकरण सटीकता बनाए रखने में सक्षम होता है।

प्रमुख योगदान

नया रक्षा तंत्र: MIDRE पहला कार्य है जो MI हमलों के खिलाफ गोपनीयता सुरक्षा तंत्र के रूप में रैंडम इरेज़िंग का उपयोग करता है, यह प्रदर्शित करते हुए कि एक सरल डेटा ऑग्मेंटेशन तकनीक प्रभावी रूप से हमले की सटीकता को कम कर सकती है।
फीचर स्पेस अंतर्दृष्टि: लेखक यह विश्लेषण प्रदान करते हैं कि यह रक्षा कैसे काम करती है: यह पुनर्गठित और निजी छवियों के बीच एक फीचर स्पेस विसंगति पैदा करके काम करती है, जबकि उपयोगिता के लिए क्लास सेपरेबिलिटी (class separability) बनाए रखती है।
गुण विश्लेषण: अध्ययन ने "आंशिक विलोपन" (निजी जानकारी के प्रदर्शन को कम करना) और "यादृच्छिक स्थान" (उपयोगिता बनाए रखना) के महत्व को गोपनीयता-उपयोगिता ट्रेड-ऑफ के चालक के रूप में अलग और मान्य किया है।
व्यापक मूल्यांकन: इस पद्धति का 37 प्रयोगात्मक सेटअपों में मूल्यांकन किया गया है, जिसमें 9 अत्याधुनिक (SOTA) MI हमले (व्हाइट-बॉक्स, ब्लैक-बॉक्स, और लेबल-ओनली), 11 नेटवर्क आर्किटेक्चर (विज़न ट्रांसफॉर्मर सहित), और विभिन्न रिज़ॉल्यूशन (64×64 से 224×224) के साथ 6 डेटासेट शामिल हैं।

प्रायोगिक परिणाम

गोपनीयता-उपयोगिता ट्रेड-ऑफ: व्यापक प्रयोगों से पता चलता है कि MIDRE गोपनीयता-उपयोगिता ट्रेड-ऑफ में स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन प्राप्त करता है।
हमले में कमी: यह विधि MI हमले की सटीकता को काफी कम कर देती है। उदाहरण के लिए, उच्च-रिज़ॉल्यूशन सेटिंग्स (224×224) में, MIDRE ने प्राकृतिक मॉडल सटीकता को 0.37% बढ़ाकर, हमले की सटीकता को 69.39% तक (सेटअप 4 में) कम कर दिया।
SOTA के साथ तुलना: विभिन्न आर्किटेक्चर (ResNet, DenseNet, MaxViT, Inception) और हमलों (PPA, MIRROR, IF-GMI, LOMMA) में, MIDRE ने लगातार मौजूदा रक्षा प्रणालियों जैसे BiDO, NLS, TL-DMI और MI-RAD को पछाड़ दिया।
एब्लेशन अध्ययन (Ablation Studies):
- पूर्ण बनाम संपूर्ण विलोपन: प्रशिक्षण युगों (epochs) की संख्या को कम करना ("संपूर्ण विलोपन" का अनुकरण करना) आंशिक विरूपण की तुलना में कम प्रभावी था।
- यादृच्छिक बनाम स्थिर स्थान: रैंडम लोकेशन विलोपन ने समान हमले प्रतिरोध बनाए रखते हुए फिक्स्ड लोकेशन विलोपन की तुलना में उच्च मॉडल सटीकता प्रदान की।
- संयोजकता (Combinability): MIDRE मौजूदा मॉडल-केंद्रित रक्षाओं के पूरक के रूप में कार्य करता है। BiDO या NLS के साथ MIDRE को मिलाने से हमले की सटीकता में और अधिक कमी आई (जैसे, एक सेटअप में 3.75% तक नीचे), जबकि उपयोगिता को संरक्षित या सुधारा गया।

महत्व और दावे
पेपर का दावा है कि MIDRE एक सरल लेकिन प्रभावी रक्षा प्रदान करता है जिसे मौजूदा गोपनीयता-संरक्षण तकनीकों के साथ आसानी से एकीकृत किया जा सकता है। इसका प्राथमिक महत्व कई कॉन्फ़िगरेशन में मॉडल की उपयोगिता को कम किए बिना (और कुछ मामलों में, उपयोगिता में सुधार करते हुए) MI हमले की सटीकता में महत्वपूर्ण गिरावट लाने में निहित है। लेखक इसे जटिल मॉडल-केंद्रित संशोधनों से एक सीधे डेटा-केंद्रित दृष्टिकोण की ओर एक प्रतिमान बदलाव (paradigm shift) के रूप में देखते हैं, जो सफल मॉडल इनवर्जन के लिए आवश्यक सूचना प्रवाह को प्रभावी ढंग से बाधित करता है।