DIME: Query-Efficient Framework for Membership Inference on Diffusion Models
यह शोध पत्र DIME को प्रस्तुत करता है, जो डिफ्यूजन मॉडल्स पर मेंबरशिप इन्फरेंस के लिए एक सैद्धांतिक रूप से सुदृढ़ और अत्यधिक क्वेरी-कुशल फ्रेमवर्क है, जो केवल दो क्वेरी के साथ मौजूदा हमलों से काफी बेहतर प्रदर्शन करने के लिए डिनोइज़र रिकंस्ट्रक्शन एरर और स्थानीय ज्यामिति का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, डिफ्यूजन मॉडल (diffusion models) नामक एक विशिष्ट वर्ग के सिस्टम ऑनलाइन देखी जाने वाली कई सबसे शानदार छवियों के पीछे का इंजन बन गए हैं। ये सिस्टम रैंडम स्टैटिक (random static) से शुरुआत करके और शोर (noise) को धीरे-धीरे हटाकर नई तस्वीरें बनाना सीखते हैं, जब तक कि एक स्पष्ट छवि उभर न आए। ऐसा करने के लिए, उन्हें मौजूदा तस्वीरों के विशाल संग्रह पर प्रशिक्षित किया जाता है, जिससे वे उन सांख्यिकीय पैटर्न को सीखते हैं जो एक छवि को दूसरी छवि से जोड़ते हैं। हालांकि इन मॉडलों को कला उत्पन्न करने की उनकी क्षमता के लिए सराहा जाता है, लेकिन उनकी सफलता के साथ ही एक शांत गोपनीयता संबंधी चिंता भी उभरी है। चूंकि मॉडल को प्रशिक्षित करने के लिए उपयोग किए गए फोटोग्राफ्स की विशिष्ट सूची शायद ही कभी सार्वजनिक की जाती है, इसलिए यह जानना कठिन है कि क्या किसी व्यक्ति की निजी फोटो उस प्रशिक्षण सेट (training set) में शामिल थी। यह कई कारणों से महत्वपूर्ण है: यह पुष्टि करना कि किसी व्यक्ति के मेडिकल या बायोमेट्रिक डेटा का उपयोग किया गया था, अपने आप में गोपनीयता का उल्लंघन हो सकता है, और वर्तमान डेटा संरक्षण कानूनों के तहत, व्यक्तियों के पास अपने डेटा को हटाने का अनुरोध करने का अधिकार है, फिर भी अक्सर यह सत्यापित करने का कोई तरीका नहीं होता कि मॉडल ने वास्तव में उन्हें भुला दिया है या नहीं। इसके अलावा, यदि किसी मॉडल ने केवल एक सामान्य शैली सीखने के बजाय किसी विशिष्ट कॉपीराइट वाली छवि को याद कर लिया है, तो यह कानूनी सवाल उठाता है कि उसके द्वारा बनाई गई नई छवियों का स्वामित्व किसके पास है।
वर्षों से, शोधकर्ता इस प्रश्न का उत्तर देने के लिए उपकरण बनाने का प्रयास कर रहे हैं कि क्या कोई विशिष्ट छवि उनके मॉडल के प्रशिक्षण डेटा का हिस्सा थी। सदस्यता अनुमान हमलों (membership inference attacks) के रूप में जाने जाने वाले इन प्रयासों ने काफी हद तक अंतर्ज्ञान (intuition) पर भरोसा किया है। शोधकर्ता अनुमान लगाते थे कि यदि मॉडल ने पहले किसी छवि को देखा है, तो वह एक ऐसी छवि की तुलना में जो उसने पहले कभी नहीं देखी, उस पर थोड़ा अलग तरीके से प्रतिक्रिया दे सकता है। उन्होंने विभिन्न संकेतों का परीक्षण किया, जैसे कि मॉडल ने छवि के शोर वाले संस्करण को साफ करने की कोशिश करते समय कितनी त्रुटि की। हालांकि, ये तरीके अक्सर अनिश्चित रहे, इनके लिए मॉडल से बड़ी संख्या में प्रश्न पूछने की आवश्यकता होती थी, और इनमें यह समझाने के लिए कोई ठोस सैद्धांतिक आधार नहीं था कि वे क्यों काम करते हैं। वे सुई के आकार को समझने के बजाय, घास के ढेर में से यह अनुमान लगाने की कोशिश करने जैसे थे कि घास का कौन सा हिस्सा नुकीला हो सकता है।
इलिनोइस विश्वविद्यालय, अर्बाना-शैंपेन की एक शोध टीम ने अब इस समस्या को पूरी तरह से एक अलग दृष्टिकोण से हल किया है। संकेतों के उपयोगी होने का अनुमान लगाने के बजाय, उन्होंने गणितीय रूप से यह निकालने से शुरुआत की कि सबसे अच्छा संभावित संकेत कैसा दिखेगा। उन्होंने एक मौलिक प्रश्न पूछा: यदि एक डिफ्यूजन मॉडल को छवियों के एक सीमित सेट पर प्रशिक्षित किया गया है, तो किसी भी दी गई तस्वीर के लिए आदर्श, सैद्धांतिक फलन (function) क्या होगा जो शोर को हटाता है? इसे गणितीय रूप से हल करके, उन्होंने पाया कि मॉडल का व्यवहार एक विशिष्ट प्रकार के औसत (averaging) द्वारा नियंत्रित होता है। जब मॉडल एक शोर वाली छवि को देखता है, तो वह अनिवार्य रूप से पूछता है, "मेरे प्रशिक्षण चित्रों में से कौन सा इस छवि को उत्पन्न कर सकता था?" और फिर वह जवाबों को मिला देता है, उन्हें इस आधार पर वेट (weight) देता है कि प्रत्येक प्रशिक्षण छवि वर्तमान शोर के साथ कितनी निकटता से मेल खाती है।
इस सैद्धांतिक अंतर्दृष्टि ने खुलासा किया कि मॉडल का व्यवहार दो अलग-अलग सुरागों को दर्शाता है कि क्या कोई छवि उसके प्रशिक्षण सेट का हिस्सा थी। पहला सुराग है जिसे शोधकर्ता 'बायस टर्म' (bias term) कहते हैं। यह मापता है कि मूल छवि के लिए मॉडल का सबसे अच्छा अनुमान, परीक्षण की जा रही छवि से कितना दूर है। यदि छवि प्रशिक्षण सेट में थी, तो मॉडल का अनुमान स्वयं छवि के बहुत करीब होगा। यदि छवि पहले कभी नहीं देखी गई, तो अनुमान संभवतः उससे दूर होगा। यह सिग्नल पहले के शोधकर्ताओं द्वारा जाना जाता था, जिन्होंने अपने हमलों के निर्माण के लिए इसका उपयोग किया था। हालांकि, शोधकर्ताओं के गणितीय व्युत्पत्ति ने दूसरा, पहले से अनदेखा किया गया सुराग खोजा: एक 'क्राउडिंगिंग टर्म' (crowding term)। यह मापता है कि जिस बिंदु पर मॉडल अनुमान लगा रहा है, उसके आसपास समान प्रशिक्षण छवियां कितनी सघन रूप से पैक हैं। कल्पना कीजिए कि एक मैदान में लोगों की भीड़ खड़ी है। यदि आप अकेले खड़े हैं, तो आपके आस-पास के लोग दूर हैं। यदि आप एक घने समूह में हैं, तो आपके आस-पास के लोग बहुत करीब हैं। शोधकर्ताओं ने पाया कि भले ही मॉडल का अनुमान सटीक हो, लेकिन उस अनुमान के आसपास प्रशिक्षण छवियां कैसे क्लस्टर (cluster) बनाती हैं, वह एक शक्तिशाली, स्वतंत्र संकेत प्रदान करता है। एक नॉन-मेंबर (non-member) छवि गलती से ऐसे स्थान पर आ सकती है जहाँ मॉडल का अनुमान करीब हो, लेकिन यदि उस अनुमान के लिए जिम्मेदार प्रशिक्षण छवियां बिखरी हुई हैं, तो मॉडल का आंतरिक तर्क यह उजागर कर देता है कि छवि नई है।
बायस और क्राउडिंगिंग के इस दोहरे बोध का उपयोग करते हुए, टीम ने एक नया हमला विकसित किया जिसे वे DIME कहते हैं। यह विधि अविश्वसनीय रूप से कुशल होने के लिए डिज़ाइन की गई है। पिछले हमलों में विश्वसनीय उत्तर प्राप्त करने के लिए अक्सर मॉडल से दर्जनों प्रश्न पूछने की आवश्यकता होती थी, जो वास्तविक दुनिया के परिदृश्यों में धीमा और महंगा है जहाँ कंपनियां प्रति क्वेरी शुल्क लेती हैं या प्रश्नों की संख्या सीमित करती हैं। इसके विपरीत, DIME केवल दो प्रश्नों के साथ परिणाम प्राप्त कर सकता है। यह काम करता है क्योंकि यह मॉडल को प्रश्न वाली छवि और फिर उसी छवि के थोड़े बदले हुए संस्करणों को देखने के लिए कहता है। इन दृश्यों के बीच मॉडल के भविष्यवाणियों में बदलाव की तुलना करके, यह विधि मॉडल के आंतरिक कोड को देखे बिना या किसी अन्य मॉडल को फिर से प्रशिक्षित किए बिना दोनों बायस और क्राउडिंगिंग सिग्नल्स की गणना कर सकती है।
शोधकर्ताओं ने छोटे, सरल चित्रों से लेकर चेहरों और विविध दृश्यों की बड़ी, जटिल तस्वीरों तक, विभिन्न प्रकार के इमेज डेटासेट्स पर इस नए दृष्टिकोण का परीक्षण किया। हर मामले में, DIME ने मौजूदा सर्वोत्तम तरीकों को पछाड़ दिया। कुछ डेटासेट्स पर, यह पिछले सर्वोत्तम तरीके की तुलना में तीन गुना अधिक बार प्रशिक्षण छवियों की सही पहचान करने में सक्षम था, जबकि इसने प्रश्नों का एक छोटा हिस्सा ही उपयोग किया। उल्लेखनीय रूप से, हमले का वह संस्करण जिसने केवल दो प्रश्न उपयोग किए, अक्सर तीस प्रश्न उपयोग करने वाले अन्य हमलों के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करने में सक्षम था। यह दक्षता महत्वपूर्ण है क्योंकि इसका अर्थ है कि यह हमला उन वास्तविक दुनिया के सिस्टम के खिलाफ व्यावहारिक है जो पहुंच को सीमित करके खुद को बचाने की कोशिश कर सकते हैं। शोधकर्ताओं ने अपने तरीके का परीक्षण 'डिफरेंशियल प्राइवेसी' (differential privacy) नामक एक मानक गोपनीयता रक्षा के विरुद्ध भी किया, जिसे गणितीय रूप से यह गारंटी देने के लिए डिज़ाइन किया गया है कि कोई भी एकल प्रशिक्षण छवि मॉडल को बहुत अधिक प्रभावित नहीं कर सकती है। उन्होंने पाया कि जब यह रक्षा सक्रिय थी, तो हमला पूरी तरह से विफल हो गया, जिससे इसकी सफलता दर रैंडम गेसिंग (random guessing) के स्तर तक गिर गई। यह पुष्टि करता है कि हालांकि यह नया तरीका असुरक्षित मॉडलों के खिलाफ शक्तिशाली है, मौजूदा गणितीय रक्षाएं प्रभावी बनी हुई हैं।
इस कार्य का महत्व केवल इस तथ्य में नहीं है कि यह एक बेहतर हमला है, बल्कि इसमें भी है कि यह इन सिस्टम्स के बारे में हमारी समझ को कैसे बदलता है। एक आदर्श मॉडल के सैद्धांतिक विवरण से शुरुआत करके, शोधकर्ताओं ने दिखाया कि गोपनीयता जोखिम यादृच्छिक विचित्रताएं (random quirks) नहीं हैं, बल्कि वे कैसे इन मॉडलों को प्रशिक्षित किया जाता है, इसकी संरचना में ही निर्मित हैं। उन्होंने सिद्ध किया कि मॉडल का व्यवहार एक पता लगाने योग्य निशान छोड़ता है जिसे दो पूरक तरीकों से मापा जा सकता है। यह एक स्पष्ट, गणितीय रूप से आधारित स्पष्टीकरण प्रदान करता है कि सदस्यता अनुमान (membership inference) क्यों काम करता है और भविष्य में बेहतर सुरक्षा बनाने के लिए एक ब्लूप्रिंट भी प्रदान करता है। यह अध्ययन प्रदर्शित करता है कि सबसे परिष्कृत जनरेटिव मॉडल भी ऑडिट किए जाने से अछूते नहीं हैं, और यह समझना कि उनके सीखने की सटीक प्रक्रिया क्या है, उनकी कमजोरियों को उजागर करने और उन्हें सुरक्षित करने दोनों की कुंजी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।