💻 computer science

From Measurement to Mitigation: Quantifying and Reducing Identity Leakage in Image Representation Encoders with Linear Subspace Removal

यह शोध पत्र फ्रोजन विजुअल एनकोडर्स के लिए एक व्यापक गोपनीयता ऑडिट फ्रेमवर्क पेश करता है और एक वन-शॉट लीनियर प्रोजेक्टर, आइडेंटिटी सैनिटाइजेशन प्रोजेक्शन (ISP) का प्रस्ताव करता है, जो रिट्रीवल और सर्च जैसे गैर-बायोमेट्रिक कार्यों के लिए उपयोगिता बनाए रखते हुए चेहरे वाली छवियों में पहचान रिसाव को प्रभावी ढंग से कम करता है।

मूल लेखक: Daniel George, Charles Yeh, Daniel Lee, Yifei Zhang

प्रकाशित 2026-04-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniel George, Charles Yeh, Daniel Lee, Yifei Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट कैमरा है जो न केवल तस्वीरें लेता है, बल्कि हर फोटो को एक अद्वितीय डिजिटल फिंगरप्रिंट (संख्याओं की एक सूची) में बदल देता है। इस फिंगरप्रिंट का उपयोग समान फोटो खोजने, किसी दस्तावेज़ की वास्तविकता की जांच करने या आपकी फोटो लाइब्रेरी को व्यवस्थित करने के लिए किया जाता है।

समस्या क्या है? भले ही यह कैमरा वस्तुओं (जैसे कार, पेड़ या बिल्ली) को समझने के लिए बनाया गया था, इसने अनजाने में लोगों को भी पहचानना सीख लिया। यदि आप यह फिंगरप्रिंट किसी हैकर को सौंप देते हैं, तो वे यह पता लगाने में सक्षम हो सकते हैं कि फोटो में वास्तव में कौन है, भले ही आप नहीं चाहते हों कि उन्हें यह पता चले। इसे आइडेंटिटी लीकेज (Identity Leakage) कहा जाता है।

यह शोध पत्र डिजिटल सुरक्षा विशेषज्ञों की एक टीम की तरह है जिन्होंने पूछा: "इन फिंगरप्रिंट्स में किसी व्यक्ति की पहचान कितनी छिपी हुई है, और क्या हम इसे कैमरे की अपनी क्षमता को नुकसान पहुँचाए बिना मिटा सकते हैं?"

यहाँ उनके काम का विवरण कुछ रोजमर्रा के उदाहरणों के माध्यम से दिया गया है:

1. समस्या: "अति-सतर्क" लाइब्रेरियन

कल्पना कीजिए कि एक लाइब्रेरियन (AI) को किताबों को उनकी शैली (genre) के आधार पर व्यवस्थित करने के लिए काम पर रखा गया है। लेकिन, क्योंकि वह इतनी बुद्धिमान है, वह हर कवर पर लेखक का चेहरा भी याद कर लेती है।

जोखिम: यदि आप उससे पूछते हैं, "मुझे इस लेखक की एक किताब ढूंढ कर दो," तो वह तुरंत ऐसा कर सकती है। लेकिन अगर आप सिर्फ "साइंस फिक्शन" खोजना चाहते थे, तो वह अनजाने में किताबों को जिस तरह से व्यवस्थित करती है, उसके माध्यम से लेखक की पहचान उजागर कर सकती है।
वास्तविकता: आधुनिक AI मॉडल (जैसे CLIP या DINO) इस लाइब्रेरियन की तरह हैं। वे समान छवियों को खोजने में बेहतरीन हैं, लेकिन वे अनजाने में अपने डेटा के भीतर एक "फेस फाइल" (चेहरे की फाइल) भी रखते हैं।

2. जांच: "प्राइवेसी ऑडिट"

समस्या को ठीक करने से पहले, टीम को यह मापने की आवश्यकता थी कि यह कितनी गंभीर थी। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने सिस्टम का परीक्षण करने के लिए हैकर्स की तरह काम किया।

"लो-फॉल्स-अलार्म" टेस्ट: उन्होंने फोटो में लोगों की पहचान करने की कोशिश की लेकिन नियम इतने सख्त रखे कि वे केवल तभी मैच स्वीकार करेंगे जब वे 99.99% सुनिश्चित हों।
- परिणाम: "फेस रिकग्निशन" मॉडल (जो चेहरे पहचानने के लिए बने हैं) स्पष्ट रूप से दोषी थे। लेकिन "जनरल" मॉडल (जो वस्तुओं के लिए बने हैं) भी इसमें आश्चर्यजनक रूप से अच्छे थे, विशेष रूप से CLIP। यह ऐसा था जैसे यह पता चलना कि लाइब्रेरियन चुपके से हर लेखक का फोटो एल्बम रख रही थी।
"फेस रिकंस्ट्रक्शन" टेस्ट: उन्होंने डिजिटल फिंगरप्रिंट का उपयोग करके AI के माध्यम से व्यक्ति के चेहरे को फिर से बनाने (ड्रॉ करने) की कोशिश की।
- परिणाम: समर्पित फेस मॉडल्स के लिए, वे एक सटीक चेहरा बना सके। जनरल मॉडल्स के लिए, ड्राइंग धुंधली और अपरिचित आकृतियों (blobs) जैसी निकली। यह अच्छी खबर थी! इसका मतलब था कि "फेस फाइल" मूल रूप से बहुत मजबूत नहीं थी।

3. समाधान: "आइडेंटिटी इरेज़र" (ISP)

टीम ने आइडेंटिटी सैनिटाइजेशन प्रोजेक्शन (ISP) नामक एक उपकरण का आविष्कार किया। इसे एक डिजिटल छलनी या प्राइवेसी फिल्टर के रूप में समझें।

यह कैसे काम करता है:
कल्पना कीजिए कि डिजिटल फिंगरप्रिंट कई सामग्रियों (रंग, आकार, चेहरे, बैकग्राउंड) से बना एक विशाल, जटिल स्मूदी (smoothie) है।
1. टीम उस स्मूदी का विश्लेषण करती है और महसूस करती है कि "चेहरे का स्वाद" (face flavor) केवल कुछ विशिष्ट सामग्रियों (एक छोटे सबस्पेस) में केंद्रित है।
2. वे एक फिल्टर (ISP प्रोजेक्टर) बनाते हैं जो केवल उन विशिष्ट "चेहरे की सामग्रियों" को हटा देता है।
3. महत्वपूर्ण बात: वे अन्य सभी सामग्रियों (बैकग्राउंड, लाइटिंग, ऑब्जेक्ट शेप्स) को बिल्कुल वैसा ही छोड़ देते हैं जैसा वे हैं।
परिणाम:
- प्राइवेसी: यदि आप अब उस व्यक्ति की पहचान करने के लिए "चेहरे की सामग्रियों" का उपयोग करने की कोशिश करते हैं, तो छलनी ने उन्हें हटा दिया है। हैकर को केवल एक "संयोग" वाला परिणाम मिलेगा (जैसे टोपी में से नाम का अनुमान लगाना)।
- उपयोगिता (Utility): स्मूदी बाकी सब चीजों के लिए वैसी ही रहती है! आप अभी भी समान कारों को खोज सकते हैं, कॉपी-पेस्ट की गई छवियों का पता लगा सकते हैं, या दृश्यों के आधार पर फोटो को व्यवस्थित कर सकते हैं। "चेहरा" चला गया है, लेकिन "उपयोगिता" बनी हुई है।

4. "यूनिवर्सल फिल्टर" की खोज

सबसे शानदार खोजों में से एक यह थी कि यह फिल्टर पोर्टेबल है।

उन्होंने फिल्टर को डेटासेट A (जैसे सेलिब्रिटी डेटाबेस) के फोटो का उपयोग करके बनाया।
फिर उन्होंने उसी फिल्टर को डेटासेट B (लोगों का एक अलग सेट) पर लागू किया।
जादू: यह पूरी तरह से काम कर गया! इसका मतलब है कि AI के मस्तिष्क का "चेहरा वाला हिस्सा" सार्वभौमिक (universal) है। आपको हर नए समूह के लोगों के लिए नया फिल्टर बनाने की आवश्यकता नहीं है; एक ही फिल्टर सभी के डेटा को सैनिटाइज कर सकता है।

5. यह क्यों महत्वपूर्ण है

वास्तविक दुनिया में, कंपनियों (जैसे बैंक या सोशल मीडिया) को यह जांचने की आवश्यकता होती है कि फोटो असली है या नहीं, या क्या दो फोटो एक ही हैं, लेकिन अक्सर वे सख्त गोपनीयता कानूनों (जैसे GDPR) के कारण चेहरे की पहचान (facial recognition) का उपयोग नहीं कर सकते।

इस पेपर से पहले: वे फंस गए थे। वे शक्तिशाली AI टूल्स का उपयोग नहीं कर सकते थे क्योंकि उन्हें डर था कि वे अनजाने में निजी चेहरे का डेटा लीक कर सकते हैं।
इस पेपर के बाद: वे इन शक्तिशाली टूल्स का उपयोग कर सकते हैं, उन्हें ISP फिल्टर से गुजार सकते हैं, और इस बात का भरोसा रख सकते हैं कि "चेहरा" गणितीय रूप से हटा दिया गया है, जबकि टूल अपने निर्धारित काम के लिए बेहतरीन तरीके से काम करता रहेगा।

सारांश उपमा

AI मॉडल को एक हाई-टेक सुरक्षा गार्ड के रूप में सोचें।

समस्या: गार्ड चेहरों को पहचानने में इतना अच्छा है कि वह किसी के भी पूछने पर व्यक्ति का नाम फुसफुसाने से खुद को रोक नहीं पाता, भले ही आप सिर्फ यह जानना चाहते थे कि उन्होंने लाल शर्ट पहनी है या नहीं।
समाधान: टीम ने गार्ड के मुंह पर मुंह बंद करने वाला यंत्र (muzzle) लगा दिया (ISP फिल्टर)। गार्ड अब नाम नहीं फुसफुसा सकता (पहचान), लेकिन वह अभी भी लाल शर्ट को पहचान सकता है, नकली आईडी की जांच कर सकता है और भीड़ को व्यवस्थित कर सकता है। वह अभी भी उपयोगी है, लेकिन अब वह एक निजी वातावरण में सुरक्षित है।

यह पेपर साबित करता है कि हम हमारे पास केक (शक्तिशाली AI) भी हो सकता है और हम उसे खा भी सकते हैं (प्राइवेसी), जब तक कि हमें खतरनाक हिस्सों को काटने का तरीका पता हो।

यहाँ शोध पत्र "From Measurement to Mitigation: Quantifying and Reducing Identity Leakage in Image Representation Encoders with Linear Subspace Removal" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

फ्रोजन विजुअल एनकोडर्स (जैसे, CLIP, DINOv2/v3, SSCD) का उपयोग रिट्रीवल (retrieval), इंटीग्रिटी चेक और डुप्लिकेट डिटेक्शन के लिए व्यापक रूप से किया जाता है। हालाँकि, जब इन्हें चेहरे वाले डेटा पर लागू किया जाता है, तो ये मॉडल अनजाने में बायोमेट्रिक पहचान (biometric identity) की जानकारी को एनकोड कर देते हैं, जिससे गोपनीयता जोखिम उत्पन्न होते हैं।

अंतराल (The Gap): जबकि फेस रिकग्निशन (FR) सिस्टम बायोमेट्रिक होने के लिए डिज़ाइन किए गए हैं, गैर-FR एनकोडर्स नहीं हैं। इन एनकोडर्स के लिए वर्तमान गोपनीयता ऑडिट अपर्याप्त हैं क्योंकि वे लो फ़ाल्स एक्सेप्ट रेट (low False Accept Rates - FAR) पर क्लोज्ड-सेट सटीकता या गुणात्मक सैलिएंसी मैप्स के बजाय अटैकर-कैलिब्रेटेड, ओपन-सेट मेट्रिक्स पर निर्भर करते हैं।
जोखिम (The Risk): ऑपरेटरों के पास यह निर्धारित करने का कोई प्रमाणित तरीका नहीं है कि क्या इन एम्बेडिंग्स का उपयोग बिना स्पष्ट बायोमेट्रिक सहमति के (जैसे, GDPR, CCPA के तहत) सुरक्षित रूप से किया जा सकता है। परिचालन थ्रेसहोल्ड (जैसे, $FAR \approx 10^{-4}$ ) पर पहचान रिसाव (identity leakage) को मापने और उपयोगिता (utility) को बनाए रखते हुए एक तैनात करने योग्य शमन (mitigation) प्रदान करने की आवश्यकता है।

2. कार्यप्रणाली (Methodology)

लेखक एक दोहरे दृष्टिकोण का प्रस्ताव करते हैं: रिसाव को मापने के लिए एक व्यापक मापन सूट (measurement suite) और पहचान की जानकारी को हटाने के लिए एक शमन तकनीक (mitigation technique)।

A. मापन सूट (Attacker-Aware Audit)

शोध पत्र एक बेंचमार्क पेश करता है जो यथार्थवादी एडवरसैरियल परिदृश्यों का अनुकरण करने के लिए डिज़ाइन किया गया है:

लो FAR पर ओपन-सेट वेरिफिकेशन: अनदेखी पहचान (unseen identities) पर बहुत कम FAR ( $10^{-4}$ ) पर ट्रू एक्सेप्टेंस रेट (TAR) को मापने के लिए लीनियर प्रोब्स (Ridge regression) और प्रोजेक्शन-ओनली MLPs का उपयोग करता है। यह परीक्षण करता है कि क्या पहचान एम्बेडिंग स्पेस में लीनियर रूप से सुलभ है।
कैलिब्रेटेड टेम्पलेट इनवर्जन (Calibrated Template Inversion): यह मूल्यांकन करता है कि क्या एक हमलावर डिफ्यूजन प्रायर्स (DiffMI) या अन्य जेनेरेटिव हमलों (Bob, Vec2Face, ALSUV) का उपयोग करके एम्बेडिंग से चेहरा पुनर्गठित कर सकता है। सफलता का निर्णय क्रॉस-मॉडल FR वेरिफिकेशन के माध्यम से किया जाता है।
फेस-कॉन्टेक्स्ट एट्रीब्यूशन (Face–Context Attribution): यह समझने के लिए कि पहचान कहाँ रहती है, लेखक विभिन्न इमेज क्रॉप्स के बीच निष्पक्ष तुलना सुनिश्चित करने के लिए तीन डायग्नोस्टिक्स के साथ फेस कवरेज रेशियो (FCR) नॉर्मलाइजेशन पेश करते हैं:
- FII (Face Importance Index): चेहरे को और बैकग्राउंड को हटाने पर समानता में आने वाली गिरावट के अंतर को मापता है।
- CPI (Context Preference Index): ट्रैक करता है कि एक ब्लर किए गए चेहरे के लिए कॉन्टेक्स्ट-मैच्ड इमेज को पहचान-मैच्ड इमेज की तुलना में कितनी बार प्राथमिकता दी जाती है।
- $B^*$ (Background Revelation Threshold): यह निर्धारित करता है कि कॉन्टेक्स्ट को पहचान पर हावी होने के लिए बैकग्राउंड को कितना उजागर करना आवश्यक है।

B. शमन: आइडेंटिटी सैनिटाइजेशन प्रोजेक्शन (ISP)

लेखक ISP का प्रस्ताव करते हैं, जो एक हल्का, वन-शॉट, पोस्ट-हॉक प्रोजेक्टर है जो पहचान के सबस्पेस को हटा देता है और उपयोगिता के लिए आवश्यक पूरक स्थान (complementary space) को सुरक्षित रखता है।

तंत्र (Mechanism):
1. प्रत्येक पहचान के लिए मीन एम्बेडिंग ( $\mu_i$ ) और ग्लोबल मीन ( $\mu_C$ ) की गणना करें।
2. सेंटर्ड मीन मैट्रिक्स $M = [\mu_1 - \mu_C, \dots, \mu_m - \mu_C]$ का निर्माण करें।
3. पहचान सबस्पेस का प्रतिनिधित्व करने वाले टॉप- $r$ सिंगुलर वेक्टर्स ( $U_r$ ) की पहचान करने के लिए $M$ पर सिंगुलर वैल्यू डीकंपोजिशन (SVD) करें।
4. ऑर्थोगोनल कॉम्प्लीमेंट पर एम्बेडिंग को प्रोजेक्ट करें: $P = I - U_r U_r^\top$ ।
5. सैनिटाइज्ड एम्बेडिंग $\tilde{z} = Pz / \|Pz\|_2$ है।
लाभ: यह एक क्लोज्ड-फॉर्म, मोमेंट-आधारित विधि है (कोई इटरेटिव एडवरसैरियल ट्रेनिंग नहीं), संख्यात्मक रूप से स्थिर है, और एक फिक्स्ड मैट्रिक्स $P$ उत्पन्न करती है जिसे सब-मिलीसेकंड लेटेंसी के साथ किसी भी पाइपलाइन में एक्सपोर्ट किया जा सकता है।

3. मुख्य योगदान (Key Contributions)

पहला अटैकर-कैलिब्रेटेड ऑडिट: क्लोज्ड-सेट सटीकता से आगे बढ़ते हुए, DINOv2, DINOv3, और SSCD के साथ-साथ CLIP के लिए पहला ओपन-सेट, लो-FAR मूल्यांकन प्रदान करता है।
ISP (Identity Sanitization Projection): एक नवीन, वन-शॉट लीनियर प्रोजेक्टर जो एनकोडर को फिर से प्रशिक्षित किए बिना पहचान सबस्पेस को प्रभावी ढंग से हटा देता है।
ट्रांसफ़रेबिलिटी का अनुभवजन्य प्रमाण: यह प्रदर्शित करता है कि अनुमानित पहचान सबस्पेस कॉम्पैक्ट और डेटासेट-स्वतंत्र है (जैसे, एक प्रोजेक्टर जो CelebA पर प्रशिक्षित है, वह VGGFace2 पर भी काम करता है)।
व्यापक डायग्नोस्टिक्स: फेस-डोमिनेंट (FR) और कॉन्टेक्स्ट-डोमिनेंट (गैर-FR) एनकोडर्स के बीच अंतर करने के लिए FCR-सामान्यीकृत एट्रीब्यूशन मेट्रिक्स (FII, CPI, $B^*$ ) पेश करता है।

4. मुख्य परिणाम (Key Results)

A. लीकेज क्वांटिफिकेशन (Leakage Quantification)

लीनियर एक्सेसिबिलिटी: रॉ एम्बेडिंग्स में, गैर-FR एनकोडर्स (DINOv2/v3, SSCD) लो FAR पर कम लेकिन गैर-शून्य लीनियर आइडेंटिटी एक्सेसिबिलिटी प्रदर्शित करते हैं। CLIP अपेक्षाकृत अधिक लीकेज दिखाता है।
टेम्पलेट इनवर्जन: गैर-FR एनकोडर्स डिफ्यूजन या अन्य जेनेरेटिव हमलों के माध्यम से चेहरे को पुनर्गठित करने में विफल रहते हैं (वेरिफिकेशन दर लगभग 0%), जबकि FR एनकोडर्स (ArcFace) 67–100% सफलता प्राप्त करते हैं। यह सुझाव देता है कि गैर-FR एनकोडर्स में पहचान सिग्नल वर्तमान जेनेरेटिव प्रायर्स द्वारा शोषण के लिए बहुत कमजोर हैं।
कॉन्टेक्स्ट डोमिनेंस: स्ट्रेस टेस्ट के तहत गैर-FR एनकोडर्स को कॉन्टेक्स्ट-डोमिनेंट पाया गया है (बैकग्राउंड जानकारी अक्सर चेहरे की विशेषताओं से अधिक प्रभावी होती है), जबकि FR मॉडल सख्ती से फेस-डोमिनेंट होते हैं।

B. शमन प्रभावशीलता (Mitigation Effectiveness - ISP)

गोपनीयता (Privacy): ISP सभी गैर-FR एनकोडर्स के लिए $FAR=10^{-4}$ पर लीनियर एक्सेस (TAR) को लगभग चांस लेवल (अक्सर <1% या 0%) तक ले आता है।
ट्रांसफ़रेबिलिटी: एक डेटासेट (जैसे, CelebA) पर प्रशिक्षित प्रोजेक्टर दूसरे (जैसे, VGGFace2) पर लागू होने पर उच्च प्रभावकारिता बनाए रखता है, जो पुष्टि करता है कि पहचान सबस्पेस डेटासेट-अज्ञेय (dataset-agnostic) है।
उपयोगिता प्रतिधारण (Utility Retention): ISP डाउनस्ट्रीम उपयोगिता को सुरक्षित रखता है। ImageNet क्लासिफिकेशन और DISC2021 कॉपी डिटेक्शन पर, प्रदर्शन में गिरावट न्यूनतम है (अक्सर <1-2%), जो LEACE जैसे मौजूदा तरीकों के बराबर या उससे बेहतर है।
नॉन-लीनियर रोबस्टनेस: ISP के बाद भी, नॉन-लीनियर (MLP) प्रोब्स पहचान को पुनः प्राप्त करने में विफल रहते हैं, जिससे पता चलता है कि हटाया गया सबस्पेस मध्यम हमलावरों के लिए सुलभ सिग्नल का मुख्य हिस्सा था।

5. महत्व और प्रभाव (Significance and Impact)

प्राइवेसी-यूटिलिटी ट्रेड-ऑफ: यह शोध पत्र प्रदर्शित करता है कि विजुअल एम्बेडिंग्स के लिए सर्च और डुप्लिकेट डिटेक्शन जैसे कार्यों के लिए उपयोगिता से समझौता किए बिना मजबूत गोपनीयता गारंटी प्राप्त करना संभव है।
नियामक अनुपालन (Regulatory Compliance): उन संगठनों के लिए एक ठोस, ऑडिट योग्य तरीका प्रदान करता है जो बायोमेट्रिक प्रोसेसिंग को प्रतिबंधित करने वाले सख्त गोपनीयता नियमों के तहत चेहरे वाले डेटा पर फ्रोजन एनकोडर्स का उपयोग करना चाहते हैं।
डिप्लॉयमेंट रेडीनेस: ISP कंप्यूटेशनल रूप से सस्ता है (एकल SVD, फिक्स्ड मैट्रिक्स मल्टीप्लिकेशन) और इसके लिए पुन: प्रशिक्षण की आवश्यकता नहीं है, जिससे यह मौजूदा प्रोडक्शन पाइपलाइनों में तुरंत लागू करने योग्य बन जाता है।
ऑडिटिंग के लिए नया मानक: प्रस्तावित मेट्रिक्स (Open-set TAR@low-FAR, कैलिब्रेटेड इनवर्जन, FCR-सामान्यीकृत एट्रीब्यूशन) सामान्य-उद्देश्य वाले विजन मॉडल्स में गोपनीयता के मूल्यांकन के लिए एक नया मानक स्थापित करते हैं, जो क्लोज्ड-सेट सटीकता की सीमाओं से परे जाते हैं।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि हालांकि फ्रोजन विजुअल एनकोडर्स पहचान की जानकारी लीक करते हैं, लेकिन यह रिसाव एक कॉम्पैक्ट लीनियर सबस्पेस में केंद्रित है। प्रस्तावित Identity Sanitization Projection (ISP) को लागू करके, ऑपरेटर इन एम्बेडिंग्स को प्रभावी ढंग से "सैनिटाइज" कर सकते हैं, जिससे गोपनीयता-संवेदनशील अनुप्रयोगों के लिए उनका सुरक्षित उपयोग संभव हो जाता है।