Privacy Cost as Equity Input: A Group Fairness Criterion for Differentially Private Machine Learning

कल्पना कीजिए कि आप एक विशाल, उच्च-दांव वाला गेम शो चला रहे हैं जहाँ एक रोबोट जज यह तय करता है कि किसे ऋण मिलेगा, किसे नौकरी मिलेगी, या यहाँ तक कि कौन जेल से बाहर रहेगा। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह रोबोट एक मशीन लर्निंग मॉडल है। लेकिन इसमें एक पेच है: इन रोबोट्स को स्मार्ट बनाने के लिए, हम उन्हें वास्तविक लोगों के बारे में वास्तविक डेटा खिलाते हैं। इससे एक तनाव पैदा होता है। एक तरफ, हम चाहते हैं कि रोबोट निष्पक्ष हो, जिससे सभी को अच्छे परिणाम का समान अवसर मिले। दूसरी ओर, हम लोगों की गोपनीयता (प्राइवेसी) की रक्षा करना चाहते हैं ताकि रोबोट गलती से उनके रहस्य न उगल दे।

रोबोट को रहस्य याद रखने से रोकने के लिए, वैज्ञानिक एक विशेष ढाल का उपयोग करते हैं जिसे "डिफरेंशियल प्राइवेसी" (Differential Privacy) कहा जाता है। इस ढाल को रेडियो सिग्नल में एक मोटी 'स्टैटिक नॉइज़' (static noise) की परत जोड़ने जैसा समझें। यह सिग्नल को जासूसी करने के लिए कठिन बनाता है, लेकिन यह संगीत को थोड़ा धुंधला भी बना देता है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या यह स्टैटिक नॉइज़ सभी के साथ समान रूप से व्यवहार करती है? या क्या यह कुछ समूहों के लिए संगीत को बहुत खराब बना देती है जबकि दूसरों के लिए यह स्पष्ट रहता है? आमतौर पर, हम केवल यह देखते हैं कि परिणाम कितने निष्पक्ष हैं (क्या सभी को ऋणों की समान संख्या मिली?)। लेकिन यह पेपर एक गहरे, अधिक सूक्ष्म प्रश्न को पूछता है: क्या प्राइवेसी शील्ड की कीमत निष्पक्ष है? यदि किसी समूह को एक अच्छा परिणाम पाने के लिए अधिक गोपनीयता छोड़नी पड़ती है, तो क्या वह वास्तव में निष्पक्ष है?

---

प्राइवेसी बिल: कीमत कौन चुकाता है?

इस पेपर में, लेखक, रक्षित नायडू, तर्क देते हैं कि प्राइवेसी केवल एक तकनीकी सेटिंग नहीं है; यह एक लागत है जो लोग चुकाते हैं। कल्पना कीजिए कि आप और आपका दोस्त दोनों एक धुंधले पुल पर नदी पार करने की कोशिश कर रहे हैं। वह धुंध "प्राइवेसी नॉइज़" है जो आपको देखे जाने से बचाने के लिए जोड़ी गई है। यदि धुंध इतनी घनी है कि आप अपने पैर भी नहीं देख सकते, तो आप लड़खड़ा सकते हैं। यदि आपका दोस्त लंबा है या उसके पास बेहतर जूते हैं, तो वह कम लड़खड़ा सकता है।

पेपर सुझाव देता है कि यदि लोगों का एक समूह (मान लीजिए, एक विशिष्ट जनसांख्यिकीय) दूसरे समूह की तुलना में प्रशिक्षण डेटा को अधिक "याद" (memorize) कर रहा है, तो वे प्रभावी रूप से एक उच्च "प्राइवेसी टैक्स" चुका रहे हैं। वे पहचाने जाने के प्रति अधिक असुरक्षित हैं, भले ही उन्हें सुरक्षित रहने के लिए कहा गया हो। लेखक निष्पक्षता को मापने का एक नया तरीका प्रस्तावित करते हैं जिसे प्राइवेसी-कॉस्ट इक्विटी रेश्यो (PCER) कहा जाता है।

PCER को "वैल्यू फॉर मनी" स्कोर के रूप में सोचें।

• लाभ (Benefit): कितनी बार रोबोट आपको सकारात्मक परिणाम (जैसे ऋण या नौकरी मिलना) देता है?
• लागत (Cost): रोबोट ने आपके विशिष्ट डेटा को कितना "याद" किया? (जितना अधिक यह याद रखेगा, उतना ही अधिक जोखिम होगा कि कोई हैकर यह पता लगा सके कि आप प्रशिक्षण डेटा में थे)।

फॉर्मूला सरल है: लाभ विभाजित लागत (Benefit divided by Cost)।
यदि समूह A को बहुत अधिक लाभ मिलता है लेकिन वह बहुत कम प्राइवेसी लागत चुकाता है, और समूह B को कम लाभ मिलता है लेकिन वह बहुत बड़ी प्राइवेसी लागत चुकाता है, तो सिस्टम अनैतिक है। पेपर का तर्क है कि एक प्रणाली के लिए वास्तव में न्यायसंगत होने के लिए, "प्राप्त अच्छी चीजों" और "लिए गए प्राइवेसी जोखिम" का अनुपात सभी के लिए समान होना चाहिए।

चौंकाने वाला मोड़: "सुरक्षित" बजट सुरक्षित नहीं है

शोधकर्ताओं ने इस विचार का परीक्षण छह अलग-अलग वास्तविक दुनिया के डेटासेट्स पर किया, जिनमें आय (Adult Income), आपराधिक न्याय (COMPAS), और जॉब टाइटल्स (Bias in Bios) शामिल हैं। उन्होंने एक मानक प्राइवेसी टूल का उपयोग किया जिसे DP-SGD कहा जाता है, जो प्रशिक्षण प्रक्रिया में शोर (noise) जोड़ता है। उन्होंने शोर की विभिन्न मात्राओं का परीक्षण किया, जिन्हें $\epsilon$ (एप्सिलॉन) नामक संख्या द्वारा लेबल किया गया है। कम $\epsilon$ का अर्थ है अधिक शोर (अधिक प्राइवेसी, लेकिन धुंधले परिणाम), और उच्च $\epsilon$ का अर्थ है कम शोर (कम प्राइवेसी, लेकिन स्पष्ट परिणाम)।

यहाँ कहानी दिलचस्प हो जाती है।

1. COMPAS पर "दोहरी मार" (Double Disadvantage)
जब COMPAS डेटासेट (जो भविष्यवाणी करता है कि क्या कोई व्यक्ति फिर से अपराध करेगा) को देखा गया, तो मानक निष्पक्षता उपकरणों ने कहा, "अरे, सब कुछ ठीक लग रहा है! सभी प्राइवेसी स्तरों पर समूहों के बीच परिणामों का अंतर स्थिर है।" ऐसा लगा जैसे प्राइवेसी शील्ड सभी के लिए समान रूप से काम कर रही थी।

लेकिन नए PCER टूल ने कुछ और देखा। इसने पाया कि अफ्रीकी-अमेरिकी व्यक्तियों को दोहरी मार झेलनी पड़ रही थी।

• उन्हें खराब भविष्यवाणियां मिल रही थीं (पुन: अपराध करने के बारे में अधिक गलत अलार्म)।
• और, वे एक उच्च प्राइवेसी लागत चुका रहे थे (उनका डेटा अधिक याद किया जा रहा था, जिससे वे हमलों के प्रति अधिक असुरक्षित हो गए)।

मानक उपकरणों ने इसे पूरी तरह से मिस कर दिया क्योंकि वे केवल अंतिम फैसले को देखते थे, वहां तक पहुँचने की छिपी हुई लागत को नहीं। PCER स्कोर ने एक निरंतर, नकारात्मक अंतर दिखाया, जिसका अर्थ है कि यह समूह दोनों तरफ से बुरा अनुभव कर रहा था: अधिक नुकसान और अधिक जोखिम।

2. "झूठा मित्र" - मजबूत प्राइवेसी
Adult Income डेटासेट (यह भविष्यवाणी करना कि क्या कोई $50k से अधिक कमाता है) पर, मानक निष्पक्षता मीट्रिक ने कहा कि सबसे निष्पक्ष सेटिंग एक मध्यम प्राइवेसी स्तर ($\epsilon = 5$या$10$) है। ऐसा लगा जैसे शोर ने समूहों के बीच के अंतर को कम कर दिया है।

हालाँकि, PCER मीट्रिक ने एक अलग कहानी बताई। इसने सुझाव दिया कि सबसे न्यायसंगत सेटिंग वास्तव में कोई प्राइवेसी नहीं थी (no-DP)। क्यों? क्योंकि जब आप बहुत अधिक शोर जोड़ते हैं, तो मॉडल इतना भ्रमित हो जाता है कि वह किसी का भी डेटा याद रखना बंद कर देता है। जब लागत शून्य के करीब पहुँच जाती है, तो PCER फॉर्मूला टूट जाता है और केवल पुराने परिणामों को ही देखने लगता है।

पेपर ने पाया कि बहुत मजबूत प्राइवेसी स्तरों (जैसे $\epsilon = 0.1$) पर, सभी के लिए प्राइवेसी लागत घटकर एक बहुत छोटी संख्या रह जाती है। इस स्थिति में, नया निष्पक्षता टूल उपयोगी नहीं रह जाता है और बस पुराने टूल की एक प्रति बन जाता है। लेखक चेतावनी देते हैं कि यदि आप अत्यधिक उच्च प्राइवेसी पर "परफेक्टली फेयर" परिणाम देखते हैं, तो यह केवल एक भ्रम हो सकता है क्योंकि मॉडल सीखने के लिए बहुत अधिक भ्रमित है।

इसका भविष्य के लिए क्या अर्थ है

यह पेपर यह दावा नहीं करता है कि इसने AI में निष्पक्षता की समस्या को हल कर दिया है। इसके बजाय, यह एक नई टॉर्च प्रदान करता है जिससे हम उन अंधेरे कोनों में देख सकें जिन्हें हम आमतौरാതെ अनदेखा कर देते हैं।

• यह एक नैदानिक उपकरण (Diagnostic Tool) है: लेखक PCER को एक "पोस्ट-हॉक ऑडिट" कहते हैं। इसका मतलब है कि आप मॉडल बनाने के बाद यह जांचने के लिए इसका उपयोग कर सकते हैं कि क्या प्राइवेसी लागतों का वितरण निष्पक्ष था। आपको मॉडल को फिर से बनाने या हैकर्स की टीम को नियुक्त करने की आवश्यकता नहीं है; आपको बस मॉडल के ट्रेनिंग और टेस्ट डेटा पर इसके सटीकता स्कोर की आवश्यकता है।
• यह छिपी हुई असमानता को उजागर करता है: अध्ययन दिखाता है कि एक प्रणाली सतह पर निष्पक्ष दिख सकती है (सभी को समान ऋण स्वीकृति दर मिलती है) लेकिन अंदर से गहराई से अन्यायपूर्ण हो सकती है (एक समूह उस दर को प्राप्त करने के लिए प्राइवेसी जोखिम में बहुत अधिक कीमत चुका रहा है)।
• इसकी सीमाएं हैं: लेखक सावधानी से कहते हैं कि यह टूल तब काम करना बंद कर देता है जब प्राइवेसी शोर इतना अधिक होता है कि मॉडल सीखना बंद कर देता है। उन मामलों में, "लागत" इतनी कम होती है कि यह एक गणितीय त्रुटि बन जाती है, और टूल आपको कुछ भी नया नहीं बता पाता है।

निष्कर्ष

यह पेपर सुझाव देता है कि जब हम AI में निष्पक्षता के बारे में बात करते हैं, तो हम केवल खेल के विजेताओं और हारने वालों को नहीं देख सकते। हमें टिकटों पर लगी कीमत को भी देखना होगा। यदि एक समूह को दूसरे समूह के समान परिणाम प्राप्त करने के लिए बहुत अधिक "प्राइवेसी टैक्स" चुकाना पड़ता है, तो सिस्टम वास्तव में निष्पक्ष नहीं है, भले ही अंतिम स्कोर समान दिखें। इस नए "वैल्यू फॉर प्राइवेसी" अनुपात का उपयोग करके, हम अंततः उन दोहरे नुकसानों को पहचान सकते हैं जो सामने छिपे हुए हैं।