📊 statistics

Mitigating Disparate Impact of Differentially Private Learning through Bounded Adaptive Clipping

यह शोधपत्र "बाउंडेड एडेप्टिव क्लिपिंग" (bounded adaptive clipping) का प्रस्ताव करता है, जो एक ट्यूनेबल लोअर बाउंड (tunable lower bound) पेश करता है ताकि डिफरेंशियल प्राइवेट लर्निंग में अत्यधिक ग्रेडिएंट सप्रेशन को रोका जा सके, जिससे मौजूदा क्लिपिंग तकनीकों की तुलना में अल्पसंख्यक समूहों के लिए असमान प्रभावों को काफी हद तक कम किया जा सके और वर्स्ट-क्लास सटीकता (worst-class accuracy) में सुधार किया जा सके।

मूल लेखक: Linzh Zhao, Aki Rehn, Mikko A. Heikkilä, Razane Tajeddine, Antti Honkela

प्रकाशित 2026-06-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Linzh Zhao, Aki Rehn, Mikko A. Heikkilä, Razane Tajeddine, Antti Honkela

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: AI में गोपनीयता बनाम निष्पक्षता (Privacy vs. Fairness)

कल्पना कीजिए कि आप एक रोबोट को विभिन्न प्रकार के कपड़ों (जैसे शर्ट, कोट और पैंट) को पहचानना सिखा रहे हैं। आप इसे वास्तविक लोगों की तस्वीरों का उपयोग करके सिखाना चाहते हैं, लेकिन आप उन लोगों की गोपनीयता (privacy) भी सुरक्षित रखना चाहते हैं। ऐसा करने के लिए, आप एक गणितीय नियम का उपयोग करते हैं जिसे डिफरेंशियल प्राइवेसी (Differential Privacy - DP) कहा जाता है।

डिफरेंशियल प्राइवेसी को एक "नॉइज़ मशीन" (शोर पैदा करने वाली मशीन) की तरह समझें। फोटो से सीखने से पहले, यह नॉइज़ मशीन इमेज में थोड़ा सा 'स्टैटिक' या शोर जोड़ देती है। यह सुनिश्चित करता है कि यदि कोई रोबोट के अंतिम मस्तिष्क को देखता है, तो वह यह नहीं बता पाएगा कि क्या आपकी विशिष्ट फोटो ट्रेनिंग सेट में शामिल थी या नहीं। यह गोपनीयता की रक्षा करने का एक शानदार तरीका है।

हालांकि, इसमें एक पेंच है। जबकि यह नॉइज़ मशीन सभी की गोपनीयता की रक्षा करती है, यह अनजाने में अलग-अलग समूहों के साथ अन्याय करती है। यह देखा गया है कि रोबोट "बहुमत" वाले समूहों (जैसे आम शर्ट) के बारे में बहुत अच्छी तरह सीखता है, लेकिन "अल्पसंख्यक" समूहों (जैसे दुर्लभ कोट) या मिलते-जुलते दिखने वाले कठिन आइटम्स के बारे में बहुत भ्रमित हो जाता है।

समस्या: "सिकुड़ता हुआ जाल" (The Shrinking Net)

गोपनीयता बनाए रखते हुए रोबोट को कुशलतापूर्वक सीखने में मदद करने के लिए, शोधकर्ता ग्रेडिएंट क्लिपिंग (Gradient Clipping) नामक तकनीक का उपयोग करते हैं।

उपमा (Analogy): कल्पना कीजिए कि रोबलेट सीखने के लिए कदम उठाने की कोशिश कर रहा है। कभी-कभी, किसी कठिन उदाहरण (जैसे एक कोट जो शर्ट जैसा दिखता है) के कारण यह एक बहुत बड़ा, अनियंत्रित कदम उठा लेता है। रोबोट को पटरी से उतरने से बचाने के लिए, हम इसके कदमों के चारों ओर एक "जाल" (net) लगा देते हैं। यदि कोई कदम बहुत बड़ा है, तो यह जाल उसे एक सुरक्षित आकार तक काट देता है।

अतीत में, शोधकर्ताओं ने एडेप्टिव क्लिपिंग (Adaptive Clipping) का उपयोग किया था। यह एक स्मार्ट जाल की तरह था जो रोबोट के प्रदर्शन के आधार पर अपना आकार बदल सकता था।

दोष: पेपर का तर्क है कि यह "स्मार्ट जाल" बहुत अधिक ही स्मार्ट हो गया। जैसे-जैसे रोबोट आम वस्तुओं (बहुमत) को पहचानने में बेहतर होता गया, जाल अपने आकार को छोटा करते हुए बहुत छोटा होने लगा ताकि यह आसान कदमों से मेल खा सके।
परिणाम: जब रोबोट दुर्लभ या कठिन वस्तुओं के बारे में सीखने के लिए एक बड़ा, आवश्यक कदम उठाने की कोशिश करता, तो छोटा जाल उस कदम को लगभग शून्य तक काट देता था। रोबोट प्रभावी रूप से अल्पसंख्यक समूहों के बारे में सीखना बंद कर देता था क्योंकि उनके "कदमों" को चुप कराया जा रहा था।

पेपर की खोज: वर्तमान में गोपनीयता के लिए उपयोग की जाने वाली "सर्वश्रेष्ठ" विधियाँ अनजाने में रोबोट को कठिन उदाहरणों को अनदेखा करने के लिए मजबूर कर रही हैं, जिससे एक ऐसी स्थिति पैदा हो रही है जहाँ रोबोट आम चीजों को पहचानने में तो बहुत अच्छा है लेकिन दुर्लभ या भ्रमित करने वाली चीजों को पहचानने में बहुत खराब है।

समाधान: "बाउंडेड नेट" (The Bounded Net)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे बाउंडेड एडेप्टिव क्लिपिंग (Bounded Adaptive Clipping) कहा जाता है।

उपमा: कल्पना कीजिए कि आपके पास अभी भी वही स्मार्ट, सिकुड़ने वाला जाल है, लेकिन आपने इसके नीचे एक फर्श (floor) जोड़ दिया है। चाहे वह जाल आसान उदाहरणों से मेल खाने के लिए कितना भी सिकुड़ने की कोशिश करे, उसे एक निश्चित आकार (निचली सीमा या lower bound) से नीचे जाने से भौतिक रूप से रोका जाता है।

यह कैसे काम करता है: भले ही रोबोट बहुमत समूह के साथ बहुत अच्छा प्रदर्शन कर रहा हो, जाल इतना खुला रहता है कि अल्पसंख्यक समूह के बड़े और महत्वपूर्ण कदमों को गुजरने दे सके।
लाभ: रोबटेज कठिन उदाहरणों से सीखना जारी रखता है। यह केवल गणित को आसान बनाने के लिए उन्हें अनदेखा नहीं करता है।

परिणाम क्या दर्शाते हैं

शोधकर्ताओं ने कई डेटासेट्स (कपड़ों और चेहरों की छवियों सहित) पर इस नए "बाउंडेड नेट" का पुराने तरीकों के मुकाबले परीक्षण किया।

निष्पक्षता की जीत: नई विधि ने "सबसे खराब प्रदर्शन करने वाले" समूहों के लिए सटीकता (accuracy) में काफी सुधार किया। सरल शब्दों में, रोबोट आम चीजों को पहचानने की अपनी क्षमता खोए बिना, दुर्लभ और कठिन वस्तुओं को पहचानने में बहुत बेहतर हो गया।
ट्रेड-ऑफ (Trade-off): कई AI सिस्टम में, आपको अक्सर या तो समग्र सटीकता या सभी के प्रति निष्पक्षता में से किसी एक को चुनना पड़ता है। लेखकों ने पाया कि उनकी विधि "पारेटो फ्रंटियर" (Pareto Frontier) पर स्थित है। यह कहने का एक फैंसी तरीका है कि: आप सटीकता को नुकसान पहुँचाए बिना बेहतर निष्पक्षता प्राप्त नहीं कर सकते, और आप निष्पक्षता को नुकसान पहुँचाए बिना बेहतर सटीकता प्राप्त नहीं कर सकते। उनकी विधि ने उस सटीक संतुलन बिंदु को खोज लिया जिसे अन्य विधियाँ मिस कर गई थीं।
मजबूती (Robustness): यहाँ तक कि जब शोधकर्ताओं को रोबोट की सेटिंग्स को स्वचालित रूप से ट्यून करना पड़ा (जो गोपनीयता शामिल होने पर कठिन होता है), उनकी विधि स्थिर और निष्पक्ष रही, जबकि पुरानी विधियाँ अक्सर विफल हो गईं।

सारांश

समस्या: AI के लिए वर्तमान गोपनीयता उपकरण अनजाने में अल्पसंख्यक या कठिन समूहों की "आवाजों" को दबा रहे हैं, जिससे AI पक्षपाती हो जाता है।
कारण: सीखने की प्रक्रिया को समायोजित करने वाले उपकरण बहुत अधिक सिकुड़ रहे हैं, जिससे वे बड़े कदमों को काट देते हैं जो कठिन चीजों को सीखने के लिए आवश्यक होते हैं।
समाधान: लेखकों ने समायोजन प्रक्रिया में एक "फर्श" जोड़ा है ताकि यह कभी भी बहुत छोटा न हो सके।
परिणाम: AI बहुत अधिक निष्पक्ष हो जाता है, जो केवल बहुमत के लिए ही नहीं बल्कि सभी के लिए अच्छी तरह सीखता है, और साथ ही लोगों के डेटा को निजी भी रखता है।

पेपर यह निष्कर्ष निकालता है कि केवल सीखने के समायोजन को बहुत छोटा होने से रोककर, हम गोपनीयता सुरक्षा से समझौता किए बिना एक प्रमुख निष्पक्षता समस्या को ठीक कर सकते हैं।

तकनीकी सारांश: बाउंडेड एडेप्टिव क्लिपिंग के माध्यम से डिफरेंशियल प्राइवेट लर्निंग के विसंगत प्रभाव (Disparate Impact) को कम करना

समस्या विवरण

डिफरेंशियल प्राइवेसी (DP) मशीन लर्निंग में गोपनीयता बनाए रखने के लिए एक मानक ढांचा है, फिर भी यह अक्सर विसंगत प्रभाव (disparate impact) को बढ़ा देता है, जहाँ मॉडल की सटीकता अल्पसंख्यक समूहों (minority groups) या "कन्फ्यूसेबल" वर्गों (वे समूह जिनमें मजबूत फीचर समानताएं होती हैं) के लिए असमान रूप से घट जाती है। जबकि ग्रेडिएंट क्लिपिंग, डिफरेंशियल प्राइवेट स्टोकेस्टिक ग्रेडिएंट डिसेंट (DP-SGD) में संवेदनशीलता (sensitivity) को सीमित करने के लिए एक आवश्यक घटक है, मौजूदा एडेप्टिव क्लिपिंग विधियाँ—जो ग्रेडिएंट सांख्यिकी के आधार पर क्लिपिंग बाउंड को गतिशील रूप से ट्यून करने के लिए डिज़ाइन की गई हैं—अनजाने में इन संवेदनशील समूहों के ग्रेडिएंट्स को दबा सकती हैं।

यह शोध पत्र वर्तमान स्टेट-ऑफ-द-आर्ट (SOTA) एडेप्टिव क्लिपिंग (जैसे, Andrew et al., 2021; Esipova et al., 2023) की एक विशिष्ट विफलता मोड की पहचान करता है। जैसे-जैसे प्रशिक्षण आगे बढ़ता है और बहुसंख्यक समूह (majority groups) अच्छी तरह से अनुकूलित (optimized) हो जाते हैं, उनके ग्रेडिएंट्स कम होने लगते हैं। अनबाउंडेड (unbounded) एडेप्टिव क्लिपिंग एल्गोरिदम, जो एक लक्षित क्वांटाइल (target quantile) के आधार पर क्लिपिंग बाउंड को समायोजित करते हैं, इस बाउंड को अत्यंत छोटे मानों तक सिकोड़ने की प्रतिक्रिया देते हैं। यह "वैनिशिंग बाउंड" (vanishing bound) अल्पसंख्यक या कठिन नमूनों (samples) के बड़े ग्रेडिएंट्स को लगभग शून्य तक क्लिप कर देता है, जिससे मॉडल अपडेट पर उनका प्रभाव दब जाता है। परिणामस्वरूप, मॉडल एक ऐसे समाधान की ओर अभिसरित (converge) होता है जो बहुसंख्यक वर्ग का पक्ष लेता है, जिससे गंभीर सटीकता विसंगतियां और खराब 'वर्स्ट-क्लास' प्रदर्शन होता है।

कार्यप्रणाली: बाउंडेड एडेप्टिव क्लिपिंग (Bounded Adaptive Clipping)

वैनिशिंग क्लिपिंग बाउंड की समस्या को संबोधित करने के लिए, लेखक बाउंडेड एडेप्टिव क्लिपिंग का प्रस्ताव करते हैं। यह विधि एडेप्टिव क्लिपिंग तंत्र में एक ट्यून करने योग्य लोअर बाउंड ( $C_{LB}$ ) पेश करती है।

मुख्य तंत्र

यह दृष्टिकोण मानक अनबाउंडेड एडेप्टिव क्लिपिंग अपडेट नियम (एल्गोरिदम 2) को संशोधित करता है। मानक फॉर्मूलेशन में, क्लिपिंग बाउंड $C_t$ को देखे गए क्लिप्ड ग्रेडिएंट्स के अंश ( $\tilde{b}_t$ ) और एक लक्षित क्वांटाइल ( $\gamma$ ) के बीच के अंतर के आधार पर अपडेट किया जाता है। अपडेट नियम है:
$C_{t+1} = C_t \cdot \exp(\eta_C(\tilde{b}_t - \gamma))$

प्रस्तावित बाउंडेड संस्करण में, अपडेट को एक लोअर बाउंड द्वारा प्रतिबंधित किया गया है:
$C_{t+1} = \max(C_{LB}, C_t \cdot \exp(\eta_C(\tilde{b}_t - \gamma)))$

$C_{LB} > 0$ को लागू करके, यह विधि क्लिपिंग बाउंड को उन मानों तक सिकुड़ने से रोकती है जो अल्पसंख्यक समूहों या बड़े ग्रेडिएंट नॉर्म वाले नमूनों को असमान रूप से दबा सकते हैं। यह सुनिश्चित करता है कि इन समूहों के महत्वपूर्ण ग्रेडिएंट अपडेट्स, मॉडल अपडेट में योगदान देना जारी रखें, भले ही अधिकांश नमूने अच्छी तरह से अनुकूलित हो चुके हों।

गोपनीयता गारंटी (Privacy Guarantees)

शोध पत्र यह प्रदर्शित करता है कि प्रस्तावित विधि औपचारिक $(\epsilon, \delta)$ -DP गारंटी बनाए रखती है। प्राइवेसी अकाउंटिंग दो गॉसियन मैकेनिज्म के संयोजन का उपयोग करती है: एक ग्रेडिएंट अपडेट के लिए और दूसरा थ्रेशोल्ड से अधिक ग्रेडिएंट्स की शोरयुक्त गणना (noisy count) के लिए। गॉसियन DP (Dong et al., 2022) का उपयोग करते हुए, लेखक एक प्रभावी नॉइज़ मल्टीप्लायर ( $\sigma_{eff}$ ) प्राप्त करते हैं जो प्राइवेसी बजट से समझौता किए बिना मानक प्राइवेसी अकाउंटेंट्स के उपयोग की अनुमति देता है।

मुख्य योगदान

एक विफलता मोड की पहचान: लेखक प्रदर्शित करते हैं कि वर्तमान SOTA एडेप्टिव क्लिपिंग विधियाँ गंभीर वैनिशिंग क्लिपिंग बाउंड का कारण बन सकती हैं, जिससे अल्पसंख्यक और कन्फ्यूसेबल समूहों के प्रदर्शन में भारी गिरावट आती है। इसे एक खिलौना (toy) मीन एस्टीमेशन कार्य और उच्च-आयामी बेंचमार्क दोनों के माध्यम से स्पष्ट किया गया है।
नया एल्गोरिदम: यह शोध पत्र बाउंडेड एडेप्टिव क्लिपिंग पेश करता है, जो एक तंत्र है जिसमें अत्यधिक ग्रेडिएंट दमन को रोकने के लिए एक ट्यून करने योग्य लोअर बाउंड शामिल है, जबकि DP गारंटी भी बनी रहती है।
व्यापक मूल्यांकन: इस पद्धति का मूल्यांकन पांच डेटासेट्स (Fashion MNIST, Skewed MNIST, CelebA, Adult, Dutch) और तीन मॉडल आर्किटेक्चर (लॉजिस्टिक्स रिग्रेशन, 2-लेयर CNN, ResNet-18) पर किया गया है।
हाइपरपैरामीटर ऑप्टिमाइज़ेशन के प्रति मजबूती: अध्ययन में पद्धति का मूल्यांकन डिफरेंशियल प्राइवेट हाइपरपैरामीटर ऑप्टिमाइज़ेशन (DP-HPO) के तहत किया गया है, जो दिखाता है कि बाउंडेड दृष्टिकोण अनबाउंडेड बेसलाइनों की तुलना में प्राइवेसी-संरक्षित ट्यूनिंग से उत्पन्न स्टोकेस्टिसिटी के प्रति अधिक मजबूत है।

प्रयोगात्मक परिणाम

शोध पत्र मौजूदा विधियों की तुलना में वर्स्ट-क्लास एक्यूरेसी और एक्यूरेसी पैरिटी (फेयरनेस) में महत्वपूर्ण सुधार रिपोर्ट करता है:

प्रदर्शन लाभ: Skewed MNIST और Fashion MNIST पर, प्रस्तावित विधि अनबाउंडेड एडेप्टिव क्लिपिंग की तुलना में वर्स्ट-क्लास एक्यूरेसी में 10 प्रतिशत अंक से अधिक, AUTO क्लिपिंग की तुलना में 7 अंक और कॉन्स्टेंट क्लिपिंग की तुलना में 5 अंक का सुधार करती है।
पारेटो फ्रंटियर (Pareto Frontier): मैक्रो-एक्यूरेसी बनाम वर्स्ट-क्लास एक्यूरेसी (और टैबुलर डेटा के लिए डेमोोग्राफिक पैरिटी बनाम एवरेज एक्यूरेसी) के स्कैटर प्लॉट्स में, बाउंडेड एडेप्टिव क्लिपिंग विधि लगातार एम्पिरिकल पारेटो फ्रंटियर पर स्थित है। यह इंगित करता है कि यह समग्र उपयोगिता (utility) और सबग्रुप फेयरनेस के बीच सर्वोत्तम संभव ट्रेड-ऑफ प्राप्त करती है; कोई अन्य विधि एक साथ उच्च समग्र सटीकता और कम विसंगत प्रभाव प्राप्त नहीं करती है।
DP-HPO मजबूती: DP-HPO सेटिंग्स के तहत, जहाँ हाइपरपैरामीटर को गोपनीयता बाधाओं के साथ ट्यून किया जाता है, बाउंडेड विधि बेहतर वर्स्ट-क्लास प्रदर्शन बनाए रखती है, जबकि अनबाउंडेड विधियाँ अक्सर शोर और सीमित सर्च स्पेस के कारण इष्टतम प्रदर्शन प्राप्त करने में विफल रहती हैं।
ह्यूरिस्टिक वेरिएंट: लेखक एक फिक्स्ड लोअर बाउंड ( $C_{LB} = 0.1$ ) का उपयोग करते हुए एक ह्यूरिस्टिक वेरिएंट प्रस्तावित करते हैं। यह वेरिएंट पूरी तरह से ट्यून किए गए संस्करण के लगभग समान प्रदर्शन प्राप्त करता है, जिससे हाइपरपैरामीटर ट्यूनिंग की कम्प्यूटेशनल लागत काफी कम हो जाती है।

महत्व और दावे

शोध पत्र का दावा है कि बाउंडेड एडेप्टिव क्लिपिंग डिफरेंशियल प्राइवेट लर्निंग में विसंगत प्रभाव की समस्या के लिए एक व्यावहारिक और प्रभावी समाधान है। इसका महत्व इस प्रकार है:

एक प्रणालीगत दोष को सुधारना: यह एडेप्टिव क्लिपिंग की एक विशिष्ट, पहले अनदेखी की गई सीमा को संबोधित करता है जहाँ लक्षित क्वांटाइल का पीछा करने से अल्पसंख्यक संकेतों का दमन होता है।
उपयोगिता और निष्पक्षता को संतुलित करना: पद्धति यह प्रदर्शित करती है कि समग्र मॉडल उपयोगिता से समझौता किए बिना निष्पक्षता (वर्स्ट-ग्रुप प्रदर्शन) में सुधार करना संभव है, जो अक्सर DP सेटिंग्स में देखे जाने वाले इन दोनों मेट्रिक्स के बीच के तनाव को प्रभावी ढंग से हल करता है।
व्यावहारिक प्रयोज्यता: यह दिखाकर कि एक सरल ह्यूरिस्टिक ( $C_{LB}=0.1$ ) विविध डेटासेट्स और आर्किटेक्चर में अच्छा काम करता है, यह शोध पत्र सुझाव देता है कि यह विधि व्यापक और महंगी हाइपरपैरामीटर खोज की आवश्यकता के बिना वास्तविक दुनिया में तैनाती के लिए तैयार है।

लेखक निष्कर्ष निकालते हैं कि हालांकि ग्रुप प्राइवेसी बाउंड्स सैद्धांतिक रूप से इन प्रयोगात्मक विसंगतियों को समझाने के लिए बहुत कमजोर हैं, प्रस्तावित तंत्र DP-SGD में ग्रेडिएंट क्लिपिंग और डेटा वितरण असंतुलन के बीच की परस्पर क्रिया से होने वाले व्यावहारिक विसंगत प्रभावों को प्रभावी ढंग से कम करता है।