तकनीकी सारांश: निजी सबसे खराब स्थिति वाले समूह अनुकूलन के लिए अनुकूली नमूनाकरण और क्लिपिंग (Adaptive Sampling and Clipping for Private Worst-Case Group Optimization)

समस्या विवरण

यह शोध पत्र उन मशीन लर्निंग मॉडल को प्रशिक्षित करने की चुनौती को संबोधित करता है जो एक साथ दो महत्वपूर्ण आवश्यकताओं को पूरा करते हैं: निष्पक्षता (Fairness) और गोपनीयता (Privacy)। विशेष रूप से, लेखक सबसे खराब स्थिति वाले समूह अनुकूलन (Worst-Case Group Optimization - WGO) पर ध्यान केंद्रित करते हैं, जिसका लक्ष्य (रॉल्स के मैक्स-मिन मानदंड के अनुसार) सबसे खराब प्रदर्शन करने वाले जनसांख्यिकीय समूह की सटीकता को अधिकतम करना है, जबकि उपयोगकर्ता डेटा की सुरक्षा के लिए डिफरेंशियल प्राइवेसी (Differential Privacy - DP) का पालन करना है।

मौजूदा साहित्य इंगित करता है कि इन दोनों लक्ष्यों के बीच एक मौलिक संघर्ष है। मानक डिफरेंशियल प्राइवेट स्टोकेस्टिक ग्रेडिएंट डिसेंट (DP-SGD) अक्सर निष्पक्षता संबंधी समस्याओं को बढ़ा देता है, जिससे अल्पसंख्यक समूहों के लिए मानक SGD की तुलना में सटीकता काफी कम हो जाती है। हालांकि पूर्व कार्यों ने DP-प्रेरित अननिष्पक्षता को कम करने का प्रयास किया है या निजी WGO एल्गोरिदम (जैसे, झोउ और बसिली [2024]) प्रस्तावित किए हैं, लेकिन इन दृष्टिकोणों में व्यावहारिक सीमाएँ हैं:

1. अननिष्पक्षता शमन (Unfairness Mitigation): वे विधियाँ जो केवल DP-SGD के आंतरिक तंत्र को समायोजित करती हैं, उन परिदृश्यों को संबोधित करने में विफल रहती हैं जहाँ मानक SGD स्वयं अननिष्पक्ष होता है।
2. पूर्व निजी WGO: मौजूदा निजी WGO एल्गोरिदम अक्सर ऐसी धारणाओं पर निर्भर करते हैं (जैसे, संतुलित समूह आकार) जो वास्तविक दुनिया के डेटासेट में लागू नहीं होती हैं, या वे उच्च विचरण (variance) और अक्षम नमूनाकरण रणनीतियों के कारण खराब प्रयोगात्मक प्रदर्शन प्रदर्शित करते हैं।

कार्यप्रणाली (Methodology)

लेखक ASC (Adaptively Sampled and Clipped Worst-case Group Optimization) का प्रस्ताव करते हैं, जो एक व्यावहारिक एल्गोरिदम है जिसे डिफरेंशियल प्राइवेसी बाधाओं के तहत सबसे खराब समूह सटीकता को अनुकूलित करने के लिए डिज़ाइन किया गया है। मुख्य नवाचार सरल लॉस रीवेटिंग (loss reweighting) से आगे बढ़कर DP-SGD के नमूनाकरण (sampling) और क्लिपिंग (clipping) तंत्र को मौलिक रूप से बदलना है।

1. ASC एल्गोरिदम

ASC प्रत्येक प्रशिक्षण चरण में प्रत्येक समूह $g$ के लिए दो मापदंडों को अनुकूल रूप से नियंत्रित करके कार्य करता है:

• अनुकूली नमूनाकरण (Adaptive Sampling): पूरे डेटासेट से एक समान बैच लेने और ग्रेडिएंट्स को रीवेट करने के बजाय (जो अल्पसंख्यक समूहों के लिए उच्च विचरण पैदा करता है), ASC एक ही बैच के भीतर प्रत्येक समूह $g$ से विशिष्ट संख्या में बिंदु $m_g$ का नमूना लेता है। प्रत्येक समूह के लिए बैच का आकार वर्तमान समूह भार $\lambda_g$ के समानुपाती होता है (अर्थात, $m_g \approx \lambda_g M$)। यह सुनिश्चित करता है कि अपेक्षित अपडेट सीधे WGO उद्देश्य से मेल खाता है।
• संतुलित क्लिपिंग (Balanced Clipping): अलग-अलग नमूना दरों ($m_g/n_g$) के बावजूद एक सुसंगत गोपनीयता गारंटी बनाए रखने के लिए, ASC प्रत्येक समूह के लिए ग्रेडिएंट क्लिपिंग थ्रेशोल्ड $\xi_g$ को अनुकूल रूप से निर्धारित करता है। थ्रेशोल्ड इस तरह से गणना किया जाता है कि चरण के लिए रेनी डिफरेंशियल प्राइवेसी (RDP) गारंटी एक पूर्व-निर्धारित बजट $(\alpha, \epsilon_s)$ पर स्थिर रहे, चाहे समूह का आकार या नमूना दर कुछ भी हो। यह एल्गोरिदम को व्यक्तिगत अपडेट के बजाय समूह अपडेट के योग (sum) में शोर (noise) जोड़ने की अनुमति देता है, जिससे कुल शोर कम हो जाता है।

2. बेसलाइन और तुलना

लेखक ASC का निम्नलिखित बेसलाइनों के विरुद्ध मूल्यांकन करते हैं:

• DP-SGD: मानक निजी प्रशिक्षण।
• DP लॉस रीवेटिंग (DP-LRW): एक नया बेसलाइन जो मानक DP-SGD लागू करता है लेकिन समूह महत्व के आधार पर ग्रेडिएंट्स को रीवेट करता है। लेखक नोट करते हैं कि यह ग्रेडिएंट्स के पुन: स्केलिंग के कारण महत्वपूर्ण विचरण पेश करता है।
• aZB (झोउ और बसिली [2024]): एक पूर्व निजी WGO विधि जो श्रेणीगत संभावनाओं के आधार पर समूहों से बैचों का नमूना लेती है। लेखक पहचानते हैं कि यह विधि उच्च विचरण और कमजोर गोपनीयता गारंटी से ग्रस्त है जब समूह आकार असंतुलित होते हैं, क्योंकि गोपनीयता लागत सबसे छोटे समूह द्वारा निर्धारित होती है।
• aZB-prop: गोपनीयता गारंटी को समान बनाने के लिए आनुपातिक नमूनाकरण का उपयोग करने वाला aZB का एक संस्करण, हालांकि यह अभी भी उच्च नमूना विचरण से ग्रस्त है।

3. सैद्धांतिक विश्लेषण

लेखक शोर वाले WGO एल्गोरिदम के लिए अभिसरण (convergence) विश्लेषण प्रदान करते हैं, जो त्रुटि को अनुकूलन परिदृश्य (optimization landscape) और नमूना विचरण (sampling variance) से संबंधित पदों में विभाजित करता है।

• थ्योरम 3 प्रदर्शित करता है कि ASC का नमूना विचरण aZB और aZB-prop की तुलना में काफी कम है।
• aZB के विपरीत, जिसमें अंतर-समूह विसंगति (inter-group discrepancy) का एक पद शामिल है जो बैच आकार के साथ कम नहीं होता है, ASC का विचरण केवल 'विथ-इन-ग्रुप' (within-group) विचरणों का एक भारित संयोजन है क्योंकि यह प्रत्येक चरण में सभी समूहों से नमूना लेता है।
• पेपर सिद्ध करता है कि ASC अनुकूली मॉडल अपडेट चरणों और आवधिक समूह रीवेटिंग चरणों की गारंटियों को संयोजित करके $(\alpha, \epsilon)$-RDP को संतुष्ट करता है।

मुख्य योगदान

1. एक नया बेसलाइन: DP-LRW का परिचय, जो एक सरल, आसानी से लागू होने वाला बेसलाइन है, जो लॉस रीवेटिंग को निजी बनाता है, और मानक DP-SGD की तुलना में सुधार दिखाता है लेकिन विचरण संबंधी समस्याओं को भी उजागर करता है।
2. ASC एल्गोरिदम: एक व्यावहारिक एल्गोरिदम जो अनुकूली स्तरीकृत नमूनाकरण (adaptive stratified sampling) और अनुकूली क्लिपिंग थ्रेशोल्ड का उपयोग करता है। यह डिज़ाइन मॉडल को गोपनीयता गारंटी या मॉडल उपयोगिता से समझौता किए बिना कठिन समूहों को प्राथमिकता देने की अनुमति देता है।
3. अभिसरण विश्लेषण (Convergence Analysis): एक सैद्धांतिक अध्ययन जो स्थापित करता है कि नमूना विचरण WGO एल्गोरिदम के बीच एक प्राथमिक विभेदक है, जो पूर्व विधियों की तुलना में ASC की बेहतर स्थिरता को सिद्ध करता है।
4. प्रयोगात्मक सत्यापन: निजी WGO एल्गोरिदम का पहला व्यापक प्रयोगात्मक तुलना, जो दर्शाता है कि ASC समग्र औसत सटीकता से समझौता किए बिना स्टेट-ऑफ-द-आर्ट सबसे खराब स्थिति वाले समूह सटीकता प्राप्त करता है।

प्रयोगात्मक परिणाम

लेखकों ने तीन डेटासेट्स पर ASC का मूल्यांकन किया: Unbalanced MNIST (डाउनसैंपल की गई क्लास के साथ अंक वर्गीकरण), CelebA (जनसांख्यिकीय असंतुलन के साथ चेहरे के गुण), और Bank Account Fraud (धोखाधड़ी/आयु समूहों के साथ टेबुलर डेटा)।

• प्रदर्शन: ASC ने लगातार सभी बेसलाइनों को पछाड़ दिया। CelebA डेटासेट पर, ASC ने अगली सर्वश्रेष्ठ विधि की तुलना में 30% अधिक वर्स्ट-केस ग्रुप एक्यूरेसी (WGA) प्राप्त की। Unbalanced MNIST पर, ASC ने मानक DP-SGD के 20.4% की तुलना में 75.2% WGA तक पहुँच प्राप्त की।
• विचरण (Variance): प्रयोगात्मक माप ने सैद्धांतिक विश्लेषण की पुष्टि की, जिससे पता चला कि ASC, aZB और aZB-prop की तुलना में लगभग 100-गुना कम नमूना विचरण प्रदर्शित करता है।
• गोपनीयता बजट (Privacy Budgets): ASC ने विभिन्न गोपनीयता बजटों ($\epsilon \in [0.1, 5]$) में मजबूत प्रदर्शन बनाए रखा, जबकि अन्य विधियों (जैसे, DP-SGD-F) ने केवल उच्च, कम निजी $\epsilon$ मानों पर महत्वपूर्ण सुधार दिखाया।

महत्व और दावे

यह शोध पत्र दोनों (सबसे खराब स्थिति वाले समूह निष्पक्षता और डिफरेंशियल प्राइवेसी) को एक साथ लागू करने के लिए पहला व्यावहारिक तरीका प्रदान करने का दावा करता है। लेखक तर्क देते हैं कि पिछले दृष्टिकोण या तो सैद्धांतिक रूप से सही थे लेकिन व्यावहारिक रूप से अनुपयुक्त थे (जैसे, असंतुलित डेटा पर विफल होना) या वे निजी शिक्षण में अननिष्पक्षता के मूल कारणों को संबोधित करने में विफल रहे।

अनुकूली क्लिपिंग के माध्यम से नमूनाकरण रणनीति को गोपनीयता तंत्र से अलग करके, ASC अल्पसंख्यक समूहों को अधिक भार देने (निष्पक्षता के लिए) और संवेदनशीलता (sensitivity) को सीमित करने (गोपनीयता के लिए) के बीच के तनाव को हल करता है। लेखक निष्कर्ष निकालते हैं कि उनका कार्य मानव-केंद्रित अनुप्रयोगों में विश्वसनीय AI के लिए एक पूर्व शर्त, यानी निष्पक्ष और निजी मशीन लर्निंग मॉडल को प्रशिक्षित करने में सक्षम बनाकर सकारात्मक सामाजिक प्रभाव प्रदान करता है। वे अत्यंत छोटे समूहों के संबंध में मौलिक गोपनीयता सीमाओं को स्वीकार करते हैं, लेकिन नोट करते हैं कि उनकी विधि इन चुनौतीपूर्ण सेटिंग्स में भी मौजूदा बेसलाइनों में महत्वपूर्ण सुधार करती है।