🤖 machine learning

INO-SGD: Addressing Utility Imbalance under Individualized Differential Privacy

यह शोध पत्र INO-SGD को प्रस्तुत करता है, जो एक नवीन एल्गोरिदम है जिसे इंडिविजुअलाइज्ड डिफरेंशियल प्राइवेसी में महत्वपूर्ण उपयोगिता असंतुलन की समस्या को संबोधित करने के लिए रणनीतिक रूप से प्रत्येक बैच के भीतर डेटा को डाउन-वेट (down-weight) करने हेतु डिज़ाइन किया गया है, ताकि गोपनीयता गारंटी से समझौता किए बिना अत्यधिक निजी डेटा पर बेहतर मॉडल प्रदर्शन सुनिश्चित किया जा सके।

मूल लेखक: Xiao Tian, Jue Fan, Rachael Hwee Ling Sim, Bryan Kian Hsiang Low

प्रकाशित 2026-05-11

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiao Tian, Jue Fan, Rachael Hwee Ling Sim, Bryan Kian Hsiang Low

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "INO-SGD: Individualized Differential Privacy के तहत Utility Imbalance को संबोधित करना" का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके किया गया स्पष्टीकरण है।

बड़ी तस्वीर: अलग-अलग गोपनीयता नियमों वाला एक क्लासरूम

कल्पना कीजिए कि एक शिक्षक (Model Owner) कई छात्रों (Data Owners) से होमवर्क इकट्ठा करके उन्हें पढ़ाने की कोशिश कर रहा है। लक्ष्य एक स्मार्ट स्टडी गाइड (एक AI Model) बनाना है जो सभी को परीक्षा पास करने में मदद करे।

हालाँकि, कुछ छात्र बहुत निजी (private) हैं। उन्हें डर है कि यदि उनका विशिष्ट होमवर्क देखा गया, तो इससे उनके संवेदनशील रहस्य (जैसे कोई कलंक वाली बीमारी या कठिन व्यक्तिगत स्थिति) उजागर हो सकते हैं। इसलिए, वे मजबूत गोपनीयता सुरक्षा (stronger privacy protection) की मांग करते हैं। अन्य छात्र कम चिंतित हैं और कमजोर सुरक्षा से ठीक हैं।

अतीत में, सभी की रक्षा करने के लिए, शिक्षक को पूरी कक्षा के साथ एक जैसा व्यवहार करना पड़ता था: या तो सभी को कमजोर सुरक्षा देनी होती (जिससे संवेदनशील छात्रों को खतरा होता) या सभी को सुपर-स्ट्रॉन्ग सुरक्षा देनी होती (जिससे स्टडी गाइड इतनी धुंधली और अस्पष्ट हो जाती कि कोई भी कुछ भी अच्छी तरह से नहीं सीख पाता)।

हाल ही में, IDP-SGD नामक एक नई विधि का आविष्कार किया गया। यह प्रत्येक छात्र को अपना स्वयं का गोपनीयता स्तर चुनने देती है। निजी छात्र मजबूत सुरक्षा पाते हैं; अन्य कमजोर सुरक्षा पाते हैं। यह सुनने में एकदम सही लगता है, है ना?

समस्या: शोध पत्र इस नई विधि में एक छिपे हुए दोष की खोज करता है। क्योंकि निजी छात्रों के डेटा को सुरक्षित रखने के लिए बहुत अधिक "धुंधला" (blurred) कर दिया जाता है, इसलिए शिक्षक की स्टडी गाइड उन विशिष्ट निजी छात्रों की मदद करने में खराब साबित होती है। इस बीच, वह कम-निजी छात्रों के लिए बहुत अच्छी काम करती है।

पेपर इसे "Utility Imbalance" कहता है। यह एक डॉक्टर के प्रशिक्षण मॉडल की तरह है जो सामान्य जुकाम के निदान में तो बहुत अच्छा है लेकिन दुर्लभ, कलंक वाली बीमारियों के निदान में बहुत खराब है क्योंकि उन दुर्लभ बीमारियों के डेटा को प्रशिक्षण के दौरान बहुत अधिक "सुरक्षित" रखा गया था।

समाधान: INO-SGD (स्मार्ट ग्रेडर)

लेखक INO-SGD नामक एक नया एल्गोरिदम प्रस्तावित करते हैं। इसे एक स्मार्ट ग्रेडर (Smart Grader) के रूप में सोचें जो शिक्षक द्वारा सीखने की कोशिश करने से पहले होमवर्क को देखता है।

यह एक Noisy Kitchen (शोर भरा रसोईघर) के रूपक का उपयोग करके कैसे काम करता है:

सामग्री (Data): कल्पना करें कि शिक्षक सूप (मॉडल) बना रहा है। सामग्री होमवर्क असाइनमेंट हैं।
शोर (Noise/Privacy): छात्रों की सुरक्षा के लिए, शिक्षक सूप में "प्राइवेसी नॉइज़" (जैसे नमक) मिलाता है। छात्र जितना अधिक निजी होगा, उसकी विशिष्ट सामग्री में उतना ही अधिक नमक मिलाया जाएगा।
असंतुलन (Imbalance): यदि आप निजी सामग्रियों में बहुत अधिक नमक डालते हैं, तो वे इतनी नमकीन हो जाती हैं कि शेफ उन्हें अनदेखा कर देता है या वे बाकी सभी के लिए स्वाद बिगाड़ देती हैं। शेफ ज्यादातर कम-नमकीन (कम निजी) सामग्रियों पर ही निर्भर रहता है। अंतिम सूप उन लोगों के लिए बहुत अच्छा स्वाद देता है जिन्हें कम-नमकीन स्वाद पसंद है, लेकिन यह उन लोगों के लिए बेकार है जिन्हें नमकीन स्वाद की आवश्यकता है।

INO-SGD इसे कैसे ठीक करता है:
सभी सामग्रियों को समान रूप से बर्तन में डालने के बजाय, स्मार्ट ग्रेडर (INO-SGD) होमवर्क को देखता है और पूछता है: "इसे सीखना कितना कठिन है?"

कठिन-से-सीखने वाला डेटा (Hard-to-learn data): यदि होमवर्क को समझना बहुत कठिन है (जो अक्सर अत्यधिक निजी डेटा के साथ होता है क्योंकि शोर उसे धुंधला बना देता है), तो ग्रेडर कहता है, "यह महत्वपूर्ण है! हमें इस पर ध्यान देने की आवश्यकता है।" यह इस डेटा को एक उच्च स्कोर (high score) देता है।
आसान-से-सीखने वाला डेटा (Easy-to-learn data): यदि होमवर्क समझना आसान है (अक्सर कम निजी छात्रों से), तो ग्रेडर कहता है, "हम इसे पहले से जानते हैं। हम इसके थोड़े हिस्से को अनदेखा कर सकते हैं।" यह इस डेटा को एक कम स्कोर (lower score) देता है।

जादुई ट्रिक:
एल्गोरिदम केवल आसान डेटा को फेंक नहीं देता (क्योंकि इससे प्राइवेसी बजट बर्बाद होगा)। इसके बजाय, यह आसान डेटा को कम महत्व (down-weight) देता है। यह शिक्षक को बताता है: "अपना 80% ध्यान कठिन, निजी डेटा पर लगाओ, और केवल 20% ध्यान आसान डेटा पर लगाओ।"

ऐसा करके, शिक्षक बिना और अधिक शोर जोड़े कठिन, निजी डेटा को संभालने का तरीका सीख जाता है। परिणाम एक ऐसी स्टडी गाइड है जो सभी के लिए अच्छी तरह काम करती है, जिसमें सबसे अधिक निजी छात्र भी शामिल हैं, बिना गाइड की समग्र गुणवत्ता से समझौता किए।

मौजूदा सुधार काम क्यों नहीं कर पाए

पेपर समझाता है कि आप इन पुराने तरीकों को ठीक करने के लिए पुराने ट्रिक्स का उपयोग क्यों नहीं कर सकते:

Oversampling: आप निजी छात्रों के होमवर्क को बार-बार "कॉपी-पेस्ट" नहीं कर सकते ताकि वे अधिक बार दिखाई दें। वह उनके गोपनीयता नियमों को तोड़ देगा।
Undersampling: आप कम निजी छात्रों के आसान होमवर्क को बस फेंक नहीं सकते। यह उनके प्राइवेसी बजट को बर्बाद करता है और पूरे सूप को कम स्वादिष्ट बनाता है।
Standard Balancing: पुराने तरीके यह मान लेते हैं कि समस्या यह है कि निजी छात्रों की संख्या कम है। लेकिन इस मामले में, शायद छात्रों की संख्या बराबर है; समस्या यह है कि गोपनीयता के नियम निजी डेटा को एल्गोरिदम के लिए "छोटा" और "धुंधला" बना देते हैं।

परिणाम: एक निष्पक्ष परिणाम

लेखकों ने विभिन्न डेटासेट्स (जैसे हस्तलिखित संख्याओं की छवियां, मेडिकल एक्स-रे और जानवरों की तस्वीरें) पर परीक्षण किया। उन्होंने पाया कि:

निजी लोगों के लिए बेहतर: निजी छात्रों (या सख्त गोपनीयता नियमों वाले समूहों) को बहुत बेहतर परिणाम मिले। उनके "ग्रेड" (मॉडल सटीकता) में काफी वृद्धि हुई।
दूसरों के लिए कोई नुकसान नहीं: कम निजी छात्रों को बहुत कम नुकसान हुआ। वास्तव में, समग्र मॉडल अक्सर थोड़ा बेहतर हो गया क्योंकि इसने "आसान" चीजों पर समय बर्बाद करना बंद कर दिया और "कठिन" चीजों पर ध्यान केंद्रित किया।
प्राइवेसी सुरक्षित है: नया तरीका अभी भी गोपनीयता नियमों का सख्ती से पालन करता है। निजी छात्र पहले की तरह ही सुरक्षित हैं; एल्गोरिदम बस उन्हें अधिक प्रभावी ढंग से सुनने का तरीका सीख गया है।

सारांश उपमा

कल्प Imagine करें कि हाइकर (पदयात्रियों) की एक टीम शिखर तक पहुँचने की कोशिश कर रही है।

पुराना तरीका: हर कोई सबसे धीमे चलने वाले हाइकर की गति से चलता है। तेज़ चलने वाले हाइकर ऊब जाते हैं और थक जाते हैं।
IDP-SGD (दोषपूर्ण विधि): हर कोई अपनी गति से चलता है, लेकिन धीमे चलने वाले हाइकर (निजी डेटा) भारी, धुंधले चश्मे पहने हुए हैं। टीम लीडर (मॉडल) धीमे हाइकरों को अनदेखा करने लगता है क्योंकि उन्हें देखना कठिन है, और टीम तेज़ी से चलती है लेकिन धीमे हाइकरों को पीछे छोड़ देती है।
INO-SGD (समाधान): टीम लीडर को एहसास होता है कि धीमे हाइकर वास्तव में सबसे महत्वपूर्ण मानचित्र के टुकड़े ले जा रहे हैं, भले ही उन्हें देखना कठिन हो। लीडर तेज़ चलने वालों से कहता है, "थोड़ा धीमे चलो और धीमे चलने वालों पर विशेष ध्यान दो।" पूरी टीम एक साथ शिखर तक पहुँचती है, और धीमे हाइकर भी अंततः इस यात्रा में शामिल होते हैं।

पेपर यह सिद्ध करता है कि रणनीतिक रूप से कठिन, निजी डेटा पर अधिक ध्यान देकर और आसान डेटा पर कम ध्यान देकर, हम ऐसे AI मॉडल बना सकते हैं जो निष्पक्ष, सटीक और सभी की गोपनीयता के प्रति सम्मानजनक हों।

तकनीकी सारांश: INO-SGD: व्यक्तिगत विभेदक गोपनीयता (Individualized Differential Privacy) के तहत उपयोगिता असंतुलन को संबोधित करना

समस्या विवरण (Problem Statement)

यह शोध पत्र व्यक्तिगत विभेदक गोपनीयता (Individualized Differential Privacy - IDP) की एक महत्वपूर्ण सीमा को संबोधित करता है, जो डेटा स्वामियों को उनकी संवेदनशीलता आवश्यकताओं के आधार पर अलग-अलग गोपनीयता बजट ( $\epsilon_n$ ) निर्धारित करने की अनुमति देने वाला एक ढांचा है। जबकि मौजूदा IDP एल्गोरिदम (विशेष रूप से IDP-SGD संस्करण: SAMPLE और SCALE) व्यक्तिगत गोपनीयता बाधाओं को सफलतापूर्वक पूरा करते हैं, वे अनजाने में एक गंभीर उपयोगिता असंतुलन (utility imbalance) की समस्या उत्पन्न करते हैं।

IDP-SGD में, अधिक गोपनीयता आवश्यकताओं (कम $\epsilon_n$ ) वाले डेटा स्वामियों को या तो कम सैंपलिंग दर (in SAMPLE) या छोटे ग्रेडिएंट क्लिपिंग थ्रेशोल्ड (in SCALE) दिए जाते हैं। फलस्वरूप, प्रशिक्षण के दौरान, इन "अधिक निजी" स्वामियों के ग्रेडिएंट्स, कम निजी स्वामियों के ग्रेडिएंट्स की तुलना में मॉडल अपडेट में कम योगदान देते हैं। शोध पत्र इन दो विशिष्ट नकारात्मक घटनाओं की पहचान करता है:

माइनॉरिटी इनिशियल ड्रॉप (Minority Initial Drop - MID): एक प्रारंभिक चरण जहाँ अधिक निजी समूहों के लिए मॉडल उपयोगिता (utility) में सुधार नहीं होता या वास्तव में गिरावट आती है, जबकि कम निजी समूहों के लिए उपयोगिता सामान्य रूप से सुधरती है।
बायस्ड ऑप्टिमाइजेशन ऑब्जेक्टिव (Biased Optimization Objective - BOO): अंतिम प्रशिक्षित मॉडल एक ऐसी स्थिति में अभिसरित (converge) होता है जो कम निजी समूहों का पक्ष लेता है, जिसके परिणामस्वरूप अधिक निजी स्वामियों के डेटा पर प्रदर्शन काफी खराब हो जाता है।

महत्वपूर्ण रूप से, लेखक तर्क देते हैं कि डेटा असंतुलन को ठीक करने वाली मौजूदा तकनीकें (जैसे ओवरसैंपलिंग, लॉस रीस्केलिंग) IDP के लिए अनुपयुक्त हैं क्योंकि वे या तो व्यक्तिगत गोपनीयता बजटों का उल्लंघन करती हैं, उपलब्ध गोपनीयता बजटों का कम उपयोग करती हैं (कुल उपयोगिता को कम करती हैं), या DP में निहित ग्रेडिएंट क्लिपिंग तंत्रों द्वारा उनके प्रभावों को शून्य कर दिया जाता है।

कार्यप्रणाली: INO-SGD

इसे हल करने के लिए, लेखक INO-SGD (Individualized Noisy Ordered SGD) प्रस्तावित करते हैं। मूल अंतर्ज्ञान यह है कि IDP बाधाओं का उल्लंघन किए बिना प्रत्येक बैच के भीतर कम महत्वपूर्ण ग्रेडिएंट्स को रणनीतिक रूप से कम भार (down-weight) दिया जाए।

मुख्य तंत्र (Key Mechanism)

लॉस-आधारित क्रम (Loss-Based Ordering): प्रत्येक नमूने गए बैच के भीतर, ग्रेडिएंट्स को उनके व्यक्तिगत लॉस मानों के आधार पर अवरोही क्रम (descending order) में व्यवस्थित किया जाता है। लेखक का मानना है कि उच्च लॉस ग्रेडिएंट्स "कठिन" या अधिक महत्वपूर्ण डेटा बिंदुओं का प्रतिनिधित्व करते हैं जिन्हें मॉडल को सीखने की आवश्यकता है, चाहे मालिक का गोपनीयता स्तर कुछ भी हो।
टेल इम्पोर्टेंस फंक्शन (Tail Importance Function - TIF): एक पूर्व-निर्धारित फंक्शन, $f_{tail}$ $f_{t ai l}$ , सॉर्ट की गई सूची में ग्रेडिएंट की स्थिति को 0 और 1 के बीच एक महत्व स्कोर (importance score) में मैप करता है।
- "हेड" (उच्च लॉस) वाले ग्रेडिएंट्स को स्कोर 1 (पूरी तरह से रखा गया) दिया जाता है।
- "टेल" (निम्न लॉस) वाले ग्रेडिएंट्स को स्कोर < 1 (कम भारित) दिया जाता है।
बैच इम्पोर्टेंस फंक्शन (Batch Importance Function - BIF): TIF को एक BIF, $f_t$ में बदल दिया जाता है, जो बैच के भीतर संचित क्लिपिंग थ्रेशोल्ड की निरंतर श्रेणी को महत्व स्कोर प्रदान करता है।
वेटेड क्लिपिंग (Weighted Clipping): केवल मालिक के थ्रेशोल्ड $C_{o(d)}$ $C_{o (d)}$ तक ग्रेडिएंट को क्लिप करने के बजाय, INO-SGD क्लिप्ड ग्रेडिएंट को उसके गणना किए गए महत्व स्कोर $\rho_k$ $ρ_{k}$ द्वारा स्केल करता है।
- यदि किसी ग्रेडिएंट को महत्वहीन (कम लॉस) माना जाता है, तो उसका नॉर्म (norm) $C_{o(d)}$ से स्पष्ट रूप से छोटे मान तक प्रतिबंधित कर दिया जाता है।
- "आसान" ग्रेडिएंट्स के नॉर्म में यह कमी कुल मॉड्यूलर सेंसिटिविटी बजट के भीतर "जगह" बनाती है ताकि कुल शोर (noise) स्केल को बढ़ाए बिना "कठिन" ग्रेडिएंट्स (अक्सर अधिक निजी स्वामियों से) के योगदान को प्रभावी ढंग से संरक्षित किया जा सके।
गोपनीयता संरक्षण (Privacy Preservation): एल्गोरिदम यह सुनिश्चित करता है कि किसी भी एकल डेटा $d$ के संबंध में तंत्र की मॉड्यूलर सेंसिटिविटी उसके मालिक के क्लिपिंग थ्रेशोल्ड $C_{o(d)}$ द्वारा सीमित रहे। यह इसलिए प्राप्त किया जाता है क्योंकि री-वेटिंग लॉस के क्रम (जो पिछले इटरेशन के मॉडल से प्राप्त होता है, जो पहले से ही DP-संरक्षित है) पर आधारित है और किसी डेटा को जोड़ने या हटाने पर संचित ग्रेडिएंट में कुल परिवर्तन गणितीय रूप से उस डेटा के अपने क्लिपिंग थ्रेशोल्ड द्वारा सीमित है।

मुख्य योगदान (Key Contributions)

IDP-प्रेरित उपयोगिता असंतुलन की पहचान: यह शोध पत्र सैद्धांतिक रूप से प्रदर्शित करता है कि संतुलित डेटासेट पर भी, IDP-SGD व्यक्तिगत गोपनीयता बजटों को संतुष्ट करने के लिए आवश्यक सैंपलिंग दरों और क्लिपिंग थ्रेशोल्ड के अंतर के कारण उपयोगिता असंतुलन (MID और BOO) उत्पन्न करता है।
INO-SGD एल्गोरिदम: एक अभिनव अनुकूलन एल्गोरिदम जो IDP को संतुष्ट करता है और उपयोगिता असंतुलन को कम करता है। यह कम लॉस वाले ग्रेडिएंट्स (अक्सर कम निजी स्वामियों से) को कम भार देकर अधिक लॉस वाले ग्रेडिएंट्स (अक्सर अधिक निजी स्वामियों से) को प्राथमिकता देता है, जिससे प्रभावी रूप से एक अलग ऑब्जेक्टिव फंक्शन को अनुकूलित किया जाता है।
सैद्धांतिक गारंटी:
- गोपनीयता: सिद्ध किया गया है कि यह मानक IDP-SGD के समान गोपनीयता खपत दर के साथ $(\alpha, \bar{\epsilon})$ -Rényi Individualized Differential Privacy (IRDP) को संतुष्ट करता है।
- ऑब्जेक्टिव: एल्गोरिदम को प्रभावी रूप से एक मिक्स्ड कंडीशनल वैल्यू-एट-रिस्क (CVaR) ऑब्जेक्टिव (या गैर-बढ़ते भारों के साथ एक ऑर्डर्ड वेटेड एवरेज) को कम करने के लिए दिखाया गया है। यह ऑब्जेक्टिव औसत लॉस को कम करने के बजाय सबसे खराब स्थिति वाले समूहों (अधिक निजी स्वामियों) के लॉस को कम करने को प्राथमिकता देता है।
सामान्यीकरण (Generalization - INO-SGM): लेखक इस तंत्र को INO-SGM (Individualized Noisy Ordered Gaussian Mechanism) में सामान्यीकृत करते हैं, जो किसी भी ऐसे फंक्शन पर लागू होता है जहाँ डेटा का क्रम महत्वपूर्ण है, न कि केवल ग्रेडिएंट डिसेंट।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न डेटासेट्स (MNIST, CIFAR-10, CIFAR-100, Pneumonia, Cardiotocography) और मॉडल्स (CNNs, ResNet-18, LSTMs) पर IDP-SGD के विरुद्ध INO-SGD का मूल्यांकन किया।

उपयोगिता संतुलन (Utility Balance): INO-SGD ने लगातार अधिक निजी डेटा स्वामियों के प्रदर्शन (रिकॉल/सटीकता) में सुधार किया। कई प्रयोगों में, अधिक निजी और कम निजी समूहों के बीच प्रदर्शन का अंतर काफी कम हो गया।
कुल उपयोगिता (Overall Utility): विशिष्ट गोपनीयता-उपयोगिता ट्रेड-ऑफ के विपरीत, INO-SGD ने कुल मॉडल उपयोगिता का त्याग नहीं किया। कई मामलों में, इसने IDP-SGD की तुलना में समान या थोड़ी अधिक समग्र सटीकता प्राप्त की। लेखक इसका श्रेय उन "शोर वाले" या कम सूचनात्मक ग्रेडिएंट्स को हटाने को देते हैं जो मॉडल को विचलित करते हैं।
मजबूती (Robustness): एल्गोरिदम हाइपरपैरामीटर विकल्पों (टेल लेंथ $\gamma$ , बीटा वितरण पैरामीटर्स $\alpha, \beta$ ) के प्रति मजबूत रहा और लेबल नॉइज़ और एडेप्टिव क्लिपिंग सेटिंग्स के तहत भी प्रभावी रहा।
गोपनीयता सत्यापन (Privacy Verification): मेंबरशिप इन्फरेंस अटैक्स (LiRA) ने पुष्टि की कि INO-SGD, IDP-SGD के समान गोपनीयता सुरक्षा प्रदान करता है, जिसमें कोई महत्वपूर्ण लीकेज नहीं है।

महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि यह IDP-प्रेरित उपयोगिता असंतुलन की विशिष्ट समस्या को पहचानने और संबोधित करने वाला पहला कार्य है। इसका महत्व यहाँ निहित है:

नैतिक AI (Ethical AI): यह सुनिश्चित करता है कि गोपनीयता-संरक्षण मॉडलों की तैनाती अनजाने में उन उपयोगकर्ताओं के खिलाफ भेदभाव न करे जिनके पास संवेदनशील डेटा है (जैसे, कलंक झेल रहे रोगों वाले रोगी) उन्हें ऐसा मॉडल प्रदान करके जिसका उनके विशिष्ट डेटा पर प्रदर्शन खराब हो।
दक्षता (Efficiency): यह उस ट्रेड-ऑफ को हल करता जहाँ व्यक्तिगत गोपनीयता आवश्यकताओं को पूरा करना पहले विशिष्ट समूहों के लिए उप-इष्टतम (suboptimal) मॉडल प्रदर्शन का कारण बनता था। INO-SGD मॉडल स्वामियों को सभी स्वामियों के पूर्ण गोपनीयता बजटों का उपयोग करने की अनुमति देता है जबकि संतुलित प्रदर्शन बनाए रखता है।
पारेतो श्रेष्ठता (Pareto Superiority): लेखक प्रदर्शित करते हैं कि INO-SGD नाईव दृष्टिकोणों (जैसे समान रूप से गोपनीयता बजट कम करना या रैंडम अंडरसैंपलिंग) का पारेतो-डोमिनेट करता है, जो समग्र उपयोगिता और उपयोगिता संतुलन के बीच एक बेहतर ट्रेड-ऑफ वक्र प्रदान करता है।

लेखक विनम्रतापूर्वक स्वीकार करते हैं कि यद्यपि INO-SGD संतुलन में सुधार करता है, फिर भी एक मौलिक IDP-बैलेंस-उपयोगिता ट्रेड-ऑफ मौजूद है; बहुत अधिक आक्रामक तरीके से संतुलन के लिए प्रयास करना (अत्यधिक डाउन-वेटिंग के माध्यम से) अंततः समग्र उपयोगिता को कम कर सकता है। हालाँकि, INO-SGD पारेतो फ्रंटियर को आदर्श के करीब धकेलता है।