📊 statistics

Optimal Rates for Pure {\varepsilon}-Differentially Private Stochastic Convex Optimization with Heavy Tails

यह शोध पत्र भारी-पूंछ वाले ग्रेडिएंट्स (heavy-tailed gradients) के तहत शुद्ध $\epsilon$ -डिफरेंशियल प्राइवेट स्टोकेस्टिक कॉनवेक्स ऑप्टिमाइज़ेशन के लिए मिनीमैक्स इष्टतम अतिरिक्त-जोखिम दर (minimax optimal excess-risk rate) को स्थापित करता है, जो एम्पिरिकल लॉस के लिप्सचिट्ज़ एक्सटेंशन को निजी रूप से अनुकूलित करने के लिए एक नवीन ढांचे को पेश करता है, जो उच्च संभाव्यता के साथ बहुपद समय (polynomial time) में इन दरों को प्राप्त करता है।

मूल लेखक: Andrew Lowy

प्रकाशित 2026-04-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrew Lowy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक केक की एकदम सही रेसिपी (इष्टतम समाधान - Optimal Solution) खोजने की कोशिश कर रहे हैं, जिसके लिए आप अलग-अलग बेकर्स द्वारा बनाए गए हजारों अलग-अलग संस्करणों को चख रहे हैं। प्रत्येक बेकर सामग्री का थोड़ा अलग सेट (डेटा - Data) उपयोग करता है।

वास्तविक दुनिया में, कुछ बेकर अराजक (chaotic) हो सकते हैं। वे एक चुटकी नमक डाल सकते हैं, या एक पूरी बाल्टी चीनी, या यहाँ तक कि एक जीवित मुर्गी भी डाल सकते हैं। ये हैं "हैवी-टेल्ड" ग्रेडिएंट्स (Heavy-Tailed Gradients): अत्यधिक, अप्रत्याशित आउटलेयर्स जो मानक गणितीय मॉडलों को तोड़ देते हैं।

अब, कल्पना कीजिए कि वे बेकर गुप्त एजेंट (Secret Agents) भी हैं। वे नहीं चाहते कि आप उन्हें पता चले कि उन्होंने कौन सी सामग्री डाली थी, क्योंकि इससे उनकी पहचान उजागर हो सकती है। वे आपको सबसे अच्छा केक खोजने में मदद करना चाहते हैं, लेकिन बिना अपने रहस्य उजागर किए। यह है डिफरेंशियल प्राइवेसी (Differential Privacy)।

यह शोध पत्र एक बहुत ही विशिष्ट, कठिन पहेली को हल करता है: आप सबसे अच्छा केक रेसिपी कैसे खोजें जब सामग्रियाँ अराजक (heavy-tailed) हों AND आपको बेकर्स के रहस्यों की पूर्णतः रक्षा करनी हो (प्योर डिफरेंशियल प्राइवेसी - Pure Differential Privacy)?

यहाँ उनके समाधान का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।

1. समस्या: "परफेक्ट" बनाम "असली"

वर्षों तक, गणितज्ञों ने माना कि हर बेकर बहुत सावधान था। उन्होंने माना कि कोई भी एक कप से अधिक चीनी कभी नहीं डालेगा (एक बाउंडेड लिप्सचिट्ज़ पैरामीटर - Bounded Lipschitz Parameter)। इस धारणा के तहत, उनके पास रहस्यों की रक्षा करने के लिए अच्छी रेसिपी थीं।

लेकिन वास्तविकता में, बेकर अव्यवस्थित होते हैं। कभी-कभी चीनी की बोरी फट जाती है, और आपको चीनी का ढेर मिल जाता है।

पुराना तरीका: यदि आप यह मानकर रहस्यों की रक्षा करने की कोशिश करते हैं कि बेकर सावधान हैं, लेकिन वे वास्तव में अराजक हैं, तो आपकी गोपनीयता गारंटी विफल हो जाती है, या आपका केक बहुत खराब बनता है।
नया तरीका: यह शोध पत्र मानता है कि बेकर अराजक हैं। वे केवल यह मानते हैं कि औसतन, अराजकता अनंत नहीं है। वे "जीवित मुर्गी" वाले परिदृश्य की अनुमति देते हैं, जब तक कि ऐसा हर बार न हो।

2. अंतराल: "लगभग" निजी बनाम "पूर्णतः" निजी

गोपनीयता के दो स्तर हैं:

अनुमानित गोपनीयता (The "Maybe" Shield): आप रहस्यों की रक्षा कर सकते हैं, लेकिन एक बहुत ही छोटी संभावना (जैसे 1 अरब में से 1) है कि कोई रहस्य लीक हो जाए। अधिकांश पिछले तरीकों ने इसी का उपयोग किया।
शुद्ध गोपनीयता (The "Iron" Shield): किसी भी रहस्य के लीक होने की शून्य संभावना है। यह गणितीय रूप से असंभव है कि कोई हमलावर किसी विशिष्ट बेकर के बारे में कुछ भी जान सके।

बड़ी खोज: अब तक, कोई नहीं जानता था कि अराजक सामग्रियों के साथ शुद्ध गोपनीयता (Pure Privacy) के साथ सबसे अच्छा केक रेसिपी कैसे खोजा जाए। मौजूदा तरीके जो अराजक डेटा पर निर्भर थे, वे "क्लिपिंग" (बड़ी सामग्रियों को काट देना) पर आधारित थे, जो "लगभग" गोपनीयता के लिए तो काम करता है लेकिन "शुद्ध" गोपनीयता के लिए विफल हो जाता है।

3. समाधान: "स्मूथ फेंस" (लिप्सचिट्ज़ एक्सटेंशन)

लेखकों ने अराजकता को संभालने के लिए एक चतुर तरकीब ईजाद की, जिसमें सामग्रियों को काटा नहीं जाता।

कल्पना कीजिए कि लॉस फंक्शन (रेसिपी की "बुराई") एक ऊबड़-खाबड़, पथरीला पहाड़ है। "क्लिपिंग" विधि पहाड़ के ऊपरी हिस्से को काटने की कोशिश करती है, जिससे उसका आकार बिगड़ जाता है।

इसके बजाय, लेखकों ने पहाड़ के चारों ओर एक "स्मूथ फेंस" (Smoothed Fence) बनाया।

अवधारणा: उन्होंने उस अराजक, ऊबड़-खाबड़ लॉस फंक्शन को गणितीय रूप से "विस्तारित" (extend) किया ताकि वह एक कोमल पहाड़ी की तरह चिकना और अनुमानित बन जाए, बिना वास्तविक डेटा को बहुत अधिक बदले।
यह क्यों काम करता है: यह "स्मूथ फेंस" (लिप्सचिट्ज़ एक्सटेंशन - Lipschitz Extension) अराजक समस्या को एक अनुमानित समस्या में बदल देता है। एक बार जब समस्या अनुमानित हो जाती है, तो वे शुद्ध गोपनीयता के "आयरन शील्ड" को बहुत अधिक प्रभावी ढंग से लागू कर सकते हैं।

4. रणनीति: ज़ूम इन करना (लोकलाइजेशन)

स्मूथ फेंस के साथ भी, पहाड़ अभी भी कुशलता से खोजने के लिए बहुत बड़ा है।

ट्रिक: वे एक "प्राइवेसी ज़ूम लेंस" का उपयोग करते हैं। पहले, वे सबसे अच्छी रेसिपी का एक रफ स्थान खोजने के लिए डेटा में थोड़ा सा "कोहरा" (यादृच्छिक शोर/random noise) जोड़ते हैं।
परिणाम: यह खोज क्षेत्र को पूरी दुनिया से घटाकर एक छोटे से पड़ोस (neighborhood) तक सीमित कर देता है।
लाभ: इस छोटे से पड़ोस के भीतर, "स्मूथ फेंस" बहुत सटीक और सुव्यवस्थित होता है। अब वे शून्य गोपनीयता लीक के साथ उच्च सटीकता के साथ सबसे अच्छी रेसिपी पा सकते हैं।

5. परिणाम: तेज़ और सुरक्षित

शोध पत्र दो अद्भुत चीजें सिद्ध करता है:

इष्टतमता (Optimality): उन्होंने इन सख्त नियमों के तहत सबसे अच्छी रेसिपी खोजने की बिल्कुल तेज़ संभव गति (गणितीय रूप से) खोज ली है। आप इससे बेहतर नहीं कर सकते।
दक्षता (Efficiency): उनका तरीका केवल एक सैद्धांतिक विचार नहीं है; यह एक कंप्यूटर प्रोग्राम है जो तेज़ी से चलता है।
- अधिकांश अव्यवस्थित डेटा के लिए, यह बहुत उच्च संभावना के साथ तेज़ी से चलता है।
- अराजक डेटा के विशिष्ट, संरचित प्रकारों (जैसे "हिंज" या "ReLU" फंक्शन वाले सामान्य मशीन लर्निंग समस्याएं) के लिए, यह 100% समय तेज़ी से चलता है, भले ही डेटा अनंत रूप से अराजक क्यों न हो।

सारांश उपमा

कल्पना कीजिए कि आप एक आंखों की पट्टी पहनकर (जो कभी नहीं फिसलनी चाहिए) एक तूफानी समुद्र (हैवी-टेल्ड डेटा) के केंद्र को खोजने की कोशिश कर रहे हैं।

पुराने तरीकों ने लहरों को रोकने के लिए एक दीवार बनाने की कोशिश की, लेकिन तूफान के लिए वह दीवार बहुत कमजोर थी, या उसने दृश्य को बहुत अधिक बाधित कर दिया।
यह शोध पत्र कहता है: "लहरों से लड़ो मत। इसके बजाय, एक विशेष, लचीले पतवार वाली नाव (लिप्सचिट्ज़ एक्सटेंशन) बनाओ जो लहरों के साथ मुड़ सके लेकिन आपको सीधा रखे। फिर, एक रडार का उपयोग करके पानी के एक छोटे, शांत हिस्से (लोकलाइजेशन) को खोजें जहाँ आप सुरक्षित रूप से केंद्र की ओर बढ़ सकें।"

उन्होंने सिद्ध किया है कि यह नाव अराजक, निजी डेटा के तूफानी समुद्र में नेविगेट करने का सबसे तेज़, सबसे सुरक्षित और सबसे कुशल तरीका है।

यहाँ एंड्रयू लोवी के शोध पत्र "Optimal Rates for Pure $\epsilon$ -Differentially Private Stochastic Convex Optimization with Heavy Tails" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र प्योर $\epsilon$ -डिफरेंशियल प्राइवेसी (DP) के तहत स्टोकेस्टिक कॉन्वेक्स ऑप्टिमाइज़ेशन (SCO) को संबोधित करता है।

लक्ष्य: एक कॉन्वेक्स कॉम्पैक्ट डोमेन $W \subset \mathbb{R}^d$ पर पॉपुलेशन रिस्क $F(w) = \mathbb{E}_{z \sim P}[f(w, z)]$ को कम करना।
चुनौती 1: हेवी-टेल्ड ग्रेडिएंट्स (Heavy-Tailed Gradients)। पारंपरिक DP-SCO साहित्य यह मानता है कि लॉस फंक्शन यूनिफॉर्मली लिप्सचिट्ज़ निरंतर (Lipschitz continuous) है और इसका ग्रेडिएंट नॉर्म $L$ सीमित है (अर्थात $\sup \|\nabla f\| \le L$ )। हालाँकि, कई वास्तविक दुनिया के परिदृश्यों में (जैसे अनबाउंडेड फीचर्स के साथ लीनियर रिग्रेशन), $L$ अनंत या अत्यंत बड़ा हो सकता है। यह शोध पत्र इसे एक सीमित $k$ -वें मोमेंट धारणा (bounded $k$ -th moment assumption) में शिथिल करता है:
$\mathbb{E}\left[\sup_{w \in W} \|\nabla f(w, z)\|^k\right] \le G_k^k$
जहाँ $k \ge 2$ है। यह औसत व्यवहार को नियंत्रित करते हुए हेवी-टेल्ड ग्रेडिएंट वितरणों की अनुमति देता है।
चुनौती 2: प्योर DP बनाम एप्रोक्सिमेट DP। एप्रोक्सिमेट $(\epsilon, \delta)$ -DP हेवी-टेल्ड SCO के लिए इष्टतम दरें (नॉइजी क्लिप्ड ग्रेडिएंट्स का उपयोग करके) ज्ञात हैं, लेकिन प्योर $\epsilon$ -DP ( $\delta=0$ ) का मामला एक खुला प्रश्न बना हुआ था। मौजूदा हेवी-टेल्ड एल्गोरिदम क्लिपिंग पर निर्भर करते हैं, जो प्योर DP के तहत सब-ऑप्टिमल या कम्प्यूटेशनल रूप से अक्षम हो सकते हैं क्योंकि इसमें उन्नत कंपोजिशन थ्योरम का अभाव होता है।

2. कार्यप्रणाली (Methodology)

लेखक एक नया ढांचा प्रस्तावित करते हैं जो मानक नॉइजी क्लिप्ड ग्रेडिएंट विधियों से हटकर एम्पिरिकल लॉस के लिप्सचिट्ज़ एक्सटेंशन (Lipschitz extensions) का उपयोग करता है।

A. मुख्य ढांचा: लिप्सचिट्ज़ एक्सटेंशन (Lipschitz Extension)

मूल हेवी-टेल्ड लॉस $f$ को ऑप्टिमाइज़ करने के बजाय, एल्गोरिदम इसके लिप्सचिट्ज़ एक्सटेंशन $f_C$ को ऑप्टिमाइज़ करता है:
$f_C(w, z) := \inf_{y \in W} \left[ f(y, z) + C\|w - y\| \right]$

गुणधर्म: $f_C$ कॉन्वेक्स और $C$ -लिप्सचिट्ज़ है, भले ही $f$ के ग्रेडिएंट अनबाउंडेड हों।
बायस कंट्रोल (Bias Control): एक्सटेंशन एक बायस ( $f - f_C$ ) पेश करता है। इसे नियंत्रित करने के लिए, लेखक एक लोकलाइजेशन (localization) रणनीति का उपयोग करते हैं। वे पहले ऑप्टिमाइज़ेशन डोमेन $W$ को एक छोटे सेट $W_0$ में सिकोड़ते हैं जहाँ मिनीमाइज़र के रहने की संभावना अधिक होती है। चूंकि बायस डोमेन के व्यास (diameter) के साथ स्केल करता है, इसलिए $W_0$ (जहाँ $\text{diam}(W_0) \ll \text{diam}(W)$ ) पर ऑप्टिमाइज़ करना बायस को काफी कम कर देता है।

B. एल्गोरिदम पाइपलाइन: लोकलाइज्ड डबल आउटपुट परटर्बेशन (Localized Double Output Perturbation)

मुख्य एल्गोरिदम, लोकलाइज्ड डबल आउटपुट परटर्बेशन, चरणों (पॉपुलेशन-लोकलाइजेशन फ्रेमवर्क का पालन करते हुए) में कार्य करता है और प्रत्येक चरण के लिए तीन प्रमुख चरणों में विभाजित है:

प्राइवेट लोकलाइजेशन (प्रथम आउटपुट परटर्बेशन):
- रेगुलराइज्ड लिप्सचिट्ज़ एक्सटेंशन का एक अनुमानित मिनीमाइज़र कंप्यूट करें।
- इस समाधान में लाप्लास नॉइज़ (Laplace noise) जोड़ें और इसे वापस $W$ में प्रोजेक्ट करें।
- इस नॉइजी पॉइंट के आसपास एक छोटा बॉल $W_0$ परिभाषित करें। यह चरण सुनिश्चित करता है कि वास्तविक मिनीमाइज़र उच्च प्रायिकता के साथ $W_0$ में स्थित है, जबकि $\epsilon/2$ -DP की शर्त को पूरा करता है।
$W_0$ पर कुशल ऑप्टिमाइज़ेशन:
- जॉइंट कॉन्वेक्स रीफॉर्मुलेशन (Joint Convex Reformulation): लिप्सचिट्ज़ एक्सटेंशन के मिनिमाइजेशन में एक आंतरिक इन्फिमम (infimum) शामिल है। लेखक इस समस्या को वेरिएबल्स $(w, y_1, \dots, y_n)$ पर एक जॉइंटली कॉन्वेक्स ऑब्जेक्टिव में रीफॉर्मुलेट करते हैं:
  $\Phi(w, y) = \frac{1}{n}\sum (f(y_i, z_i) + C\|w - y_i\|) + \frac{\lambda}{2}\|w - w_0\|^2$
- एडाप्टिव इनएक्सैक्ट प्रोजेक्टेड सबग्रेडिएंट (Adaptive Inexact Projected Subgradient): चूंकि $\Phi$ का लिप्सचिट्ज़ स्थिरांक अज्ञात है (हेवी टेल्स के कारण), वे एक एडाप्टिव प्रोजेक्टेड सबग्रेडिएंट विधि का उपयोग करते हैं। यह विधि देखे गए ग्रेडिएंट नॉर्म्स के आधार पर स्टेप साइज़ को एडजस्ट करती है और $W_0$ के लिए एक इनएक्सैक्ट प्रोजेक्शन ऑरेकल (लैग्रेंज मल्टीप्लायर पर बाइसक्शन के माध्यम से निर्मित) का उपयोग करती है। यह उच्च प्रायिकता के साथ बहुपद समय (polynomial time) में एक प्रमाणित अनुमानित मिनीमाइज़र की गारंटी देता है।
प्राइवेट आउटपुट (द्वितीय आउटपुट परटर्बेशन):
- $W_0$ में पाए गए अनुमानित मिनीमाइज़र में लाप्लास नॉइज़ जोड़ें और इसे वापस $W_0$ में प्रोजेक्ट करें। यह अंतिम चरण सुनिश्चित करता है कि आउटपुट $\epsilon/2$ -DP है।

C. अनंत लिप्सचिट्ज़ पैरामीटर्स को संभालना

विशिष्ट स्ट्रक्चर्ड प्रॉब्लम क्लासेस (जैसे कि पॉलीटोप्स पर हिंज/ReLU लॉस) के लिए, लेखक दिखाते हैं कि यदि कोई लिप्सचिट्ज़ एक्सटेंशन $f_C$ के अनुमानित सबग्रेडिएंट्स को कुशलतापूर्वक कंप्यूट कर सकता है, तो एल्गोरिदम उच्च प्रायिकता के साथ पॉलीनोमियल टाइम में चलता है, भले ही वर्स्ट-केस लिप्सचिट्ज़ पैरामीटर अनंत हो।

3. प्रमुख योगदान (Key Contributions)

प्योर DP के लिए इष्टतम मिनिमैक्स दरें (Optimal Minimax Rates):
यह शोध पत्र प्योर $\epsilon$ -DP हेवी-टेल्ड SCO के लिए इष्टतम मिनिमैक्स एक्सीस रिस्क रेट (लॉगैरिद्मिक फैक्टर्स तक) स्थापित करता है:
$\tilde{O}\left( G_k D \left(\frac{d}{n\epsilon}\right)^{1 - 1/k} + \frac{G_2 D}{\sqrt{n}} \right)$
यह एप्रोक्सिमेट DP के ज्ञात दरों से मेल खाता है, जिससे प्योर DP के लिए अंतराल समाप्त हो जाता है।
प्रथम पॉलीनोमियल-टाइम प्योर DP एल्गोरिदम:
वे इस दर को प्राप्त करने वाला पहला कम्प्यूटेशनल रूप से कुशल एल्गोरिदम प्रदान करते हैं।
- उच्च प्रायिकता (High Probability): उच्च प्रायिकता के साथ पॉलीनोमियल टाइम में चलता है।
- संभाव्यता 1 (Probability 1): यदि वर्स्ट-केस लिप्सचिट्ज़ पैरामीटर पॉलीनोमियल रूप से सीमित है, तो यह प्रायिकता 1 के साथ पॉलीनोमियल टाइम में चलता है।
- स्ट्रक्चर्ड क्लासेस: विशिष्ट लॉस (हिंज, ReLU) के लिए, यह अनंत वर्स्ट-केस लिप्सचिट्ज़ पैरामीटर के साथ भी प्रायिकता 1 के साथ पॉलीनोमियल टाइम में चलता है।
नया लोअर बाउंड (Novel Lower Bound):
लेखक एक हाई-प्रोबेबिलिटी लोअर बाउंड सिद्ध करते हैं जो पिछले इन-एक्सपेक्टेशन बाउंड्स की तुलना में (लॉगैरिद्मिक फैक्टर्स द्वारा) अधिक सटीक है। वे क्वांटाइल एस्टीमेशन से डिकोडिंग में रिडक्शन के साथ पैकिंग तकनीकों को जोड़ते हैं।
असंभवता परिणाम (Impossibility Result):
वे सिद्ध करते हैं कि सामान्य तौर पर लोकल ऑरेकल इंफॉर्मेशन से लिप्सचिट्ज़ एक्सटेंशन का सटीक कंप्यूटेशन सीमित समय में असंभव है, जो उनके अनुमानित ऑप्टिमाइज़ेशन फ्रेमवर्क की आवश्यकता को न्यायसंगत ठहराता है।

4. मुख्य परिणाम (Key Results)

थ्योरम 3.1 (मुख्य परिणाम): लोकलाइज्ड डबल आउटपुट परटर्बेशन एल्गोरिदम उच्च प्रायिकता के साथ इष्टतम एक्सीस रिस्क बाउंड प्राप्त करता है।
रनटाइम गारंटी (Runtime Guarantees):
- सामान्य मामला: उच्च प्रायिकता के साथ पॉलीनोमियल टाइम।
- सीमित लिप्सचिट्ज़ मामला: प्रायिकता 1 के साथ पॉलीनोमियल टाइम।
- स्ट्रक्चर्ड लॉस (जैसे हिंज/ReLU): अनबाउंडेड ग्रेडिएंट्स के साथ भी प्रायिकता 1 के साथ पॉलीनोमियल टाइम।
लोअर बाउंड (थ्योरम 4.1): कोई भी $\epsilon$ -DP एल्गोरिदम कम से कम यह एक्सीस रिस्क लेगा:
$\Omega\left( G_k D \left(\frac{d + \log(1/\delta)}{n\epsilon}\right)^{1 - 1/k} + G_2 D \sqrt{\frac{\log(1/\delta)}{n}} \right)$
यह लॉगैरिद्मिक फैक्टर्स तक अपील (upper bound) की इष्टतमता की पुष्टि करता है।

5. महत्व (Significance)

प्योर DP गैप को पाटना: यह कार्य प्योर DP के मामले में एप्रोक्सिमेट DP की तुलना में सांख्यिकीय दंड (अभिसरण दरों के संदर्भ में) की आवश्यकता को दिखाकर डिफरेंशियल प्राइवेसी के एक प्रमुख खुले प्रश्न को हल करता है।
एल्गोरिद्मिक नवाचार: जॉइंट कॉन्वेक्स रीफॉर्मुलेशन और एडेप्टिव सबग्रेडिएंट विधियों के माध्यम से "क्लिप्ड ग्रेडिएंट्स" से "लिप्सचिट्ज़ एक्सटेंशन को ऑप्टिमाइज़ करने" की ओर बदलाव, कमजोर रेगुलैरिटी धारणाओं के तहत प्राइवेट ऑप्टिमाइज़ेशन के लिए एक नया टूलकिट प्रदान करता है।
व्यावहारिक प्रयोज्यता: उन विशिष्ट उप-वर्गों (जो SVM और ReLU नेटवर्क जैसी ML में सामान्य हैं) की पहचान करके जहाँ एल्गोरिदम प्रायिकता 1 के साथ पॉलीनोमियल टाइम में चलता है, परिणाम केवल सैद्धांतिक नहीं बल्कि वास्तविक दुनिया के हेवी-टेल्ड डेटा परिदृश्यों के लिए संभावित रूप से लागू करने योग्य हैं जहाँ गोपनीयता महत्वपूर्ण है।
टाइटनेस (Tightness): मेल खाने वाला लोअर बाउंड यह पुष्टि करता है कि प्राप्त दरें मौलिक सीमाएँ हैं, न कि केवल विशिष्ट एल्गोरिदम के आर्टिफैक्ट।

संक्षेप में, यह शोध पत्र हेवी-टेल्ड धारणाओं के तहत प्योर डिफरेंशियल प्राइवेट स्टोकेस्टिक कॉन्वेक्स ऑप्टिमाइज़ेशन के सांख्यिकीय और कम्प्यूटेशनल जटिलता का पूर्ण लक्षण वर्णन प्रदान करता है, जो इष्टतम दरें और कुशल एल्गोरिदम प्रदान करता है जहाँ पहले कोई नहीं थे।