📊 statistics

Edgeworth Accountant: An Analytical Approach to Differential Privacy Composition

تقدم هذه الورقة "محاسب إدجوورث" (Edgeworth Accountant)، وهو أسلوب تحليلي يستفيد من توسيع إدجوورث والخصوصية التفاضلية من نوع $f$ لحساب حدود الخصوصية التفاضلية $(\epsilon, \delta)$ غير التقاربية والمحكمة للآليات المركبة بتكلفة حوسبية ثابتة، مما يجعله فعالاً بشكل خاص في التعلم العميق والتحليلات الاتحادية.

المؤلفون الأصليون: Hua Wang, Sheng Gao, Huanyu Zhang, Milan Shen, Weijie J. Su, Jiayuan Wu

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hua Wang, Sheng Gao, Huanyu Zhang, Milan Shen, Weijie J. Su, Jiayuan Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير نادياً سرياً حيث تريد معرفة أشياء عن أعضائك (مثل نكهة الآيس كريم المفضلة لديهم) دون الكشف أبداً عن من قال ماذا. هذا هو عالم الخصوصية التفاضلية (Differential Privacy - DP). الأمر يشبه وجود درع سحري يضيف القليل من "الضجيج" أو "التشويش" إلى البيانات، بحيث إذا حاول شخص ما التلصص، لا يمكنه معرفة ما إذا كان شخص معين موجوداً في المجموعة أم لا.

لكن الجزء الصعب هنا هو أنك لا تطرح سؤالاً واحداً فقط. بل تطرح آلاف الأسئلة بمرور الوقت، أو تجمع البيانات من مصادر مختلفة تماماً. وفي كل مرة تطرح فيها سؤالاً، يضعف "التشويش" قليلاً، وتزداد مخاطر اكتشاف سر ما. وهذا ما يسمى التركيب (Composition).

السؤال الكبير هو: كم مقدار الخصوصية التي فقدناها بعد طرح 1000 سؤال؟

المشكلة مع الأدوات القديمة

قبل هذه الورقة البحثية، كان لدى الناس طريقتان رئيسيتان للإجابة على ذلك:

"التقدير التقريبي" (محاسب اللحظات - Moments Accountant): هذا يشبه تخمين المبلغ الذي أنفقته من خلال النظر إلى رصيدك البنكي وقول: "أعتقد أنني لم أتجاوز الميزانية". إنه سريع، لكنه غالباً ما يكون مبالغاً فيه بشكل مخيف. فهو يخبرك: "قد تكون أنفقت 1000 دولار!" بينما أنت في الواقع أنفقت 100 دولار فقط. إنه تقدير فضفاض جداً، مما يجعلك تبالغ في الحذر لدرجة تمنعك من تعلم ما يكفي من بياناتك.
"الحاسبة الدقيقة" (طريقة تحويل فوريه السريع - FFT Method): هذا يشبه عدّ كل قرش أنفقته بدقة. إنه دقيق للغاية، لكنه بطيء للغاية. إذا كان لديك 1000 معاملة، فسيستغرق الأمر وقتاً طويلاً لمعالجة الأرقام. وإذا كان لديك مليون معاملة (كما هو الحال في تدريب الذكاء الاصطناعي الحديث)، فإن هذه الطريقة ستتسبب في تعطل النظام أو تستغرق وقتاً طويلاً جداً. إنها تشبه محاولة عد حبات الرمل على الشاطئ واحدة تلو الأخرى.

الحل الجديد: محاسب إيدجوورث (Edgeworth Accountant)

تقدم الورقة البحثية أداة جديدة تسمى محاسب إيدجوورث. فكر فيه كأنه نظام GPS ذكي وسريع لخصوصية البيانات.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. "فقدان الخصوصية" هو موجة صوتية

تخيل أن كل مرة تطرح فيها سؤالاً، فإنك تخلق "تموجاً" صغيراً من فقدان الخصوصية. إذا طرحت 1000 سؤال، فلديك 1000 تموج.

الطرق القديمة حاولت جمع هذه التموجات عبر إما تخمين الارتفاع الإجمالي (وهو أمر غير دقيق) أو قياس كل قطرة ماء على حدة (وهو أمر بطيء جداً).
محاسب إيدجوورث ينظر إلى شكل التموجات. فهو يعلم أنه عندما تجمع الكثير من التموجات الصغيرة والعشوائية، فإنها تميل إلى تشكيل نمط موجي محدد ومتوقع (منحنى الجرس).

2. "توسيع إيدجوورث" هو تلسكوب فائق الدقة

الطريقة القياسية للتنبؤ بهذه الموجات هي "نظرية الحد المركزي" (منحنى الجرس الأساسي). لكن هذه الطريقة تشبه النظر إلى القمر بالعين المجردة؛ قد تكون جيدة، لكنها ضبابية.
توسيع إيدجوورث (Edgeworth Expansion) هو بمثابة وضع تلسكوب عالي القدرة على تلك الرؤية. فهو لا يرى القمر فحسب، بل يرى الفوهات والجبال أيضاً. إنه يصحح "الضبابية" في الرياضيات الأساسية.

لماذا هذا مهم؟ لأنه يسمح للمحاسبين بحساب فقدان الخصوصية بالضبط بدقة مذهلة، ولكنهم يفعلون ذلك باستخدام معادلة بسيطة (مثل الآلة الحاسبة) بدلاً من عد كل حبة رمل.

3. الوضعين: "المُقدِّر" و"شبكة الأمان"

تقدم الورقة نسختين من هذه الأداة:

محاسب إيدجوورث التقريبي (AEA): هو المُقدِّر السريع. يعطيك إجابة دقيقة جداً في لمح البصر. وهو مثالي عندما تقوم بتصميم تجربتك وتحتاج لمعرفة: "هل هذا آمن؟".
فترة محاسب إيدجوورث الدقيق (EEAI): هي شبكة الأمان. فهي لا تعطيك رقماً واحداً فحسب، بل تعطيك نطاقاً (فترة ثقة). فهي تقول لك: "فقدان الخصوصية يقع بالتأكيد بين X و Y". وهذا أمر بالغ الأهمية للأسباب القانونية والأمنية، لضمان عدم كسر قواعد الخصوصية عن طريق الخطأ.

لماذا يعد هذا أمراً هاماً؟

تخيل أنك تقوم بتدريب ذكاء اصطناوي فائق الذكاء لتشخيص الأمراض. أنت بحاجة لطرح ملايين الأسئلة حول بيانات المرضى.

الطريقة القديمة: إما أن تكون خائفاً جداً من تسريبات الخصوصية لدرجة تجعلك تتوقف عن تعليم الذكاء الاصطناعي أي شيء مفيد، أو تنتظر أسابيع حتى يقوم الكمبيوتر بحساب ما إذا كان الأمر آمناً.
الطريقة الجديدة (إيدجوورث): يمكنك حساب تكلفة الخصوصية في جزء من الثانية. تحصل على رقم دقيق ومحكم يخبرك بالضبط كم تبقى لك من الخصوصية. وهذا يعني أنه يمكنك تدريب نماذج ذكاء اصطناعي أفضل وأسرع، دون كشف أسرار المرضى بالخطأ.

الخلا الخلاصة

محاسب إيدجوورث هو "أداة خارقة" رياضية جديدة تسمح لعلماء البيانات بتتبع فقدان الخصوصية بـ سرعة (مثل الآلة الحاسبة) و دقة (مثل المجهر). إنه يحل المشكلة الأزلية المتمثلة في: "كيف أستخدم الكثير من البيانات دون فقدان أسرار الجميع؟" عن طريق استخدام رياضيات متقدمة للتنبؤ بمستقبل فقدان الخصوصية قبل حدوثه.

إنه الفرق بين تخمين المسافة التي يمكنك قطعها بخزان وقود، وبين امتلاك لوحة قيادة تخبرك بالضبط كم ميلاً تبقى لك، وصولاً إلى أدق التفاصيل، مهما كانت الطريق وعرة.

إليك ملخص تقني مفصل لورقة "Edgeworth Accountant: An Analytical Approach to Differential Privacy Composition" (محاسب إيدج‌وورث: نهج تحليلي لتكوين الخصوصية التفاضلية).

١. بيان المشكلة

في تحليل البيانات الحافظ للخصوصية (مثل التعلم العميق، والتحليلات الاتحادية)، غالبًا ما يتم بناء الخوارزميات كتركيبات من عدة وحدات بناء تحافظ على الخصوصية. ويتمثل التحدي الحاسم في محاسبة الخصوصية (privacy accounting): أي حساب إجمالي فقدان الخصوصية بدقة (تحديدًا معلمات $(\epsilon, \delta)$ -differential privacy بعد $m$ من عمليات التكوين).

تواجه الطرق الحالية مقايضة بين الدقة والكفاءة الحسابية:

محاسب اللحظات (Moments Accountant - Rényi DP): فعال حسابيًا ( $O(1)$ أو $O(m)$ ) ولكنه يقدم حدودًا عليا فضفاضة، وغالبًا ما تكون غير عملية، لأن التحويل من Rényi DP إلى $(\epsilon, \delta)$ -DP يتسم بفقدان المعلومات.
الطرق العددية القائمة على تحويل فوريه السريع (FFT-based Numerical Methods): توفر حدودًا دقيقة ومحكمة للعينات المحدودة، ولكنها تعاني من تعقيد حسابي عالٍ (متعدد الحدود في $m$ ، مثل $O(m^{2.5})$ ) وعدم استقرار عددي عندما تكون $m$ كبيرة (وهو أمر شائع في التعلم العميق).
الخصوصية التفاضلية الغاوسية (Gaussian DP / CLT Approximation): تقدم حلاً بصيغة مغلقة، ولكنها دقيقة تقاربيًا فقط، وتفتقر إلى الضمانات الصارمة للعينات المحدودة.

تهدف الورقة إلى تطوير طريقة توفر حدود $(\epsilon, \delta)$ -DP محكمة للعينات المحدودة مع تعقيد زمني خطي أو ثابت واستقرار عددي عالٍ.

٢. المنهجية

يعتمد محاسب إيدج‌وورث (Edgeworth Accountant) المقترح على إطار عمل الخصوصية التفاضلية- $f$ ( $f$ -DP) وتوسعة إيدج‌وورث (Edgeworth expansion) لتقريب توزيع فقدان الخصوصية.

المفاهيم الأساسية

١. إطار عمل $f$ -DP: يستخدم المؤلفون $f$ -DP، الذي يميز الخصوصية عبر دالة مقايضة بين خطأ النوع الأول والنوع الثاني في إطار اختبار الفرضيات. وهذا يسمح بتمثيل "عديم الفقد" لضمانات الخصوصية مقارنة بـ $(\epsilon, \delta)$ -DP.
٢. نسب لوغاريتم الاحتمال (PLLRs): يتم نمذجة تركيب الآليات كجموع لمتغيرات عشوائية مستقلة تمثل نسب لوغاريتم الاحتمال لتوزيعات المخرجات تحت مجموعات البيانات المتجاورة.

ليكن $X_i$ و $Y_i$ هما الـ PLLRs للآلية رقم $i$ .
يتم تحديد إجمالي فقدان الخصوصية من خلال دالات التوزيع التراكمي (CDFs) لمجموع $S_X = \sum X_i$ و $S_Y = \sum Y_i$ .
٣. توسعة إيدج‌وورث (Edgeworth Expansion): بدلًا من استخدام نظرية الحد المركزي (CLT) القياسية (التي تعد تقريبًا من الدرجة صفر)، يطبق المؤلفون توسعة إيدج‌وورث. وهي عبارة عن متسلسلة توسعية تعمل على تحسين التقريب الطبيعي من خلال دمج العزوم العليا (الكميات - cumulants)، مما يوفر معدل تقارب أسرع ( $O(m^{-(p+1)/2})$ للرتبة $p$ ).

نسختان

تقدم الورقة أداتين محددتين:

محاسب إيدج‌وورث التقريبي (Approximate Edgeworth Accountant - AEA):
- يستخدم توسعة إيدج‌وورث لتقريب دالات التوزيع التراكمي (CDFs) لمجموعات PLLR.
- يوفر تعبيرًا ذا صيغة مغلقة يربط بين $\epsilon$ و $\delta$ .
- فعال حسابيًا ( $O(1)$ للآليات المتطابقة، و $O(m)$ للآليات غير المتجانسة).
- متسق تقاربيًا ودقيق للغاية للقيم العملية لـ $m$ .
فترة محاسب إيدج‌وورث الدقيقة (Exact Edgeworth Accountant Interval - EEAI):
- يشتق حدودًا عليا وسفلى صارمة للعينات المحدودة لفقدان الخصوصية.
- يستخدم نوعًا من حد "بيري-إيسين" (Berry–Esseen) مكيفًا مع توسعة إيدج‌وورث لتقدير خطأ التقريب ( $\Delta_{m,k}$ ).
- يوفر فترة $[\delta^-, \delta^+]$ (أو $[\epsilon^-, \epsilon^+]$ ) تحتوي بصرامة على ضمان الخصوصية الحقيقي.

التعامل مع أخذ العينات الفرعية (Subsampling)

بالنسبة للآليات التي تتضمن أخذ عينات فرعية (مثل NoisySGD)، يعالج المؤلفون تعقيد دالة المقايضة (التي تتضمن مرافقًا مزدوجًا لـ infimum). يستخدمون التمهيدية (Lemma) 3.3 لتفكيك المشكلة إلى تحليل سلاسل متعددة من الـ PLLRs المقابلة للمكونات المختلفة لدالة المقايضة، ثم أخذ الـ supremum للحدود الناتجة.

٣. المساهمات الرئيسية

١. محاسب تحليلي مبتكر: تقديم محاسب إيدج‌وورث، الذي يحقق زمنًا ثابتًا $O(1)$ للآليات المتطابقة وزمنًا خطيًا $O(m)$ للتركيبات العامة، مما يتفوق بشكل كبير على طرق FFT ( $O(m^{2.5})$ ).
٢. ضمانات العينات المحدودة: أول محاسب DP يقدم حدود خطأ صريحة وغير تقاربية باستخدام توسعات إيدج‌وورث. هذا يسد الفجوة بين التقريبات التقاربية (مثل GDP) والطرق العددية الدقيقة (مثل FFT).
٣. الإحكام والدقة: توفر الطريقة حدودًا أكثر إحكامًا بكثير من محاسب اللحظات (Rényy DP) وتقديرات أكثر دقة من تقريب CLT/GDP القياسي، خاصة بالنسبة لقيم $m$ المتوسطة إلى الكبيرة.
٤. الاستقرار العددي: على عكس طرق FFT، التي تعاني من عدم الاستقرار العددي واحتمالية الفشل (مثل إنتاج حدود $\epsilon$ سالبة) عندما تكون $m$ كبيرة أو الآليات غير متجانسة، يظل محاسب إيدج‌وورث مستقرًا تحليليًا.
٥. القابلية للتعميم: الإطار قابل للتطبيق على أي آلية إضافة ضجيج (غاوس، لابلاس، إلخ) بشرط أن تمتلك الـ PLLRs عزومًا محدودة.

٤. النتائج

يتحقق المؤلفون من نهجهم من خلال تجارب عددية واسعة النطاق:

مقارنة الدقة: في التجارب التي تتضمن تركيب ١,٥٠٠ آلية غاوسية، كانت تقديرات AEA متطابقة تقريبًا مع الحقيقة الأرضية "الدقيقة" (المحسوبة عبر FFT للقيم الصغيرة لـ $m$ أو الحدود النظرية)، بينما قدم محاسب اللحظات (RDP) و GDP القياسي حدودًا فضفاضة أو غير دقيقة.
الاستقرار واسع النطاق: في السيناريوهات التي تصل فيها $m$ إلى $10^6$ (محاكاة تدريب التعلم العميق)، فشلت طريقة FFT في إنتاج نتائج صالحة (أنتجت حدود $\epsilon$ سالبة بسبب الأخطاء العددية). في المقابل، قدمت EEAI حدودًا مستقرة ومحكمة وصالحة.
التعلم الاتحادي: تعاملت الطريقة بنجاح مع آليات Gaussian المعقدة التي تتضمن أخذ عينات فرعية، وهي شائعة في التحليلات الاتحادية، مما وفر تتبعًا دقيقًا للخصوصية لـ ١٠ حقبات (epochs) من التدريب حيث تكون $m$ كبيرة.

٥. الأهمية

يمثل محاسب إيدج‌وورث تقدمًا كبيرًا في أدوات الخصوصية التفاضلية:

الأثر العملي: يتيح المحاسبة الصارمة للخصوصية لنماذج التعلم العميق والتعلم الاتحادي واسعة النطاق، حيث غالبًا ما يكون عدد خطوات التكوين بالملايين. كانت الطرق السابقة إما بطيئة جدًا (FFT) أو فضفاضة جدًا (Moments) بحيث لا يمكن الاستفادة منها في هذه الإعدادات.
المساهمة النظرية: يضع أول حدود خطأ للعينات المحدودة لتوسعات إيدج‌وورث في سياق الـ DP، وهي نتيجة ذات أهمية رياضية مستقلة.
الكفاءة: من خلال تقليل التعقيد إلى زمن خطي أو ثابت، فإنه يسم يسمح للممارسين بتقييم ميزانيات الخصوصية بسرعة أثناء ضبط المعلمات الفائقة (hyperparameter tuning)، وهي مهمة كانت في السابق غير قابلة للتنفيذ عمليًا باستخدام الطرق الدقيقة.

باخت_صار، يقدم محاسب إيدج‌وورث "أفضل ما في العالمين": الكفاءة الحسابية للطرق التحليلية والدقة والصرامة للطرق العددية، مما يجعله الحل الأمثل (state-of-the-art) لمحاسبة الخصوصية في تطبيقات تعلم الآلة الحديثة.