ملخص تقني: تدقيق الخصوصية باستخدام تشغيل صفري (0)

1. بيان المشكلة

يعد تدقيق الخصوصية أمراً ضرورياً لتحديد الحدود الدنيا تجريبياً لمعلمات الخصوصية التفاضلية (DP) لخوارزميات التعلم، مما يكمل الضمانات النظرية. ومع ذلك، تعتمد طرق التدقيق الحالية (مثل التدقيق متعدد التشغيل والتدقيق أحادي التشغيل) على الوصول التدخلي إلى مسار التدريب. فهي تتطلب إما إعادة تدريب النماذج عدة مرات مع إدخال بيانات عشوائية، أو تنفيذ الخوارزمية مرة واحدة مع مؤشرات عضوية عشوائية.

هذا المتطلب التدخلي يجعل التدقيق غير ممكن للنماذج التأسيسية الضخمة والمنتشرة (مثل النماذج اللغوية الكبيرة) بسبب:

• الموانع الحسابية: تتطلب إعادة تدريب أو إعادة تنفيذ مسارات التدريب آلاف الأيام من وحدة معالجة الرسومات (GPU).
• العوائق اللوجستية: غالباً ما يكون الوصول إلى مسارات البيانات الداخلية والقدرة على عشوائية تضمين البيانات غير متاح في عمليات النشر "الصندوق الأسود" (Black-box).
• فجوة المساءلة: الأنظمة التي تفرض أكبر مخاطر الخصوصية هي الأكثر تحصيناً ضد التقييم المستقل، مما يفرض الاعتماد على الثقة بدلاً من التحقق.

علاوة على ذلك، فإن المحاولة الساذجة للتدقيق دون تدخل (باستخدام مجموعات بيانات ثابتة من الأعضاء وغير الأعضاء) تفشل لأنها تُدخل تحولات توزيع مربكة. إذا كانت مجموعات بيانات الأعضاء وغير الأعضاء تتبع توزيعات أساسية مختلفة ($P_1 \neq P_0$)، فقد ينجح هجوم استنتاج العضوية (MIA) من خلال استغلال هذه الاختلافات التوزيعية بدلاً من التسريب الخوارزمي، مما يؤدي إلى نتائج إيجابية كاذبة وحدود خصوصية غير صالحة.

2. المنهجية: التدقيق بـ "تشغيل صفري"

يقترح المؤلفون التدقيق بـ "تشغيل صفري" (Zero-Run Auditing)، وهو إطار عمل لاحق للتدقيق يعامل تدقيق الخصوصية كـ مشكلة استدلال ملاحظاتي، مشابهة للاستدلال السببي. يعمل هذا الإطار دون تعديل الخوارزمية أو مسار البيانات، بالاعتماد فقط على مخرجات النموذج ومجموعتي بيانات ثابتتين:

1. $D_1$ (الأعضاء): مجموعة فرعية من بيانات التدريب (أو بيانات ما قبل التدريب المعروفة).
2. $D_0$ (غير الأعضاء): مجموعة بيانات معروف أنها استُبعدت من التدريب (مثل بيانات ما بعد التدريب أو عينات اصطناعية).

يسير الإطار عبر أربع خطوات:

1. الملاحظة: يلاحظ المدقق مخرجات النموذج $\theta = A(D_{train})$ والبيانات الملاحظة $\{X_i\} = D_1 \cup D_0$.
2. استنتاج العضوية: يقوم هجوم استنتاج العضوية القياسي (MIA) بتوليد تخمينات خام $T_i \in \{-1, 0, 1\}$ لكل $X_i$.
3. تقدير الميل (Propensity Estimation): يقدر المدقق درجة الميل $\hat{\pi}(X_i) \approx P(S_i=1 | X_i)$، والتي تمثل احتمال كون نقطة البيانات عضواً بناءً على سماتها فقط. وهذا يعزل احتمالية الاختيار الهيكلية عن الإشارة الخوارزمية.
4. التصحيح: يطبق الإطار تصحيحات لفك الارتباط بين تحول التوزيع والتسريب الخوارزمي باستخدام نهجين متكاملين.

نهج التصحيح

يصيغ البحث طريقتين لتصحيح التأثير المربك لتحول التوزيع:

• التصحيح العالمي (التركيب التكيفي):

  • ينمذج التسريب الملاحظ كتركيب تكيفي لآليتين: آلية تحول التوزيع ($M_{DS}$) والخوارزمية الخاضعة للتدقيق ($A$).
  • يعامل إجمالي التسريب كـ $f_{Tot} = f \otimes f_{DS}$، حيث $\otimes$ هو الضرب التنسوري لدوال المقايضة.
  • النتيجة: ينتج حدوداً عالمية محافظة. يفترض هذا النهج حدوث تسريب تحول التوزيع في أسوأ الحالات عبر جميع نقاط البيانات، مما قد يؤدي إلى فقدان القوة الإحصائية إذا كان التحول غير متجانس.

• التصحيح الشرطي (التدقيق النقطي):

  • يشترط على الأمثلة الملاحظة $X_i$. ويدرك أن مساهمة تحول التوزيع في الاستنتاج هي مساهمة محلية، تُحدد من خلال لوغاريتم النسب الأرجحية $\epsilon_{DS}(x_i) = |\log \pi(x_i) - \log(1-\pi(x_i))|$.
  • آلية العبث (Tampering Mechanism): لمنع الإفراط في الثقة الناتج عن تحول التوزيع، يقوم الإطار بـ "العبث" بتخمينات الـ MIA. بالنسبة للمثال الذي يمتلك درجة ميل غير متوازنة للغاية (على سبيل المثال، $\pi(x) \approx 1$)، يكون التخمين الصحيح أقل دلالة على التسريب الخوارزمي. يحتفظ الإطار بمثل هذه التخمينات باحتمالية أقل $b_i$، مما يؤدي فعلياً إلى عشوائية الامتناع.
  • النتيجة: يعطي حدوداً أكثر حدة وتعتمد على الحالة (instance-dependent)، وتكون قوية تجاه تحولات التوزيع دون العقوبات الشديدة التي يفرضها نهج الحالة الأسوأ العالمي.

تقدير عدم اليقين

بما أن درجات الميل يجب تقديرها من البيانات، يدمج الإطار عملية البوتستراب (Bootstrapping) لقياس عدم اليقين. ومن خلال إعادة أخذ عينات من مجموعة بيانات تقدير الميل، تنتج الطريقة حدوداً تجريبية دنيا تأخذ في الاعتبار خطأ التقدير، مما يضمن بقاء التدقيق صالحاً باحتمالية عالية.

3. المساهمات الرئيسية

1. صياغة التدقيق بـ "تشغيل صفري": يحدد البحث نظام تدقيق لاحق حيث لا يتم تعشية العضوية. ويوضح أن عمليات التدقيق الساذجة على هذه البيانات تبالغ في تقدير التسريب، ويربط صراحة هذا الإعداد بالاستدلال السببي الملاحظي، مما يتطلب فرضية "التداخل" (positivity) بين توزيعات الأعضاء وغير الأعضاء.
2. أطر تصحيح التسريب:
   • منظور التركيب: الذي يفك الارتباط بين تحول التوزيع والتسريب الخوارزمي عبر التركيب التكيفي.
   • المنظور الشرطي: الذي يعدل تخمينات العضوية النقطية بناءً على درجات الميل، مما ينتج تصحيحات قوية تعتمد على التحول.
3. تقدير عدم اليقين: دمج البوتستراب لتوفيد حدود دنيا صالحة إحصائياً تأخذ في الاعتبار أخطاء تقدير درجة الميل.
4. القابلية للتوسع: إثبات إمكانية إجراء تدقيقات الخصوصية على النماذج الضخمة والمنتشرة حيث تكون إعادة التدريب مستحيلة حسابياً أو لوجستياً.

4. النتائج التجريبية

قيم المؤلفون التدقيق بـ "تشغيل صفري" على بيانات اصطناعية ومعايير واقعية (iWildCam):

• البيانات الاصطناعية: تحت تأثير تزايد شدة تحول التوزيع، تنتج عمليات التدقيق أحادية التشغيل القياسية (التي تتجاهل التحول) حدوداً غير صالحة. وتفقد التصحيحات العالمية القوة الإحصائية بسرعة بسبب عقوبات الحالة الأسوأ. في المقابل، يحافظ التصحيح الشرطي المدرك للميل على حدود تجريبية معلوماتية ومستقرة نسبياً عبر مستويات التحول.
• البيانات الواقعية (iWildCam): في ظل وجود تحولات توزيع طبيعية شديدة (جغرافية/بيئية)، تعطي الطرق العالمية وغير المدركة للميل حدوداً غير موجبة (غير مفيدة). أما التصحيح الشرطي المدرك للميل، فينجح في استخراج حد أدنى صالح للخصوصية ($\hat{\mu} = 0.645$) للبيانات خارج التوزيع (OOD)، وهو ما يطابق عن كثب الحد الذي حققه تقسيم IID المثالي ($\hat{\mu} = 0.652$).
• التكلفة: يتحمل نهج "التشغيل الصفري" عقوبة قدرها تقريباً $\approx 1$ وحدة في مقياس $\mu$-GDP مقارنة بتدقيق "التشغيل الواحد" المثالي، ويعزى ذلك إلى تكلفة تقدير درجة الميل وتقدير عدم اليقين.

5. الأهمية والادعاءات

يزعم البحث أن التدقيق اللاحق للخصوصية ممكن ولكن يجب التعامل معه كمسألة استدلال ملاحظاتي. تكمن الأهمية الرئيسية في:

• سد فجوة المساءلة: تزويد المنظمين والباحثين بأدوات للتحقق من ضمانات الخصوصية للنماذج التأسيسية دون الحاجة إلى الوصول إلى بنية التدريب التحتية.
• القياس السببي: التطبيق الناجح لمبادئ الاستدلال السببي (درجات الميل، تعديل التضليل) في مجال تدقيق الخصوصية.
• العملية: تمكين تقييم الخصوصية في السيناريوهات التي تكون فيها الضمانات النظرية غامضة أو يكون فيها إعادة التنفيذ التجريبي غير ممكن.

يظل المؤلفون متواضعين، معترفين بالقيود:

• تقدير الميل: يعتمد الإطار على تقدير دقيق لدرجة الميل، وهو أمر صعب في البيئات ذات الأبعاد العالية والعينات المحدودة.
• القيود الموروثة: يرث التدقيق بـ "تشغيل صفري" عدم كفاءة العينات المحدودة الموجودة في طرق "التشغيل الواحد"، ويعتمد على القوة الأساسية لهجوم MIA.
• القابلية للتفنيد: بينما يكون التدقيق صالحاً، فإن حدود درجة الميل نفسها لا يمكن تصديقها رسمياً؛ فهي قابلة للتفنيد حسابياً من خلال الاختبارات العدائية ولكنها تعتمد على التحقق التجريبي.

في الختام، يثبت البحث أن تحول التوزيع هو مصدر متميز لمعلومات العضوية يجب قياسه وتصحيحه. ومن خلال استخدام درجات الميل، يحول التدقيق بـ "تشغيل صفري" هذه العوامل المربكة إلى حدود دنيا تجريبية صالحة لتسريب الخصوصية الخوارزمي.