Beyond Membership: Limitations of Add/Remove Adjacency in Differential Privacy

إليك ملخص تقني مفصل لورقة البحث بعنوان "ما وراء العضوية: حدود علاقة الإضافة/الحذف في الخصوصية التفاضلية" (Beyond Membership: Limitations of Add / Remove Adjacency in Differential Privacy).

1. بيان المشكلة

تعد الخصوصية التفاضلية (DP) الإطار المعياري لحماية البيانات الحساسة في تعلم الآلة. ومع ذلك، فإن قوة ضمانات الخصوصية التفاضلية تعتمد بشكل كبير على علاقة التجاور (adjacency relation) المختارة بين مجموعات البيانات:

• تجاور الإضافة/الحذف ($\sim_{AR}$): تكون مجموعتا البيانات متجاورتين إذا أمكن الحصول على إحداهما من الأخرى عن طريق إضافة أو إزالة سجل واحد. هذا هو المعيار المستخدم في معظم مكتبات الخصوصية التفاضلية (مثل Opacus)، وهو يحمي ضد هجمات استنتاج العضوية (تحديد ما إذا كان فرد معين موجودًا في مجموعة التدريب أم لا).
• تجاور الاستبدال ($\sim_{S}$): تكون مجموعتا البيانات متجاورتين إذا تم استبدال سجل واحد في مجموعة البيانات بسجل آخر. هذا يحمي ضد هجمات استنتاج السمات (تحديد السمات أو التصنيفات المحددة لفرد معروف بوجوده في مجموعة البيانات).

المشكلة الجوهرية: يرى المؤلفون أن الممارسين الذين يعتمدون على مكتبات الخصوصية التفاضلية القياسية يفترضون غالبًا أن ميزانية الخصوصية ($\epsilon$) المحسوبة تحت تجاور "الإضافة/الحذف" توفر حماية كافية لخصوصية السمات. وتوضح الورقة أن هذا تصور خاطئ وحرج: إن حدود الإضافة/الحذف تبالغ بشكل كبير في تقدير الحماية ضد استنتاج السمات. حيث يمكن للمهاجم التمييز بين مجموعتي بيانات تختلفان فقط بسجل مستبدل بثقة أعلى بكثير مما يوحي به $\epsilon$ الخاص بالإضافة/الحذف، مما يؤدي فعليًا إلى كسر ضمانات الخصوصية للسمات.

2. المنهجية

لقياس هذه الفجوة، طور المؤلفون إطار عمل لتدقيق الخصوصية مصمم خصيصًا لتجاور الاستبدال.

أ. إطار عمل التدقيق

حدد المؤلفون نموذج تهديد يحاول فيه المهاجم التمييز بين مجموعتي بيانات متجاورتين، $D$ و $D'$، حيث تتكون $D'$ من استبدال سجل مستهدف $z \in D$ بسجل "كناري" (canary) $z'$. يمتلك المهاجم إمكانية الوصول إلى النموذج المدرب النهائي (إعداد الحالة المخفية - Hidden-State) أو التدرجات الوسيطة (إعداد الحالة المرئية - Visible-State).

يقترح المؤلفون خمس سيناريوهات محددة لصناعة الكناري (canary crafting scenarios) (الجدول 1 في الورقة) لتعظيم القدرة على التمييز بين $D$ و $D'$:

1. S1 (فضاء التدرج، الحالة الأسوأ): صياغة $D$ و $D'$ بحيث تنتج $z$ و $z'$ تدرجات ذات مقدار متساوٍ ($C$) ولكن في اتجاهات متعاكسة. يوفر هذا حداً أدنى نظرياً.
2. S2 (فضاء التدرج، البيانات الطبيعية): صياغة كناري التدرج ($g_z, g_{z'}$) بحيث يستهدفان معامل النموذج الذي يتغير بأقل قدر أثناء التدريب، مما يضمن حقن إشارة متسقة.
3. S3 (فضاء المدخلات، المدخل المصنوع): توليد مدخل عدائي $x'$ مع التصنيف الصحيح $y$ يقلل من تشابه جيب التمام (cosine similarity) مع تدرج العينة المستهدفة.
4. S4 (فضاء المدخلات، التصنيف الخاطئ): توليد مدخل $x$ مع تصنيف خاطئ $y'$ يقلل من تشابه التدرج.
5. S5 (فضاء المدخلات، الطبيعي العدائي): اختيار عينة طبيعية من مجموعة بيانات مساعدة تكون غير متشابهة إلى أقصى حد مع الهدف في فضاء التدرج.

ب. محاسبة الخصوصية

يقارن المؤلفون بين ثلاثة مقاييس:

1. $\epsilon_{AR}$ (المحاسبة): الحد النظري المحسوب باستخدام محاسبات الإضافة/الحذف القياسية.
2. $\epsilon_{S}$ (المحاسبة): الحد النظري المحسوب باستخدام محاسب الاستبدال (المكيف خصيصًا لأخذ العينات من نوع Poisson).
3. $\epsilon_{S}$ (خصوصية المجموعة): تقريب مشتق من خلال معاملة الاستبدال كعملية إضافة واحدة + عملية حذف واحدة (باستخدام النظرية 4.1).
4. $\epsilon$ (التدقيق): الحد الأدنى التجريبي لخسارة الخصوصية المشتق من معدل نجاح هجمات الكناري.

يستخدم المؤلفون الخصوصية التفاضلية الغاوسية (GDP) وإطار عمل $\mu$-GDP لتحويل معدلات الخطأ الإيجابي/السلبي التجريبية إلى حد أدنى لـ $\epsilon$.

3. المساهمات الرئيسية

1. خواروات تدقيق مبتكرة: تقدم الورقة خوارزميات (الخوارزميات 2-5) لصناعة أسوأ حالات الكناري خصيصًا لـ تجاور الاستبدال في كل من فضاء التدرج وفضاء المدخلات.
2. إثبات الفجوة التجريبية: يقدم المؤلفون أدلة تجريبية تظهر أن تسرب الخصوصية ($\epsilon$) الملاحظ تحت هجمات الاستبدال يتجاوز الضمانات التي توفرها محاسبات الإضافة/الحفظ ($\epsilon_{AR}$).
3. التحقق من صحة محاسبة الاستبدال: تتبع النتائج التجريبية عن كثب الحدود النظرية التي تتنبأ بها محاسبات الاستبدال ($\epsilon_{S}$)، مما يثبت أن محاسبة الاستبدال هي المقياس الصحيح لخصوصية السمات.
4. نقد تقريب خصوصية المجموعة: يظهر المؤلفون أن تقريب تجاور الاستبدال عبر خصوصية المجموعة (النظرية 4.1) ينتج حدودًا عليا أقل دقة (أكثر رخاوة) مقارنة بالمحاسبة العددية المباشرة لتجاور الاستبدال.

4. النتائج الرئيسية

أُجريت التجارب على:

• تصنيف الصور: نموذج ViT-B-16 الذي تم ضبطه بدقة (fine-tuned) على CIFAR-10.
• تصنيف النصوص: نموذج Sentence-BERT الذي تم ضبطه بدقة على SST-2.
• التدريب من الصفر: نموذج MLP تم تدريبه على Purchase100.

النتائج:

• المبالغة في تقدير الإضافة/الحذف: في جميع سيناريوهات الضبط الدقيق (البيانات الطبيعية)، انتهكت تسريبات الخصوصية التجريبية ($\epsilon$) حدود الإضافة/الحذف ($\epsilon_{AR}$). على سبيل المثال، مع معدل أخذ عينات $q=0.25$، كان التسريب التجريبي أعلى بكثير من $\epsilon_{AR}$ ولكنه تماشى مع $\epsilon_{S}$.
• الكناري في فضاء التدرج مقابل فضاء المدخلات:
  • وفرت كناري فضاء التدرج (S2) أدق عمليات التدقيق، حيث انتهكت باستمرار $\epsilon_{AR}$ وتوافقت مع $\epsilon_{S}$.
  • كانت كناري فضاء المدخلات (S3–S5) أقل قوة، خاصة في الإعدادات غير المحدبة (التدريب من الصفر) أو مع معدلات أخذ عينات منخفضة. ومع ذلك، في سيناريوهات الضبط الدقيق، أظهرت أيضًا تسريبًا يتجاوز $\epsilon_{AR}$.
• ضعف الضبط الدقيق: وُجد أن النماذج التي تم ضبطها بدقة أكثر عرضة لهجمات كناري فضاء المدخلات من النماذج المدربة من الصفر، ويرجع ذلك على الأرجوة إلى استقرار الميزات سابقة التدريب.
• تأثير أخذ العينات: مع انخفاض معدل أخذ العينات ($q$)، تقل فعالية كناري فضاء المدخلات، لكن كناري فضاء التدرج تظل قوية.

5. الأهمية والآثار المترتبة

• إعادة تقييم ضمانات الخصوصية التفاضلية: تتحدى هذه الورقة بشكل جوهري الافتراض بأن تطبيقات الخصوصية التفاضلية القياسية (التي تستخدم محاسبة الإضافة/الحذف) تحمي سمات الأفراد. إذا كان الهدف هو حماية التصنيفات (labels) أو السمات (على سبيل المثال، في الضبط الدقيق الخاضع للإشراف)، فإن الاعتماد على $\epsilon_{AR}$ يعد أمرًا خطيرًا.
• محدودية المكتبات: تعتمد معظم مكتبات الخصوصية التفاضلية الحالية (مثل Opacus) افتراضيًا على محاسبة الإضافة/الحذف. والممارسون الذين يستخدمون هذه الأدوات لحماية السمات من المرجح أنهم يبالغون في تقدير خصوصيتهم بفارق كبير.
• التوصية: يدعو المؤلفون إلى استخدام محاسبة تجاور الاستبدال عندما يتضمن نموذج التهديد استنتاج السمات. وهم يوفرون الأدوات اللازمة (سكربتات التدقيق والمحاسبات) للتحقق من هذه الحدود الأكثر إحكامًا.
• الاتجاهات المستقبلية: يسلط العمل الضوء على الحاجة إلى كناري أكثر قوة في فضاء المدخلات تعمل جيدًا في إعدادات التحسين غير المحدبة، ويقترح ضرية ضرورة تقييم آليات الخصوصية التفاضلية المستقبلية الخاصة بخصوصية التصنيفات (label privacy) تحت إطار عمل تجاور الاستبدال.

في الختام، تثبت الورقة أن تجاور الإضافة/الحذف غير كافٍ لخصوصية السمات. ولضمان حماية صارمة ضد استنتاج السمات، يجب على المجتمع العلمي التحول نحو محاسبة وتدقيق تجاور الاستبدال.