Differential Privacy in Generative AI Agents: Analysis and Optimal Tradeoffs

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الخصوصية التفاضلية في وكلاء الذكاء الاصطناعي التوليدي: التحليل والمقايضات المثلى" للباحثين يا-تينغ يانغ وكوانيان زو.

1. بيان المشكلة

يسمح دمج النماذج اللغوية الكبيرة (LLMs) ووكلاء الذكاء الاصطناعي في أنظمة المؤسسات بإمكانية تقديم استجابات مدركة للسياق بناءً على قواعد البيانات الداخلية. ومع ذلك، فإن هذا يخلق خطرًا كبيرًا على الخصوصية: تسرب المعلومات القائم على الاستدلال.

• المشكلة الجوهرية: حتى لو لم يتم إخراج السجلات الحساسة بشكل مباشر، يمكن للمهاجمين استنتاج السمات الخاصة (مثل رواتب الموظفين، أو الاستراتيجيات الملكية) من خلال صياغة مطالبات (prompts) استراتيجية وتحليل استجابات النموذج العشوائية.
• قصور الحلول الحالية: تعتمد الدفاعات الحالية في المؤسسات بشكل كبير على "الحواجز الوقائية" (guardrails) مثل تصفية المطالبات، والكشف القائم على القواعد، والتطهير. غالبًا ما تكون هذه الوسائل عشوائية، وتفتقر إلى أساس نظري راسخ، وتواجه صعوبة في التكيف مع بيئات البيانات الديناميكية حيث تتغير قواعد البيانات الأساسية بشكل متكرر.
• الفجوة: هناك نقص في المقاييس الرسمية لقياس تسرب الخصوصية في مخرجات النماذج اللغوية الكبيرة، ونقص في الأطر المنهجية لموازنة حماية الخصوصية مع فائدة الاستجابة (الجودة).

2. المنهجية

يقترح المؤلفون إطارًا احتماليًا يعمل على نمذجة وكيل النموذج اللغوي الكبير كآلية توليدية عشوائية.

أ. نمذجة النظام

• الآلية العشوائية: يقوم الوكيل بربط المطالبات ($p$)، ومجموعات المعلومات ($I$)، ومجموعات البيانات ($D$) بتوزيعات احتمالية فوق تسلسلات الرموز (الرسائل).
• توليد الرموز (Tokens): يتم نمذجته بشكل تلقائي (autoregressively). يعتمد احتمال الرمز التالي على الرموز السابقة والسياق، ويحكمه دالة اللوجيت (logit function) $\ell$ ومعامل درجة الحرارة $T$.
• المعلمات:
  • درجة الحرارة ($T$): تتحكم في تشتت توزيع الرموز. تؤدي درجة الحرارة المنخفضة إلى فك تشفير حتمي؛ بينما تقترب درجة الحرارة العالية من التوزيع الموحد.
  • طول الرسالة ($L$): عدد الرموز التي يتم توليدها.

ب. صياغة الخصوصية التفاضلية (DP)

تقدم الورقة مستويين من تعريفات الخصوصية التفاضلية لوكلاء النماذج اللغوية الكبيرة:

1. الخصوصية التفاضلية على مستوى الرمز (Token-Level DP): تضمن أن احتمال توليد رمز معين لا يتغير بشكل كبير إذا تغيرت مجموعة البيانات الأساسية بسجل واحد (مجموعات البيانات المتجاورة).
2. الخصوصية التفاضلية على مستوى الرسالة (Message-Level DP): تضمن أن توزيع الرسالة المولدة بالكامل قوي تجاه تغييرات مجموعة البيانات.

ج. الاشتقاق النظري

• حدود الخصوصية: يشتق المؤلفون حدودًا صريحة تربط تسرب الخصوصية ($\epsilon$) بمعلمات التوليد.
  • أثبتوا أنه إذا كان فرق اللوجيت بين مجموعات البيانات المتجاورة محدودًا بـ $\Delta$، فإن فقدان الخصوصية على مستوى الرمز هو $\epsilon_k \leq \frac{2\Delta}{T}$.
  • من خلال خاصية التركيب (composition property) للخصوصية التفاضلية، يتراكم إجمالي فقدان الخصوصية على مستوى الرسالة خطيًا مع طول الرسالة: $\epsilon \leq \frac{2\Delta L}{T}$.
  • الاستنتاج الرئيسي: يزداد تسرب الخصوصية مع طول الرسالة ($L$) وينخفض مع زيادة درجة الحرارة ($T$).

د. المقايضة المثلى بين الخصوصية والفائدة

• تعريف الفائدة: تُعرف بأنها درجة معلومات متوقعة ($\nu$) مشتقة من الرسالة المولدة.
• الرتابة (Monotonicity): تثبت الورقة أن الفائدة المتوقعة هي عمومًا غير متزايدة بالنسبة لدرجة الحرارة (درجة الحرارة الأعلى تقلل من ثقة النموذج في الرموز ذات اللوجيت العالي، مما يقلل الفائدة).
• مشكلة الأمثلة: يصيغ المؤلفون هدفًا منظمًا لإيجاد درجة الحرارة المثلى ($T^*$) التي توازن بين الفائدة والخصوصية:
  $$\max_{T>0} \mathbb{E}[\text{Utility}] + \lambda \frac{L}{T}$$
  حيث $\lambda$ هو معامل تفضيل الخصوصية. ويتضمن الحل مساواة الخسارة الهامشية في الفائدة مع المكسب الهامشي في الخصوصية.

3. المساهمات الرئيسية

1. إطار احتمالي: نموذج دقيق للمدخلات والمخرجات يعامل وكلاء النماذج اللغوية الكبيرة كآليات عشوائية تربط مجموعات البيانات بتوزيعات الرسائل.
2. تعريفات مزدعة المستويات للخصوصية التفاضلية: تعريفات رسمية للخصوصية التفاضلية على كل من مستوى الرمز ومستوى الرسالة، مما يسد الفجوة بين توليد الرمز الفردي وخصوصية الاستجابة الكاملة.
3. حدود خصوصية صريحة: اشتقاق حدود رياضية تظهر أن تسرب الخصوصية يتناسب عكسيًا مع درجة الحرارة وطرديًا مع طول الرسالة ($\epsilon \propto L/T$).
4. إطار التصميم الأمثل: صياغة لـ المقايضة المثلى بين الخصوصية والفائدة، مما يوفر أساسًا نظريًا لضبط معيار درجة الحرارة لتلبية متطلبات خصوصية محددة دون التضحية بالفائدة بشكل تعسفي.

4. النتائج (دراسة حالة تجريبية)

تحقق المؤلفون من إطار عملهم باستخدام نموذج GPT-2 مع قاعدة بيانات لحوادث الأمن السيبراني.

• الإعداد: تم استعلام النموذج بمجموعات بيانات متجاورة ($D$ و $D'$) عبر أطوال رسائل متنوعة ($L=2, 5, 10$) ودرجات حرارة ($T=0.1$ إلى $2.0$).
• مقاييس الخصوصية: قاسوا فقدان الخصوصية التجريبي، ومسافة التباين الكلي (Total Variation Distance)، وتباعد جينسن-شانون (Jensen-Shannon Divergence).
  • النتيجة 1: مع زيادة درجة الحرارة ($T$)، انخفضت جميع مقاييس تسرب الخصوصية. تعمل درجات الحرارة الأعلى على تسطيح التوزيع، مما يجعل المخرات أقل حساسية لسجلات بيانات محددة.
  • النتيجة 2: مع زيادة طول الرسالة ($L$)، زاد تسرب الخصوصية، مما يؤكد التراكم النظري لفقدان الخصوصية.
• مقاييس الفائدة:
  • النتيجة 3: مع زيادة درجة الحرارة، انخفضت درجة اللوجيت التراكمية ودرجة المعلومات (الفائدة).
  • النتيجة 4: ظل التباين (covariance) بين الفائدة ودرجات اللوجيت غير سالب، مما يؤكد تجريبيًا نتيجة الرتابة النظرية (درجة حرارة أعلى $\rightarrow$ فائدة أقل).

5. الأهمية

• الأساس النظري: ينتقل من الحواجز الوقائية التجريبية إلى توفير فهم صارم رياضيًا لكيفية تسريب النماذج اللغوية الكبيرة للمعلومات.
• التحكم القابل للتنفيذ: يحدد درجة الحرارة وطول الرسالة كـ "مقابض" قابلة للضبط لمديري الأنظمة لإدارة مخاطر الخصوصية ديناميكيًا، بدلاً من الاعتماد فقط على فلاتر المحتوى الثابتة.
• التكيف الديناميكي: تم تصميم الإطار للتعامل مع بيئات البيانات الديناميكية، مما يوفر طريقة لإعادة معايرة إعدادات الخصوصية مع تطور قواعد بيانات المؤسسات الأساسية.
• عملية الموازنة: يوفر طريقة ملموسة لقياس المقايضة بين جودة الاستجابة والخصوصية، مما يمكّن المؤسسات من اتخاذ قرارات مدروسة بشأن معلمات النشر.

في الختام، تثبت هذه الورقة أن زيادة درجة حرارة فك التشفير (decoding temperature) هي آلية فعالة لتقليل تسرب الخصوصية في وكلاء الذكاء الاصطناعي التوليدي، وإن كان ذلك على حساب فائدة الاستجابة، وتوفر الأدوات الرياضية لتحسين هذا التوازن.