ملخص تقني: حول تعقيد العينات في تحسين السياسة ذي الخصوصية التفاضلية

بيان المشكلة

يعد تحسين السياسة (Policy Optimization - PO) مكونًا أساسيًا في التعلم التعزيزي (RL) الحديث، مع تطبيقات تتراوح من الروبوتات إلى تدريب النماذج اللغوية الكبيرة (LLM). ومع ذلك، فإن نشر تحسين السياسة في المجالات الحساسة (مثل الرعاية الصحية الشخصية، أو محاذاة النماذج اللغوية الكبيرة) يثير مخاوف كبيرة تتعلق بالخصوصية، حيث أظهرت أعمال تجريبية حديثة أن خوارزميات مثل GRPO يمكن أن تسرب معلومات خاصة.

بينما تعد الخصوصية التفاضلية (Differential Privacy - DP) أمرًا راسخًا في التعلم الخاضع للإشراف، فإن تطبيقها على تحسين السياسة يطرح تحديات فريدة. تفترض تعريفات الخصوصية التفاضلية القياسية وجود مجموعة بيانات ثابتة حيث تكون وحدة الخصوصية هي سجل بيانات واحد. أما في تحسين السياسة، وخاصة في التعلم داخل السياسة (on-policy learning)، فتكون مجموعة البيانات ديناميكية؛ حيث يتم سحب الإجراءات بناءً على السياسة الحالية، مما يعني أن تغيير نقطة بيانات واحدة يمكن أن يغير مسار جميع العينات المستقبلية بالكامل. وبناءً على ذلك، فإن تعريفات الخصوصية التفاضلية الحالية لا تنطبق مباشرة، كما أن تكلفة تعقيد العينات الناجمة عن قيود الخصوصية في تحسين السياسة تظل غير مستكشفة نظريًا.

المنهجية

1. إعادة تعريف الخصوصية التفاضلية لتحسين السياسة

قام المؤلفون أولاً بصياغة تعريف للخصوصية التفاضلية مصمم خصيصًا لتحسين السياسة. وبالاستناد إلى أدبيات "البنديت" (Bandit) الخاصة عبر الإنترنت، عرّفوا مجموعة البيانات ليس كمجموعة ثابتة من العينات مستقلة ومتماثلة التوزيع (i.i.d.)، بل كمجموعة من $N$ من "المستخدمين" الفريدين (مثل المرضى أو المطالبات). يتفاعل كل مستخدم مع الوكيل لتوليد مسار $(x, y, r)$.

• وحدة الخصوصية: "مستخدم" واحد.
• التعريف: تكون الخواروذية $(\epsilon, \delta)$-DP إذا كان تغيير مستخدم واحد في مجموعة البيانات لا يغير توزيع السياسة النهائية بشكل كبير.
• التمييز: يختلف هذا عن الخصوصية التفاضلية القياسية في التعلم الخاضع للإشراف لأن العلاقة "المجاورة" تُعرَّف من خلال الحالة الأولية للمستخدم وسجل تفاعلاته، وليس من خلال سجل ثابت.

2. خوارزمية ميتا موحدة

لتحليل مختلف خوارزميات تحسين السياسة ضمن إطار عمل موحد، اقترح المؤلفون خوارزمية ميتا (الخوارزمية 1). وهي خوارزمية بنظام الدفعات (batched) وذات تمريرة واحدة، حيث:

• في كل تكرار $t$، يجمع المتعلم دفعة جديدة من $m$ عينة من $m$ مستخدمين متميزين.
• يتم استدعاء أوراكل PrivUpdate لحساب السياسة التالية $\theta_{t+1}$ بناءً على الدفعة الحالية وقيود الخصوصية.
• ضمان الخصوصية: من خلال الاستفادة من خاصية التركيب المتوازي للخصوصية التفاضلية، إذا حقق أوراكل PrivUpdate معيار الخصوصية التفاضلية القياسي (التعريف 1)، فإن خوارزمية الميتا بأكملها تحقق تعريف تحسين السياسة المقترح (التعريف 2).

3. النماذج التطبيقية

تم تطبيق إطار العمل على ثلاث خوارزميات شائعة لتحسين السياسة:

• DP-PG (تدرج السياسة): يستخدم مُقدّر تدرج بأسلوب REINFORCE مع إضافة ضوضاء غاوسية إلى تحديث التدرج (الخوارزمية 2).
• DP-NPG (تدرج السياسة الطبيعي): يختزل تحديث تحسين السياسة إلى مشكلة انحدار خاصة (تقليل الخسارة المربعة بين دالة الميزة والتقريب الخطي). وهو يستخدم أوراكل المربعات الصغرى الخاص (الخوارزمية 3).
• DP-REBEL: يشبه DP-NPG، حيث يختزل تحسين السياسة إلى سلسلة من مشكلات الانحدار الخاصة على فروق المكافآت النسبية، مستفيدًا من صياغة REBEL.

المساهمات الرئيسية والنتائج

1. حدود تعقيد العينات

استنتجت الورقة أول مجموعة من حدود تعقيد العينات لخوارزميات تحسين السياسة ذات الخصوصية التفاضلية. إجمالي المسارات المسحوبة هو $N = m \times T$ (حجم الدفعة $\times$ عدد التكرارات).

• DP-PG (نقطة ثابتة من الدرجة الأولى):
  تحت افتراضات النعومة لـ Lipschitz، تحقق الخوارزمية متوسط مربع معيار التدرج التالي:
  $$\mathbb{E}[\|\nabla J(\theta_U)\|^2] \leq O_\delta\left( \frac{1}{\sqrt{N}} + \left(\frac{\sqrt{d}}{N\epsilon}\right)^{2/3} \right)$$
  هنا، يمثل الحد الأول معدل التقارب غير الخاص، بينما يمثل الحد الثاني تكلفة الخصوصية.

• DP-PG (الأمثل العالمي):
  تحت افتراضات إضافية (عدم انحلال فيشر والتقريب الوظيفي المتوافق)، يتم تحديد الحد الأعلى لمتوسط الندم (regret). تعقيد العينات المطلوب لتحقيق فجوة دون المثالية $\alpha$ هو:
  $$N \geq O_\delta\left( \frac{1}{\alpha^4 \gamma^4} + \frac{\sqrt{d}}{\alpha^3 \gamma^3 \epsilon} \right)$$
  حيث $\gamma$ هو الحد الأدنى لمعلومات فيشر. تظهر تكلفة الخصوصية كحد مضاف من رتبة أدنى.

• DP-NPG و DP-REBEL:
  من خلال اختزال تحسين السياسة إلى انحدار خاص، استفاد المؤلفون من النتائج الموجودة من التحسين العشوائي الخاص والانحدار الخطي الخاص.

• بالنسبة للسياسات اللوغاريتمية الخطية في الأبعاد المنخفضة، يكون تعقيد العينات تقريبًا $O_\delta(d/\alpha^4 + d/(\alpha^3 \epsilon))$.

• في الأبعاد العالية، تعتمد الحدود على أوراكل الانحدار الخاص المستخدم (مثل آلية الأس أو ISSP)، وتظهر عمومًا أن تكاليف الخصوصية تتناسب مع الأبعاد و $1/\epsilon$.

2. الرؤى الهيكلية

• تكلفة الخصوصية كحد من رتبة أدنى: من النتائج المركزية أن تكلفة الخصوصية غالبًا ما تظهر كحد من رتبة أدنى في تعقيد العينات الإجمالي. بالنسبة لـ $\epsilon$ وثابت $d$، فإن عبء الخصوصية لا يهيمن على معدل التقارب.
• دور هيكل المشكلة: تسلط الورقة الضوء على أن الخصائص الهيكلية للمشكلة الأساسية (مثل عدم انحلال فيشر، وهياكل softmax الجدولية) يمكن أن تحسن الكفاءة الإحصائية والحسابية بشكل كبير، وأحيانًا تزيل الاعتماد على المعاملات الإشكالية مثل $\gamma$.

3. التحقق التجريبي

أجرى المؤلفون تجارب إثبات مفهوم على بيئة CartPole-v1.

• الإعداد: مقارنة PG/NPG القياسية مقابل DP-PG و DP-NPG تحت ميزانيات خصوصية $\epsilon=5$ و $\epsilon=3$.
• النتائج:
  • تفوق DP-NPG باستمرار على DP-PG، مما أظهر فائدة التحديثات المدركة للانحناء حتى تحت قيود الخصوصية.
  • حقق DP-NPG مع $\epsilon=5$ أداءً قريبًا من الأمثل ($\sim 478$ مكافأة مقابل $492$ غير خاص)، مما يتوافق مع التوقعات النظرية.
  • كما هو متوقع، تدهور الأداء مع انخفاض ميزانية الخصوصية $\epsilon$.

الأهمية والادعاءات

تدعي الورقة أنها تبدأ الدراسة النظرية لتحسين السياسة ذي الخصوصية التفاضلية، مع التركيز بشكل خاص على تعقيد العينات. وتتمثل مساهماتها الرئيسية في:

1. التعريف الرسمي: وضع تعريف صارم للخصوصية التفاضلية لتحسين السياسة يأخذ في الاعتبار ديناميكيات داخل السياسة و"المستخدم" كوحدة للخصوصية.
2. إطار عمل موحد: توفير خوارزمية ميتا تسمح بالتحليل المنهجي لـ PG و NPG و REBEL تحت قيود الخصوصية.
3. تحديد تكلفة الخصوصية: إثبات أن تكاليف الخصوصية في تحسين السياسة غالبًا ما تكون حدودًا من رتبة أدنى، مما يشير إلى أن تحسين السياسة المحافظ على الخصوصية ممكن نظريًا دون عقوبات باهظة في تعقيد العينات.
4. التوجيه العملي: تقديم رؤى حول كيفية مساهمة الخصائص الهيكلية (مثل عدم انحلال فيشر) في تخفيف تكاليف الخصوصية، مما يوجه تصميم خوارزميات التعلم التعزيزي المستقبلية المحافظة على الخصوصية.

يشير المؤلفون إلى أنه بينما ينصب تركيزهم الأساسي على الجانب النظري، فإن النتائج تستعيد حدود التقارب الكلاسيكية غير الخاصة وتوفر أول تحليل صارم لتعقيد العينات لتحسين السياسة الخاص. كما يقرون بالقيود، مثل التركيز على أخذ العينات في تمريرة واحدة والافتقار إلى تقييمات مجموعات البيانات الواقعية واسعة النطاق، لكنهم يؤكدون على قابلية تطبيق أساليبهم الواسعة على المجالات الحساسة للخصوصية مثل RLHF واتخاذ القرار الطبي.