ملخص تقني: توليد بيانات تفضيلات خصوصية لضبط نماذج اللغات الكبيرة

تعريف المشكلة

تتطلب نماذج اللغات الكبيرة (LLMs) ضبط التفضيلات (على سبيل المثال، عبر RLHF أو DPO) لضمان توافق المخرجات مع القيم البشرية. تعتمد هذه العملية على مجموعات بيانات التفضيلات الزوجية حيث يختار المقيّمون البشريون الاستجابات المفضلة على الاستجابات غير المفضلة لنصوص (prompts) معينة. ومع ذلك، فإن هذه المجموعات غالباً ما تحتوي على نصوص مستخدم حساسة (تكشف عن مواضيع صحية، أو هوية، أو موضوعات شخصية) وتغذية راجعة بشرية (تكشف عن معتقدات خاصة أو أنماط سلوكية).

تواجه النهج الحالية لحماية الخصوصية قيوداً كبيرة:

1. الحماية الجزئية: تحمي العديد من الطرق النصوص فقط أو التسميات (labels) فقط، مما يترك ثغرات يمكن للمهاجمين من خلالها استنتاج السمات الحساسة من المكونات غير المحمية.
2. الجمود المنهجي: تستهدف الحلول الحالية غالباً خوارزميات محددة (مثل PPO-based RLHF) وتفتقر إلى التوافق مع الأساليب الناشئة مثل التحسين المباشر للتفضيلات (DPO).
3. ندرة البيانات: تعد التقييمات البشرية عالية الجودة للتفضيلات مكلفة ونادرة. إن تطبيق الخصوصية التفاضلية (DP) مباشرة على مجموعات البيانات الخاصة المحدودة يؤدي غالباً إلى تدهور المنفعة (utility)، مما ينتج عنه أداء ضبط ضعيف.

السؤال المركزي الذي يتم تناوله هو ما إذا كان يمكن تحقيق ضبط تفضيلات متفوق مع ضمان حماية شاملة للخصوصية والحفاظ على التوافق مع منهجيات الضبط المتنوعة.

المنهجية: DPPrefSyn

يقترح المؤلفون DPPrefSyn، وهو إطار عمل مبدئي لتوليد بيانات تفضيلات اصطناعية تتبع الخصوصية التفاضلية (DP). تعمل الخوارزمية على نموذج برادلي-تيري (Bradley–Terry) للتفضيلات وتفترض بنية مكافأة خطية ($r_\theta(x, a) = \langle \theta, \phi(x, a) \rangle$) لالتقاط التفضيلات البشرية المتباينة.

تتكون العملية من ثلاث خطوات رئيسية:

1. تمثيل التفضيلات والتجميع (Clustering):

   • التضمين (Embedding): يتم ترميز عينات التفضيلات الخاصة $(x_i, a^+_i, a^-_i)$ باستخدام نموذج تضمين جمل عام $\psi$. يتم تعريف متجه الميزة كفرق بين تضمينات الاستجابة المفضلة والمستجابة غير المفضلة المدمجة مع النص: $d_i = \psi(x_i, a^+_i) - \psi(x_i, a^-_i)$.
   • تقليل الأبعاد (DP-PCA): لمعاللة عدم كفاءة العينات في المساحات عالية الأبعاد، تطبق الخوارزمية DP-PCA لتعيين $d_i$ في مساحة أقل أبعاداً ($z_i$)، مع الحفاظ على إشارات التفضيل الرئيسية تحت ميزانية خصوصية $\epsilon_0$.
   • التجميع (DP-KMeans): يتم تجميع المتجهات المعينة باستخدام DP-KMeans تحت الميزانية $\epsilon_1$. هذا يجمع العينات ذات أنماط التفضيل المتشابهة، مما يسمح بافتراض أن المستخدمين داخل التجمع الواحد يتشاركون معلمة مكافأة مشتركة $\theta_k$.

2. تدريب نموذج المكافأة (DP Reward Model Training):

   • لكل تجمع $C_k$، يتم تدريب نموذج مكافأة خطي معلم بـ $\theta_k$ لتقليل السلبية للاحتمالية اللوغاريتمية (negative log-likelihood) للتفضيلات الملحوظة داخل ذلك التجمع.
   • يستخدم التدريب DP-SGD (الاشتقاق المتدرج العشوائي للخصوصية التفاضلية) مع معامل ضوضاء $\sigma_2$.
   • التركيب المتوازي (Parallel Composition): بما أن التجمعات منفصلة، فإن تكلفة الخصوصية لتدريب جميع نماذج التجمعات محدودة بتكلفة التدريب على أصغر تجمع، مما يضمن استخداماً فعالاً للميزانية.

3. توليد التفضيلات الاصطناعية (DP Synthetic Preference Generation):

   • تستخدم الخوارج النصوص العامة (public prompts) لتجنب استهلاك ميزانية الخصوصية في توليد النصوص.
   • لكل نص عام، يقوم نموذج لغوي كبير (LLM) بتوليد $L$ من الاستجابات المرشحة المتنوعة.
   • يتم تقييم الاستجابات المرشحة باستخدام نموذج المكافأة المدرب $\theta_k$ (المعين في فضاء DP-PCA). تشكل الزوج ذو أعلى وأدنى درجات مكافأة زوج التفضيل الاصطناعي $(\tilde{x}, \tilde{a}^+, \tilde{a}^-)$.
   • يتم استبعاد العينات ذات الفجوات في المكافأة غير الكافية لضمان الجودة.

ضمان الخصوصية: تحقق الخوارزمية $(\epsilon, \delta)$-differential privacy. يتم تخصيص الميزانية الإجمالية لـ DP-PCA ($\epsilon_0$)، و DP-KMeans ($\epsilon_1$)، والميزانية المتبقية لـ DP-SGD. يُستخدم محاسب متغير الخصوصية العشوائي (PRV accountant) لتركيب تكاليف DP-SGD بدقة. وبسبب خاصية ما بعد المعالجة (post-processing) للخصوصية التفاضلية، يمكن إعادة استخدام مجموعة البيانات الاصطناعية الناتجة عبر مختلف أساليب الضبط ونماذج اللغات دون تكبد تكالفت خصوصية إضافية.

المساهمات الرئيسية

1. خوارزمية مبتكرة (DPPrefSyn): أول عمل يولد بيانات تفضيلات اصطناعية تتبع الخصوصية التفاضلية خصيصاً لضبط نماذج اللغات الكبيرة. وهي تجمع بشكل فريد بين نموذج برادلي-تيري والهياكل الهندسية الجوهرية للبيانات الزوجية.
2. التعامل مع تباين التفضيلات: من خلال الاستفادة من البنية الخطية المشتركة لنماذج المكافأة والتجميع، ينجح الإطار في التقاط التفضيلات البشرية المتنوعة (مثل التفاوت في الأولويات بين الدقة الواقعية مقابل اللباقة) ضمن مجموعات البيانات الخاصة.
3. الكفاءة والمتانة:
   • يحسن DP-PCA كفاءة التعلم واستقرار التجميع في المساحات عالية الأبعاد.
   • تسمح النصوص العامة (Public Prompts) بتوجيه ميزانية الخصوصية بالكامل نحو نمذجة التفضيلات، مما يحسن كفاءة الخصوصية بشكل كبير.
4. تحليل خصوصية صارم: تقدم الورقة برهاناً رسمياً لـ $(\epsilon, \delta)$-DP، باستخدام محاسبة PRV للتركيب الوثيق.
5. تعدد الاستخدامات: على عكس الأعمال السابقة المقيدة بخوارزميات محددة (مثل PPO)، فإن DPPefSyn متوافق مع طرق الضبط المتعددة، بما في ذلك SFT و DPO و PPO.

النتائج التجريبية

قيم المؤلفون DPPrefSyn على ثلاثة معايير: OpenAssistant (سؤال وجواب)، Anthropic-HH (المساعدة/عدم الضرر)، و TL;DR (التلخيص). تم ضبط النموذج النهائي باستخدام SFT متبوعاً بـ DPO (أو PPO).

• مقايضة فائقة بين الخصوصية والمنفعة: تفوق DPPefSyn باستمرار على التدريب المباشر على البيانات الخاصة باستخدام DP-SGD (DP-FT) عبر جميع ميزانيات الخصوصية ($\epsilon = 0.5, 1, 2, 4, 8$).
  • مثال: في Anthropic-HH مع $\epsilon=2$، حقق DPPefSyn نسبة فوز قدرها 56.48% لنموذج GPT-4o بعد عملية DPO، وهو ما يتفوق بشكل كبير على DP-FT (37.02%) بل ويتجاوز حتى خط الأساس غير الخاص (38.72%).
• المتانة تجاه ندرة البيانات: ظل الأسلوب فعالاً حتى مع وجود نصوص عامة محدودة (على سبيل المثال، 5 آلاف نص مقابل 14 ألف عينة خاصة)، مما يثبت أن التوليد الاصطناعي عالي الجودة يمكن أن يخفف من مشكلات ندرة البيانات.
• القدرة على التعميم: عمل النهج بفعالية عبر نماذج مختلفة (Pythia-2.8B, Qwen-3-4B, Llama-3-8B) وطرق ضبط متنوعة (DPO, PPO).
• هجمات الخصوصية: أظهر DPPefSyn مقاومة قوية لهجمات استنتاج العضوية (MIAs)، مع درجات AUC قريبة من التخمين العشوائي، بينما ظلت نماذج DP-FT عرضة للاختراق.

الأهمية والادعاءات

تدعي الورقة أن DPPefSyn يوفر بديلاً عملياً لضبط التفضيلات مع الحفاظ على الخصوصية. تكمن أهميته الأساسية في إثبات أن بيانات التفضيلات الاصطناعية يمكن أن تحقق أداء ضبط تنافسي، وغالباً متفوق، مقارنة بالتدريب المباشر على البيانات الخاصة تحت ضمانات خصوصية تفاضلية قوية.

يؤكد المؤلفون أنه من خلال فصل ميزانية الخصوصية عن توليد النصوص (باستخدام النصوص العامة) والتركيز عليها في نمذجة توزيع التفضيلات البشرية (عبر التجميع ونمذجة المكافأة)، يتغلب الأسلوب على تدهور المنفعة المرتبط عادةً بالضبط باستخدام الخصوصية التفاضلية (DP fine-tuning). وهذا يسمح بنشر نماذج لغات مضبوطة في التطبيقات التي تتطلب خصوصية صارمة (مثل الرعاية الصحية، أو المساعدين الشخصيين) دون التضحية بقدرة النموذج.

يُقدم هذا العمل كأول عمل يولد بيانات تفضيلات اصطناعية تتبع الخصوصية التفاضلية لضبط نماذج اللغات الكبيرة، مما يضع اتجاهاً جديداً للموازنة بين فوائد البيانات الضخمة وحماية الخصوصية الفردية.