💻 computer science

Private Direct Preference Optimization for LLM Alignment

تقدم هذه الورقة بحثًا حول PrivDPO، وهي طريقة مبتكرة للتحسين المباشر للتفضيلات (Direct Preference Optimization) تفرض ضمانًا متخصصًا لـ "خصوصية التفضيل" عبر إضافة ضجيج مُعاير فقط على طول محور التفضيل أحادي البعد، مما يحقق توازنًا قويًا بين الخصوصية والمنفعة لمحاذاة النماذج اللغوية الكبيرة دون التحيزات التي تفرضها أساليب الخصوصية الجاهزة.

المؤلفون الأصليون: Yangfan Jiang, Fei Wei, Ergute Bao, Xiaokui Xiao, Yaliang Li, Bolin Ding

نُشر 2026-08-06

📖 7 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yangfan Jiang, Fei Wei, Ergute Bao, Xiaokui Xiao, Yaliang Li, Bolin Ding

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا فائق الذكاء كيف يكون مهذبًا، ومفيدًا، وآمنًا. أنت لا تكتفي بإعطائه قواعد فحسب؛ بل تريه أمثلة. تعطي الروبوت سؤالاً، فيكتب إجابتين مختلفتين. ثم ينظر إنسان إلى كلتا الإجابتين ويقول: "أنا أفضل الإجابة (أ) على الإجابة (ب)". تُسمى هذه العملية "المحاذاة" (Alignment)، وهي الطريقة التي نجعل بها نماذج الذكاء الاصطنا संबंधी تصرف كالمواطنين الصالحين بدلاً من المثيرين للفوضى. يتعلم الروبوت من خلال النظر في آلاف من خيارات "أ مقابل ب" هذه.

لكن هنا تكمن المشكلة: تلك الخيارات ليست مجرد نقاط بيانات؛ بل هي آراء بشرية. إذا فضل الإنسان رأياً سياسياً أو موقفاً أخلاقياً معيناً، فإن هذا التفضيل هو سر. إذا قمنا بتدريب الروبوت باستخدام هذه الأسرار دون حماية، فقد يحفظ الروبوت عن غير قصد من قال ماذا، أو قد تسرب عملية التدريب نفسها تلك الأسرار إلى مراقب فضولي. الأمر يشبه محاولة تعليم فصل دراسي عبر سؤال الطلاب للتصويت، ولكن مع ترك كابينة التصويت مفتوحة بحيث يمكن للجميع رؤية من صوت لصالح ماذا. توجد أدوات خصوصية قياسية، لكنها تشبه استخدام مطرقة ضخمة لكسر حبة جوز: فهي تحمي كل شيء (حتى الأسئلة العامة وإجابات الروبوت) عن طريق إضافة الكثير من "الضجيج" أو الارتباك، مما يجعل الروبوت يتشتت ويتوقف عن التعلم بفعالية. نحن بحاجة إلى طريقة تحمي فقط التصويت السري دون إفساد الدرس.

هذه هي بالضبط المشكلة التي عالجتها ورقة بحثية جديدة من قبل باحثين من جامعة سنغافورة الوطنية وشركة علي بابا. لقد قدموا طريقة ذكية جديدة تسمى PrivDPO (تحسين التفضيل المباشر الخاص). فكرتهم الكبرى هي أنه في الرياضيات الكامنة وراء تعليم هذه الروبوتات، فإن "السر" (التفضيل البشري) ينتقل فقط عبر مسار محدد للغاية، مثل سلك واحد في شبكة كهربائية ضخمة. بقية الشبكة هي مجرد معلومات عامة. وبدلاً من تشويه الشبكة بأكملها، يقوم PrivDPO بحقن قدر ضئيل ومحسوب بعناية من العشوائية فقط على طول ذلك السلك الواحد.

فكر في الأمر كأنها لعبة "الهاتف المكسور" (Telephone) حيث تريد إخفاء من الذي همس بالرسالة السرية. ستجعل طرق الخصوصية القياسية الجميع يهمسون بقصة مختلفة تماماً ومشوهة، مما يجعل الرسالة النهائية بلا معنى. ومع ذلك، يدرك PrivDPO أن السر يكمن فقط في اتجاه تمرير الرسالة. لذا، يقوم أحياناً بقلب الرسالة أو تغيير حجمها بما يكفي لإرباك الجاسوس، ولكنه يفعل ذلك بطريقة تجعل الرسالة تصل بشكل مثالي في المتوسط. وجد الباحثون أن هذا النهج يسمح لهم بتدريب نماذج ذكاء اصطناعي ضخمة (تصل إلى 32 مليار معلمة!) مع الحفاظ على خصوصية التفضيلات البشرية. لقد أثبتوا رياضياً أن هذه الطريقة خاصة، وأظهروا من خلال التجارب أن الذكاء الاصطناعي يتعلم بنفس جودة تعلمه بدون درع الخصوصية، على عكس الطرق القديمة التي جعلت الذكاء الاصطناعي غبياً بشكل ملحوظ.

الاكتشاف الجوهري: إخفاء التصويت، لا ورقة الاقتراع

النتيجة الرئيسية للورقة البحثية هي أنه يمكنك حماية التفضيلات البشرية في تدريب الذكاء الاصطناعي دون التضحية بقدرة الذكاء الاصطناعي على التعلم، بشرط التوقف عن معاملة مثال التدريب بأكمله كسر. يجادل المؤلفون في أن تحسين التفضيل المباشر (DPO)، الجزء الحساس هو مجرد "التصويت" (أي الإجابة هي الأفضل)، بينما السؤال والإجابتان عادة ما يكونان معرفة عامة.

لقد استبعدوا صراحة نهجين شائعين:

الخصوصية التفاضلية القياسية (DP-SGD): أظهروا أن تطبيق أدوات الخصوصية القياسية على عملية التدريب بأكملها يعد كارثة للنماذج الكبيرة. فهي تتطلب الكثير من "الضجيج" لحماية الأجزاء العامة من البيانات لدرجة أن الذكاء الاصطناعي يفشل في تعلم التفضيلات على الإطلاق. في اختباراتهم، تسبب هذا الأسلوب في انخفاض أداء الذكاء الاصطناعي لدرجة أنه أصبح بالكاد أفضل من التخمين العشوائي.
الاستجابة العشوائية (Randomized Response - RR): وهي طريقة أبسط حيث تقوم بقلب التصويت (تقول إن "أ" أفضل بينما هي في الواقع "ب") باحتمالية معينة. تظهر الورقة أن هذا يخلق "انحيازاً". إنه يشبه رمي عملة معدنية لتحديد التصويت؛ وبينما يخفي ذلك الحقيقة، فإنه يُدخل أيضاً خطأً ثابتاً يجعل الذكاء الاصطناعي يتعلم دروساً خاطئة.

بدلاً من ذلك، تقترح الورقة وتثبت أن PrivDPO هو الحل الأمثل. فمن خلال التحليل الرياضي لكيفية تعلم الذكاء الاصطناعي، اكتشفوا أن الفرق بين مثالين تدريبيين (حيث يتم قلب التفضيل فقط) يقع على "محور" محدد ناتج عن النص. لقد صمموا خوارزمية تضيف العشوائية فقط إلى قوة إشارة التعلم على طول هذا المحور، بدلاً من الشيء نفسه للكل.

كيف يعمل الأمر: خدعة "الوزن السحري"

لفهم PrivDPO، تخيل أنك معلم تصحح مقال طالب. لديك نسختان: النسخة (أ) (جيدة) والنسخة (ب) (سيئة). تريد أن تقول للطالب: "افعل المزيد من (أ)، وأقل من (ب)".

في التدريب القياسي، تعطي تعليمات واضحة: "زد (أ) بمقدار 10 نقاط".
في طريقة "الاستجابة العشوائية" (التي تقول الورقة إنها سيئة)، قد ترمي عملة معدنية. إذا ظهرت الصورة، تقول "زد (أ) بمقدار 10". وإذا ظهر الكتابة، تقول "زد (ب) بمقدار 10". هذا يربك الطالب، ويجعله يتعلم الشيء الخاطئ.

في PrivDPO، يقوم المعلم بشيء أذكى. هو يعلم أن الطالب مراقب من قبل جاسوس يريد معرفة ما إذا كان الطالب يفضل (أ) أم (ب). فيقول المعلم: "سأعطيك (وزناً سحرياً) لتضرب به تعليماتك".

أحياناً، يعطي وزناً قدره 1.2 (مما يجعل التعليمات أقوى).
وأحياناً، يعطي وزناً قدره 0.8 (مما يجعلها أضعف).
والأهم من ذلك، أنه يفعل ذلك بطريقة أنه إذا قمت بحساب متوسط جميع التعليمات بمرور الوقت، فإن الطالب سيحصل على الرسالة الصحيحة تماماً: "زد (أ) بمقدار 10".

يرى الجاسوس المعلم وهو يصرخ بأرقام مختلفة (1.2، 0.8، 1.1، إلخ) ولا يستطيع معرفة ما إذا كان التفضيل الأصلي هو (أ) أم (ب) لأن الأرقام مختلطة. لكن الطالب، الذي يتعلم من خلال العديد من الأمثلة، يحسب متوسط الضجيج ويتعلم بشكل مثالي.

النتائج: نماذج ضخمة، خصوصية ضخمة

اختبر الباحثون هذه الطريقة على ثلاثة أنواع مختلفة من نماذج الذكاء الاصطناعي (Qwen، وLlama، وPythia) تتراوح معلماتها بين 3 مليارات و32 مليار معلمة. واستخدموا ثلاثة مجموعات بيانات مختلفة من التفضيلات البشرية.

كانت النتائج واضحة:

الخصوصية: نجح PrivDPO في حماية التفضيلات. أجروا "اختبار حفظ" لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي تخمين الأمثلة المحددة التي رآها من قبل. تمكنت نماذج الذكاء الاصطناعي القياسية (بدون خصوصية) من التخمين بنسبة صحيحة بلغت 9.76% في مجموعة بيانات Anthropic-HH، مما يعني أنها حفظت الأسرار. خفض PrivDPO هذه النسبة إلى ما يقرب من الصفر (0.01%)، مما يعني أن الأسرار كانت مخفية بفعالية.
الأداء: على عكس طرق الخصوصية "المطرقة الضخمة" التي أفسدت الذكاء الاصطناعي، حافظ PrivDPO على ذكاء النموذج. في مجموعة بيانات Anthric-HH، حصل الذكاء الاصطناعي القياسي (غير الخاص) على "هامش مكافأة" (درجة توضح مدى جودة تعلمه) قدره 0.393. بينما حصل PrivDPO مع إعداد خصوصية قوي ( $\epsilon=1$ ) على 0.359. وهذا قريب جداً! في المقابل، سجلت طريقة الخصوصية القياسية (DP-SGD) درجة قدرها 0.01 فقط، وهو فشل ذريع.
السرعة: لأن PrivDPO لا يتطلب من الكمبيوتر التوقف وحساب رياضيات الخصوصية المعقدة لكل قطعة من البيانات (فهو يكتفي بتعديل معادلة الرياضيات قليلاً)، فإنه يعمل بسرعة تقارب النسخة غير الخاصة. وجدوا أنه لم يضف سوى قدر ضئيل جداً من الوقت إلى عملية التدريب، حتى لأكبر النماذج ذات الـ 32 مليار معلمة.

لماذا يهم هذا الأمر

تخلص الورقة البحثية إلى أننا لسنا مضطرين للاختيار بين الخصوصية والأداء. لفترة طويلة، ساد اعتقاد بأننا إذا أردنا حماية البيانات البشرية في تدريب الذكاء الاصطناعي، فعلينا قبول ذكاء اصطناعي أقل ذكاءً. تشير هذه الورقة إلى أنه من خلال فهم الرياضيات المحددة لكيفية تعلم الذكاء الاصطناعي من التفضيلات، يمكننا بناء "درع خصوصية" رقيق بما يكفي للسمار بالتعلم، ولكنه سميك بما يكفي لمنع الجواسيس.

يشير المؤلفون إلى أن هذا يعمل تحديداً مع الطريقة الحالية لمحاذاة الذكاء الاصطناعي (DPO) وقد يتطلب تعديلات للطرق الأخرى. كما يوضحون أنه بينما يحمي منهجهم التفضيل (التصويت)، فإنه لا يخفي محتوى الأسئلة أو الإجابات بشكل سحري إذا كانت تلك المعلومات سرية منذ البداية. ولكن بالنسبة للغالبية العظمى من الحالات حيث تكون الأسئلة عامة والرأي البشري فقط هو الخاص، فإن هذا المنهج الجديد يوفر طريقة عملية وقابلة للتوسع وفعالة لبناء ذكاء اصطناعي يحترم أسرارنا.

ملخص تقني: تحسين التفضيل المباشر الخاص لضبط محاذاة النماذج اللغوية الكبيرة

بيان المشكلة
أصبح "تحسين التفضيل المباشر" (DPO) طريقة معيارية لمحاذاة النماذج اللغوية الكبيرة (LLMs) باستخدام بيانات التفضيل البشرية. تتكون عينة تدريب DPO النموذجية من ثلاثية $(x, y_w, y_l)$ ، حيث $x$ هو المطالب (prompt)، و $y_w$ و $y_l$ هما استجابتان مرشحتان، مع إشارة من المُقيّم تشير إلى تفضيل $y_w \succ y_l$ . وبينما غالبًا ما تكون المطالبات والاستجابات عامة أو مولدة بواسطة النموذج، فإن إشارة التفضيل النسبية تعكس أحكامًا بشرية ذاتية يمكن أن تكشف عن سمات حساسة للمقيّمين أو المستخدمين النهائيين (مثل الموقف السياسي أو المعتقدات الأخلاقية).

إن النهج الحالي للحفاظ على الخصوصية غير ملائم لهذه الحالة. فتقنية "الخصوصية التفاضلية" (DP) القياسية، مثل DP-SGD، تحمي الثلاثية بأكملها، بما في ذلك مكونات النص غير الحساسة، مما يؤدي إلى حقن ضوضاء غير ضرورية وتدهور المنفعة. ومن ناحية أخرى، فإن تقنيات "الاستجابة العشوائية" (RR) البسيطة المطبقة على تسميات التفضيل تُدخل تحيزًا في عملية التحسين، مما يضر بأداء المحاذاة. هناك نقص في الطرق العملية والقابلة للتوسع التي تحمي إشارة التفضيل الحساسة فقط دون المساس بالكفاءة المطلوبة لتدريب نماذج بمليارات المعلمات.

المنهجية: PrivDPO
يقترح المؤلفون PrivDPO، وهو متغير من DPO يفرض مفهومًا جديدًا للخصوصية يسمى "خصوصية التفضيل $\epsilon$ " ( $\epsilon$ -preference privacy). يضمن هذا المفهوم أن الخصم، الذي يعرف بالفعل المطالب $x$ والاستجابات المرشحة $y_w, y_l$ ، لا يمكنه التمييز بين ما إذا كان التفضيل الأساسي هو $y_w \succ y_l$ أم $y_l \succ y_w$ .

الرؤية الجوهرية التي تقود PrivDPO هي تحليل هندسي لمشهد تدرج DPO. يوضح المؤلفون أنه بالنسبة لمثالين متجاورين يختلفان فقط في تسمية التفضيل الخاصة بهما، فإن الفرق في تدرجاتهما يقع بالكامل ضمن محور تفضيل أحادي البعد يتم تحديده فقط من خلال المحتوى النصي للثلاثية. وتحديدًا، يتناسب فرق التدرج مع المتجه $\mathbf{v} = \nabla_\theta \log \pi_\theta(y_w|x) - \nabla_\theta \log \pi_\theta(y_l|x)$ . إن المعلومات الحساسة (اتجاه التفضيل) تؤثر فقط على المعامل القياسي (كثافة التفضيل) على طول هذا المحور.

بناءً على هذه الملاحظة، يتجنب PrivDPO المهمة المرهقة حوسبيًا المتمثلة في تشويه التدرجات الكاملة أو قص التدرج لكل مثال. بدلاً من ذلك، يستخدم آلية إعادة قياس عشوائية غير منحازة:

حساب كثافة التفضيل: لكل مثال تدريبي، تحسب الخوارزمية قيمة قياسية $\psi$ تمثل كثافة التفضيل الحالية للنموذج.
التشويش غير المنحاز: يتم أخذ وزن عشوائي $\tilde{w}$ بحيث تظل القيمة المتوقعة للكثافة المشوهة مساوية للكثافة الحقيقية ( $\mathbb{E}[\tilde{\psi}] = \psi$ )، مما يحقق خصوصية التفضيل $\epsilon$ . تُخرج الآلية قيمًا أكبر أو أصغر قليلاً من القيم الحقيقية باحتمالات معايرة لضمان عدم الانحياز.
إعادة قياس الهدف: بدلاً من التلاعب بالتدرجات مباشرة، يقوم PrivDPO بإعادة قياس هدف خسارة DPO للمثال الحالي بمقدار $\tilde{w}$ قبل الانتشار العكسي (backpropagation). هذا يكافئ رياضيًا تشويش التدرج على طول محور التفضيل، ولكنه متوافق مع أطر التدريب واسعة النطاق القياسية (مثل FSDP) التي تقسم التدرجات عبر وحدات معالجة الرسومات (GPUs).

بالإضافة إلى ذلك، يقترح المؤلفون PrivSFT، وهي مرحلة ضبط دقيق مُشرف عليه خاصة تسبق DPO. بخلاف SFT القياسي الذي يحسن الاستجابات المفضلة فقط (مما يسرب التفضيل)، يقوم PrivSFT بالتحسين بالتساوي على كل من $y_w$ و $y_l$ ، مما يجعل النموذج يتكيف مع دلالات مجموعة البيانات دون تكبد تكاليف تتعلق بخصوصية تفضيلات المستخدم.

المساهمات الرئيسية

صياغة خصوصية التفضيل: حدد البحث "خصوصية التفضيل $\epsilon$ "، وهي ضمانة بأسلوب "الخصوصية على مستوى التسمية" (label-DP) مصممة خصيصًا لـ DPO حيث يكون الترتيب النسبي للاستجابات هو الجزء الحساس.
الرؤية الهندسية: تحديد أن معلومات التفضيل في تدرجات DPO تتدفق من خلال فضاء فرعي أحادي البعد (محور التفضيل)، مما يسمح بالتشويش المستهدف بدلاً من حقن الضوضاء عالية الأبعاد.
خوارزمية PrivDPO: آلية غير منحازة وقابلة للتوسع تفرض خصوصية التفضيل عبر إعادة القياس العشوائي للهدف. وهي تتجنب عمليات التدرج لكل مثال، مما يجعلها قابلة للتطبيق على نماذج LLM الضخمة (تصل إلى 32 مليار معلمة) دون الحاجة إلى تغيير البنية التحتية للتدريب الحالية.
الضمانات النظرية: أثبت المؤلفون أن PrivDPO يحقق خصوصية التفضيل $\epsilon$ ويوفر تقديرات تدرج غير منحازة مع خطأ محدود، متجنبًا الانحياز المتأصل في تشويش المدخلات القائم على الاستجابة العشوائية (RR).

النتائج التجريبية
قيم المؤلفون PrivDPO على ثلاثة معايير (Anthropic-HH, TL;DR, UltraFeedback) وثلاث عائلات من النماذج اللغوية الكبيرة (Qwen2.5, Llama3, Pythia) تتراوح من 3 إلى 32 مليار معلمة.

الأداء مقابل الخصوصية: يتفوق PrivDPO باستمرار على النماذج المرجعية التي تحافظ على الخصوصية (DP-SGD, RR, Duchi, و Piecewise). تحت ميزانية خصوصية متوسطة ( $\epsilon=1$ )، يحقق PrivDO أداء محاذاة (هامش المكافأة، دقة المكافأة) مقارباً لـ DPO غير الخاص.
القابلية للتوسع: يتوسع PrivDPO بفعالية ليصل إلى نماذج بـ 32 مليار معلمة. وعلى عكس DP-SGD، الذي يفشل بسبب حواجز الذاكرة وعدم الكفاءة الحوسبية عند فرض قص التدرج لكل مثال، يضيف PrivDPO عبئًا زمنيًا ضئيلاً للغاية على التدريب.
الحفظ (Memorization): تُظهر الهجمات التجريبية التي تقيس ميزة الحفظ أن PrivDPO يحد من تسرب تسميات التفضيل بشكل أفضل بكثير من DPO القياسي، حيث تقترب ميزة الحفظ من الصفر.

الأهمية والادعاءات
يزعم البحث أن PrivDPO يمثل خطوة عملية نحو نشر التعلم المعزز من التغذية الراجعة البشرية (RLHF) المحافظ على الخصوصية في الأنظمة الواقعية. فهو يثبت أنه من الممكن محاذاة النماذج اللغوية الكبيرة واسعة النطاق مع ضمانات صارمة لخصوصية التفضيل دون تقديم تنازلات ملحوظة في كفاءة التدريب أو جودة النموذج. يضع المؤلفون عملهم كحل لعدم التطابق الهيكلي المحدد بين آليات DP القياسية وهدف DPO، مقدمين نهجًا مستقلًا عن النموذج يحافظ على منفعة المحاذاة مع حماية إشارات التغذية الراجعة البشرية الحساسة. لا يدعي العمل حل جميع مخاطر الخصوصية في النماذج اللغوية الكبيرة (على سبيل المثال، لا يحمي المحتوى الحساس داخل المطالبات أو الاستجابات نفسها) ولكنه يعالج تحديدًا خصوصية تسمية التفضيل في سير عمل المحاذاة.

الاكتشاف الجوهري: إخفاء التصويت، لا ورقة الاقتراع

كيف يعمل الأمر: خدعة "الوزن السحري"

النتائج: نماذج ضخمة، خصوصية ضخمة

لماذا يهم هذا الأمر

أبحاث مشابهة