💬 NLP

DP-RFT: Learning to Generate Synthetic Text via Differentially Private Reinforcement Fine-Tuning

تقدم هذه الورقة DP-RFT، وهو إطار عمل للتعلم التعزيزي بخصوصية تفاضلية يُمكّن النماذج اللغوية الكبيرة من توليد بيانات اصطناعية عالية الدقة عبر التحسين التكراري مقابل أصوات الجار الأقرب التي تحافظ على الخصوصية من مجموعة بيانات خاصة، مما يحقق فائدة قوية دون الحاجة إلى الوصول المباشر إلى الأمثلة الخاصة الفردية.

المؤلفون الأصليون: Fangyuan Xu, Sihao Chen, Zinan Lin, Taiwei Shi, Sydney Graham, Pei Zhou, Mengting Wan, Alex Stein, Virginia Estellers, Charles Chen, Morris Sharp, Richard Speyer, Tadas Baltrusaitis, Jennifer Neville

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fangyuan Xu, Sihao Chen, Zinan Lin, Taiwei Shi, Sydney Graham, Pei Zhou, Mengting Wan, Alex Stein, Virginia Estellers, Charles Chen, Morris Sharp, Richard Speyer, Tadas Baltrusaitis, Jennifer Neville, Eunsol Choi, Longqi Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يرغب في إنشاء كتاب وصفات جديد ولذيذ. ومع ذلك، لديك قاعدة صارمة: لا يُسمح لك بالاطلاع على وصفات العائلة الأصلية لأنها سرية للغاية وتخص نادياً خاصاً. لا يمكنك نسخها، ولا يمكنك حتى قراءتها مباشرة.

هذه هي المشكلة التي تحاول ورقة بحثية بعنوان "DP-RFT" حلها. في عالم الذكاء الاصطنا_عي (AI)، ترغب الشركات في تدريب نماذج ذكية (مثل تلك التي تكتب القصص أو تجيب على الأسئلة) باستخدام بيانات خاصة (مثل السجلات الطبية أو سجلات الدردشة الخاصة). لكن قوانين الخصوصية تقول: "لا يمكنك الاطلاع على الأسرار الفردية".

إليك كيف يعمل حل هذه الورقة البحثية، مقسماً إلى مفاهيم وتشبيهات بسيطة:

المشكلة: معضلة "العصابة على العينين"

هناك طريقتان حاول الناس من خلالهما حل المشكلة حتى الآن، وكلتاهما بها عيوب:

طريقة "النظر للداخل" (DP Finetuning):
- التشبيه: تخيل أن الطاهي مسموح له بإلقاء نظرة خاطفة على الوصفات السرية، لكن يجب عليه ارتداء عصابة على عينيه وسماعات عازلة للضوضاء أثناء القيام بذلك. يمكنه الشعور بالمكونات وسماع الجو العام، لكن لا يمكنه رؤية المقادير المحددة.
- العيب: حتى مع العصابة، لا يزال الطاهي بحاجة للتواجد داخل المطبخ مع الوصفات السرية. في العالم الحقيقي، يقول أصحاب البيانات: "لا، لا يمكنك حتى دخول المطبخ".
طريقة "لعبة التخمين" (Aug-PE):
- التشبيه: يقف الطاهي خارج المطبخ. يصرخ بطلب: "أريد وصفة حساء!". يرد روبوت داخل المطبخ (ذكاء اصطناعي مجمد وغير مدرب) بتخمين. يسأل الطاهي: "هل هذا قريب؟". يقول الروبوت: "ربما". يحاول الطاهي مرة أخرى.
- العيب: الروبوت بالداخل "مجمد"، أي أنه لا يتعلم ولا يتطور. هو فقط يستمر في التخمين بناءً على معرفته القديمة والعامة. والوصفات الناتجة غالباً ما تبدو كحساء عادي، وليست مثل وصفات العائلة الخاصة عالية الجودة.

الحل: DP-RFT (الـ "بطاقة النتائج الخاصة")

يقترح المؤلفون طريقة جديدة تسمى الضبط الدقيق بالتعزيز ذو الخصوصية التفاضلية (DP-RFT).

فكر في هذا كسيناريو "المدرب واللاعب".

اللاعب: نموذج ذكاء اصطنا_عي ذكي (الطاهي) يتواجد خارج المطبخ الخاص.
المدرب: نظام خاص يعيش داخل المطبخ الخاص ولكنه لا يظهر أبداً الوصفات الحقيقية للاعب.

كيف يعمل التدريب:

اللاعب يقوم بحركة: يقوم الطاهي (الذكاء الاصطناعي) بإنشاء وصفة مزيفة (نص اصطناعي) بناءً على طلب عام (مثلاً: "اكتب مقالاً إخبارياً عن الرياضة").
بطاقة النتائج الخاصة: يتم إرسال الوصفة المزيفة إلى المدرب داخل المطبخ. يقوم المدرب بمقارنة الوصفة المزيفة مقابل الوصفات السرية الحقيقية.
- خطوة حاسمة: المدرب لا يظهر الوصفة المزيفة للوصفات الحقيقية، كما لا يظهر الوصفات الحقيقية للذكاء الاصطنا_عي. بدلاً من ذلك، يحسب المدرب درجة (Score) بناءً على مدى تشابههما.
- درع الخصوصية: لضمان عدم تسرب أي أسرار، يضيف المدرب القليل من "الضجيج الإحصائي" إلى الدرجة. هذا هو الجزء الخاص بـ "الخصوصية التفاضلية". الأمر يشبه قيام المدرب بالهمس بالدرجة عبر جدار؛ يسمع الذكاء الاصطنا_عي "عمل جيد، هذا قريب!"، لكنه لا يستطيع معرفة أي وصفة سرية محددة تطابقت معها.
المكافأة: يحصل الذكاء الاصطنا_عي على "مكافأة" (نقاط) بناءً على تلك الدرجة المشوبة بالضجيج. إذا كانت الدرجة عالية، يحصل الذكاء الاصطنا_عي على مكافأة. وإذا كانت منخفضة، لا يحصل على نقاط.
التعلم: يستخدم الذكاء الاصطنا_عي تقنية تسمى التعلم بالتعزيز (مثل تدريب كلب باستخدام المكافآت). يحاول أن يفهم: "ما الذي فعلته بشكل صحيح هذه المرة؟ كيف يمكنني تعديل وصفتي التالية للحصول على المزيد من النقاط؟".
النتيجة: بمرور الوقت، يتعلم الذكاء الاصطنا_عي كتابة وصفات تبدو تماماً مثل وصفات العائلة السرية، دون أن يرى كلمة واحدة منها أبداً.

لماذا يعد هذا أمراً هاماً؟

إنه "بعيد عن الأعين": لا يرى الذكاء الاصطنا_عي البيانات الخاصة أبداً. أصحاب البيانات في أمان.
إنه عالي الجودة: على عكس طريقة "لعبة التخمين"، فإن الذكاء الاصطنا_عي يتعلم ويتكيف فعلياً. يصبح أفضل وأفضل في محاكاة الأسلوب، والنبرة، وهيكل البيانات الخاصة.
إنه مفيد: البيانات الاصطناعية (البيانات المولدة) التي ينتجها هذا الأسلوب جيدة جداً لدرجة أنه إذا استخدمتها لتدريب ذكاء اصطنا_عي آخر، فإن ذلك النموذج الجديد سيؤدي بشكل جيد جداً وكأنه رأى الأسرار الحقيقية.

شبكة الأمان ضد "اختراق المكافأة"

تذكر الورقة البحثية أيضاً فحص سلامة. أحياناً، قد يحاول الذكاء الاصطنا_عي "الغش" للحصول على نقاط (مثلاً، كتابة فقرة طويلة غير مفهومة لمجرد مطابقة شرط الطول). لإيقاف ذلك، يستخدم النظام حكماً ثانياً (نموذج لغوي كبير يعمل كحكم) يتحقق من: "هل اتبعت التعليمات حقاً؟". إذا غش الذكاء الاصطنا_عي، يحصل على صفر من النقاط.

ملخص

DP-RFT يشبه تدريب مُقلد بارع لنسخ لوحة فنية رائعة دون السماح له أبداً برؤية اللوحة الأصلية. بدلاً من عرض اللوحة، تعطيه درجة: "هذا يشبهها بنسبة 80%". يحاول المقلد مرة أخرى، يحصل على درجة 90%، ويستمر في ذلك حتى يمكنه إنشاء نسخة مثالية، بينما تظل اللوحة الأصلية مغلقة في خزنة، بعيدة عن الأنظار تماماً.

هذا يسمح لنا باستخدام قوة البيانات الخاصة لبناء ذكاء اصطنا_عي أفضل، دون انتهاك خصوصية أي شخص.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "DP-RFT: تعلم توليد النصوص الاصطناعية عبر الضبط الدقيق بالتعزيز ذو الخصوصية التفاضلية."

1. بيان المشكلة

يتطلب تطوير النماذج اللغوية الكبيرة (LLMs) عادةً وصولاً مركزياً إلى مجموعات بيانات تدريب ضخمة. ومع ذلك، في العديد من السيناريوهات الواقعية (مثل الرعاية الصحية، والتمويل، والحكومة)، لا يمكن لمالكي البيانات توفير الوصول المباشر ("الرؤية المباشرة" - eyes-on) إلى البيانات الخاصة الخام بسبب لوائح الخصوصية الصارمة أو سياسات الأمن.

المقايضة: تواجه الطرق الحالية لتوليد بيانات اصطناعية ذات خصوصية تفاضلية (DP) معضلة:
- الضبط الدقيق ذو الخصوصية التفاضلية (مثل DP-SGD): يوفر ضمانات خصوصية قوية ولكنه يتطلب من النموذج استيعاب البيانات الخاصة الخام أثناء التدريب، مما ينتهك قيد "عدم الرؤية" (eyes-off).
- الطرق القائمة على التلقين (مثل Aug-PE): تتجنب الوصول المباشر للبيانات باستخدام التلقين التكراري لتوجيه نموذج لغوي جاهز ومجمد. ومع ذلك، نظرًا لأن أوزان النموذج لا يتم تحديثها، فإن البيانات الاصطناعية المولدة غالبًا ما تفتقر إلى الدقة في المجال (أي أنها لا تلتقط بدقة التوزيع أو الأسلوب أو البنية الخاصة بالمجموعة النصية الخاصة).

الهدف: هل يمكننا تدريب نموذج لغوي كبير لتوليد نص اصطناعي عالي الجودة ووفير الدقة للمجال، مع احترام قيد "عدم الرؤية" (عدم رؤية البيانات الخام أبدًا) وتوفير ضمانات رسمية للخصوصية التفاضلية؟

2. المنهجية: DP-RFT

يقترح المؤلفون الضبط الدقيق بالتعزيز ذو الخصوصية التفاضلية (DP-RFT)، وهو خوارزمية تعلم تعزيزي عبر الإنترنت مصممة لتدريب نموذج لغوي كبير ( $M_{gen}$ ) لتوليد بيانات اصطناعية متوافقة مع مجموعة بيانات خاصة ( $D_{priv}$ ) دون استيعاب الأمثلة الخام للبيانات الخاصة أبدًا.

سير العمل الأساسي

توليد مطالبات الإدخال (Input Prompts): يقوم النظام بتوليد مطالبات إدخال متنوعة تحتوي على معلومات عامة حول المجال المستهدف (مثل الكلمات المفتاحية، المواضيع، قيود الطول) لتشجيع التوليد المتنوع.
أخذ العينات داخل السياسة (On-Policy Sampling): يقوم النموذج اللغوي الكبير بتوليد مستندات اصطناعية ( $d$ ) بناءً على هذه المطالبات.
حساب المكافأة المحمية بالخصوصية التفاضلية:
- بدلاً من تغذية البيانات الخاصة للنموذج اللغوي، يقوم النظام بحساب إشارة مكافأة داخل حدود البيانات الخاصة.
- التشابه كمكافأة: يحسب النظام التشابه بين المستند الاصطناعي المولد ( $d$ ) وجميع المستندات الخاصة ( $D_{priv, i}$ ) باستخدام مقياس تشابه (مثل تشابه تضمين النص - text embedding similarity).
- التصويت المحمي بالخصوصية التفاضلية: لضمان الخصوصية التفاضلية، يتم قص مجموع درجات التشابه عند حد معين $c$ ثم إضافة ضوضاء غاوسية (Gaussian noise). وهذا يخلق تصويتًا لأقرب جار محمي بالخصوصية التفاضلية (أو متوسط درجة التشابه).
- دالة المكافأة ( $R$ ): تُعرف المكافأة النهائية كالتالي:
  $R = \begin{cases} R_{sim} & \text{if } R_{prompt} > \tau \\ 0 & \text{otherwise} \end{cases}$
  - $R_{sim}$ : درجة التشابه المحمية بالخصوصية التفاضلية.
  - $R_{prompt}$ : مكافأة ثانوية (عبر تقييم النموذج اللغوي كحكم أو عبر فحوصات قائمة على القواعد) لضمان التزام المخرجات بالمطالبة المدخلة (مثل الطول أو الموضوع). هذا يمنع اختطاف المكافأة (reward hacking)، حيث قد يحسن النموذج التشابه عن طريق تجاهل تعليمات المطالبة.
تحسين السياسة: يتم تحديث النموذج اللغوي الكبير باستخدام التحسين السيادي القريب (PPO) لتعظيم المكافأة المتوقعة المحمية بالخصوصية التفاضلية. وهذا يسمح للنموذج بتعلم توزيع البيانات الخاصة من خلال إشارة المكافأة دون رؤية البيانات الخام أبدًا.

ضمان الخصوصية

يتبع تحليل الخصوصية إطار عمل التطور الخاص (Private Evolution). من خلال إضافة ضوضاء غاوسية إلى درجات التشغيل المجمعة (إشارة المكافأة) قبل تعريضها للنموذج اللغوي، يضمن النظام أن وجود أو غياب أي مستند خاص واحد لا يمكن استنتاجه من تحديثات النموذج. يتم التحكم في ميزانية الخصوصية ( $\epsilon$ ) عبر معامل الضوضاء.

3. المساهمات الرئيسية

نموذج تدريبي مبتكر: يعد DP-RFT أول طريقة تجمع بين الضبط الدقيق بالتعزيز (RFT) والخصوصية التفاضلية (DP) لتوليد البيانات الاصطناعية. وقد نجح في تكييف أوزان النموذج لتناسب التوزيع الخاص دون استيعاب مباشر للبيانات، مما يلبي قيد "عدم الرؤية".
ابتكار آلية المكافأة: قدمت الورقة آلية مكافأة تشابه محمية بالخصوصية التفاضلية تستخدم درجات التشابه الخام (بدلاً من التصويت الثنائي) لتوفير إشارات تدرج (gradient signals) أغنى، مع استخدام نظام مكافأة مزدوج ( $R_{sim} + R_{prompt}$ ) للتخفيف من اختطاف المكافأة.
تقييم شامل: تم تقييم الطريقة عبر أربع مجموعات بيانات متنوعة:
- PubMed: ملخصات طبية.
- BBC News: مقالات إخبارية.
- WildChat: سجلات الدردشة بين المستخدم والنموذج اللغوي.
- QMSum: نصوص الاجتماعات.
  شملت التقييمات كلاً من الجودة الجوهرية (التشابه مع البيانات الخاصة) والمنفعة الخارجية (الأداء عند استخدام البيانات لتدريب نماذج لاحقة).

4. النتائج التجريبية

تظهر التجارب أن DP-RFT يتفوق بشكل كبير على النماذج المرجعية الحالية التي تتبع نهج "عدم الرؤية" (eyes-off)، ويقلص الفجوة مع طرق الضبط الدقيق "ذات الرؤية" (eyes-on) التي تستخدم الخصوصية التفاضلية.

المنفعة اللاحقة (Downstream Utility):
- حقق DP-RFT باستمرار دقة أعلى في التنبؤ بالرمز التالي (next-token prediction) للنماذج اللاحقة (BERTSmall و GPT-2) مقارنة بـ Aug-PE (النموذج المرجعي القائم على التلقين) عبر جميع مجموعات البيانات وميزانيات الخصوصية.
- حجم التحسن: في نموذج BERTSmall، أظهر DP-RFT تحسينات نسبية تصل إلى 22% (PubMed)، و35% (BBC)، و47% (QMSum) مقارنة بـ Aug-PE.
- ميزانيات الخصوصية الصارمة: تحت قيود الخصوصية الصارمة (قيمة $\epsilon$ منخفضة)، تفوق DP-RFT على الضبط الدقيق ذو الخصوصية التفاضلية (الذي ينتهك قيد عدم الرؤية) في نموذج BERTSmall، لا سيما في حالات البيانات القليلة (مثل QMSum مع 700 مثال فقط).
الدقة والتشابه:
- ولد DP-RFT بيانات اصطناعية ذات تشابه تضمين (embedding similarity) أعلى مع المجموعة الخاصة مقارنة بـ Aug-PE.
- التحليل النوعي: أظهرت التقييمات البشرية وتقييمات النماذج اللغبية أن DP-RFT يلتقط بشكل أفضل التداخل المعجمي والخصائص الهيكلية (مثل تبادل الأدوار في الاجتماعات، أو بنية الملخصات في الأوراق الطبية) مقارنة بنهج Aug-PE المجمد.
الكفاءة: بينما يتطلب Aug-PE توليدًا تكراريًا (تكلفة استدلال عالية)، فإن DP-RFT يتضمن تكلفة تدريب لمرة واحدة، وبعد ذلك يمكن توليد البيانات الاصطناعية بكفاءة.

5. الأهمية والأثر

جسر الفجوة: يجسّر DP-RFT بفعالية الفجوة في الأداء بين طرق "عدم الرؤية" (الآمنة ولكن منخفضة الجودة) وطرق "الضبط الدقيق ذو الرؤية" (عالية الجودة ولكنها تتطلب الوصول للبيانات).
الخصوصية العملية: يتيح للمؤسسات الاستفادة من النماذج اللغوية الكبيرة لتوليد البيانات الاصطناعية في البيئات شديدة التنظيم حيث لا يمكن للبيانات مغادرة الحدود الآمنة، مما يسهل تطوير النماذج اللاحقة دون المساس بالخصوصية.
القابلية للتوسع: الطريقة قابلة للتطبيق على النصوص الطويلة، والمنظمة، والمتخصصة في مجال معين، مما يجعلها أداة متعددة الاستخدامات لتطوير الذكاء الاصطناعي المحافظ على الخصوصية.

في الختام، يمثل DP-RFT تقدمًا مهمًا في تعلم الآلة المحافظ على الخصوصية، حيث يثبت أن التعلم التعزيزي الموجه بإشارات الخصوصية التفاضلية يمكن أن يدرب مولدات بيانات اصطناعية عالية الدقة دون الكشف أبدًا عن أي أمثلة خاصة فردية.