💬 NLP

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

تقترح الورقة البحثية DP-Fusion، وهي آلية استدلال ذات خصوصية تفاضلية على مستوى الرمز (token-level) للنماذج اللغوية الكبيرة، تضع حدوداً مثبتة لتأثير رموز السياق الحساسة على المخرجات لتمكين تعمية المستندات بجودة عالية مع تحسين مقايضات الخصوصية والمنفعة بشكل كبير مقارنة بالطرق الحالية.

المؤلفون الأصليون: Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

نُشر 2026-02-03

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتاً ذكياً جداً ومرحاً (نموذج لغوي كبير، أو LLM) يساعدك في تلخيص المستندات. أحياناً، تحتوي هذه المستندات على معلومات سرية، مثل اسم مريض، أو تاريخ محدد، أو رقم حساب بنكي. أنت تريد من الروبوت أن يلخص القصة دون أن يسرب تلك الأسرار بالخطأ.

المشكلة هي أن الروبوتات الحالية سيئة في هذا الأمر. إذا قلت لها فقط "لا تذكري الاسم"، فقد تصاب بالارتباك وتكتب كلاماً غير مفهوم. وإذا قلت لها "أعيدي الكتابة بشكل لطيف"، فقد تزل قدمها وتكشف السر على أي حال.

إليك DP-FUSION: الخلاط "الآمن للسرية"

قام مؤلفو هذه الورقة البحثية ببناء طريقة جديدة تسمى DP-FUSION. فكر في الأمر كخلاط خاص للنصوص يضمن بقاء الأسرار مخفية مع الحفاظ على سلاسة القصة. وإليك كيف تعمل، باستخدام تشبيه بسيط:

السيناريو: النسختان من القصة

تخيل أن لديك تقريراً طبياً عن "السيدة سميث" التي بلغت فاتورتها 345.25 دولاراً.

القصة الأصلية: تحتوي على الاسم "السيدة سميث" ومبلغ الفاتورة الدقيق.
القصة المنقحة: تأخذ قلماً وتغطي "السيدة سميث" و"345.25 دولاراً"، وتستبدلهما بفراغات مثل [الاسم] و[المبلغ].

كيف يعمل DP-FUSION (عملية الخلاط)

بدلاً من اختيار نسخة واحدة أو الأخرى، يقوم DP-FUSION برقصة ذكية:

تشغيل الروبوت مرتين:
- أولاً، يطلب من الروبوت توقع الكلمة التالية باستخدام القصة المنقحة (النسخة الآمنة). وهذا يعطي تخميناً "آمناً".
- ثانياً، يطلب من الروبوت توقع الكلمة التالية باستخدام القصة الأصلية (نسخة السر). وهذا يعطي تخميناً "مخاطراً" قد يسرب السر.
"مقبض الخصوصية" (مقبض الخلاط):
- يحتوي النظام على مقبض يسمى $\epsilon$ (إبسيلون).
- عند تدوير المقبض للأسفل تماماً (إبسيلم $\epsilon$ منخفض): يخلط الخلاط التخمينين بقوة بحيث يتم إغراق السر "المخاطر" بالتخمين "الآمن". قد يقول الروبوت "مريض" بدلاً من "السيدة سميث". هذه خصوصية عالية جداً، لكن القصة قد تبدو عامة بعض الشيء.
- عند رفع المقبض (إبسيلون مرتفع): يسمح الخلاط بمرور المزيد من التخمين "المخاطر". قد يقول الروبوت "السيدة سميث" إذا كان ذلك مناسباً للسياق. ستكون القصة أفضل، ولكن هناك احتمال ضئيل لتسرب السر.
الضمان:
- سحر DP-FUSION هو أنه يثبت رياضياً أنه مهما حاول المخترق تخمين السر، فإن فرص نجاحه محدودة بصرامة بناءً على ضبط هذا المقبض. حتى لو عرف المخترق تماماً كيف يعمل الخلاط، لا يمكنه هندسة السر عكسياً.

لماذا يعد هذا أفضل مما لدينا الآن؟

تقارن الورقة البحثية DP-FUSION بطرق أخرى:

"المنظف" (NER): يشبه استخدام قلم تحديد أسود لشطب الأسرار. هو آمن، لكنه يترك ثقوباً قبيحة في النص، مما يجعل قراءته صعبة (منفعة منخفضة).
"إعادة الصياغة" (هندسة الأوامر - Prompt Engineering): يشبه أن تطلب من الروبوت "إعادة الكتابة بشكل لطيف". يبدو الكلام جيداً، لكن الروبوت غالباً ما يكشف السر بالخطأ لأنه لم يُجبر على توخي الحذر.
DP-FUSION: هو النقطة المثالية. فهو يحافظ على تدفق النص بسلاسة (جودة عالية) مع ضمان بقاء الأسرار مخفية رياضياً.

النتائج

اختبر الباحثون هذه الطريقة على مستندات قانونية وطبية حقيقية. ووجدوا أن:

الجودة: كانت النصوص التي أنتجها DP-FUSION أكثر طبيعية وسلاسة في القراءة من طرق الخصوصية الأخرى. في الواقع، كان أفضل بـ 6 مرات (من حيث "الارتباك" أو Perplexity، وهو مقياس لمدى كون النص مربكاً) من أفضل طريقة خصوصية تالية.
الأمان: حتى عندما حاول المخترقون تخمين الأسماء أو التواريخ المخفية، فشلوا بنفس القدر الذي يفشلون به عند التخمين العشوائي.
سلامة إضافية: تساعد الطريقة أيضاً في منع هجمات "كسر الحماية" (Jailbreak)، حيث يحاول المخترقون خداع الروبوت لتجاهل قواعده. من خلال معاملة المدخلات المشبوهة كـ "رموز حساسة"، يقوم الخلاط بتخفيف تأثيرها، مما يحافظ على سلامة الروبوت.

باخت aside (في ملخص سريع)

DP-FUSION هو طريقة جديدة لاستخدام الذكاء الاصطناعي لتلخيص المستندات الحساسة. إنه يعمل كخلاط ذكي يمزج نسخة "آمنة" من النص مع النسخة "الحقيقية"، ويتحكم في ذلك مقبض الخصوصية. يضمن هذا بقاء الأسرار (مثل الأسماء أو التواريخ) مخفية رياضياً، بينما تظل القصة الناتجة عالية الجودة وسهلة القراءة.

ملخص تقني: DP-FUSION

بيان المشكلة

تفتقر النماذج اللغوية الكبيرة (LLMs) إلى ضمانات خصوصية متأصلة أثناء عملية الاستنتاج. فعندما يتم تعزيز هذه النماذج بأدوات أو قواعد بيانات خارجية تحتوي على معلومات حساسة (مثل معلومات الهوية الشخصية PII)، يمكن لمخرجات النموذج أن تكشف عن هذا السياق دون قصد. وتعاني طرق الاستنتاج الحالية التي تحافظ على الخصوصية من قيود كبيرة:

الافتقار إلى الضمانات المثبتة: الطرق مثل هندسة الأوامر (prompt engineering) أو التغطية البسيطة (redaction) لا تقدم ضمانات خصوصية رسمية، وهي عرضة لهجمات إعادة البناء أو استنتاج العضوية.
ضعف المقايضة بين المنفعة والخصوصية: طرق الاستنتاج ذات الخصوصية التفاضلية (DP) مثل DP-Decoding (الاستيفاء مع ضوضاء موحدة) أو DP-Prompt (قص اللوغاريتمات/logits) تؤدي غالباً إلى تدهور شديد في جودة النص (ارتفاع الـ perplexity) لتحقيق الخصوصية.

التحدي المحدد الذي يتم معالجته هو خصوصية المستندات: إعادة صياغة مستند يحتوي على رموز (tokens) حساسة بحيث لا يستطيع المهاجم استنتاج الرموز الحساسة الأصلية بشكل موثوق من المخرج المعاد صياغته، مع الحفاظ على جودة نص عالية.

المنهجية: DP-FUSION

يقترح المؤلفون DP-FUSION، وهو آلية استنتاج ذات خصوصية تفاضلية (DPI) على مستوى الرمز، تعمل على وضع حدود مثبتة لتأثير رموز السياق الحساسة على المخرجات المولدة. تعمل الطريقة تحت نموذج تهديد يتمثل في مهاجم "رمادي الصندوق" (gray-box) متكيف، يعرف طريقة الاستنتاج، وبنية النموذج، والأوزان، ويراقب المخرج المخصي والمدخل المحذوف.

الآلية الجوهرية

تتكيف DP-FUSION مع مفهوم التنبؤ الخاص القائم على المجموعات (على غرار PMixED). تتضمن العملية أربع خطوات رئيسية:

وسم الرموز (Token Labeling): يتم تحديد مجموعة فرعية من الرموز الحساسة في المستند وتجميعها في مجموعات خصوصية ( $G_1, \dots, G_m$ ) باستخدام وسم (tagger) (مثل NER).
الاستنتاج المرجعي (العام): يتم تشغيل النموذج اللغوي الكبير على المستند مع حذف جميع الرموز الحساسة (استبدالها بعلامات مكانية Placeholder بنفس الطول) للحصول على توزيع الرمز التالي "العام" ( $p_{pub}$ ).
الاستنتاج الخاص: يتم تشغيل النموذج $m$ من المرات (مرة واحدة لكل مجموعة خصوصية)، حيث يتم الكشف فقط عن رموز مجموعة محددة $G_i$ جنباً إلى جنب مع السياق المحذوف. ينتج عن ذلك $m$ من توزيعات الرمز التالي "الخاصة" ( $p_{priv, i}$ ).
مزج التوزيعات (Mollification): لكل مجموعة $i$ $i$ ، يتم حساب معامل $\lambda_i \in [0, 1]$ $λ_{i} \in [0, 1]$ عبر البحث بالتنصيف (bisection search). $\lambda_i$ $λ_{i}$ هو القيمة القصوى بحيث يكون تباعد ريني (Rényi divergence) بين التوزيع المختلط ( $\lambda_i p_{priv, i} + (1-\lambda_i) p_{pub}$ $λ_{i} p_{p r i v, i} + (1 - λ_{i}) p_{p u b}$ ) والأساس $p_{pub}$ $p_{p u b}$ يلبي ميزانية خصوصية محددة مسبقاً $\beta_i$ $β_{i}$ .
- التوزيع النهائي للرمز التالي هو متوسط هذه التوزيعات الممزوجة.
- يتم أخذ عينة من هذا التوزيع المختلط.

ضمانات الخصوصية

توفر الطريقة خصوصية ريني التفاضلية (RDP) لكل مجموعة $(\alpha, \beta_i)$ .

تعريف الجوار: تُعتبر المستندات متجاورة إذا كانت تختلف فقط بوجود أو غياب جميع الرموز في مجموعة خصوصية واحدة.
الحد النظري: تضمن الخوارزمية أن تباعد ريني المتماثل بين توزيعات المخرجات للمستندات المتجاورة محدود. يترجم هذا إلى ضمانات $(\epsilon, \delta)$ -DP للنص المولد بالكامل، حيث يتم التحكم في $\epsilon$ من خلال عدد الرموز المولدة، ورتبة ريني $\alpha$ ، وميزانيات المجموعات $\beta_i$ .
المتانة: تحد الآلية من ميزة المهاجم حتى لو تم اختيار الاستعلام بشكل عدائي (مثل محاولات الاختراق/jailbreak).

المساهمات الرئيسية

الاستنتاج ذو الخصوصية التفاضلية على مستوى الرمز: تقديم طريقة توفر ضمانات DP مثبتة على مستوى الرمز أثناء استنتاج LLM، وتحديداً لمهام إعادة الصياغة.
تحسين المقايضة بين المنفعة والخصوصية: على عكس الطرق السابقة التي تضيف ضوضاء إلى توزيع المخرجات أو تقص اللوغاريتمات، تقوم DP-FUSION بمزج التوزيعات بناءً على الفرق بين السياقات "الحساسة" و"غير الحساسة". يسمح هذا بالاحتفاظ بمزيد من المعلومات الدلالية مع الحد بصرامة من تسريب رموز معينة.
تخفيف هجمات حقن الأوامر (Prompt Injection): يوضح المؤلفون أنه يمكن أيضاً تطبيق الآلية في مجال الأمن، حيث تُعرف "الرموز الحساسة" بأنها قطع مسترجعة من مصادر غير موثوقة (مثل خطوط أنابيب RAG). من خلال الحد من تأثير هذه القطع، تخفف DP-FUSION من هجمات حقن الأوامر.
تنفيذ مفتوح المصدر: يطلق المؤلفون حزمة PyPI ومستودع GitHub يتيحان تطبيق DP-FUSION على أي نماذج لغوية كبيرة ومجموعات بيانات.

النتائج التجريبية

أُجريت التجارب باستخدام نموذج Qwen 2.5 7B-Instruct على مجموعة بيانات TAB-ECHR (قضايا المحكمة الأوروبية لحقوق الإنسان مع وسم يدوي لمعلومات الهوية الشخصية PII).

المنفعة (Perplexity): حققت DP-FUSION درجة perplexity (PPL) بلغت 1.426 في إعداد الخصوصية المرنة ( $\alpha\beta = 0.10$ $α β = 0.10$ ) و 1.459 في الإعداد الصارم ( $\alpha\beta = 0.01$ $α β = 0.01$ ).
- هذا أفضل بكثير من DP-Decoding (PPL > 3.9) و DP-Prompt (PPL > 4.26 لعرض 50، و >100 لعرض 5).
- تحقق DP-FUSION درجة perplexity أقل بـ 6 أضعاف من أفضل المعايكات أداءً (DP-Prompt) عند مستويات خصوصية مماثلة.
المنفعة (LLM-as-a-Judge): في المقارنات الزوجية ضد الطرق الأخرى، فازت إعادة الصياغة من DP-FUSION بأكثر من 95% من المرات ضد DP-Decoding و DP-Prompt. كما تفوقت أيضاً على معيار "No DPI - NER" (التغطية النقية) بنسبة 45% من الوقت في إعدادات الخصوصية الصارمة.
الخصوصية (معدل نجاح الهجوم): قيم المؤلفون هجمات استعادة الرموز (Min-K% و LOSS attacks).
- حافظت DP-FUSION على معدل نجاح هجوم (ASR) قريب من التخمين العشوائي (حوالي 26-29% لـ $|C|=5$ ) حتى عند المنفعة العالية.
- في المقابل، أظهرت DP-Prompt (عرض 50) معدل ASR بلغ ~50%، مما يشير إلى الفشل في توفير خصوصية تجريبية رغم انخفاض الـ perplexity.
- قدمت DP-FUSION خصوصية أفضل قليلاً من معيار No-DPI NER في الإعدادات الصارمة بسبب العشوائية التي تم إدخالها أثناء مزج التوزيعات.

الأهمية والادعاءات

يزعم البحث أن DP-FUSION تمثل تقدماً كبيراً في نشر النماذج اللغوية الكبيرة مع البيانات الحساسة من خلال تقديم ضمانات خصوصية مثبتة دون التدهور الشديد في المنفعة الذي تشهده طرق الاستنتاج الحالية ذات الخصوصية التفاضلية.

تحول في النموذج (Paradigm Shift): يجادل المؤلفون بأنه بدلاً من معاملة الخصوصية كخطوة معالجة لاحقة أو حقن ضوضاء عالمي، يمكن إدارة الخصوصية من خلال نمذجة تأثير مجموعات رموز محددة صراحةً والحد من ذلك التأثير عبر مزج التوزيعات.
العملية: الطريقة قابلة للتنفيذ حاسوبياً (قابلة للتوازي) وتعمل مع النماذج اللغوية الكبيرة الحالية دون الحاجة إلى إعادة تدريب.
المنفعة المزدوجة: بالإضافة إلى الخصوصية، يُزعم أن الآلية فعالة أيضاً ضد التهديدات الأمنية مثل حقن الأوامر في أنظمة RAG، مما يوفر نهجاً موحداً للتعامل مع السياق غير الموثوق.

يظل المؤلفون متواضعين فيما يتعلق بتبعية الطريقة لجودة وسم الرموز الأولي (NER)، مع الإقرار بأن السلبيات الكاذبة في الوسم تقع خارج الضمانات النظرية، رغم أن النتائج التجريبية تشير إلى أن أدوات الوسم الجاهزة كافية لحالات الاستخدام الموضحة.