💬 NLP

Beyond Theoretical Bounds: Empirical Privacy Loss Calibration for Text Rewriting Under Local Differential Privacy

تقدم هذه الورقة TeDA، وهو إطار عمل لاختبار الفرضيات يعمل على معايرة فقدان الخصوصية تجريبياً عبر آليات إعادة كتابة النصوص تحت نموذج الخصوصية التفاضلية المحلية من خلال قياس قابلية تمييز النصوص في فضاءات السطح والتمثيل (embedding spaces)، مما يكشف أن حدود $\varepsilon$ الاسمية غالباً ما تفشل في عكس مستويات الخصوصية الفعلية ويوفر أساساً أكثر موثوقية لمقارنة المقايضات بين الخصوصية والمنفعة.

المؤلفون الأصليون: Weijun Li, Arnaud Grivet Sébert, Qiongkai Xu, Annabelle McIver, Mark Dras

نُشر 2026-03-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Weijun Li, Arnaud Grivet Sébert, Qiongkai Xu, Annabelle McIver, Mark Dras

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: مشكلة "قناع الخصوصية"

تخيل أنك في حفلة، وتريد أن تحكي لصديق جديد قصة سرية عن يومك، لكنك لا تريد أن يعرف بالضبط من أنت أو أين تسكن.

لحماية نفسك، قررت ارتداء قناع خصوصية. في عالم الكمبيوتر، يسمى هذا القناع الخصوصية التفاضلية المحلية (LDP). قبل أن ترسل رسالتك النصية إلى الخادم، يقوم هاتفك بتشفير الكلمات بدرجة كافية لإخفاء الحقيقة، مع الحفاظ على القصة مفهومة.

لسنوات، استخدم علماء الكمبيوتر رقماً يسمى $\epsilon$ (إبسيلون) لقياس مدى جودة هذا القناع.

النظرية: يقولون: "إذا ضبطنا القناع عند $\epsilon = 10$ ، فمن المضمون رياضياً ألا يتمكن أحد من تخمين سرك".
المشكلة: اتضح أن $\epsilon$ يشبه عداد سرعة في سيارة معطلة. قد تقول سيارتان مختلفتان إن سرعتهما "100 ميل في الساعة"، لكن إحداهما تقود بأمان على طريق سريع، بينما الأخرى تندفع نحو الهاوية. في هذه الورقة البحثية، وجد المؤلفون أن أداتين مختلفتين لإعادة كتابة النصوص يمكنهما ادعاء نفس رقم الخصوصية ( $\epsilon$ )، لكن إحداهما قد تسرب أسرارك، بينما تحافظ الأخرى على سلامتك.

الحل: TeDA (اختبار "المحقق")

قام المؤلفون، وهم فريق من جامعة ماكواري، ببناء أداة جديدة تسمى TeDA (تدقيق تمايز النصوص). بدلاً من الثقة في عداد السرعة المعطل ( $\epsilon$ )، يعمل TeDA مثل محقق بارع.

إليك كيف يعمل TeDA، باستخدام تشبيه لعبة:

1. الإعداد: لعبة "من الفاعل؟"

تخيل أن الكمبيوتر يأخذ جملتك الأصلية (مثلاً: "كلمة المرور الخاصة بي هي hunter2") ويمررها عبر قناع الخصوصية. فينتج نسخة مشفرة (مثلاً: "كلمة المرور hunter موجودة هنا لتبقى").

الآن، يُعطى المحقق (TeDA):

الرسالة المشفرة.
قائمة من جملتين أصليتين محتملتين:
1. "كلمة المرور الخاصة بي هي hunter2" (الحقيقة)
2. "السماء زرقاء اليوم" (الزيف)

2. الاختبار

يحاول المحقق تخمين أي الجملتين كانت الأصلية.

إذا خمن المحقق بشكل صحيح، فقد فشل القناع (الخصوصية ضعيفة).
إذا خمن المحقق بشكل خاطئ (أو كان يخمن عشوائياً فقط)، فقد نجح القناع (الخصوصية قوية).

يلعب TeDA هذه اللعبة آلاف المرات مع جمل و"أقنعة" مختلفة ليرى من هو الأفضل حقاً في إخفاء الحقيقة.

الطريقتان اللتان ينظر بهما المحقق

قدمت الورقة البحثية نوعين من المحققين للتأكد من كشف كل تسريب:

محقق السطح (LLM): هذا المحقق يقرأ الكلمات. إذا كان النص المشفر لا يزال يشبه الأصل كثيراً (مثلاً: نفس بنية الجملة، كلمات متشابهة)، فإن هذا المحقق يكتشف ذلك فوراً.
المحقق العميق (Embeddings): أحياناً تتغير الكلمات تماماً، لكن المعنى يبقى كما هو. هذا المحقق ينظر إلى "روح" الجملة (المتجهات الرياضية). حتى لو كانت الكلمات مختلفة تماماً، إذا كان "جوهر" أو معنى الجملة قريباً جداً من الأصل، فإن هذا المحقق سيكشفه.

الاكتشاف الصادم

عندما اختبر المؤلفون ست أدوات خصوصية شهيرة باستخدام TeDA، وجدوا فجوة هائلة بين النظرية والواقع:

"العمالقة" (ADePT, DP-BART): ادعت هذه الأدوات وجود رقم خصوصية عالٍ ( $\epsilon = 1000$ )، وهو ما يبدو مخيفاً. ولكن عندما اختبرها TeDA، كانت في الواقع آمنة جداً. كانت الرسائل المشفرة مشوشة لدرجة أن المحقق لم يستطع تخمين الأصل على الإطلاق.
"الأدوات الخفيفة" (DP-Paraphrase, DP-Prompt): ادعت هذه الأدوات وجود رقم خصوصية أقل ( $\epsilon = 10$ )، وهو ما يبدو أكثر أماناً. لكن TeDA وجد أنها تسرب الأسرار. كانت الرسائل المشفرة لا تزال مشابهة جداً للأصول، واستطاع المحقق تخمين الحقيقة بسهولة.

التشبيه: الأمر يشبه شخصين يرتديان "سترات سلامة".

الشخص (أ) يرتدي سترة مكتوب عليها "حماية مستوى 1000"، وهي في الواقع مصنوعة من فولاذ ثقيل. أنت آمن.
الشخص (ب) يرتدي سترة مكتوب عليها "حماية مستوى 10"، لكنها في الواقع مصنوعة من ورق رقيق. أنت في خطر.
الطريقة القديمة كانت تنظر فقط إلى الملصق. أما TeDA فيفحص المادة المصنوع منها القناع.

لماذا هذا مهم؟

في العالم الحقيقي، يحتاج الباحثون والشركات إلى اختيار أداة الخصوصية المناسبة.

إذا وثقوا في الملصقات القديمة ( $\epsilon$ )، فقد يختارون "سترة ورقية" ظناً منهم أنها آمنة، وقد يسربون بيانات المستخدمين عن طريق الخطأ.
أو قد يختارون "سترة فولاذية" ظناً منهم أنها ثقيلة جداً (سيئة من حيث الفائدة)، بينما هي في الواقع التوازن المثالي.

يوفر TeDA لهم مقياس معايرة. فهو يخبرهم: "مهلاً، حتى لو كانت هاتان الأداتان تمتلكان ملصقات مختلفة، إلا أنهما تقدمان نفس المستوى من الخصوصية في العالم الحقيقي".

الخاتمة

تجادل الورقة البحثية بضرينا التوقف عن الثقة في ملصقات الرياضيات النظرية وحدها. تماماً كما لا تشتري مظلة (باراشوت) بناءً على ادعاء الشركة المصنعة دون اختبارها، لا ينبغي لنا الوثوق بأدوات الخصوصية دون إجراء اختبار المحقق.

TeDA هو ذلك الاختبار. إنه يثبت أنه في عالم اللغة البشرية المعقد، الطريقة الوحيدة لمعرفة ما إذا كانت أسرارك آمنة هي محاولة كسرها بنفسك.

1. بيان المشكلة

أدى الاعتماد الواسع لنماذج اللغات الكبيرة (LLMs) إلى زيادة الحاجة إلى مشاركة البيانات النصية مع الحفاظ على الخصوصية. تعالج الخصوصية التفاضلية المحلية (LDP) هذا الأمر من خلال تعمية بيانات المستخدم محلياً قبل إصدارها. ومع ذلك، توجد فجوة حرجة في تقييم آليات إعادة كتابة النصوص تحت نظام LDP:

قابلية تفسير $\epsilon$ : يصعب تفسير معامل ميزانية الخصوصية النظري ( $\epsilon$ ) من الناحية العملية. فقيمة $\epsilon$ الاسمية لا تنقل بشكل مباشر مقدار المعلومات المسربة فعلياً أو احتمالية تحديد الخصم للمدخل الأصلي بشكل صحيح.
عدم القابلية للمقارنة: تُعرف الآليات المختلفة الخصوصية بمستويات دقة مختلفة (على سبيل المثال، على مستوى الرمز "token-level" مقابل مستوى الجملة "sentence-level"). وبناءً على ذلك، يمكن أن تؤدي قيم $\epsilon$ الاسمية المتطابقة عبر آليات مختلفة إلى مستويات متفاوتة تماماً من تسرب الخصوصية الفعلي.
الافتقار إلى المعايرة التجريبية: أطر التدقيق التجريبية الموجودة (مثل هجمات الاستدلال على العضوية) مصممة أساساً للخصوصية التفاضلية المركزية أو البيانات الجدولية. وهي تواجه صعوبة في التعامل مع الطبيعة عالية الأبعاد، والمنفصلة، والغنية دلالياً للنصوص، حيث يكون حصر جميع المدخلات المرشحة أمراً مستعصياً.

2. المنهجية: TeDA (تدقيق التمايز النصي)

يقترح المؤلفون إطار عمل TeDA، وهو إطار معايرة تجريبي يوسع التدقيق القائم على التمايز ليشمل اللغة الطبيعية. الفكرة الجوهرية هي قياس "خسارة الخصوصية التجريبية" ( $\epsilon_{emp}$ ) من خلال محاكاة خصم يحاول تحديد النص المصدر الحقيقي من مخرجات مخصية.

المكونات الرئيسية:

الصياغة القائمة على التمايز: بدلاً من الاعتماد على الحدود النظرية، يعامل TeDA الخصوصية كمسألة اختبار فرضية. يُعطى الخصم نصاً مخصياً $y$ ومجموعة من النصوص المرشحة الأصلية $S = \{v_1, ..., v_k\}$ . الهدف هو تحديد أي مرشح هو الذي ولّد $y$ .
هجمات ثنائية النمط: لالتقاط جوانب مختلفة من التسرب، يستخدم TeDA استراتيجيتي هجوم متميزتين:
1. الإسناد على مستوى السطح (LLM): يستخدم نموذج لغة كبير (مثل Qwen3-8B) للحكم على التوافق الدلالي بين النص المعاد كتابته والمرشحين بناءً على الصياغة، والأسلوب، والنحو.
2. الإسناد على مستوى التضمين (Embedding): يستخدم نماذج تضمين مدربة مسبقاً (مثل all-mpnet-base-v2) لقياس المسافة المتجهة (مسافة جيب التمام) بين النص المخصي والمرشحين. هذا يلتقط التسرب الدلالي العميق الذي قد يستمر حتى لو تغيرت الأشكال السطحية.
استراتيجية اختيار المرشحين: إدراكاً بأن اختيار المرشح يؤثر على تقديرات التسرب، قدم المؤلفون أخذ عينات الانتقال الاحتمالي. تستخدم هذه الاستراتيجية معامل درجة الحرارة ( $\lambda$ $λ$ ) للتحكم في المسافة الدلالية بين المصدر الحقيقي والمشتتات:
- $\lambda < 0$ : أخذ عينات أكثر تنوعاً (التكوين الأساسي)، باختيار مرشحين متباعدين دلالياً لتعظيم ضغط التمايز.
- $\lambda > 0$ : أخذ عينات أكثر تشابهاً (مهمة أصعب للخصم).
- $\lambda \to 0$ : أخذ عينات عشوائية منتظمة.
المقدر الفعال: يتطلب التدقيق القياسي تتبع كل من الإيجابيات الحقيقية (TP) والإيجابيات الكاذبة (FP)، مما يستلر ملايين التجارب. اشتق المؤلفون مقدراً مختزلاً يعتمد فقط على أحداث النجاح المجمعة (TPs). ومن خلال الاستفادة من تماثل اختبار الفرضية، قاموا بتقليل التكلفة الحسابية إلى النصف (تقليل عدد استعلامات النموذج المطلوبة) مع الحفاظ على الدقة الإحصائية باستخدام طريقة Clopper-Pearson للفترات الموثوقة.

3. المساهمات الرئيسية

تصميم إطار العمل: أول إطار معايرة تجريبي مصمم خصيصاً لإعادة كتابة النصوص تحت نظام LDP، مما يسد الفجوة بين تدقيق LDP للبيانات الجدولية ومعالجة اللغات الطبيعية.
ناقلات الهجوم المبتكرة: تقديم هجمات تمايز متكاملة (القائمة على LLM والقائمة على التضمين) لتقييم تسرب الخصوصية من منظور الهياكل السطحية والدلالية.
استراتيجية المرشح الموحدة: طريقة أخذ عينات احتمالية تسمح للباحثين بمحاكاة خصوم يمتلكون مستويات متفاوتة من المعلومات الإضافية، مما يضمن نتائج معايرة قوية.
تحسين الكفاءة: تقليل رياضي لإجراء التدقيق مما يجعل التقييم واسع النطاق لآليات إعادة الكتابة القائمة على LLM والمستهلكة للموارد أمراً ممكناً.

4. النتائج التجريبية

قيم المؤلفون TeDA على ست آليات تمثيلية لإعادة كتابة النصوص تحت نظام LDP (ADePT, DP-BART, DP-Paraphrase, DP-Prompt, DP-MLM, DP-ST) عبر أربع مجموعات بيانات (ATIS, SST-2, SNIPS, Trustpilot).

تباين $\epsilon$ الاسمي مقابل التجريبي:
- الآليات على مستوى الجملة (ADePT, DP-BART): رغم عملها عند قيم $\epsilon$ اسمية عالية (تصل إلى 2500)، أظهرت هذه الآليات خسارة خصوصية تجريبية تقترب من الصفر ( $\epsilon_{emp} \approx 0$ ). فالضجيج المحقون في تضمينات الجمل أدى فعلياً إلى إخفاء المصدر.
- الآليات على مستوى الرمز (DP-Paraphrase, DP-Prompt, DP-MLM): أظهرت هذه الآليات قيم $\epsilon_{emp}$ أعلى بكثير ترتفع مع زيادة $\epsilon$ الاسمي. وبسبب نظرية التركيب، فإن جملة مكونة من $n$ من الرموز تستهلك ميزانية إجمالية قدرها $n\epsilon$ ، مما يؤدي إلى ضمانات على مستوى الجملة أقل بكثير مما هو مُبلغ عنه.
- الاستنتاج: تعني قيم $\epsilon$ الاسمية المتطابقة مستويات مختلفة جذرياً من حماية الخصوصية الفعلية اعتماداً على دقة الآلية.
تكامل الهجمات:
- حافظت بعض الآليات (مثل DP-MLM) على البنية السطحية ولكنها غيرت الدلالات، مما جعلها أسهل في التحديد عبر هجمات LLM وأصعب عبر هجمات التضمين.
- غيرها (مثل DP-Prompt) غيرت الأشكال السطحية بشكل كبير ولكنها احتفظت بالتداخل الدلالي، مما جعلها أصعب بالنسبة لـ LLMs وأسهل عبر هجمات التضمين.
مقايضات المنفعة والخصوصية:
- الآليات ذات $\epsilon_{emp}$ المنخفض (ADePT, DP-BART) عانت من انخفاض كبير في المنفعة اللاحقة (مثل درجات F1 لتصنيف النوايا).
- الآليات ذات $\epsilon_{emp}$ الأعلى (الطرق على مستوى الرمز) حافظت على المزيد من المنفعة ولكنها قدمت ضمانات خصوصية أضعف ضد استدلال السمات.
كشف الشذوذ: حدد TeDA حالات شذوذ سلوكية محددة، مثل السلوك غير الرتيب لـ DP-BART عند قيم $\epsilon$ العالية جداً (حيث تباعدت المخرجات لتصبح محتوى عاماً بسبب مشاكل نسبة الإشارة إلى الضجيج) وعدم حساسية DP-Paraphrase لتغيرات $\epsilon$ (بسبب ميل النموذج القوي نحو بدايات جمل محددة).

5. الأهمية

القياس المرجعي العملي: يوفر TeDA "أرضية مشتركة" لمقارنة آليات LDP التي تستخدم مستويات دقة مختلفة في التقارير، متجاوزاً الحدود النظرية إلى خسارة خصوصية قابلة للقياس والواقعية.
توجيه النشر: يقدم أداة عملية للممارسين لاختيار الآليات بناءً على مقايضات المنفعة والخصوصة الفعلية بدلاً من قيم $\epsilon$ الاسمية.
رؤية التدقيق: يمكن لإطار العمل اكتشاف عيوب التنفيذ أو السلوكيات غير المتوقعة في آليات الخصوصية (مثل تأثيرات المعالجة اللاحقة أو سيطرة نماذج الـ Prior على المخرجات) التي قد تغفل عنها التحليلات النظرية.
القابلية للتوسع: من خلال تقليل التكلفة الحسابية للتدقيق، يُمكّن TeDA من تقييم آليات الخصوصية المعقدة القائمة على LLM بمقياس كان يُعتبر سابقاً مكلفاً للغاية.

باخت ملخص، يجادل البحث بأن $\epsilon$ النظري غير كافٍ لتوصيف الخصوصية في إعادة كتابة النصوص. يقدم TeDA بديلاً تجريبياً وفعالاً ومنضبطاً لمعايرة ومقارنة هذه الآليات، كاشفاً أن ميزانيات الخصوصية "المتساوية" غالباً ما تنتج حماية خصوصية غير متساوية.