💻 computer science

Protecting User Prompts Via Character-Level Differential Privacy

تقترح هذه الورقة طريقة للخصوصية التفاضلية على مستوى الحروف تعمل على تطهير مطالبات المستخدمين عن طريق إدخال تشويش عشوائي على الحروف قبل إرسالها إلى نموذج لغوي كبير بعيد، والذي يقوم بعد ذلك بإعادة بناء الكلمات الشائعة غير الحساسة مع تعتيم المعلومات النادرة والحساسة بفعالية، مما يحقق توازناً قوياً بين الخصوصية والمنفعة دون الحاجة إلى تحديد صريح لمعلومات الهوية الشخصية.

المؤلفون الأصليون: Shashie Dilhara Batan Arachchige, Hassan Jameel Asghar, Benjamin Zi Hao Zhao, Dinusha Vatsalan, Dali Kaafar

نُشر 2026-03-30

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shashie Dilhara Batan Arachchige, Hassan Jameel Asghar, Benjamin Zi Hao Zhao, Dinusha Vatsalan, Dali Kaafar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً جداً، ولكنه فضولي قليلاً (نموذج لغوي كبير أو LLM)، يعيش في بلد آخر. تريد أن تطلب من هذا المساعد تلخيص تقرير طبي أو بريد إلكتروني لك. المشكلة هي أن تقريرك يحتوي على عنوان منزلك، ورقم هاتفك، واسم طبيبك. إذا أرسلت النص الخام، فقد يحفظ المساعد هذه المعلومات، أو يسربها، أو يظهرها بالخطأ لشخص آخر.

تقترح هذه الورقة البحثية طريقة ذكية لإرسال رسالتك تحمي أسرارك ولكنها تسمح للمساعد بالقيام بعمله في الوقت ذات نفسه. إليك التفصيل البسيط:

المشكلة: "البيت الزجاجي"

حالياً، عندما تتحدث مع ذكاء اصطناعي، فأنت كمن يصرخ بأسراره داخل بيت زجاجي. الذكاء الاصطناعي يرى كل شيء. إذا كتبت "اسمي جون دو وأعيش في 123 شارع مابل"، فإن الذكاء الاصطناعي يرى "جون دو" و"123 شارع مابل" بوضوح.

الحل: "المُشفر" و"المُصلح"

يقترح المؤلفون عملية مكونة من خطوتين تحدث قبل أن تغادر رسالتك جهاز الكمبيوتر الخاص بك.

الخطوة 1: المُشفر (ضجيج على مستوى الحروف)

بدلاً من محاولة العثور على أسرار محددة وإخفائها (وهو أمر صعب لأنك قد تفوت شيئاً ما)، يقترحون تشفير كل حرف في رسالتك عشوائياً.

التشبيه: تخيل أنك ترسل رسالة، ولكن قبل وضعها في المظروف، تأخذ مقصاً وتقوم بقص بعض الحروف عشوائياً من كل كلمة، وتستبدلها بكلمات غير مفهومة عشوائية.
- الأصل: "John Doe"
- المُشفر: "Joh3 D0e" أو "Jxhn D#e"
- الأصل: "Call me at 555-0199"
- المُشفر: "C@ll m3 555-0!99"

يتم ذلك باستخدام قاعدة رياضية تسمى الخصوصية التفاضلية (Differential Privacy). وهي تضمن أن النسخة المشفرة تبدو للناظر إليها وكأنها فوضى عشوائية تقريباً.

الخطوة 2: المُصلح (القوة الخارقة للذكاء الاصطناعي)

الآن، ترسل هذا النص المشفر والفوضوي إلى الذكاء الاصطناعي وتقول له: "يرجى إصلاح الأخطاء المطبعية، وجعل النص قابلاً للقراءة، ثم لخصه".

هنا يحدث السحر. الذكاء الاصطناعي يشبه المحرر فائق الذكاء الذي قرأ ملايين الكتب.

الكلمات الشائعة: إذا كانت الكلمة المشفرة هي "Call"، وبدت مثل "C@ll"، فإن الذكاء الاصطناعي يعرف فوراً: "أوه، هذه هي 'Call'!" لأن "Call" كلمة شائعة، والسياق (مثل "me at") يجعل الأمر واضحاً. يقوم الذكاء الاصطناعي بإصلاحها بسهلاً.
الكلمات النادرة/السرية: إذا كانت الكلمة المشفرة اسماً محدداً مثل "Harlan"، وبدت مثل "H_rlan" أو "H@rld"، فإن الذكاء الاصطناعي سيتعثر. هو لا يعرف ما إذا كان الاسم "Harlan" أو "Herman" أو "Harold". ولأن هذه الأسماء نادرة وفريدة، لا يمكن للذكاء الاصطناعي تخمينها بشكل صحيح. قد يخمن "Harold"، لكنه مجرد تخمين وليس السر الحقيقي.

النتيجة: "الفلتر السحري"

اختبرت الورقة البحثية هذا على سجلات طبية ورسائل بريد إلكتروني حقيقية. وكانت النتائج مبهرة:

الجوانب المفيدة (المنفعة): نجح الذكاء الاصطناعي في إصلاح الكلمات الشائعة (مثل "مريض"، "طبيب"، "مستشفى"). الملخص النهائي كان منطقياً ومفيداً للغاية.
الجوانب السرية (الخصوصية): فشل الذكاء الاصطناعي في تخمين الأسماء المحددة، وأرقام الهواتف، والعناوين. لقد أعاد بناءها بمعدل لا يتجاوز مجرد التخمين العشوائي.

لماذا تعد هذه الطريقة أفضل من غيرها؟

الطريقة القديمة (الحجب/التعتيم): تخيل محاولة إخفاء الأسرار عن طريق شطبها بقلم أسود. إذا فاتك مكان واحد، سينكشف السر. وأيضاً، إذا شطبت الكثير، فلن يصبح للجملة معنى.
طريقة هذه الورقة: لست بحاجة لمعرفة ما هو السر. أنت فقط تشفر كل شيء. يقوم الذكاء الاصطناعي بإصلاح الأشياء المملة بشكل طبيعي، لكنه يترك الأسرار لغزاً. الأمر يشبه إرسال أحجية حيث تترابط القطع السهلة ببعضها، بينما تظل القطع الفريدة والسرية ضبابية.

الخلاصة

هذه الطريقة تشبه إرسال رسالة عبر نافذة ضبابية.

إذا نظرت إلى جسم شائع (مثل كرسي) عبر الضباب، فلا يزال بإمكانك معرفة أنه كرسي.
إذا نظرت إلى جسم محدد وفريد (مثل مفتاح منزلك) عبر الضباب، فلن تتمكن من معرفة ماهيته.

وجد المؤلفون أنه من خلال ضبط مدى "ضبابية" النافذة (إعداد يسمى إبسيلون - epsilon)، يمكنك الحصول على التوازن المثالي: يحصل الذكاء الاصطناعي على قدر كافٍ من الوضوح للقيام بعمله، ولكن تظل أسرارك مخفية بأمان داخل الضباب.

إليك ملخص تقني مفصل لورقة البحث بعنوان "حماية مطالبات المستخدم عبر الخصوصية التفاضلية على مستوى الحرف".

1. بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في المهام الشخصية والمهنية، مما يتطلب غالباً من المستخدمين تقديم مطالبات (prompts) تحتوي على معلومات شخصية حساسة (PII) مثل الأسماء، وأرقام السجلات الطبية، والعناوين. وبما أن هذه النماذج تُستضاف عادةً من قبل أطراف ثالثة، فهناك خطر كبير لحدوث تسرب للبيانات، حيث يمكن للنموذج حفظ المعلومات الحساسة أو كشفها لكيانات غير موثوقة.

تواجه استراتيجيات التخفيف الحالية قيوداً ملحوظة:

الترشيح القائم على التعرف على الكيانات المسماة (NER) أو القواعد: يعتمد على اكتشاف كيانات محددة، مما يؤدي إلى حالات "سلبية كاذبة" (فشل في اكتشاف المعلومات الحساسة) و"إيجابية كاذبة" (إفراط في الحذف).
التشفير المتماثل (Homomorphic Encryption) أو الحوسبة متعددة الأطراف الآمنة (SMC): مكلفة حاسوبياً وتتطلب تغييرات في البنية التحتية للنموذج اللغوي الكبير عن بُعد، وهو أمر غير عملي في الغالب.
الخصوصية التفاضلية (DP) على مستوى الكلمة: تقوم بتشويه كلمات كاملة، مما يؤدي غالباً إلى تدمير التماسك الدلالي والمنفعة، حتى بالنسبة للكلمات غير الحساسة.
التعمية (Obfuscation): تفتقر إلى ضمانات خصوصية رسمية.

يتمثل التحدي الجوهري في تطهير مطالبات المستخدم تلقائياً دون تحديد المصطلحات الحساسة صراحةً، مع الحفاظ على المنفعة (القابلية للقراءة وأداء المهمة) للمطالبة بالنسبة لمهمة النموذج اللغوي الكبير اللاحقة.

2. المنهجية

يقترح المؤلفون آلية الخصوصية التفاضلية المحلية (LDP) على مستوى الحرف مدمجة مع استعادة المطالبة القائمة على النماذج اللغوية الكبيرة. تتضمن العملية مرحلتين رئيسيتين:

أ. حقن الضجيج (جانب العميل)

قبل إرسال مطالبة إلى نموذج لغوي كبير غير موثوق به عن بُعد، يطبق المستخدم آلية الاستجابة العشوائية $k$ -ary ( $k$ -RR) على كل حرف في المطالبة.

الآلية: لكل حرف في الكلمة، تقرر الخوارزمية ما إذا كانت ستحتفظ بالحرف الأصلي أو تستبدله بحرف عشوائي من رموز ASCII القابلة للطباعة (باستثناء المسافات).
معامل الخصوصية ( $\epsilon$ ): يتحكم في احتمالية حدوث التشويه. فكلما انخفضت قيمة $\epsilon$ زادت الخصوصية (زيادة الضجيج) ولكن قلت المنفعة.
الاستقلالية: يتم تشويه كل حرف بشكل مستقل. ومن الأهمية بمكان أن طول الكلمة يتم الحفاظ عليه، مما يوفر دلالة هيكلية للنموذج اللغوي الكبير.

ب. استعادة المطالبة وتنفيذ المهمة (جانب الخادم)

يتم إرسال النص المشوه ( $T^*$ ) إلى النموذج اللغوي الكبير عن بُعد، حيث يُطلب من النموذج:

الاستعادة: تصحيح الأخطاء المطبعية والضجيج الذي أحدثته آلية $k$ -RR لإعادة بناء النص الأصلي قدر الإمكان.
التنفيذ: القيام بالمهمة اللاحقة المقصودة (مثل التلخيص).

الحدس الجوهري:

الكلمات الشائعة (غير الحساسة): تمتلك هذه الكلمات اعتلالاً (entropy) منخفضاً وارتباطات سياقية قوية. حتى مع وجود ضجيج على مستوى الحرف، يمكن للنماذج اللغوية الكبيرة إعادة بنائها بسهولة باستخدام السياق، وطول الكلمة، وأنماط الهجاء الشائعة (على سبيل المثال، إعادة بناء كلمة "correspondence" من "cbrr/MpondenXe").
الكلمات النادرة (الحساسة/PII): المصطلحات الحساسة (مثل أسماء مرضى محددين، أو معرفات فريدة) هي كلمات ذات اعتلال عالٍ ونادرة في بيانات التدريب. وهي تفتقر إلى القيود السياقية القوية. وعند تشويهها، لا يستطيع النموذج اللغوي الكبير تمييز الكلمة الأصلية بشكل موثوق عن الكلمات النادرة الأخرى المحتملة، مما يجعل إعادة البناء فعلياً أقرب إلى التخمين العشوائي.

3. المساهمات الرئيسية

آلية الخصوصية التفاضلية المحلية على مستوى الحرف: نهج مبتكر يطبق $k$ -RR على مستوى الحرف بدلاً من مستوى الكلمة. هذا يتجنب التدمير الدلالي الذي تسببه الخصوصية التفاضلية على مستوى الكلمة وفشل الاكتشاف الذي تعاني منه طرق NER.
الخصوصية التلقائية دون الحاجة للكشف: لا تتطلب هذه الطريقة تحديد الكيانات الحساسة مسبقاً. فهي تطبق حماية موحدة، معتمدة على الندرة الإحصائية للكلمات الحساسة لضمان بقائها غير قابلة للاسترداد.
الأساس النظري: وضع المؤلفون أساساً نظرياً لاحتمالية إعادة بناء الكلمات العشوائية تماماً تحت آلية $k$ -RR. وقد أثبتوا أن معدلات إعادة بناء معلومات الـ PII الحساسة في تجاربهم تقترب من خط الأساس النظري لـ "التخمين العشوائي".
إطار تقييم موحد: مقارنة شاملة مع الخصوصية التفاضلية على مستوى الكلمة وتطهير الـ PII القائم على القواعد (Presidio) باستخدام مقياس موحد للمفاضلة بين الخصوصية والمنفعة.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات: i2b2/UTHealth (سجلات طبية) و Enron (رسائل بريد إلكتروني)، باستخدام GPT-4o mini و Llama-3.1 8B كنماذج لغوية كبيرة عن بُعد.

أداء الخصوصية:
- تمت إعادة بناء الكلمات الحساسة بمعدلات قريبة من خط الأساس النظري للكلمات العشوائية (أي قريبة من التخمين العشوائي).
- على سبيل المثال، عند $\epsilon = 5.5$ (في GPT-4o mini)، كانت نسبة إعادة بناء المصطلح الحساس $\approx 20\%$ ، بينما كانت نسبة إعادة بناء الكلمات غير الحساسة $\approx 70\%$ .
- لم تؤدِ الاستعادة التكرارية (بطلب الاستعادة مرة ثانية من النموذج) إلى زيادة كبيرة في إعادة بناء المصطلحات الحساسة، مما يؤكد متانة الطريقة.
أداء المنفعة:
- رغم الضجيج الكبير، ظلت التشابه الدلالي بين ملخص المطالبة الأصلية والمطالبة المستعادة مرتفعاً (غالباً $>80\%$ ).
- نجح النموذج اللغوي الكبير في استعادة السياق ومعنى المطالبة حتى عندما كانت معلومات الـ PII المحددة غير قابلة للاسترداد.
المقارنة مع الخطوط المرجعية:
- مقابل الخصوصية التفاضلية على مستوى الكلمة: حققت الخصوصية على مستوى الحرف منفعة أعلى (تشابه دلالي) لنفس المستوى من حماية الخصوصية. فقد تسببت الخصوصية على مستوى الكلمة في تحولات دلالية أكبر يصعب إصلاحها.
- مقابل Presidio (القائم على القواعد): قدم Presidio منفعة عالية في إعداد ثابت ولكنه افتقر إلى القدرة على الضبط. والأهم من ذلك، فشل Presidio في حماية الـ PII غير القياسية أو التي بها أخطاء إملائية، بينما حمت طريقة مستوى الحرف جميع النصوص بشكل موحد.

5. الأهمية والآثار المترتبة

موازنة ناجحة: تنجح الطريقة في إدارة المفاضلة بين الخصوصية والمنفعة، حيث توفر حماية قوية للبيانات الحساسة ذات الاعتلال العالي بينما تحافظ على قابلية القراءة والسياق للغة الشائعة.
قابلية النشر: لا تتطلب أي تغييرات في البنية التحتية للنموذج اللغوي الكبير عن بُعد ولا تتطلب أي عبء تشفير معقد، مما يجعلها مناسبة لإضافات المتصفح من جانب العميل أو الوكلاء المحليين.
المتانة ضد الكشف: من خلال عدم الاعتماد على اكتشاف الكيانات، فإن الطريقة محصنة ضد "النتائج السلبية الكاذبة" حيث قد تخطئ نماذج NER في رصد تنسيقات الـ PAl المبتكرة أو المموهة.
المعايرة المستقبلية: يشير المؤلفون إلى ضرى ضرورة معايرة $\epsilon$ المثالية بناءً على نموذج الاستعادة المستخدم، حيث يمكن للنماذج الأقوى أن تعيد بناء المزيد قليلاً، لكن الضجيج على مستوى الحرف يضمن أن حتى النماذج الأكثر تطوراً ستواجه صعوبة في التعامل مع السلاسل النصية الحساسة والنادرة.

في الختام، تقدم هذه الورقة حلاً عملياً ومنضبطاً رياضياً وفعالاً لحماية مطالبات المستخدم في التفاعلات مع النماذج اللغوية الكبيرة، مستفيدة من الخصائص الإحصائية المتأصلة في اللغة للتمييز بين السياق القابل للاسترداد والبيانات الحساسة غير القابلة للاسترداد.