PATCH: Mitigating PII Leakage in Language Models with Privacy-Aware Targeted Circuit PatcHing

إليك ملخص تقني مفصل لورقة البحث بعنوان "Mitigating PII Leakage in Language Models with Privacy-Aware Targeted Circuit Patching (PATCH)" (الحد من تسرب معلومات الهوية الشخصية في النماذج اللغوية باستخدام رقع الدوائر المستهدفة الواعية بالخصوصية - PATCH).

1. بيان المشكلة

غالباً ما تقوم النماذج اللغوية الكبيرة (LLMs) المدربة على بيانات من العالم الحقيقي بحفظ معلومات الهوية الشخصية (PII)، مثل الأسماء، والمواقع، والعرق. وهذا يخلق خطراً كبيراً على الخصوصية حيث يمكن للمهاجمين الذين يمتلكون وصولاً بنظام "الصندوق الأسود" استخراج هذه المعلومات الحساسة من خلال هجمات الاستدلال.

تعاني آليات الدفاع الحالية من قيود حرجة:

• تنقية البيانات (Data Scrubbing): إزالة معلومات الهوية الشخصية قبل التدريب عملية مكلفة، وغالباً ما تكون غير مكتملة، ويمكن للمهاجمين استنتاج السمات عبر معلومات مساعدة.
• الخصوصية التفاضلية (Differential Privacy - DP): رغم توفيرها لضمانات رسمية، إلا أن الخصوصية التفاضلية تضعف بشكل كبير من فائدة النموذج (الأداء)، مما يجعل النموذج غير قابل للاستخدام في المهام العملية.
• تعديل ما بعد التدريب (النيورون/المتجه): أظهرت المحاولات السابقة لتعديل نيورونات محددة أو استخدام متجهات التوجيه (steering vectors) توازناً ضعيفاً بين الخصوصية والفائدة، وقد تؤدي دون قصد إلى زيادة تسرب أنواع أخرى من معلومات الهوية الشخصية.

التحدي الجوهري هو تقليل تسرب معلومات الهوية الشخصية بفعالية دون التضحية بالفائدة العامة للنموذج أو إدخال ثغرات جديدة.

2. المنهجية: PATCH

يقترح المؤلفون PATCH (رقع الدوائر المستهدفة الواعية بالخصوصية)، وهو نهج مبتكر يرتكز على التفسير الآلي (Mechanistic Interpretability). بدلاً من التعامل مع النموذج كصندوق أسود أو تطبيق ضوضاء شاملة، يقوم PATCH بتحديد وتعديل الدوائر الحسابية الداخلية المحددة المسؤلة عن تسرب معلومات الهوية الشخصية مباشرة.

تتبع العملية ست خطوات (مفصلة في الخوارزمية 1):

1. توليد المطالبات لاكتشاف الدائرة (Prompt Generation for Circuit Discovery):

   • يقوم النظام ببناء أزواج من "المطالبات النظيفة" (التي تحتوي على معلومات هوية شخصية أصلية) و"المطالبات الفاسدة" (حيث يتم استبدال معلومات الهوية الشخصية ببدائل مشابهة دلالياً، مثل تغيير "برلين" إلى "نيويورك").
   • يتم ذلك لأنواع محددة من معلومات الهوية الشخصية (الأسماء، المواقع، العرق) باستخدام مجموعة بيانات خاصة (مجموعة بيانات المحكمة الأوروبية لحقوق الإنسان).

2. استخراج الدائرة (EAP-IG):

   • يستخدم المؤلفون تقنية Edge Attribution Patching with Integrated Gradients (EAP-IG) لاكتشاف الدوائر الحسابية.
   • تقارن تقنية EAP-IG سلوك النموذج على المطالبات النظيفة مقابل الفاسدة لقياس خاصيتين لكل رأس انتباه (attention head) واتصال (edge):
     1. الحساسية لفساد رمز (token) معلومات الهوية الشخصية.
     2. الأهمية للتنبؤ الصحيح بقيم معلومات الهوية الشخصية.
   • المكونات التي تسجل درجات عالية في كلا البعدين تُحدد كجزء من "دائرة تسرب معلومات الهوية الشخصية".

3. تحديد العتبة واختيار الحواف (Thresholding and Edge Selection):

   • لكل نوع من أنواع معلومات الهوية الشخصية، يحسب النظام عتبة (على سبيل المثال، المئوية 95 أو 99) بناءً على درجات أهمية الحواف.
   • يتم اختيار الحواف التي تتجاوز هذه العتبة فقط كمسارات تسرب حرجة ($E_{high}$).

4. تحديد الحواف المشتركة (Identification of Shared Edges):

   • بدلاً من التعامل مع أنواع معلومات الهوية الشخصية بشكل مستقل، يقوم PATCH بحساب تقاطع الحواف ذات الدرجات العالية عبر جميع أنواع معلومات الهوية الشخصية ($E_{shared}$).
   • يفترض هذا أن تسرب معلومات الهوية الشخصية يعتمد على مسارات حسابية مشتركة داخل بنية الـ Transformer.

5. رقع الدائرة (تعديل النموذج) (Circuit Patching - Model Editing):

   • يتم "رقع" الحواف المحددة باستخدام آليات تعديل النموذج. جرب المؤلفون استراتيجيتين:
     • الإزالة الصفرية (Zero Ablation): تعيين أوزان الحواف إلى الصفر.
     • إزالة المتوسط (Mean Ablation): استبدال أوزان الحواف بمتوسط قيمها.
   • يعمل هذا فعلياً على كبح تدفق المعلومات المتعلقة بمعلومات الهوية الشخصية دون إعادة تدريب النموذج.

3. المساهمات الرئيسية

1. طريقة تعديل مستهدفة مبتكرة: تقديم PATCH، الذي يحقق توازناً فائقاً بين الخصوصية والفائدة مقارنة بآليات الدفاع الحالية مثل الخصوصية التفاضلية وتعديل النيورونات.
2. توصيف الدوائر: حددت الدراسة ووصفت رؤوس الانتباه والحواف المحددة المسؤولة عن تسريب أنواع مختلفة من معلومات الهوية الشخصية. وكشفت أن بينما تمتلك أنواع معلومات الهوية الشخصية المختلفة مسارات متخصصة، إلا أن هناك دوائر حسابية مشتركة كبيرة عبر فئات معلومات الهوية الشخصية المختلفة.
3. التحقق من المتانة: أظهرت دراسات الاستئصال (ablation studies) المكثفة أن PATCH يتميز بالمتانة عبر بنيات نماذج مختلفة (GPT-2, Llama-3, Qwen)، وأحجام مختلفة، وإعدادات المعلمات الفائقة.
4. الدفاع الهجين: إثبات أن PATCH يمكن دمجه مع الخصوصية التفاضلية (DP) لتقليل استدعاء (recall) معلومات اله identity الشخصية إلى مستويات قريبة من الصفر (0.01%) مع التخفيف من فقدان الفائدة الذي يصاحب الخصوصية التفاضلية وحدها.

4. النتائج التجريبية

قيم المؤلفون PATCH على نماذج تتراوح من 117 مليون إلى 1.7 مليار معلمة (متغيرات GPT-2، Llama-3.2، Qwen3) باستخدام مجموعة بيانات ECHR.

• تحسين الخصوصية:
  • PATCH-Baseline: عند تطبيقه على نماذج غير خاصة، قلل استدعاء (recall) معلومات الهوية الشخصية بنسبة 80%–86% (على سبيل المثال، انخفض استدعاء GPT2-Medium من 8.5% إلى 1.2%) وقلل الدقة (precision) بنسبة 40%–90%، مع تأثير ضئيل على الفائدة.
  • PATCH-DP: عند دمجه مع الخصوصية التفاضلية ($\epsilon=8$)، انخفض الاستدعاء إلى أقل من 0.5% عبر جميع النماذج.
• الحفاظ على الفائدة:
  • على عكس الخصوصية التفاضلية، التي تسببت في زيادة الارتياب (perplexity) بمقدار 1.5 إلى 7.9 ضعفاً، حافظ PATCH-Baseline على الارتياب ضمن نقطة واحدة من النموذج الأساسي في معظم النماذج.
  • الأمانة (Faithfulness): كانت الدوائر المكتشفة أمينة للغاية (درجات > 75%)، مما يعني أن استئصالها استهدف تحديداً تسرب معلومات الهوية الشخصية دون تعطيل سلوك النموذج العام.
• تحليل تداخل الدوائر:
  • وجدت الدراسة تداخلاً منخفضاً في الحواف بين أنواع معلومات الهوية الشخصية المختلفة (مثلاً، تداخل بنسبة ~25% بين دوائر الاسم والعرق في النماذج الكبيرة)، مما يشير إلى وجود مسارات متخصصة. ومع ذلك، فإن وجود حواف عالية الدرجات مشتركة سمح لـ PATCH باستهداف أنواع متعددة من معلومات اله identity الشخصية في وقت واحد بفعالية.
• المقارنة مع النماذج المرجعية:
  • الخصوصية التفاضلية (DP): خصوصية قوية ولكن بتكلفة عالية في الفائدة.
  • APNEAP (تعديل النيورون): فائدة جيدة ولكن حماية خصوصية ضعيفة (تقليل الدقة بنسبة 10-18% فقط).
  • PATCH: حقق أفضل توازن، حيث قدم تقليلاً عالياً للخصوصية مع خسارة ضئيلة في الفائدة.

5. الأهمية والآثار المترتبة

• تحول في النموذج المعرفي: ينقل PATCH استراتيجية الدفاع من "حقن الضوضاء الشاملة" (DP) أو "تنقية البيانات" إلى "التعديل الجراحي المستهدف" للمنطق الداخلي للنموذج.
• النشر العملي: تسمح هذه الطريقة للمؤسسات بنشر نماذج أكثر أماناً بشكل كبير فيما يتعلق بمعلومات الهوية الشخصية دون الحاجة لإعادة التدريب من الصفر أو التضحية بقدرة النموذج على أداء مهامه الأساسية.
• رؤية حول الحفظ: توفر الدراسة رؤى ميكانيكية عميقة حول كيفية حفظ النماذج اللغوية لمعلومات الهوية الشخصية، حيث تظهر أن التسرب يتركز في رؤوس انتباه وحواف محددة يمكن تحديدها، بدلاً من كونه موزعاً بشكل موحد عبر كامل مساحة المعلمات.
• الاتجاهات المستقبلية: أشار المؤلفون إلى أنه بينما يعد PATCH فعالاً على النماذج ذات الأوزان المفتوحة، فإن التكلفة الحسابية لاكتشاف الدوائر تحد من تطبيقه على النماذج الكبيرة جداً حالياً. ومع ذلك، مع تحسن أدوات التفسير، يوفر PATCH إطاراً قابلاً للتوسع للحفاظ على الخصوصية.

في الختام، يثبت PATCH أن التفسير الآلي يمكن استغلاله لإنشاء دفاعات مستهدفة وفعالة للغاية ضد تسرب الخصوصية، مما يقدم حلاً عملياً لمعضلة الخصوصية والفائدة في النماذج اللغوية الكبيرة.