🤖 AI

Forget What's Sensitive, Remember What Matters: Token-Level Differential Privacy in Memory Sculpting for Continual Learning

تقترح هذه الورقة البحثية إطار عمل PeCL، وهو إطار للتعلم المستمر يجمع بين الخصوصية التفاضلية الديناميكية على مستوى الرمز ونحت الذاكرة لنسيان المعلومات الحساسة بشكل انتقائي مع الحفاظ على المعرفة العامة، مما يحقق توازناً فائقاً بين حماية الخصوصية وفائدة النموذج.

المؤلفون الأصليون: Bihao Zhan, Jie Zhou, Junsong Li, Yutao Yang, Shilian Chen, Qianjun Pan, Xin Li, Wen Wu, Xingjiao Wu, Qin Chen, Hang Yan, Liang He

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bihao Zhan, Jie Zhou, Junsong Li, Yutao Yang, Shilian Chen, Qianjun Pan, Xin Li, Wen Wu, Xingjiao Wu, Qin Chen, Hang Yan, Liang He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم روبوت ذكي جداً كيف يتعلم أشياء جديدة كل يوم، مثل لغة جديدة، أو هواية جديدة، أو مهارة وظيفية. هذا ما يسمى بـ التعلم المستمر (Continual Learning). الروبوت بارع في تذكر ما تعلمه بالأمس بينما يتعلم أشياء اليوم.

ومع ذلك، هناك مشكلة كبيرة: بينما يتعلم الروبوت، فإنه يحفظ بالخطأ أسراراً خاصة لا ينبغي له الاحتفاظ بها — مثل عنوان منزل شخص ما، أو كلمة مرور سرية، أو مذكرات يومية خاصة. إذا حاولت حماية كل ما يتعلمه بـ "درع خصوصية"، فسيصبح الروبوت ثقيل الحركة ومشتتاً لدرجة أنه ينسى كيفية القيام بعمله. وإذا لم تحمِ أي شيء، فسيقوم بتسريب الأسرار.

تقدم هذه الورقة نظاماً جديداً يسمى PeCL (التعلم المستمر المعزز بالخصوصية). فكر في هذا النظام كأنه "أمين مكتبة ذكي" لعقل الروبوت. وإليك كيف يعمل، باستخدام تشبيهات بسيطة:

١. المشكلة: الدرع "الذي يناسب الجميع"

طرق الخصوصية التقليدية تشبه وضع بطانية ثقيلة وسميكة فوق دماغ الروبوت بالكامل. هي تحمي الأسرار، لكنها أيضاً تخنق المعلومات المفيدة. يصبح الروبوت مليئاً بالضجيج والارتباك لدرجة أنه ينسى كيفية لعب الشطرنج أو كتابة رسائل البريد الإلكتروني لأن "البطانية" ثقيلة جداً.

٢. الحل: "أمين المكتبة الذكي" (PeCL)

يعمل نظام PeCL كأمين مكتبة يعرف تماماً أي الكتب خطيرة وأيها آمنة. وهو يستخدم أداتين رئيسيتين لإدارة ذاكرة الروبوت:

الأداة (أ): كاشف "الرموز الحساسة" (الخصوصية التفاضلية على مستوى الرمز)

تخيل أن الروبوت يقرأ جملة كلمة بكلمة.

السيناريو: الجملة هي: "اسمي جاك وأعيش في ١٢٣ شارع ماين" (My name is Jack and I live at 123 Main St).
الطريقة القديمة: يقوم النظام بإضافة "ضجيج ثابت" (مثل التشويش في الراديو) إلى الجملة بأكملها، مما يجعل من الصعب فهم حتى الأجزاء غير الضارة مثل "اسمي هو".
طريقة PeCL: ينظر أمين المكتبة إلى كل كلمة على حدة.
- يرى كلمات مثل "اسمي" و"هو" كـ كلمات عامة وآمنة، فيتركها كما هي لكي يتمكن الروبوت من تعلم قواعد اللغة الإنجليزية.
- يرى "جاك" و"١٢٣ شارع ماين" كـ كلمات حساسة وخاصة. فيضع فوراً "درع خصوصية" ثقيلاً (ضجيجاً) حول تلك الكلمات المحددة فقط.
- النتيجة: يتعلم الروبوت القواعد اللغوية بشكل مثالي، لكنه لا يستطيع تخمين الاسم أو العنوان المحدد لاحقاً. الأمر يشبه طمس الوجه في صورة مع إبقاء الخلفية واضحة.

الأداة (ب): "نحات الذاكرة" (نحت الذاكرة الموجه بالخصوصية)

حتى مع وجود الدروع، قد يحاول الروبوت "تذكر" الكلمات الخاصة في دماغه. "نحات الذاكرة" يشبه البستاني الذي يهذب الأشجار.

الهدف: يحتاج الروبوت للاحتفاظ بـ "الأغصان" التي تحمل المعرفة العامة (مثل كيفية التحدث أو حل الرياضيات)، لكنه يحتاج إلى قطع "الأغصان" التي تحمل الأسرار الخاصة.
كيف يعمل:
- إذا تعلم الروبوت مهمة جديدة تتضمن بيانات حساسة، يقوم "النحات" بلطف بـ "تقليم" (إزالة) الروابط المحددة في الدماغ التي تحمل تلك المعلومات الحساسة.
- في الوقت نفسه، يقوم بـ "تسميد" وحماية الروابط التي تحمل المعرفة العامة والمفيدة حتى لا ينسى الروبوت كيفية القيام بعمله.
- النتيجة: "ينسى" الروبوت الأسرار عن قصد، لكنه "يتذكر" المهارات.

٣. النتيجة: روبوت متوازن

اختبرت الورقة هذا النظام على ست مهام مختلفة (مثل قراءة المراجعات، الأخبار، ورسائل البريد الإلكتروني).

بدون PeCL: كانت الروبوتات إما تسرب الأسرار أو تصبح غبية جداً بحيث لا تستطيع تعلم أشياء جديدة.
مع PeCL: ظل الروبوت حاد الذكاء وتعلم المهام الجديدة بسرعة، بينما نجح في إخفاء التفاصيل الخاصة. لقد تفوق فعلياً على الطرق المتقدمة الأخرى، حيث حافظ على دقة عالية في المهام القديمة مع الحفاظ على الخصوصية.

باختصار

تقترح الورقة طريقة لتعليم الذكاء الاصطناعي باستمرار دون أن يصبح خطراً على الخصوصية. بدلاً من حماية كل شيء بعشوائية (مما يؤدي لتعطل الذكاء الاصطناعي)، فإنه يستخدم نهجاً دقيق التفاصيل:
١. تحديد أي الأجزاء الصغيرة من المعلومات (الكلمات) هي أسرار بالضبط.
٢. حماية تلك القطع المحددة فقط بالضجيج.
٣. نحت الدماغ لجعله ينسى تلك الأسرار بنشاط مع الحفاظ على المعرفة المفيدة.

إنه يشبه تعليم طفل ليكون مسافراً حول العالم: أنت تعلمه كل شيء عن العالم (المعرفة المفيدة) ولكن تعلمه أيضاً كيف يبقي عنوان منزله العائلي سراً (البيانات الحساسة)، دون أن تجعله خائفاً من مغادرة المنزل.

ملخص تقني: PeCL – الخصوصية التفاضلية على مستوى الرمز في نحت الذاكرة للتعلم المستمر

1. بيان المشكلة

يتيح التعلم المستمر (CL) للنماذج، ولا سيما النماذج اللغوية الكبيرة (LLMs)، اكتساب معرفة جديدة بشكل متسلسل دون نسيان المهام السابقة. ومع ذلك، تفرض هذه القدرة تحديات خصوصية كبيرة. فبينما تستوعب النماذج مجموعات بيانات متنوعة ومتطورة، فإنها تراكم بطبيعتها كميات هائلة من المعلومات، بما في ذلك البيانات الشخصية أو المملوكة الحساسة. وبمجرد دمج هذه البيانات، يصبح من الصعب تدقيقها أو مسحها، مما يؤدي إلى مخاطر قانونية وأخلاقية.

تواجه حلول الخصوصية الحالية قيوداً حرجة في سياق التعلم المستمر:

ميزانيات الخصوصية الموحدة: تطبق طرق الخصوصية التفاضلية التقليدية (مثل DPSGD) ميزانية ضوضاء موحدة عبر جميع البيانات. هذا الحماية العشوائية تؤدي إلى تدهور فائدة النموذج عن طريق حقن ضوضاء مفرطة في المعرفة العامة غير الحساسة، بينما قد توفر حماية غير كافية للكيانات شديدة الحساسية.
الجمود مقابل الديناميكية: العديد من نهج الخصوصية التفاضلية على مستوى الرمز (مثل PMixED) مصممة لمجموعات البيانات الثابتة ولا تعالج مشكلة النسيان الكارثي المتأصل في التعلم المتسلسل.
النسيان الانتقائي: يعد تحقيق "النسيان الانتقائي" (إزالة البيانات الحساسة مع الاحتفاظ بالمعرفة العامة) دون تدهور الفائدة الإجمالية أمراً صعباً من الناحية النظرية. غالباً ما تفشل الطرق الحالية في التمييز بين مستويات الحساسية المتفاوتة داخل البيانات، مما يؤدي إما إلى حماية غير كافية أو خسارة غير ضرورية في الفائدة.

يكمن التحدي الجوهري في الموازنة بين ثلاثة أهداف متضاربة: تمييز الحساسية الدقيقة على مستوى الرمز، وحماية الخصوصية دون إفساد المعرفة التاريخية، ودمج هذه الآليات في نموذج تعلم متسلسل وديناميكي.

2. المنهجية: إطار عمل PeCL

يقترح المؤلفون إطار عمل PeCL (التعلم المستمر المعزز بالخصوصية)، وهو إطار مبني على مبدأ "نسيان ما هو حساس وتذكر ما يهم". ويتكون من وحدتين أساسيتين: الخصوصية التفاضلية الديناميكية على مستوى الرمز (TDP) ونحت الذاكرة الموجه بالخصوصية (PMS).

2.1 الخصوصية التفاضلية الديناميكية على مستوى الرمز (TDP)

تقوم TDP بتخصيص ميزانيات الخصوصية بشكل تكيفي بناءً على الحساسية الدلالية للرموز الفردية بدلاً من تطبيق ميزانية موحدة.

تسجيل الحساسية: لكل رمز $t_i$ $t_{i}$ ، يتم حساب درجة حساسية $Score(t_i) \in [0, 1]$ $S cor e (t_{i}) \in [0, 1]$ باستخدام مزيج مرجح من مؤشرين:
1. عدم يقين النموذج ( $Score_1$ ): الاحتمال السلبي للوغاريتم (negative log-likelihood) للرمز بناءً على سياقه. يشير عدم اليقين العالي إلى أن الرمز نادر، أو يعتمد على السياق، أو قد يكون حساساً.
2. التمييز السياقي ( $Score_2$ ): مقتبس من TF-IDF، ويقيس مدى خصوصية الرمز لمهمة معينة مقابل المتن الكامل. الرموز المرتبطة بشدة بمهمة واحدة (دعم منخفض عبر المهام) يتم وضع علامة عليها كأكثر حساسية.
تخصيص الميزانية الديناميكي: ترتبط ميزانية الخصوصية $\epsilon_i$ عكسياً بدرجة الحساسية هذه. الرموز عالية الحساسية تحصل على $\epsilon_i$ أصغر (حماية أقوى)، بينما تحصل الرموز منخفضة الحساسية على $\epsilon_i$ أكبر للحفاظ على الفائدة.
حقن الضوضاء: يتم حقن ضوضاء غاوسية (Gaussian noise) معايرة في تمثيلات المدخلات (embeddings) للرموز بناءً على $\epsilon_i$ الخاص بكل منها. يحدث هذا عند مستوى التمثيل قبل الانتباه الذاتي، مما يضمن الخصوصية التفاضلية المحلية (LDP) عند المصدر.

2.2 نحت الذاكرة الموجه بالخصوصية (PMS)

بينما تحمي TDP تمثيلات المدخلات، تقوم PMS بإعادة تشكيل بارامترات النموذج الداخلية لمنع حفظ المعلومات الحساسة والحفاظ على المعرفة الثابتة للمهام.

تنظيم الذاكرة: للتخفيف من النسيان الكارثي، يكيف الإطار مبدأ "توطيد الأوزان المرن" (EWC) ضمن مساحة بارامترات LoRA. يقوم الإطار بحساب درجة أهمية خاصة بالمهمة بناءً على تحديثات البارامترات وتنشيطات المدخلات. ومن المهم أن قوة التنظيم ( $\lambda_{dyn}$ ) يتم تعديلها ديناميكياً بواسطة متوسط حساسية المهمة الحالية. المهام ذات الحساسية المنخفضة يتم تنظيمها بصرامة أكبر للاحتفاظ بالمعرفة، بينما تسمح المهام عالية الحساسية بمرونة أكبر.
إلغاء التعلم الواعي بالخصوصية: يتم إدخال حد خسارة محدد ( $L_{unlearn}$ ) لتقليل تعزيز الرموز عالية الحساسية بشكل نشط. بالنسبة للرموز التي تتجاوز عتبة الحساسية $\theta$ ، يتم وزن خسارة الإنتروبيا المتقاطعة (cross-entropy loss) بـ $(Score(t_i) - \theta)$ ، مما يشجع النموذج على "إلغاء التعلم" أو التثبيط الناعم لهذه الآثار المحددة.
الدفاع ثنائي الطبقة: توفر TDP "تثبيطاً ناعماً" عبر الضوضاء للرموز القريبة من العتبة، بينما تطلق PMS عملية "إلغاء تعلم" صريحة على مستوى البارامترات للرموز التي تتجاوز العتبة.

3. المساهمات الرئيسية

يوضح البحث ثلاث مساهمات رئيسية:

استراتيجية الخصوصية التفاضلية الديناميكية على مستوى الرمز: آلية مبتكرة تخصص ميزانيات الخصوصية بشكل تكيفي بناءً على الحساسية الدلالية لكل رمز، مما يتيح حماية خصوصية دقيقة في التعلم المستمر.
نحت الذاكرة الموجه بالخصوصية: وحدة ذكية تنسى المعلومات الحساسة من ذاكرة النموذج مع الحفاظ صراحة على المعرفة التاريخية الثابتة للمهام، مما يعالج المقايضة بين الخصوصية والنسيان الكارثي.
التحقق التجريبي: إثبات أن الإطار يحقق توازناً متفوقاً بين الخصوصية والفائدة، متفوقاً على أفضل الطرق المرجعية في سيناريوهات التعلم المستمر.

4. النتائج التجريبية

قيم المؤلفون PeCL على اختبار متعدد المهام يتكون من ستة مجالات (FOMC, Yelp, AGNews, Amazon, Mentill, Yahoo) تمت صياغتها كمهام تصنيف نصوص.

مقاييس الأداء: تم تقييم الإطار باستخدام متوسط الدقة (Avg)، وآخر دقة (Last)، والنقل الخلفي (BWT).
التحليل المقارن: تفوق PeCL على مختلف الطرق المرجعية، بما في ذلك:
- طرق التعلم المستمر القياسية المدمجة مع خصوصية تفاضلية موحدة (ER+DPSGD, EWC+DPSGD, GEM+DPSGD).
- الطرق التي تستخدم تمثيلات مجمدة مع ضوضاء (FN).
- طريقة PMixED (التي تفتقر إلى نحت الذاكرة الخاص بالتعلم المستمر).
- متغيرات الضبط الدقيق المتسلسل (SeqFT)، التي عانت من نسيان كارثي شديد.
النتائج الرئيسية:
- حقق PeCL أعلى الدرجات عبر جميع المقاييس، متفوقاً حتى على الحد الأعلى للتعلم متعدد المهام (MTL) في بعض مقاييس الدقة، رغم عمله في بيئة متسلسلة.
- أكدت دراسات الاستئصال (Ablation studies) أن إزالة TDP أو PMS يؤدي إلى تدهور الأداء وزيادة النسيان بشكل كبير، مما يؤكد ضرورة وجود كلا المكونين.
- أظهر الإطار متانة عبر ترتيبات وصول المهام المختلفة (الطبيعية، المعكوسة، والمختلطة).

5. الأهمية والادعاءات

يزعم البحث أن PeCL يمثل تقدماً كبيراً في التعلم المستمر الحافظ للخصوصية من خلال الانتقال لما وراء نهج الخصوصية "الموحد للجميع". ومن خلال دمج تحليل الحساسية الدقيقة مع نحت الذاكرة الديناميكي، ينجح الإطار في إدارة التوتر بين حماية الكيانات الخاصة والحفاظ على فائدة النموذج.

يؤكد المؤلفون أن نهجهم يسمح بـ:

خصوصية قوية: حماية قوية للكيانات الخاصة دون تدهور الفائدة المرتبط بحقن الضوضاء الموحدة.
الاحتفاظ الفعال بالمعرفة: الحفاظ الصريح على المعرفة الثابتة للمهام للتخفيف من النسيان الكارثي، وهو نقطة فشل شائعة في التعلم المستمر المقيد بالخصوصية.
القابلية للتطبيق العملي: القدرة على العمل في تدفقات البيانات الديناميكية والمتسلسلة حيث تصل البيانات بشكل تدريجي، وهو إعداد تفشل فيه العديد من طرق الخصوصية التفاضلية الحالية.

يختتم البحث بالإقرار بوجود قيود، مثل تراكم ميزانيات الخصوصية في السياقات الطويلة والحاجة إلى التحقق التجريبي ضد ناقلات هجوم محددة (مثل استدلال العضوية)، مما يقترح عملاً مستقبلياً في خصوصية ريني (Rényi Differential Privacy) والتأسيس النظري الرسمي.