Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens

إليك ملخص تقني مفصل لورقة البحث بعنوان: "انسَ ما يهم، واحتفظ بالباقي: النسيان الانتقائي للرموز المعلوماتية" (Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens).

1. بيان المشكلة

يهدف "النسيان الآلي" (Machine Unlearning) في النماذج اللغوية الكبيرة (LLMs) إلى إزالة معرفة محددة (مثل البيانات الحساسة أو المحتوى المحمي بحقوق الطبع والنشر) مع الحفاظ على الفائدة العامة للنموذج. ويتمثل التحدي الحاسم في هذا المجال في النسيان الانتقائي: أي تحديد أي الرموز (tokens) داخل عينة التدريب يجب معاقبتها لجعل النموذج ينسى المعرفة المستهدفة دون تدهور قدرات اللغة العامة للنموذج.

• قصور الطرق الحالية: تعتمد أساليب النسيان على مستوى الرمز (token-level) عادةً على الثقة في الحقيقة الأرضية (مدى ثقة النموذج في الرمز الصحيح) أو المحللات اللغوية الخارجية (مثل تحديد الأسماء/الكيانات عبر spaCy).
  • الطرق القائمة على الثقة تفشل لأن الرمز قد يتمتع بثقة عالية ولكنه لا يزال ذا أهمية دلالية (معلوماتي)، أو ثقة منخفضة ولكنه هيكلي متكرر.
  • الطرق القائمة على اللغة تفشل لأنها تتجاهل السياق؛ فعلى سبيل المثال، قد يكون الاسم مجرد تكرار هيكلي للمطالبة (prompt) وليس الإجابة الجوهرية.
• النتيجة: يؤدي العقاب الموحد أو ضعيف الاستهداف إلى تدهور غير ضروري في فائدة النموذج (يصبح النموذج "أغبى" بشكل عام) أو نسيان غير فعال (يحتفظ النموذج بالمعرفة المحظورة).

2. المنهجية: وزن الرموز الموجه بالاعتلاج (ETW)

يقترح المؤلفون الوزن الموجه بالاعتلاج (Entropy-guided Token Weighting - ETW)، وهو منظم على مستوى الرمز يستخدم اعتلاج (entropy) التوزيع التنبؤي للنموذج كوكيل لمدى معلوماتية الرمز.

المنطق الجوهري

• الرموز الهيكلية: الكلمات الوظيفية (مثل "the", "a") أو ذكر المطالبة المتكرر تكون قابلة للتنبؤ بدرجة عالية. يخصص النموذج كتلة احتمالية بالكامل تقريبًا لرمز واحد، مما يؤدي إلى اعتلاج منخفض.
• الرموز المعلوماتية: كلمات المحتوى التي تحمل معرفة محددة (مثل الأسماء، التواريخ، الحقائق المحددة) تسمح ببدائل متعددة محتملة. يوزع النموذج الكتلة الاحتمالية عبر عدة مرشحين، مما يؤدي إلى اعتلاج مرتفع.

الصياغة الرياضية

بالنظر إلى نموذج توليدي تلقائي $M_\theta$ وتسلسل إكمال $y = (y_1, ..., y_n)$:

1. اعتلاج الرمز: لكل رمز $i$، يتم حساب الاعتلاج $H(y_i)$ عبر المفردات $\mathcal{V}$ بناءً على التوزيع التنبؤي $p(v | y_{<i}, x; \theta)$:
   $$H(y_i) = -\sum_{v \in \mathcal{V}} p(v | y_{<i}, x; \theta) \log p(v | y_{<i}, x; \theta)$$
2. مخطط الوزن: يتم إعادة وزن خسارة النسيان عن طريق تطبيع قيم الاعتلاج هذه عبر طول التسلسل $n$:
   $$\omega_i^{ETW} = \frac{n \cdot H(y_i)}{\sum_{j=1}^n H(y_j)}$$
   • اعتلاج مرتفع $\leftarrow$ وزن مرتفع: الرموز المعلوماتية تتلقى عقوبات أقوى أثناء عملية النسيان (الاشتقاق المتصاعد - Gradient Ascent).
   • اعتلاج منخفض $\leftarrow$ وزن منخفض: يتم الحفاظ على الرموز الهيكلية، مما يقلل من تدهور الفائدة.
3. التنفيذ: يتم حساب الاعتلاج باستخدام نسخة من بارامترات النموذج مع "إيقاف الاشتقاق" ($\hat{\theta}$) لضمان عدم تداخل حساب الوزن مع تحديثات الاشتقاق لهدف النسيان. يتم تطبيق معامل درجة حرارة $T$ على لوجيتات (logits) الـ softmax للتحكم في حدة التوزيع.

3. المساهمات الرئيسية

1. منظم مبتكر: تقديم ETW، الذي يستفيد من التوزيع التنبؤي الكامل (الاعتلاج) بدلاً من مجرد الثقة في الحقيقة الأرضية أو القواعد اللغوية الخارجية لتحديد الرموز المعلوماتية.
2. رؤية نظرية: إثبات أن الاعتلاج هو إشارة متفوقة للتمييز بين الرموز المعلوماتية والرموز الهيكلية، حتى عندما تكون مستويات الثقة في الحقيقة الأرضية متشابهة.
3. التفوق التجريبي: يحقق ETW توازنًا أفضل بين جودة النسيان (مدى نسيان النموذج) وفائدة النموذج (مدى احتفاظ النموذج بقدراته العامة) مقارنة بالنماذج المرجعية المتطورة.

4. النتائج التجريبية

قام المؤلفون بتقييم ETW على معايير TOFU (المؤلفون الوهميون) و WMDP (المعرفة الخطرة) باستخدام نماذج LLaMA-3.2 (1B, 3B) و LLaMA-2 (7B).

• تمييز الرموز (AUC):
  • حقق ETW أعلى معدل ROC-AUC (0.72+) في التمييز بين الرموز المعلوماتية والهيكلية، متفوقًا بشكل كبير على الطرق القائمة على الثقة (مثل Imp, SatImp) والطرق اللغوية (SCN, SCE).
  • غالبًا ما فشلت الطرق القائمة على الثقة في التمييز بين الرموز ذات الثقة المتشابهة ولكن بأدوار دلالية مختلفة.
• أداء النسيان (TOFU):
  • جودة النسيان: حقق ETW أدنى درجات $-\log(FQ)$ (مما يشير إلى أن توزيع النموذج الذي تم نسيانه لا يمكن تمييزه إحصائيًا عن النموذج المعاد تدريبه) عبر تقسيمات النسيان 10%، 5%، و1%.
  • فائدة النموذج: حافظ ETW على فائدة النموذج ($\Delta MU$) بشكل أفضل بكثير من الاشتقاق المتصاعد (GA) وطرق وزن الرموز الأخرى. على سبيل المثال، في تقسيم نسيان 10% للنموذج 1B، حصل ETW على درجة مجمعة قدرها 6.40، متفوقًا على أقرب منافس له (NPO بنتيجة 23.10).
  • محاذاة الاحتمالية: كان التوزيع الاحتمالي للرموز المعلوماتية في النموذج الذي طُبق عليه ETW هو الأقرب إلى النموذج المعاد تدريبه (أدنى $|\Delta RT|$)، مما يشير إلى أن ETW نجح في كبح المعرفة المحددة دون تشويه السلوك الاحتمالي العام للنموذج.
• معيار WMDP: أظهر ETW أداءً قويًا في تقليل الدقة في المعرفة الخطرة (الحيوية/السيبرانية) مع الحفاظ على أداء تنافسي في المعرفة العامة (MMLU)، متفوقًا غالبًا على NPO و SCE في عملية المقايضة.

5. الأهمية والأثر

• النسيان الواعي بالسياق: ينتقل ETW من القواعد الثابتة (مثل "عاقب جميع الأسماء") إلى العقاب الديناميكي الواعي بالسياق. فهو يفهم أن اسمًا مثل "author" في المطالبة هو هيكلي، بينما "Carmen" في الإجابة هو معلوماتي.
• الكفاءة: من خلال تركيز ضغط النسيان فقط على الرموز ذات الاعتلاج العالي (المعلوماتية)، يمنع ETW "الأضرار الجانبية" للرموز الهيكلية التي تسبب تدهور اللغة العام.
• القابلية للتوسع: أثبتت الطريقة فعاليتها عبر أحجام نماذج مختلفة (من 1B إلى 7B) ونسب نسيان متفاوتة، مما يشير إلى أنها استراتيجية قوية للنسيان العملي للنماذج اللغوية الكبيرة.
• تحول في النموذج الفكري: تتحدى الورقة الاعتماد على الثقة في الحقيقة الأرضية للنسيان، وتقترح أن عدم اليقين (الاعتلاج) في تنبؤ النموذج هو مؤشر أكثر موثوقية للأهمية الدلالية.

في الختام، يقدم ETW نهجًا مبنيًا على الاعتلاج ومنضبطًا للنسيان الآلي، يستهدف بفعالية "ما يهم" (المحتوى المعلوماتي) مع الحفاظ على "الباقي" (السلامة الهيكلية)، مما يضع معيارًا جديدًا لإزالة المعرفة الانتقائية في النماذج اللغوية الكبيرة.