Attention Smoothing Is All You Need For Unlearning

إليك ملخص تقني مفصل للورقة البحثية "Attention Smoothing Is All You Need for Unlearning" (المقبولة في ICLR 2026).

1. بيان المشكلة

غالبًا ما تقوم النماذج اللغوية الكبيرة (LLMs) المدربة على بيانات ضخمة من الويب بحفظ معلومات حساسة، أو محمية بحقوق الطبع والنشر، أو خطرة. وبينما يعد إعادة تدريب النماذج من الصفر لإزالة هذه البيانات أمرًا مستحيلاً من الناحية الحسابية، تواجه طرق "إلغاء التعلم" (Machine Unlearning) الحالية مقايضة حرجة بين فعالية النسيان (إزالة البيانات بنجاح) ومنفعة النموذج (الحفاظ على الأداء العام والتماسك).

تندرج النهج الحالية عمومًا تحت فئتين، كلتاهما تعاني من قيود كبيرة:

• الأساليب القائمة على التباعد (Divergence-based methods): (مثل Gradient Ascent وNPO) تدفع بمعلمات النموذج بعيدًا عن الحالة المتعلمة. وغالبًا ما تؤدي إلى نقص في النسيان (بقاء المعرفة المتبقية) أو إفراط في النسيان، مما يتسبب في انهيار النموذج وتحوله إلى نصوص غير مفهومة (gibberish) عند الاستعلام عن البيانات المراد نسيانها.
• الأساليب القائمة على التقارب (Convergence-based methods): (مثل IDK وDPO) تدرب النموذج على إخراج قوالب رفض ثابتة (مثل "لا أعرف"). وبينما تحقق هذه الأساليب نسيانًا عاليًا، إلا أنها غالبًا ما تضعف قدرة النموذج على توليد نصوص متماسكة للمهام الأخرى، وتفشل في التعميم لما وراء سياقات السؤال والجواب (QA) لتشمل إكمال النصوص الحر.

المشكلة الجوهرية: تفشل الطرق الحالية في تعطيل الارتباطات على المستويين المعجمي والدلالي في آلية الانتباه (attention mechanism) التي تسمح للنموذج بإعادة بناء الحقائق المحفوظة. نتيجة لذلك، إما أن تترك المعرفة سليمة أو تدمر البنية اللغوية للنموذج، مما يؤدي إلى مخرجات غير منطقية.

2. المنهجية: إلغاء التعلم عبر تنعيم الانتباه (ASU)

يقترح المؤلفون إطار عمل "إلغاء التعلم عبر تنعيم الانتباه" (Attention Smoothing Unlearning - ASU)، وهو إطار مبدئي يعيد صياغة إلغاء التعلم كعملية تقطير ذاتي (self-distillation) من "معلم نسيان" (forget-teacher) مستمد من آلية الانتباه الخاصة بالنموذج نفسه.

الآلية الرئيسية: معلم النسيان (The Forget-Teacher)

بدلاً من استخدام نماذج خارجية أو قوالب رفض ثابتة، يقوم ASU ببناء نموذج معلم عن طريق تعديل آلية الانتباه الذاتي للنموذج الأساسي:

1. تغيير مقياس درجة الحرارة (Temperature Scaling): يتم زيادة درجة حرارة السوفت ماكس ($\tau$) في طبقات الانتباه الذاتي ($\tau > 1$).
2. تسطيح الانتباه (Flattening Attention): تؤدي زيادة $\tau$ إلى تسطيح توزيع الانتباه، مما يزيد من الإنتروبيا (Entropy). هذا يضعف الارتباطات الدقيقة والحادة بين الرموز (tokens) المطلوبة لاستدعاء معلومات حقائقية محددة (على سبيل المثال: "Evelyn Desmet هي مؤلفة مشهورة").
3. التأثير الانتقائي:
   • الرموز الحقائقية (Factual Tokens): تعتمد هذه الرموز على أنماط انتباه دقيقة. يعمل التنعيم بشكل كبير على زيادة "الاحتمال اللوغاريتمي السالب" (NLL) لها، مما يجعل استدعاءها أصعب.
   • الرموز الوظيفية (Function Tokens): تعتمد الرموز النحوية (مثل "is"، "the") على أنماط تركيبية أوسع وأكثر استقرارًا. وهي أقل حساسية لتنعيم الانتباه، مما يحافظ على قدرة النموذج على توليد جمل متماسكة.

هدف التحسين (Optimization Objective)

يعامل ASU النموذج الأساسي كـ "طالب" ونموذج الانتباه المنعم كـ "معلم". تتضمن عملية إلغاء التعلم تقليل تباعد كولباك - ليبلر (KL divergence) بين الطالب والمعلم فقط على مجموعة النسيان ($D_F$)، مع تطبيق تنظيم قياسي (Gradient Descent أو KL) على مجموعة الاحتفاظ ($D_R$) للحفاظ على المنفعة.

$$\mathcal{L}_{ASU} = \mathbb{E}_{(x,y) \sim D_F} \left[ \text{KL}(p(\cdot | x, y_{<t}; \theta_\tau) \parallel p(\cdot | x, y_{<t}; \theta)) \right] + \lambda \mathcal{L}_{retain}$$

حيث تمثل $\theta_\tau$ معلمات النموذج مع الانتباه المنعم (المجمد أثناء التدريب).

3. المساهمات الرئيسية

1. إطار عمل مبتكر: يقدم ASU أول طريقة تصنف إلغاء التعلم كتقطير ذاتي عبر تنعيم الانتباه، مستهدفة مباشرة الآلية (الارتباطات المعجمية/الدلالية) المسؤولة عن استدعاء الحقائق.
2. رؤية نظرية: يثبت أن استدعاء الحقائق والطلاقة التركيبية يعتمدان على ديناميكيات انتباه مختلفة؛ حيث يتطلب استدعاء الحقائق انتباهاً حاداً ومنخفض الإنتروبيا، بينما تكون الطلاقة قوية في مواجهة الانتباه عالي الإنتروبيا (المنعم).
3. أداء فائق: يحقق نتائج رائدة (SOTA) عبر سيناريوهات متنوعة (خيالية، واقعية، حقوق طبع ونشر، ومعلومات خطرة) دون حدوث الانهيار إلى "نصوص غير مفهومة" الذي تشهده أساليب التباعد، أو فقدان المنفعة الذي تشهده أساليب التقارب.
4. الكفاءة: لا يتطلب نماذج معلم خارجية، ولا قوالب رفض، ويضيف عبئاً حسابياً ضئيلاً (فقط معامل درجة الحرارة).

4. النتائج التجريبية

قيم المؤلفون ASU على ثلاثة اختبارات مرجعية رئيسية: TOFU (مؤلفون خياليون)، MUSE (نصوص محمية بحقوق الطبع والنشر)، و WMDP (معلومات خطرة).

• TOFU (الحق في النسيان):
  • حقق ASU أفضل توازن بين منفعة النموذج (MU) وفعالية النسيان (FE).
  • في مهمة forget10 ، حقق ASU فعالية نسيان (FE) بلغت 78.16% (مقابل 61.27% لأفضل منافس وهو IDKAP) مع الحفاظ على منفعة نموذج عالية (~73%).
  • على عكس النماذج المرجعية التي أنتجت نصوصاً غير مفهومة أو ردوداً ثابتة بـ "لا أعرف"، أنتج ASU جملًا متماسكة وفصيحة تكتفي فقط بحذف الكيان الحقائقي المحدد.
• إلغاء التعلم المستمر (Continual Unlearning):
  • في السيناريوهات التي تتطلب إلغاء تعلم متسلسل (إزالة ما يصل إلى 90% من البيانات)، حافظ ASU على أداء مستقر. بينما تدهورت الطرق الأخرى (مثل NPO وIDK) بسرعة، حافظ ASU على متوسط درجات قريب من 75.
• العالم الحقيقي وحقوق الطبع والنشر (MUSE):
  • تفوق ASU على النماذج المرجعية في إزالة الحفظ الحرفي والارتباط المعرفي مع الحفاظ على أداء المهام اللاحقة (MMLU، ARC-c، إلخ).
  • في كتب MUSE، حققت متغيرات ASU أعلى منفعة للنموذج مع ضمان نسيان قوي (انخفاض في VerbMem وKnowMem).
• دراسات الاستئصال (Ablation Studies):
  • اختيار الطبقات: كان تنعيم الطبقات الضحلة فقط (مثل الطبقات 6-8) كافيًا لتعطيل استدعاء الحقائق، مما يؤكد أن المعرفة الحقائقية تُخزن في الطبقات الأولى من الـ Transformer.
  • استقرار درجة الحرارة: الطريقة قوية عبر نطاق من درجات الحرارة ($\tau \in [2.0, 2.8]$)، حيث كانت $\tau=2.3$ هي المثلى لمعظم المهام.

5. الأهمية

تعالج هذه الورقة عقبة أساسية في سلامة وخصوصية النماذج اللغوية الكبيرة: عدم القدرة على إزالة معرفة محددة دون تدمير القدرات العامة للنموذج.

• العملية: يوفر ASU حلاً بسيطًا وفعالًا من حيث المعلمات يمكن نشره دون الحاجة لإعادة التدريب من الصفر أو بنية تحتية معقدة.
• السلامة: من خلال منع مخرجات "النصوص غير المفهومة" المرتبطة غالبًا بإلغاء التعلم، يجعل ASU من الصعب على الخصوم اكتشاف حدوث إلغاء التعلم (وهو ثغرة جانبية محتملة لاستخراج البيانات) ويضمن بقاء النموذج صالحًا للمهام المشروعة.
• القدرة على التعميم: تعمل الطريقة بفعالية عبر مهام استكمال النصوص، والأسئلة والأجوبة، وإزالة المعرفة الخطرة، مما يشير إلى وجود آلية عالمية للتحكم في ذاكرة النموذج عبر تعديل الانتباه.

ختامًا، يثبت إلغاء التعلم عبر تنعيم الانتباه أن التلاعب بتوزيع الانتباه هو وسيلة قوية ومبدئية وفعالة لتحقيق نسيان انتقائي في النماذج اللغوية الكبيرة، مما يقدم بديلًا قويًا لتقنيات التباعد والتقارب الحالية.