Revisiting the Past: Data Unlearning with Model State History

إليك ملخص تقني مفصل للورقة البحثية بعنوان "مراجعة الماضي: نسيان البيانات باستخدام تاريخ حالة النموذج" (MSA)، المنشورة كبحث في مؤتمر ICLR 2026.

1. بيان المشكلة

تُدرب النماذج اللغوية الكبيرة (LLMs) على مجموعات بيانات ضخمة من الويب التي غالبًا ما تحتوي على بيانات خاصة، أو مواد محمية بحقوق الطأليف، أو معلومات مضللة، أو بيانات منخفضة الجودة. وعندما تبرز الحاجة لإزالة مثل هذه النقاط من البيانات للامتثال للوائح (مثل "الحق في النسيان") أو لتحسين جودة النموذج، فإن النهج القياسي — وهو إعادة تدريب النموذج من الصفر باستخدام مجموعة بيانات تستثني هذه النقاط — يعد أمرًا مكلفًا للغاية من الناحية الحسابية.

تحاول خوارزميات "النسيان الآلي" (Machine Unlearning) الحالية تقريب عملية إعادة التدريب هذه عن طريق تعديل أوزان النموذج بتكلفة أقل. ومع ذلك، تواجه هذه الأساليب تحديات كبيرة:

• نقص النسيان (Under-forgetting): يحتفظ النموذج بآثار من البيانات المراد نسيانها.
• تدهور الفائدة (Degraded Utility): يفقد النموذج قدراته على البيانات التي كان ينبغي له الاحتفاظ بها.
• عدم الدقة (Inaccuracy): لا يتطابق النموذج الذي تم "نسيانه" وظيفيًا مع "النموذج المثالي" (النموذج الذي تم تدريبه من البداية دون استهداف البيانات المراد نسيانها).
• محدودية النهج الحالية: تعتمد معظم الأساليب الحالية فقط على النسخة النهائية للنموذج (final checkpoint)، حيث تحاول عكس تأثير البيانات باستخدام الحالة الراهنة فقط، مما يؤدي غالبًا إلى تقديرات مشوشة أو منحازة لتأثير البيانات.

2. المنهجية: حسابية حالة النموذج (MSA)

يقترح المؤلفون MSA، وهي خوارزمية نسيان مبتكرة تستفيد من النسخ الاحتياطية الوسيطة للنموذج (intermediate model checkpoints) — وهي نواتج يُخزنها المطورون روتينيًا لأغراض تحمل الخطأ والتجريب — لتقدير وعكس تأثير نقاط بيانات محددة بدقة أكبر.

المفهوم الجوهري

بدلاً من حساب "متجه النسيان" (forget vector) بناءً على النموذج النهائي (الذي استوعب البيانات بالفعل)، تقوم MSA بحساب المتجه بناءً على نسخة احتياطية ($C$) تسبق إدخال أهداف النسيان ($D_f$).

خطوات الخوارزمية

1. المدخلات: نموذج مستهدف $\theta_D$ (تم تدريبه على البيانات الكاملة $D$)، نسخة احتياطية وسيطة $\theta_0$ (تدربت على البيانات $D \setminus D_f$)، ومجموعة النسيان $D_f$.
2. حساب متجه النسيان ($\vec{\theta}_f$):
   • ضبط دقيق للنسخة الاحتياطية $\theta_0$ على مجموعة النسيان $D_f$ للحصول على حالة جديدة $\theta_1$.
   • حساب الفرق: $\vec{\theta}_f = \theta_1 - \theta_0$. يمثل هذا المتجه التأثير "النقي" لـ $D_f$ على معاملات النموذج قبل أن يكتسب النموذج معرفة متضاربة أخرى.
3. تطبيق النسيان:
   • طرح متجه النسيان من النموذج المستهدف: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f$، حيث $\alpha$ هو عامل قياس.
4. متجه الاحتفاظ الاختياري ($\vec{\theta}_r$):
   • إذا كانت مجموعة الاحتفاظ $D_r$ متاحة، يمكن حساب متجه مماثل عن طريق الضبط الدقيق لـ $\theta_0$ على $D_r$ للحصول على $\theta_2$، حيث $\vec{\theta}_r = \theta_2 - \theta_0$.
   • التحديث النهائي يصبح: $\theta_{unlearn} = \theta_D - \alpha \vec{\theta}_f + \beta \vec{\theta}_r$.

الرؤية الجوهرية

يفترض المؤلفون أن المتجهات المستمدة من النموذج النهائي تكون متشابكة مع معرفة النموذج الحالية، مما يجعلها تقديرات سيئة لتأثير بيانات محددة. ومن خلال استخدام نسخة احتياطية "نظيفة" من الفترة التي سبقت رؤية البيانات، تعزل MSA الأثر الدلالي لمجموعة النسيان بشكل أكثر فعالية.

3. المساهمات الرئيسية

• إطار عمل مبتكر: تقديم MSA، التي تعيد توظيف النسخ الاحتياطية القياسية للتدريب لأغراض نسيان البيانات اللاحقة، مما ينقل النموذج من "الاعتماد على الحالة النهائية فقط" إلى "الوعي بتاريخ الحالة".
• مقاييس تقييم جديدة: تنتقد الورقة مقاييس مثل ROUGE-L (التي يمكن خداعها بالتشابه النحوي رغم وجود أخطاء واقعية) وتقدم مقاييس دلالية قائمة على GPT-4o:
  • Accforget: يقيس ما إذا كان النموذج قد نجح في تجنب توليد الحقيقة الأرضية (ground truth) للعناصر المنسية.
  • Accrecover: يقيس ما إذا كان مخرج النموذج يتوافق مع "النموذج المثالي" (النموذج الذي لم يرَ البيانات أبدًا).
  • Accretain: يقيس الحفاظ على المعرفة في البيانات غير المنسية.
• اختبار شامل: التقييم عبر ثلاثة معايير رئيسية: TOFU (مؤلفون خياليون)، RESTOR (استعادة المعرفة التي أفسدتها المعلومات المضللة)، و MUSE-Books (حفظ الكتب والخصوصية).
• تحليل المتانة: إثبات أن MSA تظل فعالة حتى عندما تكون النسخة الاحتياطية المستخدمة تسبق هدف النسيان بمئات المليارات من الرموز (tokens)، رغم أن النسخ الأقرب تحقق نتائج أفضل.

4. النتائج التجريبية

قيم المؤلفون MSA مقابل خطوط الأساس المتطورة (NPO, RMU, GradDiff, Task Vector, SatImp, UNDIAL) على نماذج OLMo-2-7B و Llama-3.1/3.2.

• معيار TOFU:
  • حققت متغيرات MSA (مثل استخدام نسخ احتياطية تسبق 3.6 تريليون رمز) أداءً تنافسيًا أو متفوقًا عبر جميع المقاييس مقارنة بالنماذج المرجعية.
  • على عكس النماذج المرجعية التي غالبًا ما تضحي بالفائدة (Accretain) لتحقيق النسيان، أو تفشل في استعادة السلوك المثالي (Accrecover)، حققت MSA توازنًا فعالًا بين الأهداف الثلاثة.
  • على سبيل المثال، في مهمة forget10 ، حققت متغيرات MSA حوالي 89% في Accforget وحوالي 96% في Accrecover، بينما حققت نماذج مثل RMU نسيانًا عاليًا ولكن مع استعادة منخفضة جدًا (رفض الإجابة بدلاً من النسيان).
• معيار RESTOR:
  • تفوقت MSA بشكل كبير على النماذج المرجعية في استعادة المعرفة التي أفسدتها المعلومات المضللة.
  • في Llama-3.1-8B، كانت دقة النموذج المثالي 64.80%، بينما انخفضت دقة النموذج الفاسد إلى 44.31%. استعادت MSA الدقة إلى 48.45% - 49.19%، بينما استعادت النماذج المرجعية مثل NPO و SatImp الدقة إلى حوالي 44-46% فقط.
• معيار MUSE-Books:
  • أظهرت MSA أداءً قويًا في هجمات الاستدلال على العضوية (MIN-K% و MIN-K%++)، مما يشير إلى أن النموذج الذي تم نسيانه لم يعد يتعرف على الكتب المنسية كجزء من بيانات تدريبه.
  • طابقت متغيرات MSA (باستخدام نسخ احتياطية أقرب مثل MSA3859B) أو تجاوزت أداء النموذج المثالي في مقاييس تسريب الخصوصية.
• مسافة النسخة الاحتياطية:
  • أظهرت التجارب أنه بينما تكون النسخ الاحتياطية التي تسبق مجموعة النسيان مباشرة هي الأمثل، فإن النسخ التي تسبقها بمئات المليارات من الرموز لا تزال تعطي نتائج قوية، مما يجعل MSA عملية حتى للنماذج ذات عمليات النسخ الاحتياطي غير المتكررة.

5. الأهمية والخاتمة

• الواقعية: تقدم MSA حلاً فعالًا حسابيًا ($O(|D_f|)$) يستخدم النواتج الموجودة بالفعل في مسارات تدريب LLM القياسية، ولا يتطلب تغييرات في عملية التدريب الأصلية.
• الامتثال التنظيمي: توفر مسارًا قابلاً للتطبيق لمزودي النماذج للوفاء بطلبات "الحق في النسيان" دون تكلفة إعادة التدريب الكاملة.
• التحول النظري: تتحدى الورقة الافتراض بأن النسيان يجب أن يعتمد فقط على حالة النموذج النهائية. وتقترح أن تاريخ حالة النموذج هو مورد حيوي لعملية مسح دقيقة للبيانات.
• الاتجاه المستقبلي: تدعو الورقة مطوري النماذج إلى الاحتفاظ بفهارس (indexes) توضح متى واجهت النماذج معلومات محددة أثناء التدريب، ليس فقط من أجل الإسناد (attribution)، بل لتمكين تقنيات نسيان متقدمة مثل MSA.

باختير، تمثل MSA تقدمًا كبيرًا في مجال النسيان الآلي من خلال الاستفيد من الديناميكيات الزمنية للتدريب لتحقيق إزالة بيانات أكثر دقة، وأكثر حفاظًا على الفائدة، وأكثر أمانة من الناحية الوظيفية.