Robust LLM Unlearning Against Relearning Attacks: The Minor Components in Representations Matter

ملخص تقني: إلغاء تعلم النماذج اللغوية الكبيرة (LLM) القوي ضد هجمات إعادة التعلم: المكونات الثانوية في التمثيلات هي الأهم

1. تعريف المشكلة والدوافع

يهدف "إلغاء التعلم" (Unlearning) في النماذج اللغوية الكبيرة إلى إزالة تأثير بيانات محددة (مثل المعلومات الخاصة، أو المحمية بحقوق الطبع والنشر، أو الخطرة) من النماذج المدربة مسبقًا دون التكلفة الباهظة لإعادة التدريب الكامل. ومع ذلك، حددت الدراسات الحديثة ثغرة أمنية حرجة: النماذج التي تم إلغاء تعلمها تكون هشة للغاية ويمكنها استعادة المعرفة "المنسية" بسرعة من خلال هجمات إعادة التعلم (Relearning Attacks). في هذه الهجمات، يقوم المهاجم بضبط النموذج الذي تم إلغاء تعلمه بدقة (Fine-tuning) على مجموعة فرعية من بيانات النسيان الأصلية، مما يؤدي إلى عودة النموذج إلى حالته ما قبل إلغاء التعلم. تشكل هذه الهشاشة مخاطر أمنية جسيمة، لا سيما بالنسبة للنماذج ذات الأوزان المفتوحة حيث يمكن لأي طرف مستخدم لاحق استعادة الحماية المقصودة بسهولة.

بينما تم اقتراح طرق موجودة مثل "تقليل الحدة الواعي" (SAM) والتدخلات على مستوى التمثيل (مثل RMU و MLP Breaking)، إلا أنها تظل في الغالب تجريبية. إن الآلية الأساسية التي تفسر سبب فشل طرق إلغاء التعلم الحالية في مقاومة إعادة التعلم لا تزال غير مفهومة بشكل جيد.

2. الرؤية الجوهرية: هندسة التمثيل والهشاشة

يستقصي المؤلفون هشاشة إلغاء تعلم النماذج اللغوية الكبيرة من منظور هندسة التمثيل (Representation Geometry). ومن خلال تحليل التمثيلات الداخلية (تحديدًا تنشيطات MLP) لنموذج Llama-3.1-8B، حددوا سببًا هيكليًا لهذه الثغرة:

1. التركيز في المكونات المهيمنة: تتركز تمثيلات النماذج اللغوية الكبيرة بكثافة في عدد قليل من المكونات المهيمنة (المكونات الرئيسية ذات التباين العالي). وتعمل طرق إلغاء التعلم الحالية بشكل أساسي على تحسين الاتجاهات المهيمنة، تاركة المكونات الثانوية دون تغيير إلى حد كبير.
2. قابلية عكس المكونات المهيمنة: خلال هجمات إعادة التعلم، تكون التعديلات على هذه المكونات المهيمنة سهلة العكس. ويشير التحليل النظري إلى أنه نظرًا لأن المكونات المهيمنة تلتقط الانتظامات العابرة للعينات والمشتركة عبر مجموعة البيانات، فإن المهاجم يمكنه إعادة بنائها بخطوات ضبط دقيق قليلة جدًا.
3. متانة المكونات الثانوية: في المقابل، تُظهر المكونات الثانوية مقاومة أقوى بكثير للاستعادة. فهي تشفر معلومات خاصة بكل عينة تفتقر إلى الانتظام المطلوب لإعادة البناء الموثوق من قبل المهاجم، حتى مع وجود ميزانيات ضخمة للضبط الدقيق.

قام المؤلفون بصياغة ذلك رسميًا عبر تحليل خطي (على طراز NTK)، حيث أثبتوا أن تحديثات إلغاء التعلم تمر طبيعيًا عبر الاتجاهات المهيمنة (النظرية 1)، وأن معدلات استعادة إعادة التعلم تتشبع بشكل أسرع أسيًا للمكونات المهيمنة مقارنة بالمكونات الثانوية (النظرية 2).

3. المنهجية: إلغاء تعلم المكونات الثانوية (MCU)

بناءً على الرؤية القائلة بأن تأثيرات إلغاء التعلم المركزة في الاتجاهات المهيمنة سهلة العكس، يقترح المؤلفون إلغاء تعلم المكونات الثانوية (MCU). تقوم هذه الطة بتوجيه عملية تحسين إلغاء التعلم صراحةً نحو الفضاء الفرعي للمكونات الثانوية القوية.

الآلية الجوهرية

تقوم طريقة MCU بتعديل خسائر إلغاء التعلم القائمة على التمثيل (مثل RMU و MLP Breaking) عن طريق إسقاط المكونات المهيمنة قبل حساب الخسارة.

1. استخراج المكونات الرئيسية: قبل إلغاء التعلم، تستخرج الطريقة أهم $K$ من المكونات الرئيسية (ومتجه المتوسط) من تمثيلات مجموعة النسيان للنموذج الأصلي.
2. الإسقاط: يتم تعريف مؤثر الإسقاط $P_\perp$ لإزالة هذه الاتجاهات الـ $K$ العليا (والمتوسط) من أي متجه تمثيل.
3. تعديل الخسارة: يتم حساب خسارة إلغاء التعلم على التمثيلات المسقطة.
   • بالنسبة لـ RMU، تقلل الخسارة المسافة بين التمثيل الحالي المسقط ومتجه هدف عشوائي.
   • بالنسبة لـ MLP Breaking، تعظم الخسارة التعامد بين مخرجات MLP الحالية المسقطة والمخرجات الأصلية المسقطة.

من خلال تقييد تدرجات الخسارة لتعمل بشكل أساسي ضمن الفضاء الفرعي للمكونات الثانوية، تضمن MCU أن التغييرات المستحثة تحدث في اتجاهات يصعب بطبيعتها على المهاجم استعادتها.

4. النتائج التجريبية

قيم المؤلفون طريقة MCU على ثلاث مجموعات بيانات: WMDP-Cyber، و WMDP-Bio، و Years. وقارنوا MCU مع خطوط الأساس المتطورة، بما في ذلك Gradient Ascent (GA)، و Negative Preference Optimization (NPO)، و RMU، و MLP Breaking، والتقنيات الموجهة نحو المتانة مثل SAM و Collapse of Irrelevant Representations (CIR).

النتائج الرئيسية

• متانة فائقة: تقلل MCU بشكل كبير من فجوة إعادة التعلم ($\Delta$)، المعرفة بأنها الفرق بين الدقة بعد إعادة التعلم والدقة بعد إلغاء التعلم. في WMDP-Cyber، أدى الجمع بين MLP Breaking + CIR + MCU إلى تقليل $\Delta$ إلى 5.7، مقارنة بـ 17.0 لـ MLP Breaking + CIR وحدها و 28.4 لـ MLP Breaking وحدها.
• الحفاظ على المنفعة: على عكس بعض طرق المتانة التي تضعف الأداء العام، تحافظ MCU على منفعة النموذج. تظل درجات MMLU و perplexity لـ WikiText لنسخ MCU مشابهة أو أفضل من نظيراتها غير التابعة لـ MCU.
• التكامل: تعمل MCU بشكل تآزري مع CIR. بينما يقوم CIR بتصفية المكونات المهيمنة على مستوى التدرج، تقوم MCU بإعادة تشكيل مشهد الخسارة لمعاقبة التغييرات في الاتجاهات المهيمنة، مما يعالج جوانب مختلفة من مشكلة المتانة.
• التعميم: تنتقل فوائد MCU عبر عائلات النماذج المختلفة، مما يظهر تحسينات متسقة على Gemma2-9B و Qwen3-8B.
• الهجمات التكيفية: تُظهر MCU مقاومة قوية حتى ضد الهجمات التكيفية القائمة على التمثيل حيث يقوم المهاجم بتقليل MSE مباشرة بين تنشيطات النموذج الملغى والنموذج الأصلي.

5. الأهمية والادعاءات

يدعي البحث تقديم أول تحليل منهجي لهشاشة إلغاء تعلم النماذج اللغوية الكبيرة من منظور هندسة التمثيل، مدعومًا بالاشتقاقات النظرية. تكمن الأهمية الأساسية في:

1. تحديد المصدر الهيكلي للهشاشة: يحدد العمل أن سهولة الاستعادة في الطرق الحالية ليست خطأً في خوارزميات معينة بل هي نتيجة هيكلية للتحسين على طول اتجاهات التمثيل المهيمنة.
2. حل مبدئي: تقدم MCU نهجًا مبدئيًا لإلغاء التعلم من خلال استهداف الفضاء الفرعي للمكونات الثانوية صراحةً، والذي ثبت نظريًا أنه مقاوم لإعادة التعلم.
3. المتانة العملية: تحقق الطريقة مقاومة محسنة بشكل كبير لهجمات إعادة التعلم مع الحفاظ على منفعة النموذج، متفوقة على الطرق الحالية المتطورة بما في ذلك SAM.

أشار المؤلفون إلى القيود، بما في ذلك التركيز على هجمات إعادة التعلم (باستثناء كسر الحماية أثناء الاستدلال/jailbreaking) واستخدام التخطيط الخطي من الدرجة الأولى في التحليل النظري، لكنهم أكدوا أن النتائج الجوهرية المتعلقة بهندسة التمثيل تظل صالحة عبر أنظمة التحسين المختلفة (Full FT و LoRA) وأحجام مجموعات النسيان.