Modeling LLM Unlearning as an Asymmetric Two-Task Learning Problem

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نمذجة نسيان النماذج اللغوية الكبيرة (LLM) كمسألة تعلم ثنائية المهام غير متماثلة".

1. بيان المشكلة

غالباً ما تقوم النماذج اللغوية الكبيرة (LLMs) المدربة على بيانات بمقياس الإنترنت بحفظ معلومات شخصية حساسة أو معرفة خطرة (مثل التهديدات المتعلقة بالأمن البيولوجي). يهدف النسيان الآلي (Machine Unlearning - MU) إلى إزالة هذه المعلومات المحددة مع الحفاظ على القدرات العامة للنموذج.

ومع ذلك، يوجد تحدٍ مركزي: المقايضة بين النسيان والاحتفاظ.

• الصراع: غالباً ما تؤدي طرق النسيان القياسية (مثل صعود التدرج - Gradient Ascent على مجموعة النسيان) إلى "نسيان مفرط"، مما يؤدي إلى تدهور المنفعة العامة للنموذج.
• قصور النهج الحالية: الطرق الحالية التي تجمع بين أهداف النسيان والاحتفاظ (مثل GradDiff و NPO+GD) غالباً ما تعامل المهمتين بشكل متماثل أو تكتفي بجمع تدرجاتهما ببساطة. يؤدي هذا إلى تداخل مدمر حيث يعارض تدرج "النسيان" تدرج "الاحتفاظ" بشكل نشط، مما يسبب انهياراً في الأداء.
• الرؤية الجوهرية: يرى المؤلفون أن النسيان ليس مسألة متعددة المهام متوازنة، بل هو مسألة ثنائية المهام غير متماثلة حيث يكون الاحتفاظ هو الهدف الأساسي والنسيان هو هدف مساعد مقيد بمبدأ "عدم الإضرار".

2. المنهجية

تقترح الورقة إطار عمل لتوليف التدرج ذو أولوية الاحتفاظ (الخوارزمية 1) الذي يفصل استخراج التدرج عن الجمع الواعي بالصراع. يعمل الإطار بشكل تكراري:

1. استخراج التدرجات لمجموعة النسيان ($g_f$) ومجموعة الاحتفاظ ($g_r$).
2. توليف اتجاه تحديث نهائي ($g_{final}$) يحقن النسيان فقط في المواضع التي لا يتعارض فيها مع الاحتفاظ.

قام المؤلفون بتطبيق هذا الإطار باستخدام طريقتين محددتين:

أ. طريقة PCGrad المعدلة (إسقاط التدرجات المتصارعة)

• الآلية: بناءً على تقنية PCGrad المستخدمة في التعلم متعدد المهام، تقوم هذه الطريقة بإسقاط تدرج النسيان على المستوى العمودي لتدرج الاحتفاظ عندما يحدث تعارض (أي عندما يكون حاصل الضرب النقطي $< 0$).
• الابتكار: على عكس PCGrad القياسية التي تقوم بتسطيح جميع المعلمات، تطبق هذه الورقة الإسقاط على مستوى الوحدة (module-wise projection). فهي تكتشف الصراعات محلياً داخل وحدات محددة من النموذج وتقوم بإسقاط تلك التدرجات المحددة فقط. هذا يمنع التصحيحات غير الضرورية في الوحدات غير المتصارعة، مما يحافظ على دقة الاحتفاظ.

ب. طريقة SAGO (تحسين التدرج المتوافق في الإشارة)

• الفكرة الجوهرية: تقدم SAGO آلية بوابية (gating mechanism) جديدة لكل عنصر (لكل معلمة على حدة) لضمان أن اتجاه التحديث لا يعارض أبداً إشارة الاحتفاظ.
• الآلية:
  • تقوم بتحليل إشارات $g_f$ و $g_r$ لكل معلمة.
  • الإشارات المتوافقة: إذا كانت لـ $g_f$ و $g_r$ نفس الإشارة، يُسمح لإشارة النسيان بالمرور (خاصة بالمهمة).
  • الإشارات المتضادة: إذا كانت الإشارات متضادة (تعارض)، يتم تصفير إشارة النسيان، ويُستخدم فقط تدرج الاحتفاظ.
  • الصيغة: $\tilde{g}_f = g_f \odot I(g_f \odot g_r \geq 0)$ و $\tilde{g}_r = g_r \odot I(g_f \odot g_r < 0)$. التدرج النهائي هو مجموع مرجح لهذه المكونات المفلترة.
• الضمان النظري: تضمن SAGO أن اتجاه التحديث النهائي لديه تشابه جيب تمام (cosine similarity) غير سالب مع تدرج الاحتفاظ. علاوة على ذلك، تحقق توافقاً أكثر صرامة من PCGrad لأنها تقضي تماماً على أي إحداثي يعارض فيه اتجاه التحديث إشارة الاحتفاظ، بينما يمكن لعملية الإسقاط في PCGrad أن تؤدي لنتائج معادية في الفضاءات عالية الأبعاد.

3. المساهمات الرئيسية

1. الصياغة غير المتماثلة: إعادة صياغة نسيان النماذج اللغوية الكبيرة كمسألة غير متماثلة (الاحتفاظ = أساسي، النسيان = مساعد) بدلاً من كونها مسألة تعلم متعددة المهام متوازنة.
2. توليف تدرج مبتكر:
   • تكييف PCGrad مع الإسقاط على مستوى الوحدة لعملية النسيان.
   • اقتراح SAGO، وهي طريقة توليف مقيدة بالإشارة تضمن تحديثات غير معادية.
3. التحليل النظري: إثبات أن كلتا الطريقتين تضمنان تشابه جيب تمام غير سالب مع تدرج الاحتفاظ، مع تفوق SAGO في دقة الاتجاه.
4. التحقق التجريبي: إثبات أن إعادة تشكيل هندسة التدرج أكثر فعالية من مجرد إعادة موازنة أوزان الخسارة.

4. النتائج التجريبية

تم تقييم الطرق على معيارين رئيسيين: WMDP (الأمن البيولوجي والسيبراني) و RWKU (نسيان المعرفة في العالم الحقيقي).

• مقاييس الأداء:

  • النسيان: الدقة الأقل في مجموعات النسيان (WMDP) أو قيمة ROUGE-L الأقل (RWKU) هي الأفضل.
  • الاحتفاظ: درجات MMLU الأعلى (WMDP) أو قيم ROUGE-L الأعلى في المجموعات المجاورة (RWKU) هي الأفضل.

• النتائج الرئيسية:

  • إزاحة جبهة باريتو (Pareto Frontier): تدفع SAGO باستمرار جبهة باريتو نحو الخارج، محققة احتفاظاً أعلى بكثير لنفس المستوى من النسيان مقارنة بالنماذج المرجعية (Naive, GradDiff, PCGrad).
  • المكاسب الكمية (WMDP Bio):
    • باستخدام SimNPO+GD كقاعدة، استعاد النسيان الساذج (naive unlearning) 44.6% فقط من أداء نموذج الهدف في اختبار MMLU.
    • إضافة PCGrad حسنت هذه النسبة إلى 94.0%.
    • إضافة SAGO حسنتها أكثر لتصل إلى 96.0%، مع الحفاظ على قوة نسيان مماثلة.
  • نتائج RWKU: أظهرت SAGO مكاسب هائلة في الاحتفاظ بالمعلومات المجاورة (على سبيل المثال، +13.3 نقطة عن PCGrad في إعدادات GA+GD)، مما يشير إلى قدرة فائقة على الحفاظ على المعرفة العامة.
  • هندسة التدرج: أظهر تحليل تشابه جيب التمام أن SAGO تقلل من الصراع بين تدرجات النسيان والاحتفاظ بشكل أكثر فعالية من PCGrad أو GradDiff، محققة أعلى درجة توافق مع تدرج الاحتفاظ.

5. الأهمية

تغير هذه الورقة بشكل جذري نموذج العمل في نسيان النماذج اللغوية الكبيرة من "موازنة الخسائر" إلى "إدارة هندسة التدرج".

• الآثار المتعلقة بالسلامة: من خلال إعطاء الأولوية للاحتفاظ، تسمح SAGO بإزالة المعرفة الخطرة (مثل كيفية صنع أسلحة بيولوجية) دون شل قدرة النموذج على أداء المهام العامة. وهذا أمر بالغ الأهمية لنشر نماذج لغوية آمنة في سيناريوهات العالم الحقيقي.
• الأثر المنهجي: الإطار المقترح نموذجي ومتوافق مع مختلف أهداف النسيان الموجودة (GA, NPO, SimNPO)، مما يجعله حلاً مرناً وقابلاً للتطبيق لتحسين فعالية النسيان.
• الرؤية النظرية: يثبت هذا العمل أن التعامل مع النسيان كمسألة غير متماثلة هو أمر سليم نظرياً ومتفوق تجريبياً على النهج المتماثلة للمهام المتعددة، مما يفتح آ pomocą جديدة لأبحاث المستقبل في تعديل النماذج والسلامة.