DualOptim+: Bridging Shared and Decoupled Optimizer States for Better Machine Unlearning in Large Language Models

ملخص تقني لـ DualOptim+

بيان المشكلة
يهدف "التعلم غير المرغوب فيه" (Machine Unlearning - MU) في النماذج اللغوية الكبيرة (LLMs) إلى محو تأثير بيانات تدريب محددة (مجموعة النسيان - forget set) مع الحفاظ على الفائدة العامة للنموذج على البيانات المتبقية (مجموعة الاستبقاء - retain set). تواجه الأساليب الحالية تحديًا كبيرًا في تحقيق التوازن بين هذين الهدفين المتعارضين.

• التحديث المشترك (Joint Updating): تعمل معظم الطرق على تقليل خسائر النسيان والاستبقاء في آن واحد. غالبًا ما يؤدي هذا إلى تدهور كبير في فائدة النموذج بسبب النسيان المفرط.
• التحديث البديل (Alternate Updating): يحسن التناوب بين أهداف النسيان والاستبقاء من الأداء، ولكنه يعاني من عدم الاستقرار والحساسية تجاه المعلمات الفائقة (hyperparameters).
• المحسنات المفككة (DualOptim): نهج سابق، وهو DualOptim، يقوم بفك ارتباط حالات المحسن (مثل حدود الزخم - momentum terms) لكل هدف لمنع تشابك التدرجات. وبينما كان هذا النهج فعالاً في الرؤية الحاسوبية، إلا أنه لم يحقق سوى تحسينات طفيفة في النماذج اللغوية الكبيرة. لاحظ المؤلفون أنه في عملية "التعلم غير المرغوب فيه" للنماذج اللغوية الكبيرة، لا تكون تدرجات النسيان والاستبقاء دائمًا في صراع مباشر؛ بل غالبًا ما تتشارك في تمثيلات مشتركة، خاصة في مراحل التدريب المتأخرة. تفشل حالات التفكك الكامل في الاستفادة من هذه الميزات المشتركة، بينما تفشل الحالات المشتركة بالكامل في التعامل مع الصراعات.

المنهجية: DualOptim+
يقترح البحث DualOptim+، وهو إطار عمل تحسين "قابل للتركيب والتشغيل" (plug-and-play) مصمم لسد الفجوة بين حالات المحسن المشتركة بالكامل والمفككة بالكامل. الابتكار الجوهري هو تفكيك حالة المحسن إلى مكونين:

1. الحالة الأساسية المشتركة ($B$): تلتقط هذه الحالة التمثيلات المشتركة بين هدفي النسيان والاستبقاء. يتم تحديثها بشكل مشترك باستخدام تدرجات كلا الهدفين ($\nabla_\theta L_f$ و $\nabla_\theta L_r$).
2. حالات الفرق المفككة ($\Delta_f, \Delta_r$): تحافظ هذه الحالات على البواقي الخاصة بكل هدف. يتم تحديثها بناءً على الفرق بين تدرج الهدف المحدد والحالة الأساسية المصححة من الانحياز (bias-corrected base state).
   • $\Delta_f \leftarrow \beta \Delta_f + (1-\beta)(\nabla_\theta L_f - \hat{B})$
   • $\Delta_r \leftarrow \beta \Delta_r + (1-\beta)(\nabla_\theta L_r - \hat{B})$

تحديث المعلمات:
يتم إعادة بناء حد الزخم النهائي المستخدم لتحديث المعلمات عن طريق الجمع بين الحالة الأساسية المصححة من الانحياز وحالة الفرق المصححة من الانحياز ذات الصلة ($\hat{B} + \hat{\Delta}_f$ أو $\hat{B} + \hat{\Delta}_r$).

الرؤية النظرية الرئيسية:
توضح التحليلات النظرية والعددية أن DualOptim+ يعمل كوسيط تكيفي.

• عندما تكون التدرجات مرتبطة إيجابيًا (تهيمن الميزات المشتركة)، تتقارب حالات الفرق نحو الصفر، وتتصرف الطريقة مثل مخطط بديل (باستخدام القاعدة المشتركة).
• عندما تكون التدرجات مرتبطة سلبًا (أهداف متصارعة)، تتقارب الحالة الأساسية نحو الصفر، وتتصرف الطريقة مثل نظام DualOptim (باستخدام الحالات المفككة).
  تسمح هذه القدرة التكيفية للمحسن بالتعدل ديناميكيًا بناءً على الصراع الاتجاهي بين تدرجات النسيان والاستبقاء.

DualOptim+ 8bit
لمعالجة العبء الإضافي على الذاكرة المرتبط بتخزين حالات المحسن الإضافية (3 أضعاف ذاكرة محسن Adam القياسي)، قدم المؤلفون متغير DualOptim+ 8bit. يقوم هذا المتغير بتكميم حالات المحسن إلى دقة 8-بت، مما يقلل استهلاك الذاوة بشكل كبير (إلى حوالي 3/4 من Adam القياسي) دون المساس بالأداء.

المساهمات الرئيسية

1. إطار عمل مبتكر: اقتراح DualOptim+، الذي يقدم حالة أساسية مشتركة وحالات فرق مفككة للربط بفعالية بين حالات المحسن المشتركة والمفككة.
   2. تصميم قابل للتركيب والتشغيل (Plug-and-Play): إطار عمل متوافق مع أي محسن يخزن حالات (مثل AdamW، Muon) وقابل للتطبيق في تحسين الأهداف المتعددة.
2. التحقق التجريبي: تجارب واسعة النطاق عبر مجموعات بيانات خيالية (TOFU)، وسيناريوهات واقعية (unlearning لـ Llama-3)، ومحاذاة السلامة، ومهام التعلم متعدد المهام.
3. الكفاءة: تقديم المتغير المكمم بـ 8-بت الذي يخفف من عبء الذاكرة مع الحفاظ على مزايا الأداء للطريقة كاملة الدقة.

النتائج التجريبية
يقيم البحث DualOptim+ مقابل خطوط الأساس (Joint, Alternate, DualOptim) عبر نماذج لغوية كبيرة مختلفة (Phi-1.5, Llama-2, Llama-3) ومهام متنوعة:

• السيناريوهات الخيالية (TOFU): يحقق DualOptim+ باستمرار أفضل أداء إجمالي (OVR)، المعرّف كحل وسط بين فعالية النسيان (FE) وفائدة النموذج (MU). وهو يتفوق على DualOptim، خاصة في النسيان المستهدف، من خلال الاستفادة بشكل أفضل من الميزات المشتركة.
• السيناريوهات الواقعية: في مهمة نسيان أشخاص حقيقيين من Llama-3، يحافظ DualOptim+ على فائدة متفوقة في المهام اللاحقة (ARC-c, MMLU، إلخ) مقارنة بخطوط الأساس، بينما قد يتراجع أداء DualOptim أحيانًا عن نهج "البديل" الأبسط.
• محاذاة السلامة: في مهمة نسيان المعرفة غير الآمنة مع الاحتفاظ بقدرات اتباع التعليمات، يحقق DualOptim+ أعلى مقايضة بين السلامة والفائدة وأقل معدل رفض مفرط (over-refusal) على معيار XSTest.
• التعلم متعدد المهام: على عكس حالة "التعلم غير المرغوب فيه" حيث تكون صراعات التدرجات عالية، في التعلم متعدد المهام حيث تكون الصراعات أقل وضوحًا، يستمر DualOptim+ في تقديم زيادات كبيرة في الأداء، بينما يظهر DualOptim مكاسب سلبية.
• كفاءة الذاكرة: تحقق متغيرات 8-bit تقاربًا في استخدام الذاكرة مع الخطوط الأساسية القياسية مع الحفاظ على مزايا الأداء للطريقة كاملة الدقة.

الأهمية والادعاءات
يزعم المؤلفون أن DualOptim+ يوفر مقايضة أكثر استقرارًا وفعالية بين محو المعرفة والحفاظ على الفائدة مقارنة بالطرق الموجودة. إنهم يضعون الطريقة ليس فقط كأداة للتعلم غير المرغوب فيه، بل كإطار عمل تحسين قابل للتعميم يمكن تطبيقه في سيناريوهات أوسع تتضمن أهداف تعلم متعددة ومتعارضة، مثل محاذاة النماذج اللغوية الكبيرة والتعلم متعدد الأهداف. يؤكد البحث على أن الطبيعة التكيفية التي تربط بين الحالات المشتركة والمفككة أمر بالغ الأهمية للتعامل مع العلاقات الديناميكية بين التدرجات الموجودة في عملية التعلم غير المرغوب فيه للنماذج اللغوية الكبيرة.