ملخص تقني: ما وراء المكافآت الثنائية: دراسة مقارنة لتصميم المكافآت في إلغاء التعلم المعزز

بيان المشكلة

يهدف إلغاء التعلم الآلي (Machine Unlearning - MU) إلى إزالة معرفة محددة (مثل البيانات الشخصية أو المواد المحمية بحقوق الطبع والنشر) من النماذج اللغوية الكبيرة (LLMs) المدربة، دون التكلفة الباهظة لإعادة التدريب الكامل. وتعد هذه القدرة مطلباً متزايداً تفرضه لوائح مثل GDPR وقانون الذكاء الاصطناعي في الاتحاد الأوروبي.

لقد أعادت النهج الحديثة صياغة إلغاء التعلم كمسألة "تعلم معزز بمكافآت قابلة للتحقق" (RLVR)، وتحديداً باستخدام تحسين السياسة النسبي للمجموعات (GRPO). في هذا الإطار، يتم تحسين النماذج مقابل مكافآت تُحسب مباشرة من مخرجاتها للتحقق من غياب المفاهيم المحظورة. ومع ذلك، تعتمد الطرق الحالية، مثل PURGE، على مكافآت ثنائية متفرقة (Sparse Binary Rewards). توفر هذه المكافآت إشارة بقيمة 1 فقط إذا كان المخرج لا يحتوي على أي عناصر محظورة، و0 خلاف ذلك. تخلق هذه التفرقة إشارة تدريب مشوشة، حيث لا تقدم للنموذج أي معلومات حول "مدى قرب" الاستجابة الجزئية من النجاح في إلغاء التعلم. ويعمل هذا القصور كعائق أمام توسيع نطاق إلغاء التعلم المعزز (RUL) لمهام أكثر تعقيداً، مما يؤدي إلى بطء التقارب.

المنهجية

يقترح المؤلفون إطار عمل مبدئياً لفصل القابلية للتحقق (Verifiability) عن التفرقة (Sparsity). ويجادلون بأن المكافأة يمكن أن تكون قابلة للتحقق بالكامل (أي يمكن حسابها دون الوصول إلى بيانات التدريب الأصلية) مع استمرار تقديم إشارات كثيفة ومعلوماتية.

1. إطار عمل تفكيك المكافأة

يقدم البحث هيكلاً عاماً للمكافأة يتم تعريفه كـ $\phi(y; F, \psi) = \Gamma(I(y; F, \psi); H)$، حيث:

• مكون المعلومات ($I$): يستخرج البيانات من عامل مطابقة العناصر المحظورة (عدّ تكرارات العناصر المحظورة) والمعلومات الجانبية المساعدة (مثل الرسوم البيانية الدلالية).
• دالة التحويل ($\Gamma$): تقوم برسم خرائط للمعلومات المستخرجة إلى نطاق المكافأة $[0, 1]$.
• الفرضية: من خلال تغيير مكون المعلومات ودالة التحويل، يمكن إنشاء إشارات تعلم أكثر كثافة دون التضحية بالقابلية للتحقق.

2. دوال المكافأة المقترحة

قام المؤلفون بتطبيق هذا الإطار مع دالتي مكافأة جديدتين، تقعان في مرتبة أعلى في "التسلسل الهرمي للمعلومات" من المكافأة الثنائية القياسية:

• المكافأة الأسية (Exponential Reward):

  • الآلية: تستخدم العدد الإجمالي لتكرارات المفاهيم المحظورة ($m$) كمكون للمعلومات.
  • الصيغة: $\phi_{exp}(y) = \exp(-m/\tau)، حيث$\tau$ هو ثابت اضمحلال.
  • الأثر: توفر عقوبات متدرجة. بدلاً من كونها ثنائية (0/1)، تنخفض المكافأة بسلاسة مع زيادة عدد الانتهاكات، مما يوفر إشارة أكثر كثافة من الأساس الثنائي.

• مكافأة مستوحاة من PageRank:

  • الآلية: تستغل العلاقات الدلالية بين المفاهيم المحظورة. تقوم بإنشاء رسم بياني دلالي حيث تمثل العقد عناصر النسيان، وتمثل الحواف التشابه الدلالي (عبر تشابه جيب التمام لمتجهات التضمين).
  • الصيغة: تطبق خوارزمية PageRank الشخصية المنحازة نحو الكيان المستهدف الرئيسي لحساب أوزان الأهمية ($w_j$) لكل عنصر. تقوم المكافأة بمعاقبة الانتهاكات بناءً على هذه الأوزان.
  • الأثر: تفرض عقوبات أعلى على الانتهاكات المتعلقة بالمفاهيم المركزية دلالياً (مثل الكيان المستهدف نفسه) مقارنة بالارتباطات الطرفية. وهذا يخلق إشارة توجه عملية التحسين نحو الانتهاكات الأكثر أهمية أولاً.

3. التحليل النظري

يقدم البحث تحليلاً نظرياً لسرعة التقارب تحت إطار GRPO. ويفترض أن المكافآت الأكثر كثافة تحافظ على تقديرات أكثر استقراراً للميزة (تباين أقل في حد الميزة $\hat{A}$) مقارنة بالمكافآت الثنائية.

• المكافآت الثنائية: تعاني من "انهيار الميزة" (Advantage Collapse) عندما تقترب احتمالية النجاح من 0 أو 1، مما يؤدي إلى تلاشي التدرجات.
• المكافآت الأكثر كثافة: تحافظ على تباين غير صفري في توزيع المكافأة طوال فترة التدريب، مما يسمح بخطوات فعالة أكبر وتقارب أسرع.

الإعداد التجريبي

• المعيار المرجعي (Benchmark): معرفة العالم الحقيقي لإلغاء التعلم (RWKU)، والذي يقيم إلغاء تعلم 100 شخصية مشهورة من العالم الحقيقي.
• النموذج: Phi-3-Mini-4K-Instruct (بـ 3.8 مليار معلمة).
• النماذج المرجعية (Baselines):
  • الأساس (Base): النموذج الأصلي قبل إلغاء التعلم.
  • الثنائي (PURGE): المكافأة الثنائية المتفرقة القياسية.
• المقاييس:
  • النسيان (Forget): مقياس ROUGE-L لاستدعاء (Recall) في مهام ملء الفراغات (FB)، والأسئلة والأجوبة (QA)، والهجمات العدائية (AA). (الأقل هو الأفضل).
  • الجوار (Neighbor): الاحتفاظ بالمعرفة المجاورة للهدف. (الأعلى هو الأفضل).
  • MIA: درجات هجوم استنتاج العضوية (MIA) (الخصوصية).
  • الفائدة (Utility): القدرات العامة (MMLU، الاستدلال، الصدق، إلخ). (الأعلى هو الأفضل).

النتائج الرئيسية

أُجريت التجارب على مدار 1,500 خطوة تدريب على 20 هدفاً لإلغاء التعلم.

1. سرعة التقارب: تفوقت كلتا المكافأتين المقترحتين بشكل كبير على النموذج المرجعي الثنائي من حيث كفاءة التدريب.

   • حقق متغير PageRank Softmax نفس مستوى أداء النسيان للنموذج الثنائي في حوالي 3 أضعاف أقل من خطوات التدريب.
   • عند الخطوة 500، حقق PageRank Softmax تحسناً بنسبة 37.1% عن النموذج الأساسي، وهو مستوى لم يصل إليه النموذج الثنائي حتى الخطوة 1,500.

2. أداء إلغاء التعلم:

   • حققت PageRank Softmax أقوى درجات نسيان عبر جميع المقاييس (FB, QA, AA)، متفوقة باستمرار على كل من نموذج الانهيار الثنائي ونموذج الاضمحلال الأسي.
   • كما أدى الاضمحلال الأسي (Exponential Decay) إلى تحسين الأداء عن النموذج الثنائي، لكنه كان عموماً أقل فعالية من PageRank.

3. الفائدة والحفاظ على الجوار:

   • من المهم ملاحظة أن تحسين الكفاءة لم يأتِ على حساب فائدة النموذج العامة أو الاحتفاظ بمعرفة الجوار. ظلت مقاييس الفائدة (GA, RA, TRU, FAC, FLU) مستقرة عبر جميع تصميمات المكافآت، حيث لم تتغير بأكثر من 0.014 عن النموذج الأساسي.
   • أظهرت درجات الجوار تدهوراً موحداً عبر جميع الطرق، مما يشير إلى أن المقايضة مدفوعة بهدف التحسين نفسه وليس بتصميم المكافأة المحدد.

4. دراسات الاستئصال (Ablation Studies):

   • الاضمحلال الأسي: يعتبر ثابت الاضمحلال $\tau$ حاسماً؛ حيث وُجد أن $\tau=0.5$ هو الأمثل، حيث يوازن بين معلوماتية التدرج وضغط التحسين. القيم الصغيرة جداً ($\tau=0.1$) تعود إلى التفرقة الثنائية تقريباً، بينما القيم الكبيرة ($\tau \ge 1.0$) تصبح متساهلة للغاية.
   • متغيرات PageRank: تفوق متغير Softmax (الذي يطبق softmax بمقياس درجة الحرارة على درجات PageRank الخام) على كل من PageRank القياسي والمتغير الخطي. يعمل Softmax على تسطيح توزيع قانون القوة للأوزان، مما يوزع كتلة العقوبة بشكل أكثر توازناً مع الحفاظ على الترتيب الدلالي، بينما يؤدي التدرج الخطي إلى إدخاء تشويه.

الأهمية والادعاءات

يزعم البحث أن تصميم المكافأة هو محرك رئيسي لكفاءة إلغاء التعلم ضمن إطار العمل.

• المساهمة النظرية: يضفي طابعاً رسمياً على المقايضة بين التحيز الاستقرائي للمكافأة وسرعة التحسين، موضحاً أن القابلية للتحقق لا تستلزم التفرقة.
• الأثر العملي: من خلال تقديم مكافآت Exponential و PageRank، يوفر المؤلفون مساراً عملياً نحو إلغاء تعلم آلي قابل للتوسع وفعال. تظهر النتائج أن التصميم الدقيق للمكافآت يمكن أن يسرع عملية إلغاء التعلم بمقدار 3 أضعاف مع الحفاظ على أداء نسيان قوي وصون فائدة النموذج العامة.
• الاتجاه المستقبلي: يفتح العمل آفاقاً نحو مكافآت تكيفية تظل قابلة للتحقق دون الوصول إلى بيانات التدريب الأصلية، مما يشير إلى إمكانية استكشاف المزيد من "التسلسل الهرمي للمعلومات" للمكافآت.

يخلص المؤلفون إلى أن الانتقال من المكافآت الثنائية ليس مجرد تعديل تنفيذي، بل هو تحسين جوهري في بنية إشارة التعلم، مما يمكّن RUL من التوسع لمهام إلغاء تعلم أكثر صعوبة.