ملخص تقني: نزع الإسناد من أجل النسيان للنماذج اللغوية الكبيرة (DareU)

1. بيان المشكلة

أدى الانتشار السريع للنماذج اللغوية الكبيرة (LLMs) إلى تكثيف المخاوف المتعلقة باستخدام بيانات تدريب غير مناسبة، بما في ذلك انتهاك الملكية الفكرية، والمعلومات الخاصة، والمحتوى الضار. تفرض لوائح مثل GDPR وCCPA "الحق في النسيان"، مما يتطلب إزالة تأثيرات بيانات محددة من النماذج المدربة. وبينما يعد إعادة تدريب النموذج من الصفر هو الحل الأمثل، إلا أنه أمر باهظ التكلفة حوسبياً نظراً لنطاق النماذج اللغات الكبيرة ومجموعات البيانات الحديثة.

تعتمد أساليب تعلم إلغاء التعلم (unlearning) الحالية بشكل أساسي على تحسين استناد إلى خسارة التنبؤ (prediction loss-based optimization)، وعادة ما تستخدم صعود التدرج (Gradient Ascent - GA) لتعظيم الخسارة على "مجموعة النسيان" (البيانات المراد إزالتها). وتحدد الورقة مشكلتين حرجتين في هذه الأساليب:

1. الإفراط في النسيان وانهيار النموذج: إن تعظيم الخسارة أو تقليل الاحتمالية اللوغاريتمية بشكل ساذج يؤدي غالباً إلى توليد نصوص غير مترابطة وهراء بدلاً من نموذج وظيفي يتجاهل ببساسة مجموعة النسيان فقط.
2. أهداف تحسين غير متسقة: تختلف قيمة خسارة الهدف لنموذج تم إلغاء تعلمه بشكل مثالي عبر عينات البيانات الفردية (كما يظهر من اختلاف الاحتمالات اللوغاريتمية للنماذج المعاد تدريبها). وبناءً على ذلك، فإن تعظيم الخسارة لا يوفر هدفاً دقيقاً ومتسقاً، مما يؤدي غالباً إلى تدهور الأداء على "مجموعة الاحتفاظ" (البيانات التي ينبغي الحفاظ عليها).

السؤال المركزي المطروح هو ما إذا كان هناك هدف تحسين أكثر دقة يتجنب الإفراط في النسيان مع إزالة تأثير البيانات بفعالية.

2. المنهجية: إطار عمل DareU

يقترح المؤلفون DareU (التعلم المعزز القائم على إسناد البيانات لإلغاء التعلم)، وهو أول إطار عمل يصيغ إلغاء تعلم النماذج اللغوية الكبيرة كمسألة نزع إسناد البيانات (data de-attribution) بدلاً من مسألة تقليل خسارة التنبؤ.

المفهوم الجوهري: نزع إسناد البيانات

بدلاً من تعظيم خسارة التنبؤ، يهدف DareU إلى تقليل درجة الإسناد (attribution score) لاستجابات النموذج اللغوي الكبير إلى مالكي بيانات النسيان.

• دالة الإسناد: دالة $DA(i, y_d)$ تخصص درجة معيرة $\in [0, 1]$ تشير إلى احتمالية أن مجموعة بيانات المالك $i$ قد أثرت في التوليد $y_d$.
• الهدف: بالنسبة لمجموعة نسيان $D_F$ تنتمي للملاك $F$، الهدف هو تقليل توقع درجة الإسناد:
  $$\min_{\theta} \mathbb{E}_{i \in F} [\mathbb{E}_{d \sim D_i} (DA(i, y_d))]$$
  مثالياً، بعد إلغاء التعلم، يجب أن تكون درجة الإسناد لبيانات النسيان قريبة من 0، بينما يظل النموذج منسوباً لأصحاب مجموعة الاحتفاظ. يوفر هذا قيمة هدف متسقة (0) لجميع العينات ويتجنب تفضيل المخرجات المنهارة والهراء.

التنفيذ عبر التعلم المعزز (PPO)

بما أن دوال الإسناد توفر تغذية راجعة عددية (scalar)، فإنها تعمل بشكل طبيعي كنماذج مكافأة للتعلم المعزز (RL). يستخدم المؤلفون تحسين السياسة القريبة (PPO) لمحاذاة النموذج اللغوي:

1. إشارة المكافأة: يتم اشتقاق المكافأة من درجة الإسناد. ولتحسين الاستقرار، يتم تحويل الدرجة عبر دالة لوغاريتمية $\chi$ لتعيين الاحتمالات في النطاق $[-1, 0]$، حيث تؤدي درجات الإسناد الأقل إلى مكافآت أعلى.
2. حساب المكافأة بكفاءة: لتجنب التكلفة الحوسبية العالية لاستدعاء دالة الإسناد لكل رمز (token)، يتم حساب درجة الإسناد كل $\kappa$ من الرموز ويتم بثها إلى الرموز المتداخلة. يتم حساب مكافأة أساسية متوسطة البادئة لتقليل التباين.
3. تنظيم التقطير (Distillation Regularization): للحفاظ على فائدة النموذج على مجموعة الاحتفاظ ($D_R$)، يتم إضافة حد تنظيم التقطير. يقلل هذا الحد من تباعد KL بين سياسة التقطير الحالية والسياسة الأصلية على مجموعة الاحتفاظ، مما يمنع النسيان الكارثي للبيانات غير المراد نسيانها.
4. مصنف الإسناد ($D_{Ac}$): إدراكاً بأن دوال الإسناد المثالية (مثل Leave-One-Out أو قيم Shapley) مكلفة حوسبياً، قام المؤلفون بتدريب مصنف لغوي بسيط (باستخدام LoRA) للتنبؤ بمالك البيانات للاستجابة المولدة. يتم تدريب هذا المصنف خارج عملية التعلم (offline) قبل إلغاء التعلم ويتم تجميده خلال عملية PPO.

3. المساهمات الرئيسية

1. هدف تحسين مبتكر: تقدم الورقة نزع إسناد البيانات كهدف دقيق لإلغاء تعلم النماذج اللغوية الكبيرة، مما يعالج عدم الاتساق وعدم الاستقرار في الأساليب القائمة على خسارة التنبؤ.
2. إطار عمل DareU: يقترح المؤلفون أول إطار عمل لإلغاء التعلم يستخدم مكافآت إسناد البيانات ضمن إعداد PPO. وهو يوازن بفعالية بين المقايضة بين جودة النسيان (إزالة التأثير) وفائدة النموذج (الحفاظ على الأداء على بيانات الاحتفاظ).
3. التحقق التجريبي: تثبت التجارب المكثفة أن DareU يتفوق على النماذج المرجعية الحالية (بما في ذلك GA و GDiff و SCRUB وأساليب تحسين التفضيل مثل IDK و NPO) في تحقيق إلغاء تعلم فعال دون تدهور كبير في فائدة النموذج أو توليد نصوص غير مترابطة.

4. النتائج التجريبية

تم تقييم الإطار على مجموعتي بيانات: TOFU (الإجابة على الأسئلة) و ArXiv (إكمال النصوص)، باستخدام نماذج Llama2-7B و Qwen3-8B.

• فعالية إلغاء التعلم: حقق DareU أقرب درجات ROUGE لمجموعة النسيان (DF) إلى المعيار الذهبي لـ "إعادة التدريب" عبر كلا المجموعتين، مما يشير إلى جودة نسيان متفوقة.
• فائدة النموذج: على عكس صعود التدرج (GA) و GDiff، اللذين يعانيان غالباً من الإفراط في النسيان (انخفاض درجات DR ROUGE)، حافظ DareU على درجات ROUGE عالية في مجموعة الاحتفاظ ($D_R$) ومجموعة الاختبار ($D_{test}$).
• التوازن (درجة ToW): حقق DareU أعلى درجة Tug-of-War (ToW)، وهي مقياس يجمع الفجوات بين النموذج الملغي والنموذج المعاد تدريبه عبر مجموعات النسيان، والاحتفاظ، والاختبار. وهذا يؤكد قدرة DareU على موازنة جودة النسيان والفائدة بشكل أفضل من أي نموذج مرجعي آخر.
• المتانة:
  • تقليل الهراء: أنتج DareU استجابات غير مترابطة/هراء أقل بكثير مقارنة بـ GA و SCRUB.
  • المتانة ضد الهجمات: ظلت الطريقة فعالة ضد استعلامات النسيان المعاد صياغتها والتداخلات الدلالية بين مجموعات النسيان والاحتفاظ.
  • دقة المصنف: ظل الإطار متيناً حتى عندما تم تقليل دقة مصنف الإسناد اصطناعياً.
• الكفاءة: بينما يتحمل DareU تكاليف حوسبية أعلى من أساليب خسارة التنبؤ البسيطة (بسبب توليد RL)، إلا أنه أكثر كفاءة بكثير من إعادة التدريب الكامل ويماثل طرق التحسين من الدرجة الثانية مثل SCuReNewton.

5. الأهمية والادعاءات

تدعي الورقة أن DareU يوفر منظور تحسين أكثر دقة واستقراراً لإلغاء تعلم النماذج اللغوية الكبيرة. ومن خلال تحويل التركيز من "تعظيم الخطأ" إلى "تصفير الإسناد"، تتجنب الطريقة عثرات انهيار النموذج والأهداف غير المتسقة المتأصلة في مناهج صعود التدرج.

يؤكد المؤلفون أنه بينما استخدموا مصنفاً خفيف الوزن كتقريب فعال، فإن المساهمة الجوهرية هي هدف نزع الإسناد نفسه. ويؤكدون أن هذا النهج يوفر هدفاً متسقاً (الدرجة 0) لجميع عينات النسيان، وهو أمر متفوق نظرياً على الأهداف المتغيرة للطرق القائمة على الخسارة.

الاعتراف بالقصور:

• التكلفة الحوسبية: يعد DareU أكثر تكلفة حوسبياً من الضبط الدقيق البسيط أو GA، رغم أنه يقدم مقايضة مبررة مقابل أداء أفضل.
• الاعتماد على الإسناد: تتطلب الطريقة الوصول إلى بيانات التدريب (أو جزء منها) لتدريب مصنف الإسناد، مما قد يحد من تطبيقها في حالات إزالة بيانات ما قبل التدريب حيث قد تكون هذه البيانات غير متاحة.
• التقريب: استخدام المصنف هو عملية تقريب؛ وقد يعمل العمل المستقبلي على دمج دوال إسناد أكثر دقة وكفاءة لتحسين الأداء بشكل أكبر.

في الختام، تضع الورقة DareU كحل رائد (state-of-the-art) يزيل تأثير البيانات بفعالية مع الحفاظ على فائدة النموذج اللغوي الكبير، ملتزماً بـ "الحق في النسيان" دون الحاجة إلى تكاليف إعادة تدريب باهظة.