SUGAR: A Sweeter Spot for Generative Unlearning of Many Identities

إليك ملخص تقني مفصل لورقة البحث بعنوان: "SUGAR: نقطة أكثر حلاوة للنسيان التوليدي لهويات متعددة".

1. بيان المشكلة

يمكن لنماذج الذكاء الاصطعي التوليدي (تحديداً النماذج المدركة ثلاثية الأبعاد مثل EG3D) أن تحفظ وتعيد إنتاج وجوه محددة من بيانات التدريب الخاصة بها دون قصد، مما يشكل مخاطر كبيرة على الخصوصية والملكية الفكرية. وبينما يتيح "الحق في النسيان" للمستخدمين طلب إزالة البيانات، فإن إعادة تدريب النماذج من الصفر أمر مكلف للغاية من الناحية الحسابية.

تواجه طرق النسيان التوليدي (Generative Unlearning) الحالية ثلاثة قيود حرجة عند التعامل مع هويات متعددة:

1. القابلية للتوسع (Scalability): تجد صعوبة في التعامل مع طلبات نسيان الهويات المتزامنة أو المتتالية للهويات الكثيرة.
2. التسرب (Leakage): غالباً ما تقوم آليات الكبت بربط الهويات المنسية بـ "ضجيج" أو "وجه متوسط" ثابت، وهو ما يمكن أن يسرب معلومات عن الهوية الأصلية أو يمكن اكتشافه عبر هجمات استنتاج العضوية.
3. تدهور المنفعة (Utility Degradation): غالباً ما يؤدي النسيان الشديد إلى "الانزياح الدلالي" (Semantic Drift)، مما يؤدي إلى تدهور جودة وتنوع الهويات التي لم يُطلب نسيانها (الهويات المستبقاة).

2. المنهجية: إطار عمل SUGAR

إطار SUGAR (النسيان القابل للتوسع للهويات التوليدية عبر التمثيلات التكيفية) هو إطار مصمم لإزالة هويات متعددة دون إعادة تدريب النموذج بالكامل. يعمل ضمن مسار (pipeline) مسبق التدريب من نوع EG3D (المكون من مشفر $E_\psi$، ومولد $G_\theta$، ومُصيّر $R$) ويقوم بتحديث المولد فقط.

يتكون إطار العمل من مرحلتين رئيسيتين:

أ. إزالة تحديد الهوية الخاصة بكل معرف (المرحلة 1)

بدلاً من رسم جميع الهويات المنسية نحو هدف ثابت واحد (مثل الوجه المتوسط) أو ضجيج، يتعلم SUGAR متغيراً بدائياً شخصياً (Personalized Surrogate Latent) لكل هوية.

• الآلية: يقوم بتدريب دالة رسم خرائط $\Phi$ (أو $T_\Theta$) لتحويل المتجه الكامن للهوية المنسية ($w_u$) إلى متجه هدف مضاد للواقع ($w_t$).
• الهدف: يجب أن يكون $w_t$ الجديد:
  1. يحافظ على السمات الوجهية الخشنة (التماسك الهيكلي) للحفاظ على الاتساق البصري.
  2. يكون متميزاً بما يكفي عن الهوية الأصلية لمنع التعرف عليها (يُقاس بخسارة الهوية والخسارة الإدراكية).
• الصياغة الرياضية: يتم تعريف الهدف كـ $w_t = \bar{w} - d \cdot \frac{T_\Theta(w_{id})}{\|T_\Theta(w_{id})\|}$، حيث $\bar{w}$ هو متوسط المتجه الكامن، و $w_{id}$ هو متجه الهوية، و $d$ هو عامل إزاحة قابل للتحكم. وهذا يسمح بـ نسيان قابل للتحكم، حيث يمكن ضبط درجة النسيان.

ب. النسيان بأسلوب التعلم المستمر (المرحلة 2)

يقوم SUGAR بتحسين المولد باستخدام دالة خسارة مزدوجة الهدف لموازنة النسيان والاحتفاظ.

1. خسارة النسيان ($L_{forget}$):
   • تطبق هدف إعادة الرسم على المتجه المرجعي ($w_u$) وجيرانه في المحيط ($w_{u,a}$).
   • يضمن أخذ عينات من الجيران أن المنطقة المحلية للهوية المنسية بأكملها قد تم كبتها، مما يمنع تسرب السمات المتبقية.
2. الاحتفاظ والحفاظ على المنفعة:
   • أخذ عينات المحيط (Vicinity Sampling): يحدد النقاط الكامنة القريبة من مجموعة النسيان المعرضة لضرر جانبي.
   • التوحيد المرن للأوزان (Elastic Weight Consolidation - EWC): بدلاً من إضافة خسائر إعادة بناء صريحة لكل عينة مستبقاة (وهو أمر مكلف حسابياً)، يستخدم SUGAR تقنية EWC. حيث يحسب مصفوفة معلومات فيشر (FIM) على مجموعة عينات فحص المحيط لتحديد المعلمات الحرجة للاحتفاظ بتلك الهويات المحددة.
   3. التنظيم (Regularization): يعمل حد العقوبة ($L_{ewc}$) على تقييد انزياح هذه المعلمات الحرجة عن قيمها قبل النسيان، مما يحافظ على منفعة النموذج للهويات غير المنسية.

الهدف النهائي:
$$L_{unlearn} = \mathbb{E}_{w_u \sim W_u}[L_{forget}(w_u; \theta)] + \lambda_{ewc} L_{ewc}(\theta; \theta^*)$$

3. المساهمات الرئيسية

1. أول طريقة GUI متعددة الهويات: SUGAR هي أول طريقة لنسيان الهوية التوليدية (GUI) قادرة على التعامل مع الإزالة المتزامنة والمتتالية للعديد من الهويات (حتى 200 هوية تم اختبارها) دون إعادة تدريب.
2. المتغيرات البدائية الشخصية: على عكس الطرق التي ترسم الهويات نحو الضجيج أو وجه متوسط ثابت، يتعلم SUGAR بديلاً فريداً ومتسقاً بصرياً لكل هوية منسية، مما يمنع تسرب المعلومات ويحافظ على التنوع.
3. الحفاظ المستمر على المنفعة: تعمل دمج EWC وأخذ عينات المحيط بفعالية على حماية الهويات المستبقاة من التدهور، وهو فشل شائع في النماذج المرجعية السابقة.
4. القابلية للتحكم: يسمح عامل الإزاحة $d$ لمزودي النماذج بضبط المقايضة بين صرامة النسيان والحفاظ على منفعة النموذج.

4. النتائج التجريبية

قام المؤلفون بتقييم SUGAR مقابل النموذج المرجعي المتطور GUIDE عبر ثلاثة سيناريوهات: عشوائي، داخل النطاق (FFHQ)، وخارج النطاق (CelebA-HQ).

• منفعة الاحتفاظ: حقق SUGAR تحسناً بنسبة 700% في منفعة الاحتفاظ مقارنة بالنماذج المرجعية.
  • تشابه الهوية: بالنسبة للهويات المستبقاة، حافظ SUGAR على درجات تشابه هوية أعلى بنحو ضعفين من GUIDE (على سبيل المثال، 0.57 مقابل 0.33 لـ N=1 في FFHQ).
  • درجة FID: قلل SUGAR بشكل كبير من مسافة فريديهت-إنسيبشن (FID)، مما يشير إلى جودة صور أفضل وتوافق أفضل في التوزيع للوجوه المستبقاة.
• فعالية النسيان:
  • نجح SUGAR في تقليل تشابه الهوية للهويات المنسية بمتوسط 54.7% مقارنة بالهويات المستبقاة.
  • الحكم البشري: في دراسة شملت 60 مشاركاً، تم التعرف على الهويات المستبقاة التي أنتجها SUGAR بنسبة 86%، بينما كانت نسبة التعرف في GUIDE هي 1.9% فقط. وعلى العكس من ذلك، لم يستطع المشاركون التمييز بين الهويات المنسية الأصلية والمخرجات المنسية لأي من الطريقتين، مما يثبت فعالية النسيان.
• النسيان المتتالي: في تجارب متعددة المراحل، عانى GUIDE من ضرر جانبي تراكمي (تدهور الوجوه المستبقاة بمرور الوقت)، بينما حافظ SUGAR على دقة عالية للهويات المستبقاة عبر جميع المراحل.
• الخصوصية والأمن: يقوم SUGAR برسم الهويات المنسية نحو متغيرات مضادة للواقع متنوعة على منحنى البيانات، مما يجعلها غير قابلة للتمييز عن التباينات الطبيعية. وهذا يمنع "مطابقة القوالب" وهجمات استنتاج العضوية التي تنجح ضد طرق الضجيج أو الوجه المتوسط.

5. الأهمية

يعالج SUGAR فجوة حرجة في النشر الأخلاقي للذكاء الاصطناعي التوليدي. ومن خلال تمكين الإزالة القابلة للتوسع والمتتالية والآمنة لهويات محددة دون المساس بالأداء العام للنموذج، فإنه يوفر حلاً عملياً لـ "الحق في النسيان" في توليد الصور عالي الدقة. إن قدرة الطريقة على تعلم متغيرات بدائية شخصية بدلاً من الانهيار إلى الضجيج تضمن بقاء النموذج مفيداً ومتنوعاً، مما يجعلها إطار عمل قوياً لأنظمة الحفاظ على الخصوصية التوليدية المستقبلية.