Concept Unlearning via Cross-Attention Activation Projection for Diffusion Models

ملخص تقني: نسيان المفاهيم عبر إسقاط تنشيط الانتباه المتقاطع لنماذج الانتشار

بيان المشكلة

يهدف نسيان المفاهيم (Concept unlearning) إلى إزالة مفاهيم مستهدفة محددة (مثل الأنماط المحمية بحقوق الطبع والنشر، أو ملامح المشاهير، أو الصور غير اللائقة) من نماذج الانتشار (Diffusion Models) سابقة التدريب دون التكلفة الحسابية لإعادة التدريب من الصفر. يجب أن يلبي النسيان الفعال متطلبين متزامنين: النسيان للمفهوم المستهدف حتى في ظل وجود مطالبات (prompts) معاد صياغتها أو عدائية، والاحتفاظ بقدرة النموذج على توليد جميع المفاهيم الأخرى غير المرتبطة به.

تواجه الطرق الحالية ذات الصيغة المغلقة (closed-form methods)، والتي تطبق تعديلاً حتمياً واحداً على أوزان النموذج دون ضبط دقيق قائم على التدرج (gradient-based fine-tuning)، قصوراً حرجاً. هذه الطرق (مثل UCE وCURE) تبني "أساس النسيان" (forget basis) باستخدام تضمينات مشفر النص (text-encoder embeddings) المستمدة من مطالبات مرجعية قصيرة (مثل "Van Gogh"). ويرى المؤلفون أن تضمينات النص تصف مطالبات المستخدم ولكنها تفشل في التقاط كيفية استخدام النموذج لهذا المفهوم فعلياً أثناء عملية إزالة الضجيج (denoising). وبناءً على ذلك، فإن المطالبات التي تمت إعادة صياغتها والتي تستدعي المفهوم المستهدف دون مطابقة القوالب المرجعية غالباً ما تتجاوز تعديل النسيان، مما يؤدي إلى "تسرب الهدف" (target leakage).

المنهجية: PURE

يقترح البحث طريقة PURE (الإسقاط في رندرة الـ U-Net للمحو - Projection in U-Net Rendering for Erasure)، وهي طريقة نسيان ذات صيغة مغلقة تنقل بناء الأساس من فضاء تضمين مشفر النص إلى فضاء تنشيط الانتباه المتقاطع (cross-attention activation space) داخل شبكة الـ U-Net.

الفرضية الجوهرية:
تعكس تنشيطات الانتباه المتقاطع ($h^\ell$) عند الطبقة $\ell$ كيفية استخدام المزيّل (denoiser) لشرط النص تحت الحالة الكامنة (latent state) والخطوة الزمنية الحالية. وخلافاً لتضمينات النص الثابتة، تلتقط هذه التنشيطات أدلة المفهوم المحددة المستخدمة فعلياً أثناء توليد الصورة، مما يوفر تعميماً أفضل لمختلف صياغات المطالبات.

الإجراء الخوارزمي:

1. التقاط التنشيط: لمجموعة من المرتكزات المراد نسيانها ($\mathcal{A}_f$) ومرتكزات الاحتفاظ ($\mathcal{A}_r$)، يقوم النموذج بتشغيل مسار قصير لإزالة الضجيج. عند كل طبقة $\ell$ وخطوة زمنية، يتم استخراج تنشيطات ما بعد الانتباه، وتجميعها مكانياً عبر المتوسط (spatially mean-pooled)، ودمجها في مصفوفات $H^\ell_F$ و $H^\ell_R$.
2. بناء الفضاء الجزئي: يتم إجراء تحليل القيم المفردة (SVD) على $H^\ell_F$ و $H^\ell_R$ لكل طبقة. المتجهات المفردة العليا، وصولاً إلى عتبة تباين تراكمي ($\tau_F, \tau_R$)، تشكل أساس النسيان ($V^\ell_F$) وأساس الاحتفاظ ($V^\ell_R$).
3. التعديل الخطي: تطبق الطريقة تعديلاً خطياً واحداً على مصفوفات الإسقاط للمفتاح ($W^\ell_K$) والقيمة ($W^\ell_V$) في الانتباه المتقاطع. يُعرف عامل التحديث $E^\ell$ كالتالي:
   $$E^\ell = I - P^\ell_F (I - P^\ell_R)$$
   حيث $P^\ell_F = V^\ell_F (V^\ell_F)^\top$ و $P^\ell_R = V^\ell_R (V^\ell_R)^\top$.
   يتم تحديث الأوزان عبر الضرب من اليسار: $W^\ell \leftarrow E^\ell W^\ell$.
   • الآلية: المصطلح $(I - P^\ell_R)$ يزيل المكونات المتوافقة مع مفاهيم الاحتفاظ، مما يضمن أن $P^\ell_F$ يعمل فقط على الفضاء المتعامد. وطرح هذا من الوحدة (identity) يضمن مرور المدخلات المتوافقة مع مفاهيم الاحتفاظ دون تغيير.
   • التحول الهيكلي: خلافاً للطرق السابقة التي تضرب من اليمين في فضاء النص، تقوم PURE بالضرب من اليسار في فضاء التنشيط ($d_\ell \times d_\ell$)، مما يستلزم تعديلاً لكل طبقة على حدة.

المساهمات الرئيسية

1. الأساس القائم على التنشيط: حدد البحث أن بناء أساس النسيان من تنشيطات الانتباه المتقاطع بدلاً من تضمينات النص يحسن بشكل كبير من اكتشاف المفاهيم المستهدفة في المطالبات الطبيعية والعدائية المتنوعة.
2. تجربة الاستقصاء: أظهرت تجربة تصنيف ثنائي أن الأساس القائم على التنشيط يحقق استدعاءً (recall) أعلى بنحو خمس مرات في المطالبات المعاد صياغتها طبيعياً مقارنة بالأساس القائم على النص، مما يؤكد أن ميزات التنشيط تلتقط أدلة المفهوم المتعلقة بالتوليد بشكل أفضل.
3. كفاءة الصيغة المغلقة: تحافظ PURE على مزايا التعديل ذي الصيغة المغلقة: فهي لا تتطلب تدريباً على التدرج، ولا دوال خسارة مساعدة، ولا ضبطاً للمعلمات الفائقة لمعدلات التعلم، ولا تضيف أي تكلفة وقت الاستنتاج بعد تطبيق التعديل.
4. التعديل الخاص بكل طبقة: تنفذ الطة تحليل SVD وتعديلاً لكل طبقة، مع الإقرار بأن تمثيل المفهوم يختلف عبر عمق الـ U-Net.

النتائج التجريبية

قيم المؤلفون طريقة PURE على مقياس هوليستيك للنسيان (HUB)، والذي يغطي عشرة مفاهيم عبر أربع فئات: النمط الفني، الملكية الفكرية (IP)، المشاهير، والمحتوى غير اللائق (NSFW).

• المفاضلة بين النسيان والاحتفاظ: تحقق PURE أفضل درجة متوسط توافقي (harmonic-mean) عبر جميع الفئات مقارنة بخمسة نماذج أساسية (ESD, MACE, RECELER, UCE, CURE).
• كبح الهدف: تقلل PURE بشكل كبير من تسرب الهدف تحت المطالبات المعاد صياغتها والعدائية مقارنة بـ CURE، التي غالباً ما تفشل في كبح إعادة الصياغة.
• الاحتفاظ: تحافظ PORE على مفاهيم "الاحتفاظ" (المفاهيم المجاورة في نفس الفئة) بشكل أفضل من طرق الضبط الدقيق العدوانية (التي تضر بالاحتفاظ) وأفضل من طرق الصيغة المغلقة في فضاء النص (التي غالباً ما تضحي بالاحتفاظ مقابل الكبح في فئات النمط).
• دراسات الاستئصال (Ablation Studies):
  • حجم المرتكزات: زيادة عدد المرتكزات الطبيعية للنسيان يحسن كبح الأساس النصي ولكنه يقلل من جودة الاحتفاظ. يحافظ أساس التنشيط على كبح قوي مع حد أدنى من فقدان الاحتفاظ حتى مع نمو مجموعات المرتكزات.
  • خطوات إزالة الضجيج: استخدام خطوة واحدة لإزالة الضجيج ($T=1$) يؤدي إلى تدهور الأداء بشكل حاد، مما يشير إلى أن التقاط إشارة المفهوم عبر المسار بأكه هو أمر ضروري.
  • متوسط الكوامن (Latent Averaging): يعمل حساب المتوسط عبر عدة كوامن عشوائية ($n_{lat}$) على استقرار الأساس نحو اتجاهات مستوى المفهوم بدلاً من الآثار الناتجة عن الضجيج المحدد.

الأهمية والادعاءات

يزعم البحث أن PURE تمثل تحولاً جوهرياً في كيفية التعامل مع نسيان الصيغة المغلقة. فمن خلال نقل بناء الأساس من فضاء مشفر النص الثابت إلى فضاء تنشيط الانتباه المتقاطع الديناميكي، تتغلب الطريقة على نمط الفشل الرئيسي للتقنيات الحالية ذات الصيغة المغلقة: وهو عدم القدرة على التعامل مع تنوعات المطالبات التي تقع خارج القوالب المرجعية.

يؤكد المؤلفون أن PURE توفر حلاً قوياً وفعالاً ومن الدرجة الأولى لنسيان المفاهيم، حيث تقدم توازناً متفوقاً بين محو المفاهيم غير المرغوب فيها والحفاظ على المنفعة العامة للنموذج دون العبء الحسابي لإعادة التدريب. ويشير العمل إلى أن "اتجاه النسيان" يتم تعريفه بدقة أكبر من خلال عملية الرندرة الداخلية للنموذج منه من خلال النص المدخل وحده.