ملخص تقني: الفضاء الفارغ (SPACE)

بيان المشكلة

غالبًا ما تولد نماذج الانتشار (DMs) من نوع "النص إلى الصورة" (T2I)، المدربة على مجموعات بيانات ضخمة وغير مصفاة، محتوى غير مرغوب فيه، بما في ذلك المواد المحمية بحقوق الطأليف والصور غير اللائقة (NSFW). وبينما يعد إعادة تدريب النماذج أمرًا مستعصيًا من الناحية الحسابية، كما يمكن التحايل على تصفية ما بعد التوليد، فإن محو المفاهيم عبر تعديل الأوزان يقدم تدخلًا قويًا.

تحدث طرق محو المفاهيم ذات الصيغة المغلقة (مثل UCE وRECE وSPEED) تحديث أوزان الانتباه المتقاطع (cross-attention) دون استخدام الانتشار العكسي (backpropagation)، مما يوفر مزايا في السرعة مقارنة بالضبط الدقيق القائم على التباعد. ومع ذلك، تعاني هذه الطرق من تدهور كبير في الأداء عند الانتقال من البنى الصغيرة (مثل Stable Diffusion 1.5) إلى النماذج الأكبر (مثل Stable Diffusion XL). ويعزو المؤلفون هذا الفشل إلى الزيادة الهائلة في معاملات الانتباه المتقاطع (من 19 مليون إلى 340 مليون لـ Keys/Values)، حيث تسمح الحتمية المتأصلة في فضاء المعاملات عالي الأبعاد بتوزيع المعلومات الخاصة بالمفهوم عبر مصفوفات أوزان ضخمة، مما يجعل التحديثات الكثيفة ذات الحد الأدنى من المعيار (minimum-norm updates) غير فعالة.

المنهجية: محو المفاهيم القائم على الانتباه المتقاطع المتناثر (SPACE)

يقترح SPACE نهجًا مبتكرًا يحفز التناثر في المعاملات (parameter sparsity) داخل طبقات الانتباه المتقاطع لتحقيق محو فعال للمفاهيم في النماذج واسعة النطاق. وعلى عكس تقنيات إزالة المعلومات السابقة القائمة على التناثر والتي تعتمد على الانتشار العكسي، يعمل SPACE عبر تحديث تكراري ذو صيغة مغلقة.

الصيغة الجوهرية

تبني الطريقة على إطار عمل توحيد تحرير المفاهيم (UCE) ولكنها تعدل هدف الأمثلة ليشمل حدًا لتنظيم $L_1$. الهدف هو إيجاد مصفوفة أوزان $W$ تقلل من خسارة المحو والحفاظ مع استيفاء قيد التناثر:

$$\min_{W} \mathcal{L}(W) + \lambda \|W\|_{1,1}$$

حيث أن:

• $\mathcal{L}(W)$ هو خسارة UCE القياسية التي تتكون من حدود لمحو المفاهيم المستهدفة ($E$)، والحفاظ على المفاهيم غير المستهدفة ($P$)، والحفاظ على القرب من الأوزان الأصلية ($W^o$).
• $\|W\|_{1,1}$ هو معيار $L_1$ لكل عنصر، والذي يعزز التناثر.
• $\lambda$ يتحكم في قوة التناثر.

الأمثلة عبر FISTA

بسبب عدم سلاسة معيار $L_1$، يستحيل إيجاد حل مغلق بضربة واحدة. يستخدم SPACE خوارزمية FISTA (خوارزمية التكميش والتحجيم التكرارية السريعة) لحل مشكلة الأمثلة المحدبة هذه.

1. خطوة التدرج: حساب تدرج الجزء السلس من الخسية ($\nabla \mathcal{L}$). يتم اشتقاق ثابت ليبشيتز $L$ تحليليًا بناءً على القيم المفردة لمصفوفات تضمين المفاهيم، مما يضمن أحجام خطوات تكيفية.
2. خطوة التكميش (Shrinkage Step): تطبيق مؤثر التكميش $T_{\alpha}$ على خطوة التدرج لفرض التناثر:
   $$W^{(k)} \leftarrow T_{\lambda\gamma}(\theta^{(k)} - \gamma \nabla \mathcal{L}(\theta^{(k)}))$$
3. الزخم (Momentum): تحديث المتغير المساعد $\theta$ باستخدام الزخم لتسريع التقارب ($O(1/k^2)$).

هذه العملية تعدل معاملات الانتباه المتقاطع بشكل تكراري، مما يركز رسم المفهوم في فضاء فرعي أقل أبعادًا من المعاملات عالية التأثير مع تصفير الأوزان الزائدة.

المساهمات الرئيسية

1. تحفيز التناثر للمحو: يوضح البحث أن تحفيز التناثر في معاملات الانتباه المتقاطع أمر بالغ الأهمية لمحو المفاهيم بفعالية في النماذج الكبيرة (SDXL)، حيث تفشل الطرق المغلقة الكثيفة.
2. التناثر ذو الصيغة المغلقة: يعد SPACE أول إطار عمل يدمج تناثر المعاملات في إجراء تحديث ذي صيغة مغلقة، متجنبًا التكلفة الحسابية للانتشار العكسي المطلوبة في طرق إزالة المعلومات الأخرى القائمة على التناثر.
3. كفاءة التخزين: من خلال تحقيق تناثر بنسبة 80%-90% في أوزان الانتباه المتقاطع، يقلل SPACE من البصمة التخزينية للمعاملات المعدلة بنسبة تقارب 70% (باستخدام تنسيق الصف المتعرج المضغوط - CSR)، مما يسهل تخصيص النماذج القابلة للتوسع والنشر على الحافة (edge deployment).
4. المتانة: تعزز الطريقة بشكل كبير من المتانة ضد المطالبات المعادية (adversarial prompts) المصممة لاستحضاء المفاهيم الممحاة.

النتائج التجريبية

قيم المؤلفون SPACE على Stable Diffusion XL (SDXL) و Stable Diffusion 1.5 (SD1.5) و Juggernaut-XL عبر مهمتين رئيسيتين: محو الأسلوب الفني ومحو العري.

• محو الأسلوب الفني (SDXL): تفوق SPACE على النماذج المرجعية (baselines) المتطورة (CAbl, SAFREE, UCE, RECE, SPEED) في محو الفنانين الأفراد والمتعددين (مثل فان جوخ، مونيه، بيكاسو). حقق أفضل توازن بين فعالية المحو (انخفاض درجة CLIP/الدقة للأهداف) والحفاظ على الأساليب غير المستهدفة. ومن الجدير بالذكر أنه بينما فشل UCE في محو الأساليب بفعالية في سيناريوهات الفنانين المتعددين، حافظ SPACE على فعالية عالية.
• محو العري:
  • SD1.5: خفض SPACE (مع التناثر القوي) معدلات توليد العري إلى 0.028 في اختبار I2P، متفوقًا على UCE (0.394) والطرق الأخرى الخالية من التدريب.
  • SDXL & Juggernaut-XL: قلل SPACE من توليد العري بشكل كبير مقارنة بـ UCE و SPEED. على سبيل المثال، في SDXL، قلل SPACE إجمالي عدد مناطق الجسم العارية إلى 16 (مقابل 37 لـ UCE).
• المتانة: أظهر SPACE مقاومة فائقة للمطالبات المعادية (Ring-A-Bell, MMA-Diffusion) مقارنة بالنماذج المرجعية الكثيفة.
• الكفاءة:
  • الذاكرة: يتطلب SPACE ذاكرة فيديو (VRAM) أقل (8 جيجابايت) من طرق تعديل الأوزان الأخرى (مثل CAbl التي تتطلب 19 جيجابايت).
  • التخزين: تم تقليل الأوزان المعدلة لـ SDXL من ~630 ميجابايت (كثيفة) إلى ~188 ميجابايت (متناثرة)، أي بنسبة تقليل ~70%.
  • الوقت: يستغرق المحو حوالي دقيقتين لـ 1000 تكرار، وهو أسرع بنحو 10 مرات من الطرق القائمة على الانتشار العكسي (مثل CAbl التي تستغرق 17 دقيقة).

الأهمية والادعاءات

يزعم البحث أن SPACE يسد الفجوة بين كفاءة العمليات الخالية من التدريب وفعالية النماذج واسعة النطاق. ويؤكد المؤلفون أن:

• تحفيز تناثر الانتباه المتقاطع ليس مجرد تقنية أمثلة، بل هو آلية حاسمة لنجاح عملية إزالة المعلومات في الأنظمة عالية الأبعاد حيث تفشل التحديثات الكثيفة التقليدية.
• توفر الطريقة ميزة هيكلية من خلال تقليل متطلبات التخزين بشكل كبير، مما يجعلها مناسبة للبيئات التي تتطلب تبديلًا سريعًا للوحدات خفيفة الوزن (مثل عمليات النشر متعددة المستخدمين على الحافة).
• تعزز الطريقة المتانة ضد الهجمات المعادية، مما يعالج ثغرة رئيسية في تقنيات المحو السابقة.

يحافظ المؤلفون على نبرة متواضعة فيما يتعلق بالنطاق، مشيرين إلى أنه بينما يعد التناثر أمرًا بالغ الأهمية للمفاهيم المعقدة مثل الأساليب الفنية والعري، فإن المفاهيم الأبسط (الأشياء، مشاهير معينين) قد لا تتطلب صرامة التناثر للمحو الفعال، رغم أن SPACE لا يزال يقدم فوائد تخزينية في تلك الحالات. يُقدم العمل كخطوة نحو نشر نماذج انتشار أكثر أمانًا وكفاءة وقابلية للتوسع.